L'«AI Scientist» de Sakana AI, l'empresa de Tòquio fundada per antics investigadors de Google DeepMind, es va presentar el 2024 com el primer intent seriós d'automatitzar de cap a cap el procés científic: generar idees, dissenyar i executar experiments, analitzar-ne els resultats, escriure l'article i fins i tot revisar-lo. Al març d'enguany, un equip vinculat a Sakana en va publicar una versió millorada a la mateixa revista Nature, i tres dels seus articles generats es van arribar a presentar a un taller de la conferència ICLR, un d'ells amb una puntuació per sobre de la mediana de les trameses humanes.
Un nou article de Nature, signat pel periodista científic Matthew Hutson, repassa ara com aquest sistema es comporta quan se li demana ampliar treballs concrets ja existents: en la prova més recent, se li van encarregar dos articles reals d'informàtica perquè en desenvolupés les idees, i els autors originals dels treballs de partida no en van quedar impressionats amb els resultats. Una avaluació independent prèvia, citada al mateix article, ja havia detectat que el sistema fa una revisió bibliogràfica basada en cerques senzilles de paraules clau en lloc d'una síntesi real, cosa que el porta a classificar com a novetats idees ja establertes des de fa anys, com el micro-batching en el descens de gradient estocàstic, i registra fins a un 42% de fracassos en els seus propis experiments. Sayash Kapoor, investigador de la Universitat de Princeton i coautor d'una de les avaluacions citades, hi resumeix el diagnòstic: «no crec que l'automatització completa de la recerca oberta estigui a l'horitzó ara mateix».
L'article és rellevant perquè arriba en un moment en què diversos laboratoris -Google DeepMind inclòs, amb el seu propi Co-Scientist- presenten sistemes d'IA per accelerar la recerca científica, i ajuda a distingir entre els avenços reals d'aquests assistents i les promeses de substitució completa dels investigadors humans. Que la crítica no vingui de detractors externs sinó dels propis autors dels articles que el sistema intentava millorar li dona un pes especial: mostra el buit que encara hi ha entre generar text amb aparença de rigor científic i produir coneixement nou i fiable.
El treball no nega que hi hagi hagut avenços: el mateix sistema ha aconseguit puntuacions per sobre de la mediana humana en algunes trameses acadèmiques, i altres eines similars ja ajuden investigadors en tasques concretes com el disseny d'experiments. El que qüestiona és la promesa d'automatització oberta i sense supervisió, no la utilitat de la IA com a eina de suport a la recerca, una distinció que l'article de Hutson subratlla explícitament davant la temptació de llegir aquests sistemes com un substitut ja madur del mètode científic humà.