Els agents d'intel·ligència artificial ja poden executar tot sols anàlisis científiques complexes, però un resultat només es converteix en una conclusió defensable quan s'han descartat alternatives i l'afirmació final queda limitada al que les dades realment sostenen. En la pràctica, els agents solen reproduir els mateixos errors que cometria un investigador poc rigorós: triar una anàlisi que confirma el que ja s'esperava, declarar un èxit abans d'hora o optimitzar un criteri que no és el més adequat per a la pregunta plantejada.
Un equip de disset investigadors, entre els quals Russell Poldrack i Sanmi Koyejo, de la Universitat de Stanford, va publicar el 20 d'agost a arXiv Brain Researcher, un sistema que actua com un «arnès» de recerca agèntica dins l'entorn computacional habitual d'un investigador en neuroimatge, amb regles fixes sobre quines anàlisis són admissibles, quines comprovacions cal fer i fins on pot arribar una afirmació. En bancs de proves, Brain Researcher va augmentar en 70,2 punts percentuals l'encert a l'hora de triar la primera eina d'anàlisi correcta, en set models diferents (del 23,3% sense el sistema al 93,6% amb ell), i va fer pujar del 4,6% al 22,0% la proporció de conclusions amb una base evidencial verificable. En estudis fets amb col·laboradors humans i en estudis on el mateix sistema anava perfeccionant les seves anàlisis, els investigadors van fer servir «anàlisis multiverse» —provar diverses decisions metodològiques igualment vàlides sobre les mateixes dades— per detectar quan un resultat depenia massa d'una tria concreta, i un procés de revisió científica va classificar cada afirmació en sis categories, des d'«acceptada» fins a «rebutjada» o «ajornada».
La notícia és rellevant perquè aborda un problema que creix al mateix ritme que l'ús d'agents d'IA en recerca: no n'hi ha prou que un sistema sàpiga executar una anàlisi, cal que sàpiga també quan no fer-la, quan advertir que el resultat és fràgil o quan reconèixer que l'evidència no sosté la conclusió que sembla més atractiva. En comptes d'afegir una revisió després del fet, Brain Researcher incrusta aquest judici metodològic dins del mateix flux de treball, vinculant cada decisió a la seva evidència i al seu origen.
El sistema s'ha provat específicament en l'entorn de la neuroimatge, un camp amb eines i convencions pròpies, i els mateixos autors no en detallen encara com de bé es traslladaria aquest enfocament a altres disciplines científiques amb fluxos de treball molt diferents. Els bancs de proves i els estudis de cas s'han fet amb un nombre limitat de projectes i de models, i l'article, publicat directament a arXiv, encara no ha passat per una revisió per parells independent.