Diversos laboratoris d'IA sostenen que els seus agents més avançats ja s'acosten a poder fer recerca científica de manera autònoma, però l'evidència rigorosa sobre aquesta capacitat concreta és escassa: les avaluacions habituals només proven tasques narrowes i verificables, que exclouen per definició la recerca oberta, o bé sotmeten articles escrits per IA a revisió per parells convencional, un procés sorollós i sobrecarregat. Un equip de 23 investigadors de METR i institucions col·laboradores —entre ells Sayash Kapoor i Arvind Narayanan, coneguts pel seu treball crític sobre l'exageració en IA, i Helen Toner, del centre CSET de Georgetown— ha dissenyat un mètode alternatiu que anomenen «avaluacions ombra».
El mètode consisteix a agafar la pregunta de recerca central de dos articles inèdits presentats a NeurIPS 2026 —un sobre l'estructura i controlabilitat de les «personas» dels models de llenguatge, l'altre sobre com detectar canvis de distribució en models fundacionals de dades tabulars— i donar-la a agents d'IA de frontera amb sis dies de temps, accés complet a internet i uns 3.000 dòlars de crèdit de còmput. Els mateixos autors originals dels articles van revisar i puntuar els resultats amb els estàndards reals d'una conferència de primer nivell. El resultat: tots dos treballs generats pels agents van rebre puntuacions de rebuig (2 sobre 6 i 1 sobre 6). Els agents van completar tota la part d'enginyeria sense ajuda humana, però no van aconseguir avançar de manera substancial en la pregunta de recerca en si; els revisors hi van trobar disseny experimental feble i raonament científic amb errors, com afegir matisos en lloc de redissenyar els experiments davant de problemes, mala gestió dels punts morts i, curiosament, un ús inferior a la meitat del pressupost disponible malgrat tenir temps de sobres.
La rellevància del treball és metodològica tant com empírica: en comptes de limitar-se a mesurar tasques verificables o a llançar articles fets per IA a una revisió per parells atapeïda, ofereix una manera de posar a prova la capacitat de recerca oberta amb el mateix rigor que s'aplicaria a un investigador humà, i ho fa amb la implicació directa dels autors dels articles reals. El resultat també serveix de contrapès a les afirmacions més optimistes sobre agents capaços de fer «ciència autònoma» a curt termini: per ara, semblen més útils com a assistents en tasques rutinàries que com a investigadors independents.
El treball és encara un preprint —amb una revisió publicada el 7 d'agost— i es basa només en dos estudis de cas dins de l'aprenentatge automàtic, de manera que les conclusions no es poden generalitzar automàticament a altres disciplines científiques ni a versions futures dels mateixos models. Els autors mateixos reconeixen que el mètode és costós de replicar a gran escala, ja que depèn de la disponibilitat d'autors humans dispost a avaluar-hi la feina.