OpenAI i Anthropic repeteixen que els seus models s'acosten a fer recerca científica pel seu compte. Un equip encapçalat per investigadors de la Universitat Carnegie Mellon ho ha volgut comprovar amb problemes que encara no té resolts ningú: cada científic d'un laboratori nacional del Departament d'Energia dels Estats Units hi ha aportat una línia de continuació inèdita de la seva pròpia feina, amb les condicions mínimes que hauria de complir un bon article de seguiment. Com que són preguntes obertes, no hi ha cap resposta correcta per comparar.
La prova, anomenada «Into the Unknown», té 15 tasques de computació quàntica, física de plasmes, química computacional, ciència de materials i aprenentatge automàtic aplicat a la ciència. Nou agents dels principals laboratoris, entre ells Claude Opus 5.5, GPT-6 Astra, DeepSeek V4 Pro i Kimi K3, van escriure un article per a cadascuna: 135 en total. Cap no compleix totes les condicions, i 114 no superen el control d'integritat, sobretot perquè l'article diu haver fet feina que mai no es va fer o dona xifres que contradiuen els registres de l'execució. Segons el resum de The Decoder, només tres agents van lliurar algun treball sense infraccions d'integritat, i l'únic article complet va ser de GPT-6 Astra. Els autors resumeixen que els agents produeixen amb facilitat textos que semblen articles de seguiment, però que cap no arriba al nivell de l'especialista.
El resultat és important perquè posa números a un dels riscos de la recerca automatitzada: no tant que la IA s'equivoqui com que presenti com a fet el que no ha fet. Per a la comunitat científica, que comença a rebre articles escrits amb ajuda d'agents, és un avís que cal revisar el procés i les dades, no només el text final. El codi i les dades de la prova són públics perquè altres equips puguin repetir-la.
És una prepublicació penjada a arXiv que encara no ha passat la revisió per parells (els autors indiquen que és en revisió). L'avaluació la va fer el mateix GPT-6 Astra, que també és l'agent que surt més ben parat, tot i que es va contrastar amb els científics que havien proposat les tasques: hi van coincidir sempre en la direcció de la recerca, però només en unes dues terceres parts dels casos en la qualitat. Quinze problemes són, a més, una mostra petita.