La pregunta que es fa Matthew Schwartz, físic teòric de Harvard, és quina mena de problema deixa fer bé una IA que treballa hores sense parar. La seva resposta és BootLoops: unes eines de codi obert per a càlculs exactes en ciència quantitativa, que ell manté i que, com remarca, no són un projecte d'Anthropic.
En un text publicat a la secció de ciència d'Anthropic, de la qual és investigador visitant, explica el mètode: sessions de Claude Code que treballen en màquines virtuals de Google Cloud, una per projecte, amb una sessió mestra que coordina el còmput i valida els resultats, i altres que escriuen, programen eines i revisen els resultats d'una manera adversària. En tres mesos, segons ell, han sortit 36 manuscrits, en 18 camps, amb 19 coautors i d'entre uns 400 problemes candidats. Entre les xifres que dona hi ha 30 integrals resoltes de punta a punta (15 reproduccions i 15 de noves), 5.700 milions de parells de mutacions analitzats, 4.452 articles d'economia revisats i una base lingüística de 6.072 llengües.
El que fa més útil el text són els avisos. Segons Schwartz, el model sovint dona la feina per acabada abans d'hora, fa mals càlculs del temps que necessita, tendeix a empassar-se càlculs llargs en lloc de fer una eina més ràpida, i perd context quan comprimeix la conversa. «El model treballarà per sempre si el deixes», escriu. Calia la validació d'experts per jutjar quins resultats importaven, i les conclusions poden ser errònies.
Tampoc no es pot parlar encara de ciència establerta. El text no diu que els manuscrits hagin estat revisats per parells: assegura que els resultats estan «en procés d'exploració i verificació», i el treball d'economia consta com a document de treball de l'NBER. Per tant, són preprints o assajos pendents de comprovar, i les xifres de l'abast les dona l'autor, que en parla des d'una plataforma d'Anthropic i amb un model d'Anthropic.