Els economistes Matthew Schwartz, Isaiah Andrews i Jesse M. Shapiro han publicat com a document de treball del NBER (el número 35782) un sistema automàtic que fa servir un model de llenguatge per treballar amb els paquets de replicació dels articles d'economia, és a dir, les dades i el codi que les revistes exigeixen als autors perquè es pugui comprovar el que afirmen.
Els autors van aplicar el flux, que és de codi obert, a 4.452 paquets de cinc revistes d'economia. Primer intenta reproduir els càlculs originals i comprovar si coincideixen amb el que l'article publica, i hi fa anàlisis de sensibilitat automàtiques. Després prova de millorar-los: en 496 articles va aconseguir reduir el temps de càlcul més de deu vegades amb una exactitud igual o superior. Finalment prova d'ampliar-los: en 923 articles va desenvolupar una extensió que no apareixia a l'original i que seguia els objectius i els supòsits de l'estudi.
El resultat que més crida l'atenció és que el flux va assenyalar discrepàncies en 3.460 articles o en els seus apèndixs. La xifra no vol dir que tots aquests articles siguin erronis: una discrepància pot ser un arrodoniment, una versió de programari diferent o un error real, i el treball no ho classifica com un veredicte sobre la qualitat de cada article. El valor és que permet revisar a gran escala una feina que fins ara es feia a mà i només en casos comptats.
Els autors reconeixen dues limitacions: l'eficàcia depèn de com de complet i ben fet estigui el paquet de replicació, i els resultats corresponen a aquestes cinc revistes i no es poden extrapolar a altres disciplines. Com que és un document de treball, encara no ha passat la revisió d'una revista. Un dels autors va tenir un contracte amb Anthropic, cosa que declara, i afirma que les conclusions són independents.