L'escala creixent de la revisió per parells acadèmica ha portat moltes revistes i congressos a fer servir models de llenguatge com a assistents de revisió, per ajudar els avaluadors humans a llegir més ràpid i no perdre detalls. El problema és que aquests mateixos models poden generar crítiques fluides però sense fonament real, i els bancs de proves existents per detectar al·lucinacions no estan pensats per a la revisió científica, on cada afirmació s'ha de contrastar amb un article llarg i tècnic.
Un equip de la Universitat Nacional Yang Ming Chiao Tung de Taiwan, format per Tzu-Ling Lin, Dong-Ting Yao, Teng-Fang Hsiao, Wei-Chih Chen i Hong-Han Shuai, ha presentat el 3 de setembre HalluPeer, un banc de proves que ofereix trios alineats de contingut d'article, revisió escrita per humans i revisió amb al·lucinacions injectades deliberadament, anotats per detectar-les, classificar-les i localitzar-les amb precisió. El seu mètode construeix primer una taxonomia d'al·lucinacions específica per a la revisió científica, identifica els contextos de revisió rellevants i hi injecta al·lucinacions amb un filtratge automatitzat. En experiments amb 12.000 articles i 38.000 revisions, l'equip ha comprovat que els detectors d'al·lucinacions existents tenen problemes per distingir entre una al·lucinació real i una crítica legítima però dura, mentre que l'avaluació amb revisions autèntiques confirma que els patrons d'al·lucinació que defineix HalluPeer efectivament es donen en revisions reals ja publicades.
La notícia és rellevant perquè la revisió per parells és el mecanisme central d'autocorrecció de la ciència, i aquest treball demostra que, just quan aquest mecanisme comença a dependre de models de llenguatge, les eines actuals per detectar-hi errors encara no estan a l'altura: un detector que no sap separar una crítica dura d'una invenció pot deixar passar exactament el tipus d'error que hauria d'aturar.
Cal llegir els resultats amb la cautela pròpia d'un preprint encara no revisat per parells —una circumstància amb un punt d'ironia, tractant-se d'un treball sobre la fiabilitat de la revisió per parells—, construït en bona part amb al·lucinacions injectades artificialment i validat només parcialment amb revisions reals. L'estudi tampoc proposa cap solució al problema que documenta: es limita a mesurar-ne l'abast, sense verificar encara si els seus resultats es mantenen igual en altres disciplines o idiomes diferents dels analitzats.