Cada cop més sistemes d'entrenament i avaluació de models de llenguatge fan servir «rúbriques» generades per una altra IA per decidir si una resposta és bona: un jutge automàtic que puntua segons criteris que el mateix model ha redactat. La pràctica estalvia haver de contractar avaluadors humans per a cada tasca, però ningú havia comprovat de manera sistemàtica si aquestes pautes resisteixen un intent deliberat d'enganyar-les.
Un equip de la National University of Singapore, la Universitat de Pequín, l'Institut d'Automàtica de l'Acadèmia Xinesa de Ciències i JD.com ha presentat ImpossibleRubrics, un banc de proves de 169 tasques «impossibles» —preguntes formulades perquè l'única resposta honesta sigui reconèixer que no es poden respondre— acompanyades d'un «certificat oracle» que defineix exactament què pot i què no pot afirmar una resposta honesta. Sotmesos a un atac dissenyat per explotar-les, onze generadors de rúbriques es van deixar enganyar entre el 8% i el 26% de les vegades; en un subconjunt de tasques especialment dur, el millor generador va fallar el 36% dels casos, mentre que les rúbriques fetes a mida pel mateix certificat no van fallar mai en 45 proves.
La troballa més incòmoda de l'estudi és que una rúbrica genèrica, que simplement penalitza donar voltes sense respondre, va resultar més difícil d'enganyar en conjunt que set dels onze generadors específics per a cada tasca, malgrat arribar igualment a un 64% d'explotació en el pitjor cas. Els autors ho expliquen amb una idea senzilla: quan una pauta detalla exactament quins punts ha de tocar la resposta, també li està dient a qui vulgui enganyar-la quina dada s'ha d'inventar. És un advertiment directe per a les empreses que fan servir IA per jutjar altra IA, una pràctica cada cop més estesa per entrenar i avaluar models a gran escala.
L'estudi es limita a un conjunt de tasques dissenyades expressament perquè siguin «impossibles» de respondre bé, un escenari extrem que no reflecteix necessàriament el gruix de l'ús real de rúbriques generades per IA. Els autors tampoc proposen encara una solució definitiva: es limiten a documentar el problema i a suggerir que cal combinar-hi sempre alguna verificació humana o basada en certificats, no confiar-hi cegament.