Molts bancs de proves per avaluar la capacitat de «raonament» dels sistemes d'IA es poden acabar resolent, en part, gràcies al coneixement que el model ja portava memoritzat de l'entrenament, no gràcies a una exploració real del problema que té al davant. Això fa difícil distingir si un model raona de debò o simplement reconeix un patró que ja havia vist abans en un altre context.
Un equip encapçalat per Ming Zhang ha presentat ExplorationBench, un banc de proves construït amb «móns alienígenes» les regles dels quals són executables —de manera que cada resposta es pot verificar amb exactitud— i alhora contradiuen el coneixement habitual dels models, perquè no n'hi hagi prou de limitar-se a recordar. El sistema inclou dos entorns, AlienCode (31 objectius i 70 tasques) i AlienLogic (24 objectius i 70 tasques), que proporcionen manuals deliberadament incomplets, retroacció de l'entorn i eines perquè el model hagi d'explorar activament per esbrinar com funcionen les regles inventades. Els autors hi van posar a prova deu sistemes d'IA diferents: els més capaços van demostrar que podien «adquirir i aplicar regles desconegudes», però el rendiment va variar molt segons com evolucionava cada intent d'exploració, i en alguns casos allargar l'exploració va fer que els models «s'estanquessin o retrocedissin en els avenços que ja havien fet».
La troballa és rellevant perquè posa a prova, amb un mètode verificable, una qüestió que preocupa des de fa temps a la recerca en IA: si aquests sistemes són capaços d'aprendre coses noves sobre la marxa, o si el que sembla intel·ligència és sobretot record disfressat. Que l'exploració prolongada pugui empitjorar el resultat, en lloc de millorar-lo, suggereix que els models actuals encara no gestionen bé la incertesa quan no tenen cap drecera apresa a la qual recórrer.
Es tracta d'un preprint encara sense revisió per parells, amb entorns sintètics dissenyats expressament per al banc de proves i no pas problemes del món real, de manera que els resultats no es poden traslladar directament a tasques pràctiques. Els autors tampoc precisen quins són els deu sistemes concrets avaluats més enllà de l'anàlisi agregada, ni si el patró es mantindria amb models entrenats específicament per no dependre tant de la memorització.