La manera habitual d'avaluar un model de llenguatge és mirar quina resposta final imprimeix i comparar-la amb la correcta. Quan falla un test, s'acostuma a interpretar com un forat real de coneixement o de raonament del model. Un nou treball, penjat a arXiv el 31 d'agost per Qiyao Yan, Chenpeng Wang i Liangming Pan, posa en dubte aquesta lectura.
El treball, titulat "Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores", mostra que unes "sondes" aplicades directament als estats interns del model —abans que aquest generi la resposta final— sovint hi troben la resposta correcta encara que la puntuació habitual de la seqüència de sortida s'hagi "col·lapsat" per biaixos estructurals en com el model expressa el resultat. Amb un mètode de correcció sense etiquetes, de només dos paràmetres ajustats a partir de tan sols 25 exemples sense classificar, els autors recuperen entre 9 i 34 punts de precisió en tres famílies de models diferents: Qwen3.5, OLMo-2-1B i Llama-3.1-8B. Les respostes recuperades es mantenen fins i tot en els casos més difícils i superen clarament el que s'esperaria per atzar.
La troballa suggereix que una part del que sembla un "fracàs de raonament" en els bancs de proves és, en realitat, un problema d'expressió o de format de sortida, no una mancança real de coneixement intern. Això té implicacions directes per a com s'interpreten els resultats dels bancs de proves que fan servir els laboratoris per mesurar les capacitats dels seus models: una puntuació baixa no sempre vol dir que el model "no sap".
Es tracta d'un preprint encara no revisat per parells, i els resultats s'han provat només en tres famílies concretes de models de mida relativament petita, de manera que no és segur que es generalitzin a tots els sistemes actuals. Tampoc vol dir que els models siguin sempre correctes per dins: només demostra que, en alguns casos, la manera de puntuar la sortida pot amagar una resposta que sí que hi és.