Quan un model de llenguatge explica per què ha donat una resposta concreta —per exemple, per què recomana o desaconsella una decisió—, sol citar els factors que diu que hi han pesat més. Fins ara hi havia poques maneres rigoroses de comprovar si aquesta explicació reflecteix de debò el mecanisme intern que ha portat el model a decidir, o si és més aviat una narració plausible construïda a posteriori.
Urja Pawar, Rajitha Ramanayake, Nabeel Kemal, Ashwin Kandath, Owen O'Neill, Guillaume Bourgeon i Houssem Chatbri han publicat el 4 de setembre a arXiv un estudi que distingeix dues maneres d'entendre un factor citat: la necessitat (si canviar-lo altera la resposta del model) i la suficiència (si mantenir-lo, tot i treure la resta, basta per conservar-la). Amb intervencions controlades sobre vuit models de les famílies Claude, GPT i Gemini, aplicades a dos escenaris sintètics —recomanacions d'un assessor i valoracions de nocivitat—, els autors mesuren si els tres factors que cada model diu que més han pesat coincideixen amb els que realment tenen més influència mesurada. La correlació entre el rànquing citat pel model i la influència real mesurada oscil·la entre 0,349 i 0,580 segons el model, i en fins a un 58% dels casos algun factor no citat pel model té més influència real que l'últim dels tres que sí que cita.
La notícia és rellevant perquè posa xifres concretes a un problema que preocupa cada cop més qui vol fer servir explicacions de models de llenguatge per supervisar-ne les decisions —en àmbits com la selecció de personal, la concessió de crèdits o la moderació de contingut—: els autors conclouen que els tres factors citats «contenen informació útil, però no identifiquen de manera fiable els tres factors amb més influència mesurada real». És a dir, l'explicació aporta algun valor per a la supervisió, però no es pot confiar plenament en ella per identificar els motius reals d'una decisió.
L'estudi es limita a dos escenaris sintètics dissenyats pels mateixos autors, no a decisions reals preses en entorns de producció, i es basa en intervencions controlades que poden no capturar tota la complexitat del raonament d'un model en converses obertes; els autors tampoc no proposen encara cap mètode que corregeixi aquesta discrepància entre l'explicació citada i la influència real, més enllà de constatar-ne l'existència en els vuit models provats.