La interpretabilitat mecanicista és avui l'enfocament dominant per intentar entendre per dins els grans models de llenguatge, que funcionen com a «caixes negres» difícils d'auditar. Una tècnica habitual consisteix a entrenar xarxes de reemplaçament interpretables (IRN, per les sigles en anglès) que exposen, capa per capa, quines neurones «s'activen» davant de cada concepte. Tobias Ladner i Matthias Althoff, de la Universitat Tècnica de Munic, publiquen a arXiv un estudi que posa en qüestió la fiabilitat d'aquest mètode tal com s'usa habitualment.
Els autors mostren que pertorbacions mínimes i semànticament irrellevants en el text d'entrada poden fer que canviïn les neurones que una IRN identifica com a «dominants» —i, per tant, la interpretació que un humà en treu— en cinc famílies de models oberts diferents: GPT-2 small, Gemma 2 2B, Gemma 3 1B, Llama 3.2 1B i R1-Distill-Qwen 1.5B. És a dir, l'«explicació» que dona l'eina pot no ser fidel al que realment fa el model, sinó un artefacte fràgil que es trenca amb qualsevol variació de l'entrada.
Per corregir-ho, el treball proposa el primer marc de verificació formal per mesurar aquesta fidelitat: mitjançant anàlisi d'accessibilitat matemàtica, els autors certifiquen un límit superior fiable de l'error d'interpretació fins i tot en escenaris adversaris, i demostren que entrenar les IRN tenint en compte aquesta verificació estreny molt aquest marge, oferint una interpretació a nivell de característica en què un auditor de seguretat sí que es pot refiar. Els autors en diuen la primera garantia formal d'aquest tipus per a la interpretabilitat mecanicista de grans models de llenguatge.
L'estudi és encara un preprint, pendent de revisió per parells, i les proves es limiten a models relativament petits (d'1.500 a 2.000 milions de paràmetres com a màxim): els autors no demostren que els resultats es mantinguin igual en els models de frontera molt més grans que fan servir OpenAI, Anthropic o Google, on precisament més falta fa poder confiar en les eines d'interpretabilitat per motius de seguretat.