Entendre com un model de llenguatge arriba a una resposta concreta —si fa servir de debò el que sap o simplement l'associació estadística més probable— és un dels problemes oberts més rellevants de la interpretabilitat en IA, un camp que busca obrir la «caixa negra» dels grans models.
Els investigadors Wenkang Wei, Yuan Fang, Renhe Jiang, Hong Cheng i Xingtong Yu, en un article penjat el 10 de setembre a arXiv, «From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge», intervenen capa per capa l'estat intern de tres famílies de models —Qwen, Llama i Gemma— mentre responen preguntes sobre relacions entre països i continents, amb respostes de tipus divers (noms, adjectius, codi). L'equip identifica el que anomena «direccions de petició»: senyals interns que marquen quina informació concreta de la pregunta el model encara necessita consultar en cada capa. Els resultats mostren que les primeres capes es dediquen sobretot a entendre què es demana, i les capes finals a recuperar i fer servir el coneixement emmagatzemat, però el moment exacte d'aquest canvi varia molt entre models: a Gemma les dues fases se superposen, mentre que a Llama no hi ha una finestra clara dedicada només a «entendre» la pregunta.
És un resultat tècnic amb mètode i avaluació —no un anunci— que aporta una peça concreta al mapa de com «pensen» per dins els models de llenguatge, un coneixement que pot ajudar a explicar per què models amb la mateixa mida es comporten de manera diferent davant la mateixa pregunta.
L'estudi es limita a preguntes sobre relacions geogràfiques senzilles (país-continent) i a tres famílies de models concrets, de manera que no és evident que les mateixes «direccions de petició» expliquin com els models gestionen preguntes més complexes o d'altres dominis; és, a més, un preprint encara no revisat per parells.