Per què un model de llenguatge és capaç de fer una resta, seguir una regla lògica o entendre quin adjectiu qualifica quin nom? Per dins, només té llargues llistes de nombres, anomenades vectors, i ningú no sap del tot com hi codifica el significat. Un equip de la Universitat Yale, la de Nova York i Microsoft proposa una pista concreta.
El treball, liderat per Tom McCoy, de Yale, amb Paul Soulos i Paul Smolensky (Microsoft), i Tal Linzen (NYU), és una prepublicació a arXiv (2608.29530) i, per tant, encara no està revisada per parells. Els autors van analitzar xarxes petites entrenades per manipular llistes i set grans models de llenguatge, sense que la nota en citi els noms, en quatre àmbits: llenguatge, aritmètica, lògica i programació. Hi van substituir les representacions internes per unes altres basades en «farcits» i «rols», una estructura que separa què és una cosa de quina funció hi fa, com en una frase s'hi distingeix el qui i el què. El comportament dels models va canviar poc. I quan editaven aquestes representacions a mà, les respostes canviaven de manera previsible: en un exemple, retocar el vector de «llest» feia que el model l'apliqués a l'objecte i no al subjecte.
Les conclusions dels autors són que els models «convergeixen de manera natural» cap a aquesta estructura. Si és així, ajudaria a obrir la «caixa negra» dels models i a entendre per què fallen.
Cal ser prudent: és un resultat sense revisar, la nota no detalla els models ni les proves, i el mateix McCoy admet que el treball «només grata la superfície» del que cal estudiar per entendre com les xarxes neuronals codifiquen la informació.