Quan un model de llenguatge respon bé una pregunta sobre les emocions o les intencions d'una persona, d'on ho ha après? Amb els models comercials és impossible saber-ho, perquè les empreses no publiquen amb quins textos els entrenen. Un equip del Georgia Institute of Technology, amb Glenn Matlin com a primer autor i Mark Riedl com a director, i amb la participació d'Stella Biderman, d'EleutherAI, ho ha estudiat en OLMo 3, un model obert de l'Allen Institute amb 7.000 milions de paràmetres i un corpus d'entrenament públic de més de mil milions de documents. L'article s'ha publicat com a comunicació del congrés COLM 2026 (Conference on Language Modeling), que té revisió per parells.
El mètode calcula quant influeix cada document en una resposta, però com que el senyal d'un sol document té massa soroll, els autors l'agrupen en 576 categories, combinacions de format (diàleg, manual, preguntes freqüents…) i de tema. Després comparen proves de raonament social, com SocialIQA, amb proves de ciències i tecnologia, com ARC-Challenge, i també preguntes de coneixement de ciències socials i de ciències. El resultat és que el raonament social i el científic beuen de zones del corpus clarament diferents, i que la diferència és més gran quan cal raonar que quan només cal recordar dades. Segons explica Matlin, els models aprenen millor el raonament social del diàleg entre persones, com les preguntes freqüents o les converses d'atenció al client, que no dels llibres de text sobre emocions.
Per comprovar que no és una simple correlació, l'equip va fer «oblidar» al model els temes que més pesaven, una tècnica anomenada desaprenentatge. Esborrar, per exemple, la literatura va perjudicar més la prova social que esborrar temes triats a l'atzar. És una prova parcial de causa i efecte. La importància és pràctica: si es pot saber de quins textos ve una capacitat, també es pot auditar d'on surten els consells que dona una IA sobre salut o diners, i corregir el corpus quan falla.
El treball té límits clars. Només analitza un model, petit i obert; amb ChatGPT o Claude no es pot fer perquè no se'n coneixen les dades. L'atribució d'influència és aproximada i els mateixos autors la qualifiquen de sorollosa a escala de document, i la prova causal, com reconeixen, només és parcial. El codi i els resultats agregats són públics perquè altres equips ho puguin comprovar.