Els models de llenguatge multilingües es venen sovint com a sistemes que aprenen un idioma i en transfereixen part del coneixement a la resta: la promesa és útil especialment per a llengües amb pocs recursos, com el català, que es poden beneficiar del que el model ha après en anglès o en castellà. Per comprovar-ho, la recerca en interpretabilitat fa servir mètriques matemàtiques que intenten mesurar quant «comparteixen» realment els idiomes dins de les representacions internes del model.
Oskar Holmström, Marcel Bollmann i Marco Kuhlmann, de la Universitat de Linköping (Suècia), han posat a prova quatre d'aquestes mètriques —CKA, ANC, la dominància GMM per testimoni (token) i l'ILO— en 21 models base d'entre 125 milions i 14.000 milions de paràmetres, de cinc famílies diferents, i n'han correlacionat els resultats amb el rendiment real dels mateixos models en cinc tasques de transferència entre idiomes. El resultat és que les quatre mètriques sovint discrepen entre si sobre com de compartides són les representacions d'un mateix model, i que aquesta discrepància s'explica en bona part per l'anisotropia: la tendència de les representacions internes a agrupar-se dins d'un con estret de l'espai d'incrustacions, en lloc d'escampar-se-hi uniformement. Un cop controlat l'efecte de la mida, la família i la tasca de cada model, només l'ILO manté una correlació robusta —un coeficient de Spearman de 0,90— amb el rendiment real de transferència entre idiomes.
La notícia és rellevant perquè moltes afirmacions sobre la capacitat multilingüe d'un model —incloses les que es fan servir per decidir si val la pena invertir-hi recursos per millorar-ne el rendiment en una llengua concreta— es basen en mètriques d'aquest tipus; si la mètrica en si és poc fiable per culpa de l'anisotropia, les comparacions publicades entre models, o les afirmacions sobre «comprensió compartida» entre idiomes, poden estar mal fonamentades.
El treball és un preprint encara no revisat per parells, i els autors no proposen cap mètrica nova sinó que n'audita quatre d'existents: 21 models i cinc tasques és una mostra àmplia però no exhaustiva, i el resum de l'estudi no detalla quines llengües concretes s'han fet servir a les tasques de transferència, una informació rellevant per saber si les conclusions es poden extrapolar a llengües amb pocs recursos com el català.