Una de les preguntes obertes sobre els grans models de llenguatge és si aprendre de més i més dades els acaba fent aprendre com ho fa una persona, o si simplement els fa millors a base de força bruta estadística. Comparar directament el ritme d'aprenentatge d'un infant amb el d'un model entrenat amb text és una manera de posar-hi llum.
Michael C. Frank, professor de Biologia Humana a la Universitat de Stanford i especialista en adquisició infantil del llenguatge -creador de Wordbank, el repositori obert de dades de vocabulari infantil que fan servir investigadors de tot el món-, ha penjat el 17 d'agost a arXiv un article que compara com creix el vocabulari dels infants amb el ritme d'aprenentatge de models de llenguatge entrenats amb parla adreçada a criatures. La troballa central és que els infants mostren «rendiments accelerats»: cada nova paraula o exposició lingüística els aporta, de mitjana, més aprenentatge que l'anterior, un efecte bola de neu. Els models de llenguatge, en canvi, mantenen un rendiment proporcional constant a mesura que reben més dades d'entrenament, coherent amb les lleis d'escala ja conegudes del sector, sense mostrar aquesta acceleració.
La troballa és rellevant perquè apunta a un límit conceptual, no només de volum de dades: els models actuals tenen accés a molt més text del que sentirà mai cap infant, i tot i així no reprodueixen la corba d'aprenentatge accelerat que sí que mostren els humans. Això suggereix que la infància fa servir algun mecanisme d'aprenentatge -potser vinculat a com els infants relacionen cada paraula nova amb les que ja saben, o a com interactuen amb el món que els envolta- que anar afegint més dades a un model no reprodueix per si sol, i que caldrà buscar en la manera d'aprendre, no només en la quantitat.
Es tracta d'un únic estudi, centrat en la comparació de patrons de creixement de vocabulari i no en un mecanisme causal demostrat, i l'article -disponible de moment com a preprint sense revisió per parells completa- no proposa encara una solució tècnica concreta perquè els models d'IA aprenguin de manera més semblant als infants. Caldrà veure si l'efecte es replica amb altres bases de dades de parla infantil i amb arquitectures de model diferents de les provades.