Per adaptar un model de llenguatge general a una feina concreta, com escriure codi o respondre preguntes mèdiques, se l'ha de tornar a entrenar amb exemples d'aquell àmbit, un procés que s'anomena ajust fi (*fine-tuning*). Com més dades, més hores de càlcul i més despesa en targetes gràfiques. Però moltes d'aquestes dades són redundants: ensenyen al model el mateix amb paraules diferents. Un equip de l'Escola d'Informàtica del KAIST, l'institut de ciència i tecnologia de Corea del Sud, amb la participació de la Universitat de Toronto, proposa una manera de triar-les millor.
El mètode, que han batejat CluSTER, primer analitza com influeix cada exemple en l'aprenentatge del model i agrupa els que tenen un efecte semblant, encara que parlin de coses diferents: dos problemes amb contextos diferents que ensenyen la mateixa habilitat van al mateix grup. Després en tria una mostra variada de cada grup i la reparteix entre les diverses targetes gràfiques de manera equilibrada, perquè cadascuna rebi una barreja diversa i es repeteixin menys càlculs. Els investigadors l'han provat amb models de 7.000 i 13.000 milions de paràmetres, tres conjunts de dades de programació i de medicina i vuit proves de rendiment. Amb aproximadament el 31% de les dades, els models van obtenir un rendiment gairebé igual que si s'haguessin entrenat amb totes, i el temps d'entrenament es va reduir fins a un 69,6%: una sessió de deu hores va passar a unes tres.
El treball es va presentar a l'octubre a l'EMNLP 2026, un dels principals congressos del món sobre processament del llenguatge natural, amb revisió per parells. La rellevància és pràctica: l'ajust fi és el pas que fan moltes empreses, hospitals i centres de recerca per tenir un model especialitzat, i retallar-ne el temps i el consum de càlcul el fa més assequible per a qui no té grans centres de dades. «No n'hi ha prou de fer servir més targetes gràfiques, també cal triar de manera intel·ligent quines dades es fan servir per aprendre», va dir el professor Jae-Gil Lee, autor principal del treball.
Els resultats tenen límits. El rendiment és «gairebé» igual, no idèntic, al de l'entrenament amb totes les dades, i els experiments principals es van fer amb quatre targetes gràfiques, amb només una prova més amb vuit. Només s'han provat dues mides de model i dos àmbits, programació i medicina, i la nota del KAIST no explica quant temps costa el pas previ d'analitzar i agrupar les dades, que caldria descomptar de l'estalvi. Que funcioni igual amb models més grans o en altres camps encara s'ha de demostrar.