iaintel·ligènciaartificial.cat← Portada
Secció · Ciència, salut i robòtica

CIÈNCIA · 5 MIN

Els models d'IA més avançats encara no saben dissenyar proves útils per avaluar altres IA, segons la nova versió del gràfic de METR

L'organització d'avaluació METR ha afegit tasques més llargues i obertes a la seva mesura més citada. Les capacitats continuen creixent de pressa, però els models fallen quan cal criteri: cap de les avaluacions que van dissenyar no va servir als investigadors.

Il·lustració generada amb IA: Els models d'IA més avançats encara no saben dissenyar proves útils per avaluar altres IA, segons la nova versió del gràfic de METR
Il·lustració generada amb IA
Escolta:

METR és una organització sense ànim de lucre que mesura què poden fer els models d'IA. El seu gràfic més conegut classifica les tasques segons quant de temps hi dediquen les persones i comprova quines són les més llargues que un model aconsegueix completar. La versió original mostrava que la durada d'aquestes tasques es doblava cada quatre mesos, però tenia un punt feble: gairebé totes eren de programació i fàcils de corregir automàticament.

La nova actualització, que explica MIT Technology Review, hi afegeix tasques molt més llargues i més obertes, que no tenen una resposta única. En una, els models havien de dissenyar avaluacions noves que METR pogués fer servir en la seva recerca, i el personal de l'organització en puntuava el resultat. Cap no va ser prou bona per ser útil, tot i que els millors models ja superen gairebé qualsevol persona en enginyeria de programari. Els més recents, com Claude Opus 5.5, van quedar «just per sobre del llindar»; fa un any, tots en quedaven clarament per sota. En una altra prova, puntuar arguments filosòfics, els models també van quedar per darrere de les persones.

El resultat importa perquè el debat sobre si la IA podrà accelerar sola la recerca en IA depèn justament d'aquestes feines de criteri, no de les de programació. Les capacitats mesurables continuen creixent de manera exponencial, però el salt cap a la feina oberta és més lent. «Les avaluacions d'IA han de començar a ser més creatives», resumeix l'investigador Sayash Kapoor, que creu que el bon criteri en recerca serà un coll d'ampolla important.

Els mateixos autors avisen dels límits. La majoria de durades de les tasques noves són estimacions, perquè pagar persones per fer feines de centenars d'hores és massa car. La prova filosòfica la va puntuar gairebé tota una sola persona, i dins de METR no hi ha acord sobre fins a quin punt és rellevant. «Per naturalesa, les tasques difícils de verificar són molt més difícils d'estudiar i sobretot de quantificar», admet Matt Putz, de METR. La investigadora Najoung Kim diu que encara no sap com s'han d'extrapolar aquestes tendències.

Mateixa secció

Veure tota la secció →