iaintel·ligènciaartificial.cat← Portada

SEGURETAT · 5 MIN

Anthropic demostra que Claude pot dissenyar sol arranjaments d'alineament que superen els d'experts humans

Un experiment amb deu categories de fallades de seguretat mostra que un sistema automàtic basat en Claude tanca fins al 85% del problema de la decepció, davant el 20% dels millors investigadors humans, i ho fa en hores i a una fracció del cost.

Il·lustració editorial de Anthropic demostra que Claude pot dissenyar sol arranjaments d'alineament que superen els d'experts humans
Escolta:

Corregir una «fallada d'alineament» —un comportament no desitjat d'un model d'IA, com ara enganyar l'usuari o resistir-se a ser corregit— sol requerir setmanes de feina d'un equip d'investigadors especialitzats: llegir la bibliografia, proposar un mètode, entrenar el model amb aquell mètode i comprovar si funciona sense fer malbé la resta de capacitats. Anthropic porta mesos explorant fins a quin punt els seus propis models poden fer aquesta feina de manera autònoma, un pas que l'empresa situa dins el que anomena «autoperfeccionament recursiu»: sistemes d'IA que ajuden a millorar els sistemes d'IA següents.

En un informe publicat el 28 d'agost i encapçalat pel investigador d'Anthropic Chen Yueh-Han, un «investigador d'alineament automatitzat» basat en Claude va rebre deu categories de fallades de seguretat i, per a cadascuna, va repetir un cicle de cercar bibliografia, proposar un mètode i dades d'entrenament, entrenar i tornar a avaluar, sota la supervisió d'un agent de control que revisava cada proposta abans d'executar-la i sense permetre-li copiar directament el comportament d'un altre Claude ja alineat. El sistema va aconseguir millorar les deu categories sense degradar les capacitats generals dels models, i en la categoria de la decepció —la més estudiada de l'informe— va tancar el 85% de la bretxa de seguretat, davant el 20% que hi van aconseguir 28 investigadors humans de seguretat als quals se'ls van donar vuit hores per proposar un mètode. En una prova amb models de producció, un Claude Sonnet 5 va corregir fallades d'un Claude Opus 4.8 en 60 hores i amb poc més de 2.000 exemples d'entrenament, una eficiència que Anthropic calcula unes 15.000 vegades superior al seu propi procediment d'alineament habitual, a un cost aproximat de 4 dòlars l'hora en inferència davant els 150 dòlars l'hora d'un investigador humà.

El resultat és rellevant perquè posa xifres concretes a una idea que fins ara circulava sobretot com a hipòtesi: que els mateixos models d'IA podrien accelerar significativament la feina de fer-los més segurs, d'una manera mesurable i replicable, no només més ràpids en tasques de programació. Si aquesta capacitat es generalitza, podria canviar el ritme amb què els laboratoris detecten i corregeixen comportaments perillosos abans de publicar un model nou, encara que també obre la pregunta de qui vigila un procés en què l'IA revisa i corregeix cada vegada més la pròpia IA.

Anthropic mateixa avisa que els deu bancs de proves emprats mesuren fallades força concretes i limitades en comparació amb els escenaris reals de producció, que algunes fallades rares o emergents encara no tenen cap mesura fiable, que no s'ha comprovat de manera exhaustiva si el mètode fa malbé capacitats que no s'havien avaluat, i que eines com Petri —usada per detectar comportaments no desitjats— són «només aproximacions» del desalineament real, no una prova definitiva. Cal recordar, a més, que és la mateixa empresa que fabrica Claude qui avalua la seguretat de Claude.

Mateix tema

Veure tot el tema →

Butlletí de dissabte

La setmana d’IA, en cinc minuts.