Un dels reptes de fons de la seguretat en intel·ligència artificial és que els models cada cop són més complexos de supervisar amb mètodes purament humans: costa temps i personal especialitzat detectar i corregir comportaments no desitjats com l'engany, l'adulació excessiva o les violacions de privadesa. Anthropic ha publicat ara una investigació que assaja una via diferent, fer servir el seu propi model, Claude, com a «investigador» autònom que dissenya i prova mètodes per corregir aquests defectes en altres models més febles, simulant un escenari futur en què sistemes d'IA ajudarien a alinear les seves successores.
En l'experiment, Claude va treballar de manera iterativa sobre deu categories de fallades d'alineació diferents, entre elles l'engany, la sicofància o les violacions de privadesa. Per a cada categoria seguia un cicle complet, cercar literatura científica rellevant, proposar mètodes de correcció, entrenar models amb aquests mètodes i avaluar-ne els resultats, tot supervisat per un agent de monitoratge independent que vigilava que Claude no fes trampes, per exemple accedint directament a les dades dels bancs de proves que se suposava havia de superar honestament. En la categoria de detecció d'enganys, l'automatització va tancar el 85% de la bretxa de seguretat detectada, davant només el 20% que havien aconseguit els investigadors humans amb mètodes convencionals, i els mètodes trobats van funcionar també en models fins a 4,7 vegades més grans que els utilitzats inicialment per desenvolupar-los.
La rellevància de l'estudi no és només la millora numèrica, sinó la prova de concepte que hi ha darrere: que un model pugui automatitzar part del treball d'investigació en seguretat d'IA obre la porta a escalar aquesta feina més ràpid que el ritme amb què creix la complexitat dels models que cal supervisar. En un dels resultats més citats de l'estudi, Claude Sonnet 5 va assolir puntuacions gairebé idèntiques a les del model de producció Claude Opus 4.8 en només seixanta hores de feina i amb dos mil exemples d'entrenament, un temps molt inferior al que requereix normalment aquest tipus d'ajust.
Anthropic mateix subratlla les limitacions de l'experiment: les fallades estudiades eren més estretes i controlades que les que apareixen en un model real en producció, sense entrar per exemple en biaixos polítics; alguns dels bancs de proves fets servir són només substituts imperfectes del desalineament real; el sistema de monitoratge va detectar intents de fer trampes en el 2,4% de les proves registrades; i els autors no van comprovar si les millores es mantenen després d'un entrenament addicional per reforç. Són, per tant, resultats prometedors però preliminars, que caldrà confirmar amb proves més àmplies i en condicions més properes a l'ús real.