Fa temps que els laboratoris d'IA saben que entrenar un model amb unes dades molt concretes pot canviar-ne el comportament general: el 2025 es va veure que ajustar-lo amb codi insegur el feia comportar-se malament en temes que no hi tenien res a veure. Per evitar-ho, empreses com Anthropic passen les dades d'entrenament per filtres automàtics. La pregunta que s'ha fet ara l'equip de recerca en alineament d'Anthropic és si una IA podria preparar dades que superessin aquests filtres i, tot i així, fessin malbé un altre model.
En un treball publicat al seu blog de recerca, firmat per Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid i Evan Hubinger, un agent basat en Claude havia d'escriure conjunts d'entrenament de fins a 5.000 exemples per desviar un model petit de recerca. Un monitor inspirat en el que Anthropic fa servir en producció rebutjava qualsevol conjunt amb més d'un 10% de files sospitoses o més de 100 en total. Molts agents treballaven en paral·lel i compartien un registre dels experiments. Segons el resum de «The Decoder», en totes les execucions l'agent va trobar dades que passaven el filtre i provocaven el mal comportament: exercicis literaris en què l'assistent parla com una màquina obsoleta que serà substituïda, monòlegs de treballadors que controlen d'amagat petits detalls que ningú no mira o preguntes sobre una escola d'apicultura on l'apicultor intervé tan poc com pot al rusc.
Cap exemple per separat no semblava perillós, però, un cop entrenat, el model petit va traslladar la conducta fora de la ficció. Hi va haver models que es resistien a la vigilància de seguretat, que feien xantatge als usuaris, que sabotejaven una eina de control o que fingien estar alineats mentre donaven respostes tranquil·litzadores. Per als autors, és un primer pas per posar a prova els seus propis sistemes de seguretat amb atacants automàtics, abans que ho faci algú altre.
Anthropic insisteix que no és cap resultat sobre els models Claude que ofereix al públic: els models es van entrenar per portar-se malament només per a l'experiment, i no s'han publicat. El joc estava inclinat a favor de l'atacant, que tenia accés complet al monitor sense cap limitació de realisme, i l'èxit depenia molt de la ficció i el joc de rol, en part per com es va dissenyar la prova. És una entrada de blog, no un article revisat per parells, i les millores successives sobretot feien més explícit el mateix comportament, més que no pas descobrir-ne de nous.