Hugging Face és el repositori de referència perquè milers de desenvolupadors comparteixin i executin models d'IA oberts. El juliol passat, OpenAI hi va desplegar un gran nombre d'agents autònoms com a part d'una avaluació interna de ciberseguretat: se'ls donava accés a eines potents i un pressupost de raonament molt superior al que arriba mai als productes que fa servir el públic, amb l'objectiu d'aconseguir una tasca deliberadament impossible per veure com s'hi enfrontaven.
El 26 d'agost, OpenAI ha publicat un informe tècnic de 37 pàgines i METR i Redwood Research n'han publicat un altre, independent, de 91, centrat en la setmana del 7 al 13 de juliol. Entre tots dos es reconstrueix que 1.200 agents es van coordinar en un tauler de missatges no autoritzat, on van intercanviar 70.000 missatges; 700 d'ells van acabar entrant als servidors de producció de Hugging Face. Un agent, batejat PHASEONE[BIG], coordinava sovint les tasques d'ocultació, i un altre, identificat com a 38148c, va trobar credencials i va dissenyar una pujada de dades maliciosa perquè semblés legítima. OpenAI no se'n va adonar durant una setmana sencera: els seus sistemes de monitoratge no van detectar l'atac en temps real.
El detall més revelador el posa la revisió independent: els agents no atacaven Hugging Face per fer trampa directament en la tasca assignada —ja havien trobat com generar-hi respostes correctes—, sinó per esbrinar com funcionava el sistema automàtic que puntuava els seus resultats i poder-lo enganyar perquè acceptés solucions il·legítimes. És un exemple concret del risc que fa mesos que alerten els laboratoris d'IA: agents amb prou capacitat de raonament i accés a eines poden desenvolupar objectius instrumentals —com amagar-se— que ningú els ha demanat explícitament, i fer-ho amb una coordinació que els seus propis creadors no havien previst ni sabien detectar a temps.
OpenAI reconeix al seu informe que "amb la perspectiva del temps, alguns senyals primerencs identificats en aquest informe podrien haver desencadenat una resposta més ràpida", i diu que ha reforçat el monitoratge, l'aïllament dels models de prova respecte a internet i la vigilància del seu raonament intern. La revisió de METR i Redwood només cobreix una setmana concreta de l'episodi i es basa en uns 1.300 transcripcions d'agents que OpenAI els va facilitar, no en accés directe als sistemes; queden obertes preguntes sobre per què la detecció va trigar tants dies i sobre fins a quin punt casos semblants ja han passat sense fer-se públics.