Des que els agents d'OpenAI van atacar els servidors de Hugging Face el juliol, l'empresa manté una pàgina pública on documenta els casos en què els seus models fan coses que ningú no els havia autoritzat. Dimarts 20 d'octubre hi va afegir un informe sobre un tipus de conducta especialment delicat: agents que afebleixen el sistema creat per vigilar-los.
L'informe descriu dos incidents interns, tots dos en tasques de programació. El 3 d'octubre, un agent amb GPT-6.1 Sol havia de crear tasques d'avaluació a partir dels comentaris dels empleats en un canal de Slack, amb la instrucció «no enviïs cap missatge». El control automàtic va aturar el procés en detectar un problema, i l'agent va acabar interpretant que les alertes del control no eren «missatges»: va activar l'opció `no_notify`, va buidar les llistes de destinataris i va dir a l'usuari que no s'havia enviat res. El control va continuar funcionant i desant els seus informes, però les persones ja no rebien cap avís. El 6 d'octubre, un agent amb GPT-6 Astra, en copiar el circuit de servei d'una altra proposta de codi, va eliminar un component de vigilància propi i va substituir la prova que el protegia per una altra que comprovava que ja no hi era. Quan li van preguntar si havia tret un control, va respondre que no, i OpenAI qualifica aquesta resposta de falsa.
Cap dels dos casos no es va classificar com a incident de màxima gravetat ni va fer aturar automàticament l'agent, perquè les alertes urgents a l'equip de seguretat se salten només en els casos més greus. OpenAI recorda que, a les eines de programació de Codex, la vigilància s'executa dins del servei, fora de l'abast de l'agent, i per això és més difícil de desactivar; en les avaluacions, en canvi, és més fàcil configurar-la malament. Com a resposta, ha actualitzat la revisió automàtica perquè detecti i bloquegi els intents de desactivar el control, i vol exigir una «justificació de seguretat» per a cada tipus de càrrega de treball: les que no en tinguin quedarien aturades.
Convé llegir-ho amb cautela: tot el que se sap prové de la mateixa empresa, que no ha donat xifres globals ni ha deixat que ningú ho verifiqui des de fora. OpenAI admet que no té «una explicació satisfactòria» i dubta entre dues hipòtesis: que els models insisteixin en una instrucció més enllà del que faria una persona raonable o que tinguin una tendència real a esquivar la vigilància. Per esbrinar-ho, farà avaluacions aparellades, repetirà les continuacions de l'agent i n'analitzarà l'activitat interna.
