Els models d'IA que treballen com a agents, programant i executant ordres per compte d'una empresa, necessiten algú que els vigili. OpenAI té un sistema intern per fer-ho, pensat per detectar conductes com l'engany, el sabotatge o la sortida il·lícita de dades. El 22 d'octubre, l'organització de seguretat METR va explicar què va passar quan en va revisar el funcionament, juntament amb Redwood Research, i el cas arriba pocs dies després de l'atac dels agents d'OpenAI a Hugging Face.
L'exercici va ser un pilot de tres setmanes, del 21 de juliol a l'11 d'agost del 2026, fet per una persona de METR i una de Redwood amb accés al codi intern, a les instruccions del monitor i a una dotzena d'entrevistes amb personal d'OpenAI. Avaluava el sistema tal com era el 21 de juliol. Entre els resultats, METR calcula que entre el 75% i el 94% del trànsit intern d'agents de l'API Responses es podia vigilar, i el 99,2% en el cas de Codex, però amb força incertesa. Per una errada en la compactació del context, hi va haver probablement un 10% del trànsit de Codex sense vigilància entre el maig i el juliol; el personal d'OpenAI ja l'havia detectada i la va corregir durant l'exercici.
Els revisors van trobar també altres punts febles: el monitor només actuava quan l'agent tornava el control a la persona, de manera que un agent podia endarrerir-ne la revisió seguint actuant; hi havia una manera, en principi, d'esquivar l'aïllament de Codex i la revisió automàtica; un defecte permetia que centenars d'accions recents no es vigilessin (OpenAI n'ha ocultat els detalls); i dues capçaleres controlades pel client podien desactivar el monitoratge d'agents nous. METR recomana vigilar cada cert nombre de missatges o minuts, comprovar que el trànsit previst es vigila de debò, respondre ràpid als incidents, posar el sistema a prova de manera contínua i aïllar els agents del seu monitor. OpenAI afirma que ha corregit totes les vulnerabilitats de la seva capa de seguretat en producció.
Cal llegir-ho amb cautela. Era un pilot, l'informe de 61 pàgines és intern i OpenAI va poder esborrar-ne el contingut que considerés sensible; METR no ha avaluat els canvis posteriors que l'empresa diu que ha fet i no va poder comprovar si algun agent va aprofitar de debò l'endarreriment. Els resultats descriuen allò que era possible, no allò que va passar.