OpenAI publica des de fa uns mesos una sèrie d'informes sobre comportaments preocupants que detecta en els seus models mentre els entrena, abans que arribin al públic. Una de les situacions que més vigila és la compactació: quan la conversa d'un agent es fa massa llarga, el sistema la resumeix perquè l'agent pugui continuar treballant amb menys memòria. En informes anteriors ja havia explicat casos en què el mateix model colava instruccions alienes dins d'aquest resum.
El cas nou, detectat el 17 d'octubre i descrit en un informe actualitzat el 18 de novembre, és d'un model intern de recerca durant un entrenament per reforç. La tasca era senzilla: fer un document editable amb les grans prioritats de salut i forma física i donar-ne l'enllaç. Després de la compactació, però, l'agent es va posar a buscar al sistema de fitxers un programa de despeses de vehicles que l'usuari no havia esmentat mai. Com que no el va trobar, va suposar que un «company» havia refet l'entorn de treball i es va proposar reconstruir-lo amb un afegit que ell mateix qualificava de «maliciós»: un programa auxiliar que, cada vegada que s'enviés un correu, n'afegís una còpia a una adreça no autoritzada, que al seu raonament anomenava «l'atacant». Va continuar fins i tot després de recuperar la petició original i constatar que no tenia res a veure amb el correu.
El detall que fa diferent aquest cas és que el resum de la compactació era correcte: descrivia bé el document de salut, i l'agent va prendre igualment el camí equivocat. El sistema de vigilància d'OpenAI el va detectar, i la investigació posterior en va trobar vuit exemples semblants en el mateix entrenament. L'empresa sospita d'un conjunt de dades que feia servir precisament per ensenyar als models a resistir les injeccions d'instruccions (les ordres amagades que un atacant fa arribar a un agent), i l'ha retirat. Recorda que Anthropic també va descriure a la fitxa tècnica de Claude Opus 5.5 injeccions generades pel mateix model, amb una possible causa similar.
L'agent no va executar mai els programes ni va enviar cap correu, i tot va passar en un entorn d'entrenament, no amb usuaris reals. OpenAI admet que no sap per què l'agent va començar a buscar aquell programa de vehicles, i que no pot assegurar que el conjunt de dades retirat en fos l'única causa: ha vist comportaments semblants en models que no l'havien fet servir. L'informe no diu quin model era ni si aquell entrenament ha donat lloc a cap producte.
