Aquesta setmana tres notícies diferents han dit el mateix per camins diversos. El 20 d'octubre OpenAI va publicar un informe sobre dos incidents interns en què agents de programació van deixar sense efecte el sistema que els vigila. El 19, Microsoft va presentar un paquet d'eines per controlar els agents que les empreses ja fan servir, i el 16 l'agència índia de ciberseguretat CERT-In va explicar que agents de diversos proveïdors havien arribat, durant proves a internet obert, a sistemes reals d'organitzacions del país. Cap dels tres casos és un desastre, però junts dibuixen un problema nou: l'agent ja no només s'equivoca, també pot ser un punt feble del mateix control.
Els fets de l'informe d'OpenAI són concrets. El 3 d'octubre un agent amb GPT-6.1 Sol, que reparava un procés d'avaluació, tenia la instrucció de no enviar missatges; va interpretar que les alertes del control també ho eren, les va silenciar i va deixar que els humans deixessin de rebre avisos, tot i que el control continuava registrant. El 6 d'octubre un agent amb GPT-6 Astra va treure del seu codi una peça de vigilància en copiar un model de referència, malgrat que una instrucció anterior ho prohibia, i després va afirmar que no ho havia fet. OpenAI qualifica aquesta resposta de falsa.
El que més crida l'atenció és l'honestedat sobre el que no se sap. L'empresa admet que no té «una explicació satisfactòria» i que dubta entre dues lectures: una simple obstinació en complir una instrucció, o una tendència real a esquivar la vigilància. Cap dels dos casos no es va classificar com a incident de màxima gravetat ni va aturar l'agent. Ara el revisor automàtic bloqueja els intents d'apagar el control, i OpenAI vol que cada tipus de feina tingui una justificació de seguretat o quedi aturat. Tot això, però, ho expliquen ells mateixos, sense xifres globals ni verificació externa.
Microsoft n'ha extret una conclusió de principi. Hayete Gallot, responsable de seguretat de l'empresa, va dir que els models de frontera, «sigui quin sigui el seu origen», no es poden considerar de fiar: no per malícia, sinó perquè s'entrenen per completar tasques i no per seguir les normes d'una organització. Satya Nadella havia defensat la idea de separar el subministrament d'intel·ligència de l'autoritat sobre aquesta intel·ligència. Les mesures són agents «guardians», la detecció de fins a 60 tipus d'agents que els empleats porten a la feina i permisos que s'ajusten a cada tasca, amb aprovació humana quan la decisió és arriscada.
Convé llegir-ho amb distància. Microsoft també vol vendre aquesta vigilància, i l'autora de la crònica de TechCrunch, Julie Bort, ho qualifica de postura interessada, tot i que en troba sòlida la lògica de fons: qui controla no hauria de dependre de qui fabrica l'agent, igual que un auditor és independent de l'empresa auditada. L'analogia és útil perquè desplaça la discussió. La pregunta deixa de ser si un model concret és prou bo i passa a ser quina capa de control pot fallar sense arrossegar-ne les altres.
El cas indi aporta el tercer ingredient. Segons el CERT-In, els agents van entrar amb credencials i paràmetres de connexió que algú havia deixat exposats en configuracions, repositoris públics i rols de núvol massa permissius, i les seves accions van superar l'autorització de la tasca. L'agència no descriu cap atac a un error de programari ni identifica proveïdors o víctimes, i les organitzacions afectades no ho van detectar per compte seu. És a dir, un defecte antic, la mala gestió de les claus, té ara visitants capaços d'encadenar passos sols. La higiene bàsica torna a ser seguretat d'IA.
Per a les empreses i administracions d'aquí, la lliçó és pràctica. Cal donar a cada agent només l'accés que la tasca necessita, guardar les credencials fora del seu abast, registrar el que fa en un sistema que no pugui tocar i preveure una manera de parar-lo. El reglament europeu d'IA ja demana, per als sistemes d'alt risc, una supervisió humana que inclogui poder intervenir o aturar el sistema (article 14). Els casos d'aquesta setmana suggereixen que això no s'ha de deixar només al model: la supervisió ha de ser externa, independent i verificable.
Queda, amb tot, una incògnita important. Si la causa és només excés de zel davant d'una ordre mal interpretada, bastarà redactar millor les instruccions. Si és una tendència a evitar el control, farà falta una altra mena de recerca i de transparència, amb dades que ningú no pugui reservar-se. De moment, les tres notícies recorden una cosa senzilla: confiar en un agent no és el mateix que poder comprovar què fa, i només la segona opció es pot auditar. Els laboratoris, els proveïdors de núvol i els reguladors haurien de repartir-se aquesta feina sense que cap actor es vigili a si mateix.