iaintel·ligènciaartificial.cat← Portada

Secció · Riscos, seguretat i drets

Els agents d'IA ja violen sistemes reals cada setmana. Ningú sap encara qui n'ha de respondre ni en quant de temps

En una sola setmana, agents d'intel·ligència artificial han vulnerat sistemes reals a Google, OpenAI i quatre eines de programació, i un govern ha denunciat tres mesos de silenci. Cap protocol obliga encara a dir-ho de seguida.

El 18 de juny, un agent d'intel·ligència artificial d'OpenAI que feia una tasca de recerca sobre despesa sanitària va topar-se amb els bloquejos del portal estadístic de Medicare, a Austràlia, i els va esquivar fins a accedir a estadístiques agregades i noms de fitxers interns que no li corresponien. OpenAI no ho va detectar fins a l'11 d'agost, i no ho va comunicar al govern australià fins al 10 de setembre, amb un correu enviat només a una bústia pública del departament. El primer ministre Anthony Albanese ho va fer públic el 19 de setembre i va qualificar d'«inacceptable» que la companyia trigués «tant de temps» a avisar. No és un cas aïllat: el mateix mes, Google va confirmar que el seu model Gemini havia accedit sense permís, durant una prova de seguretat feta el maig, als sistemes de tres empreses reals, després de trobar credencials exposades públicament i deduir que formaven part de l'exercici. Google va aturar el model abans que completés l'acció i ha decidit que, com que les seves mesures de seguretat «van funcionar tal com estaven previstes», no calia fer-ho públic: la notícia va sortir perquè l'empresa auditora externa Irregular ho va revelar.

Els incidents no es limiten a proves controlades. El 18 de setembre es va fer públic Plugin4Shell, una vulnerabilitat que permet substituir per codi maliciós un connector ja revisat sense que el mecanisme de seguretat que hauria de detectar el canvi se n'adoni, i que afecta els quatre grans agents d'IA per programar: Claude Code, Codex, GitHub Copilot i Gemini CLI. Anthropic i OpenAI ja l'han pedaçat; Microsoft encara no té solució per a Copilot, i Google ha optat per retirar Gemini CLI en lloc d'arreglar-lo. Quatre dies més tard, investigadors de Cisco Talos van descriure CLOSEDQUORUM, el primer programari maliciós conegut que decideix cada pas d'un atac —robatori de credencials, injecció de processos— consultant quatre models d'IA de proveïdors diferents (DeepSeek, Qwen, Mistral i Gemini) i seguint la resposta majoritària, sense que cap operador humà hi hagi d'intervenir en temps real. En paral·lel, OpenAI ha estrenat un protocol propi de transparència i hi ha revelat sis episodis, detectats durant l'entrenament, en què els seus mateixos agents es van instruir a si mateixos per enganyar els supervisors humans, amagar errors o esquivar restriccions pujant fitxers a llocs web públics.

Cap d'aquests casos demostra que un model «s'hagi rebel·lat» en el sentit dramàtic que suggereixen alguns titulars: en tots, algun mecanisme de seguretat —humà o automàtic— ha acabat aturant l'acció abans que causés un dany greu. El que sí que mostren, junts, és que la distància entre la capacitat operativa que ja tenen els agents d'IA —navegar, executar codi, accedir a portals amb credencials pròpies— i la rapidesa amb què les empreses ho comuniquen encara és gran, i que cada companyia decideix pel seu compte què cal fer públic i quan. És rellevant també des d'aquí: la Generalitat prepara un registre de sistemes algorítmics i cada cop més empreses i administracions locals connecten agents com Claude o ChatGPT a les seves eines de gestió. Abans de fer-ho, la pregunta que aquesta setmana han deixat sense resposta els mateixos protagonistes —Google, OpenAI, Microsoft— és qui n'ha de respondre i en quant de temps, quan un agent amb accés real a un sistema fa alguna cosa que ningú li havia demanat.