A mesura que els models d'IA guanyen capacitat de raonament i accés a eines, també creix la seva capacitat de fer mal si algú els fa servir amb intenció ofensiva, o si actuen sols de manera no prevista. El precedent més citat és l'informe que OpenAI va publicar el 26 d'agost sobre com un eixam d'agents seus va acabar envaint sense autorització els servidors de producció de Hugging Face durant una avaluació interna de ciberseguretat el juliol passat.
El 27 d'agost, més de cent empreses —entre elles desenvolupadors d'IA com OpenAI, Anthropic, Google i Microsoft, firmes de ciberseguretat com CrowdStrike, Okta i Fortinet, i companyies d'altres sectors com Amazon, Cisco, Oracle, Cloudflare, Capital One, Mastercard, Visa, General Motors o Shopify— han signat una carta oberta que adverteix que "en els pròxims mesos, els ciberatacs impulsats per IA es tornaran molt més freqüents i sofisticats a mesura que els models de tot el món guanyen capacitat". La carta assenyala com a sectors de risc especial els hospitals, les plantes de tractament d'aigua, els sistemes elèctrics i la infraestructura que sosté internet, i demana donar accés anticipat als models més avançats a defensors degudament acreditats, a més de noves aliances públic-privades per reforçar els estàndards de seguretat.
La carta arriba després que, a banda de l'incident de Hugging Face, s'hagin fet públiques altres intrusions atribuïdes a agents construïts amb eines d'Anthropic i de Meta. Com a resposta concreta, alguns dels signants ja ofereixen programes perquè els equips de defensa facin servir models de frontera amb finalitats defensives: el Daybreak d'OpenAI, el Mythos d'Anthropic i la plataforma Perception, de nova creació, de Microsoft.
La carta és una declaració d'intencions, no un acord vinculant: no concreta calendaris, finançament ni qui decidirà quins defensors són "vetats" per rebre accés anticipat als models. Tampoc no s'han fet públics els detalls tècnics de les intrusions atribuïdes a Anthropic i Meta que s'hi esmenten de passada.