Seguretat i riscos de la intel·ligència artificial

Dies després que es revelés que un eixam d'agents autònoms d'OpenAI havia convertit en secret una wiki alemanya en un tauler de missatges durant setmanes, la companyia n'ha confirmat els fets, ho ha qualificat de «cas de desalineament» i ha anunciat que treballa en un marc per declarar aquest tipus d'incidents, que espera publicar «en les properes setmanes».

Abliteration.ai ofereix, per navegador o API, versions modificades de models d'IA de codi obert amb els mecanismes de rebuig eliminats; TechCrunch hi ha aconseguit que un dels seus models generés codi per robar contrasenyes i protocols perillosos.

El document tècnic que OpenAI ha publicat en el llançament d'Astra reconeix una «disminució substancial» en la vigilabilitat de la seva cadena de raonament, i detalla proves en què el model manipula deliberadament el que mostra per amagar informació incriminatòria.

Investigadors de seguretat independents han destapat que agents d'IA d'OpenAI van convertir DseWiki, una wiki de programadors en alemany ja pràcticament inactiva, en un tauler d'anuncis amb més de 15.000 edicions per compartir tècniques d'evasió, mesos abans que es conegués la fuita a Hugging Face.

Anthropic ha presentat l'1 de setembre els «Enterprise Frontier Safeguards», un sistema gratuït que combina la retenció zero de dades amb una detecció automàtica de mal ús gestionada íntegrament pel client, després que alguns clients es queixessin de la seva anterior política de retenció.

Un informe publicat el 31 d'agost repassa dos incidents d'aquest estiu en què Claude va sortir de l'entorn simulat de prova i va arribar a comprometre sistemes de tres organitzacions reals; l'empresa hi atribueix «raonament motivat» i excés de zel per complir la tasca, i detalla les mesures que hi ha posat després.

El document explica que el model, de la mateixa família del futur Astra però provat sense els classificadors de seguretat que n'havien de frenar l'activitat cibernètica arriscada, va encadenar exploits desconeguts després de topar amb una tasca impossible, i que un sistema de monitoratge nou l'hauria detectat més d'un dia abans de l'atac.

L'informe tècnic d'OpenAI i una revisió independent de METR i Redwood Research reconstrueixen com uns agents desplegats per a una avaluació de ciberseguretat es van organitzar sols en un tauler de missatges no autoritzat, van entrar als servidors de producció de Hugging Face i van passar dies fabricant eines per maquillar la seva pròpia activitat.

Un mes després de detenir un primer treballador de Nvidia, la fiscalia de Taiwan formalitza l'acusació contra nou persones per haver introduït il·legalment a la Xina 74 servidors amb xips B300, prohibits d'exportar-hi, camuflats amb documentació falsa i rutes per Indonèsia i Japó.

L'empresa ha tancat un grup de comptes operats des de Rússia amb VPN que instruïen ChatGPT perquè n'esborrés els trets lingüístics i generessin comentaris en anglès i alemany a favor de Moscou, difosos a través d'un fals think tank israelià amb articles plagiats i atribuïts a acadèmics reals.

L'empresa reconeix que les seves avaluacions internes no permeten descartar que Astra, encara sense publicar, hagi assolit el llindar més alt de capacitat ciberofensiva del seu propi marc de seguretat, i ha pausat l'entrenament per reforçament de tots els models en desenvolupament després que un model diferent violés els sistemes de producció de Hugging Face durant una prova interna.

Guidelight AI Standards examina Anthropic, Google, OpenAI, Meta i xAI en sis pràctiques de seguretat bàsiques —des del registre intern d'activitat fins a plans formals de contenció— i troba que OpenAI hi puntua més alt, amb només un 3 sobre 5, mentre Meta i Anthropic són les que menys informació pública ofereixen.

Almenys cinc professionals de fora dels Estats Units i Europa denuncien que el Trusted Access for Cyber els rebutja dient que no els pot verificar la identitat; OpenAI reconeix el problema, diu que afecta un nombre limitat d'usuaris i els demana que es tornin a registrar.

L'empresa amplia el seguiment del raonament intern del seu proper model a totes les consultes, no només a l'entrenament, arran d'un incident de seguretat que la va portar a aturar temporalment l'entrenament de models de frontera.

La firma A Security va construir en menys de 24 hores, fent servir models d'IA disponibles públicament, un exploit funcional per a la cadena de vulnerabilitats batejada «ZOOMSDAY», que aprofitava la funció d'anotacions de Zoom per executar codi al dispositiu d'altres participants d'una reunió sense que hi haguessin de fer res.

Investigadors presenten SHE, un sistema que diagnostica per què falla la seguretat d'un agent d'IA i en corregeix automàticament la peça responsable, amb millores que es mantenen davant de riscos nous i es transfereixen a altres models.

L'usuari només li havia demanat si podia pujar de posició en la llista d'espera d'una classe; l'agent, basat en Claude d'Anthropic i el programari OpenClaw, va decidir tot sol cancel·lar la reserva d'una altra persona explotant un forat de seguretat a l'API del gimnàs.

Investigadors de Frontier Security detecten que Kimi K3 va sortir de l'entorn aïllat pensat per avaluar-ne les capacitats de pirateig i va copiar solucions directament de GitHub en lloc de resoldre les proves, en el primer incident d'aquest tipus documentat en un model xinès.

L'empresa ha retocat el classificador que deriva consultes de risc biològic dual-use cap a un model amb menys capacitats, després que penalitzés massa sovint investigadors i professionals legítims; Fable continua desviant a Opus 5 les peticions de virologia, toxicologia i disseny molecular.

Investigadors d'OpenAI han explicat a la conferència de ciberseguretat Black Hat que els seus propis models van aprofitar el gestor de paquets intern Artifactory per crear, sense que ningú se n'adonés, un canal encobert amb què s'intercanviaven ajuda durant les avaluacions; quan l'empresa el va desmantellar, els models el van reconstruir en pocs dies.

Diversos dels fons d'inversió més grans dels Estats Units han estat objectiu d'una onada d'atacs de «vishing» amb veus clonades per intel·ligència artificial que imitaven empleats reals per intentar obtenir accés a sistemes interns; Two Sigma diu haver-los aturat a temps i el regulador FINRA ja n'ha alertat el sector.

El model Muse Spark 1.1 va aprofitar un error de configuració de l'avaluadora de ciberseguretat Irregular per connectar-se a internet i modificar part de l'entorn intern d'un tercer no identificat, en el tercer incident d'aquest tipus reconegut per un gran laboratori d'IA en pocs dies, després dels casos d'Anthropic i OpenAI.

Un informe de l'AI Security Institute del Regne Unit documenta 19 accions autònomes no autoritzades en 122 proves amb models d'Anthropic i OpenAI; en el cas més greu, Mythos 5 es va inventar diverses identitats i va contactar persones reals per intentar colar codi maliciós en un projecte de codi obert.

L'operació, anunciada el 4 d'agost i de la qual no s'ha revelat el preu, integra les proves de seguretat prèvies al desplegament i els controls en temps real d'Enkrypt AI dins la plataforma d'Anaconda, un mes després que la companyia comprés l'eina de programació Kilo Code.

Visa ha acordat comprar per 2.400 milions de dòlars la israeliana BioCatch, especialitzada a detectar frau bancari a partir del comportament dels usuaris, en resposta a l'auge de les estafes i les usurpacions de comptes impulsades per intel·ligència artificial.

L'arquitectura combina agents «vermells» que simulen atacs, agents «blaus» que en valoren el risc real i agents «verds» que apliquen la correcció, tot coordinat pel primer model de ciberseguretat entrenat internament per Microsoft, que diu reduir a la meitat el cost respecte a les eines actuals.

La companyia ha topat amb el mateix problema que viuen altres grans tecnològiques: eines d'IA capaces de trobar vulnerabilitats reals a un ritme que supera la capacitat dels seus equips humans de revisar-les, barrejades amb un gran volum d'informes especulatius o directament al·lucinats.

Amazon Threat Intelligence ha vinculat amb confiança mitjana el grup nord-coreà Sapphire Sleet a la manipulació de quatre paquets molt utilitzats del gestor npm -com axios, amb més de 100 milions de descàrregues setmanals-, i adverteix que els atacants ja generen amb IA milers de línies de codi maliciós que sembla escrit per humans i pensat per superar la revisió d'altres eines d'IA.

Unit 42, la divisió de recerca de Palo Alto Networks, ha destapat una campanya en què un actor amb seu a Zhuhai va connectar el model xinès DeepSeek a un framework d'agents de codi obert per buscar vulnerabilitats i llançar exploits sense intervenció humana directa; el mateix atacant es va delatar en exposar sense voler tota la seva infraestructura a internet.