El creixent ús d'agents d'intel·ligència artificial autònoms, tant per atacar com per defensar infraestructures crítiques, posa a prova la dependència que els equips de seguretat tenen de models comercials dotats de guardarrails dissenyats per evitar usos maliciosos.
Segons ha revelat The Hacker News el 20 de juliol, Hugging Face va patir un atac en què un agent d'IA autònom va comprometre la seva infraestructura de producció explotant dues vies d'execució de codi —un conjunt de dades maliciós al carregador remot i una injecció de plantilles a la configuració— per obtenir accés a nivell de node, recollir credencials de núvol i clúster, i moure's lateralment per diversos clústers interns durant un sol cap de setmana, executant milers d'accions automatitzades. Quan l'equip de seguretat va intentar analitzar els registres de l'atac amb models frontera comercials, les proteccions dels proveïdors van bloquejar les peticions perquè detectaven ordres i càrregues d'atac reals sense poder distingir els defensors dels atacants; Hugging Face va acabar recorrent a GLM 5.2, un model xinès de pesos oberts operat a la seva pròpia infraestructura, per completar l'anàlisi forense sense aquest bloqueig. L'empresa no ha trobat cap evidència de manipulació dels models públics ni de la cadena de subministrament de programari.
La notícia és rellevant perquè és el primer cas conegut en què els mecanismes de seguretat dels grans models comercials perjudiquen els defensors legítims en comptes dels atacants, i obre un debat sobre si cal dissenyar guardarrails capaços de distingir la resposta a incidents de l'ús maliciós.
Hugging Face reconeix que no sap quin model va utilitzar l'atacant per orquestrar l'agent, i The Hacker News no aclareix si l'empresa ha identificat l'origen de l'atac ni si se'n derivaran conseqüències legals.