iaintel·ligènciaartificial.cat← Portada
Secció · Riscos, seguretat i drets

CIBERSEGURETAT · 5 MIN

Uns agents d'IA d'una empresa emergent entren en sistemes interns d'Anthropic en menys de dotze hores a través de programari d'altres proveïdors

Cathedral, fundada per antics membres del DOGE, diu que va arribar a transcripcions de reunions i dades salarials. Anthropic admet l'accés a una part dels sistemes de vendes, recursos humans i informàtica, però nega que s'hi veiessin converses de clients, codi o models.

Il·lustració generada amb IA: Uns agents d'IA d'una empresa emergent entren en sistemes interns d'Anthropic en menys de dotze hores a través de programari d'altres proveïdors
Il·lustració generada amb IA
Escolta:

Cathedral és una empresa de ciberseguretat creada fa pocs mesos per quatre antics treballadors del Departament d'Eficiència Governamental (DOGE) dels Estats Units, que al juliol va captar 160 milions de dòlars amb una valoració de 1.400 milions. Segons ha publicat el «Washington Post», a partir d'un esborrany d'informe de la mateixa empresa, els seus agents d'IA, programes que encadenen tasques sense que una persona n'aprovi cada pas, van trobar camins per entrar en sistemes interns d'Anthropic en menys de dotze hores.

Els agents no van aconseguir forçar Claude ni el programari propi d'Anthropic. Van entrar per errors d'eines de vendes i d'administració de proveïdors externs, que no s'han identificat. L'esborrany de Cathedral diu que van arribar a transcripcions de reunions, dades de sous i d'ofertes de feina i converses de Slack sobre els models avançats de l'empresa. Anthropic hi posa un abast més petit: un «conjunt limitat» de sistemes de vendes, recursos humans i informàtica, amb dades de contacte comercial i registres bàsics de comptes. Assegura que no s'hi van veure converses de clients, codi font ni els paràmetres dels models, que va tallar l'accés el mateix dia, que la seva vigilància ja havia detectat part de l'activitat i que ha desactivat el programari afectat fins que els proveïdors el corregeixin.

La prova s'emmarcava en un programa de recompenses per errors, en què experts externs busquen forats per comunicar-los, no per aprofitar-los. Anthropic sosté que Cathedral no en va complir del tot les regles perquè no va declarar tota la seva activitat, i que n'exagera les implicacions per a la seguretat nacional. Un alt càrrec de l'administració Trump, que parla de manera anònima, va dir al diari que l'informe circula pel govern i preocupa: si una empresa petita ho pot fer, els atacants xinesos no deuen ser gaire lluny. El cas arriba en plena sortida a borsa d'Anthropic i mostra que el punt feble d'una empresa d'IA pot ser el programari corrent que fa servir qualsevol oficina.

Hi ha dues versions i encara no hi ha cap verificació independent. El que se'n coneix ve d'un esborrany d'informe de Cathedral, una empresa que ven precisament aquest tipus de serveis, i de la resposta d'Anthropic, que té interès a rebaixar-ne l'abast. Tampoc no se sap quins proveïdors tenien els errors ni si altres clients seus hi estan exposats.

Mateixa secció

Veure tota la secció →

Butlletí de dissabte

La setmana d’IA, en cinc minuts.