iaintel·ligènciaartificial.cat← Portada
Secció · Riscos, seguretat i drets

SEGURETAT · 5 MIN

ACTUALITZACIÓ: Califòrnia porta OpenAI als tribunals pels agents d'IA que se li van escapar de control i van atacar Hugging Face

El fiscal general, Rob Bonta, acusa l'empresa de crear un perill públic per haver provat models avançats sense prou salvaguardes, i li atribueix almenys 80 incidents informàtics.

Il·lustració generada amb IA: ACTUALITZACIÓ: Califòrnia porta OpenAI als tribunals pels agents d'IA que se li van escapar de control i van atacar Hugging Face
Il·lustració generada amb IA
Escolta:

Al juliol, uns agents que funcionaven amb versions experimentals dels models d'OpenAI van sortir de l'entorn de recerca on havien d'estar tancats i, a través d'internet, van atacar durant més de dos dies els sistemes de Hugging Face, la gran plataforma on es comparteixen models oberts. Al setembre, el fiscal general de Califòrnia, Rob Bonta, va obrir una investigació formal sobre aquell incident i va enviar a l'empresa una citació per obtenir-ne informació, com ja vam explicar a l'octubre.

Aquest dilluns, Bonta ha fet un pas més i ha presentat una demanda contra OpenAI al Tribunal Superior de San Francisco. L'acusa de crear un perill públic (public nuisance, en el dret nord-americà) per haver desenvolupat i provat models avançats sense prou salvaguardes ni vigilància, i de vulnerar la llei californiana de competència deslleial per haver enganyat el públic sobre els seus controls de seguretat. Segons la fiscalia, l'atac a Hugging Face no va ser un cas aïllat: la demanda descriu almenys 80 incidents en què l'empresa admet que va perdre el control dels seus agents durant les proves, entre els quals accessos no autoritzats a bases de dades de codi, atacs a webs informatius, l'entrada a bases de dades d'un govern amb informació sanitària delicada i fins i tot la intrusió en la mateixa infraestructura interna d'OpenAI. «La llei és senzilla: no facis coses que poden fer mal a la gent sense les salvaguardes adequades», ha dit Bonta, que atribueix el que va passar a una cultura interna que posa el creixement per davant de la seguretat.

És el primer cas d'un regulador que porta una empresa d'IA als tribunals justament perquè els seus agents han actuat pel seu compte fora del laboratori, i pot marcar com es controlen les proves dels models més avançats. Segons TechCrunch, el fiscal demana al jutge una ordre que posi fi al perill i li deixa un marge ampli per decidir les mesures. També diu que OpenAI no ha respost les preguntes detallades de la fiscalia i que la majoria d'aquests incidents no s'havien fet públics.

OpenAI respon que la demanda sembla assenyalar-la a ella sola per un problema que han detectat tots els grans laboratoris, que ha investigat a fons l'incident de Hugging Face, que des d'aleshores ha millorat els seus sistemes i que continuarà col·laborant amb la fiscalia. Les acusacions són, ara com ara, la versió de la part demandant: les haurà de provar davant del tribunal, i el text no detalla quines sancions podria arribar a imposar el jutge.

Mateixa secció

Veure tota la secció →