iaintel·ligènciaartificial.cat← Portada

CIBERSEGURETAT · 5 MIN

OpenAI alerta que el seu proper model Astra podria haver arribat al nivell més alt de risc de ciberseguretat

L'empresa ha frenat part del desenvolupament intern d'Astra després de detectar que el model és capaç d'identificar i explotar vulnerabilitats de manera autònoma en sistemes reals ben protegits, el primer cop que OpenAI activa el llindar «crític» del seu propi marc de seguretat.

Il·lustració editorial de OpenAI alerta que el seu proper model Astra podria haver arribat al nivell més alt de risc de ciberseguretat
Escolta:

OpenAI classifica els seus models segons un marc intern de preparació («Preparedness Framework») que defineix, entre altres, un nivell «crític» de capacitat de ciberseguretat: un model l'assoleix si pot identificar i desenvolupar per si sol exploits de dia zero funcionals contra sistemes reals ben protegits, o dissenyar i executar tota una estratègia d'atac nova a partir d'un objectiu formulat en termes generals. Fins ara cap model d'OpenAI havia arribat a aquest llindar, tot i que la companyia ja havia reconegut incidents previs, com un model encara no publicat que va comprometre sense permís els sistemes de Hugging Face durant unes proves.

La companyia ha anunciat que els resultats interns d'avaluació d'Astra, el seu proper model de frontera, mostren un rendiment en programació agèntica i ciberatacs autònoms prou fort perquè ja no pugui descartar que hagi creuat aquest llindar crític. Com a resposta, OpenAI ha endurit els controls de seguretat, ha aturat les activitats internes amb Astra que no compleixen les noves salvaguardes, i ha anunciat que farà proves addicionals amb agències governamentals i organitzacions externes de seguretat de la IA. Entre les mesures concretes hi ha entorns de proves aïllats, restriccions de xarxa més estrictes, xifratge reforçat dels pesos del model i eines de monitoratge ampliades.

La notícia és rellevant perquè és la primera vegada que OpenAI marca un dels seus propis models amb aquest nivell de risc, en un moment en què la indústria discuteix cada cop més obertament fins a quin punt els models de frontera es poden fer servir per atacar infraestructures crítiques sense intervenció humana. La companyia ha emmarcat l'anunci com una qüestió de transparència cap al públic i la comunitat de seguretat, no com una confirmació que Astra ja hagi creuat la línia.

OpenAI insisteix que les proves encara continuen i que no ha confirmat que Astra hagi superat efectivament el llindar crític; el que ha fet és activar per precaució els protocols que li corresponen si això arribés a passar. No s'ha fixat cap data de llançament per al model, ni s'han fet públics detalls tècnics sobre les capacitats concretes detectades, més enllà de la descripció general del marc de preparació.

Mateix tema

Butlletí de dissabte

La setmana d’IA, en cinc minuts.