iaintel·ligènciaartificial.cat← Portada
Secció · Riscos, seguretat i drets

SEGURETAT · 4 MIN

OpenAI diu que ha fet gairebé impossible copiar el raonament intern dels seus models nous per entrenar-ne d'altres

En les proves internes d'OpenAI, els atacs per extreure el raonament ocult han passat d'encertar en el 54% dels casos amb GPT-6 Astra a menys de l'1% amb GPT-6.2 Astra. L'empresa explica que cada setmana tanca entre milers i desenes de milers de comptes que intenten copiar els seus models.

Il·lustració generada amb IA: OpenAI diu que ha fet gairebé impossible copiar el raonament intern dels seus models nous per entrenar-ne d'altres
Il·lustració generada amb IA
Escolta:

La destil·lació és una tècnica habitual en IA: es fa servir un model gran, el mestre, per entrenar-ne un de més petit, l'alumne, amb les seves respostes. Feta sense permís, però, permet copiar les capacitats d'un model d'una altra empresa sense haver pagat el cost d'entrenar-lo, i sense les proteccions que el limiten. Els grans laboratoris dels Estats Units fa mesos que acusen empreses xineses de fer-ho. OpenAI ja havia informat el Congrés al febrer que DeepSeek ho intentava, i al setembre va dir que havia desarticulat una campanya atribuïda en part a persones vinculades a Moonshot AI. Anthropic també ha tancat desenes de milers de comptes per aquest motiu.

Aquest divendres, OpenAI ha explicat com protegeix sobretot el que anomena el «raonament protegit»: la cadena de passos intermedis que el model fa abans de respondre i que l'usuari no veu. Combina un entrenament específic perquè el model es negui a revelar-lo, filtres que detecten els intents d'extracció i revisen les respostes i les crides a eines, i canvis a la interfície de programació: amb GPT-6.2 Astra i GPT-6.2 Sol, el raonament queda lligat a la conversa on s'ha generat i els models més antics no el poden llegir. En proves internes amb sis models atacants, l'èxit dels atacs per extreure el raonament d'una petició anterior ha baixat del 54% amb GPT-6 Astra al 0,2% amb GPT-6.2 Astra, i el de la petició en curs, del 22,9% al 0,9%. L'empresa ara aplica part d'aquestes millores a GPT-6 Astra i diu que, setmanalment, actua contra entre milers i desenes de milers de comptes, una xifra que va créixer molt aquest estiu.

OpenAI justifica aquesta prioritat amb un experiment propi en ciberseguretat. Va entrenar dos models alumnes a partir de les respostes d'un model del nivell d'Astra: un amb el raonament exacte i l'altre només amb resums del raonament. Amb més capacitat de càlcul, l'alumne entrenat amb el raonament exacte va treure millors resultats en dues proves de ciberseguretat, i d'aquí l'empresa conclou que amagar-lo limita que es transfereixin capacitats delicades, com les d'atac informàtic. També demana a la resta de desenvolupadors que guardin els atacs que han funcionat per tornar-los a provar i que coordinin les normes amb els seus socis, i dona suport a lleis que permetrien al govern dels Estats Units sancionar els actors estrangers que extreguin capacitats de manera il·lícita.

Totes les xifres són d'OpenAI i surten de proves que ha dissenyat i fet ella mateixa, sense cap avaluació independent. Que un atac concret falli en menys de l'1% dels casos no vol dir que no se'n puguin inventar d'altres, i la destil·lació també es pot fer amb les respostes finals, que són visibles. El text barreja la seguretat amb un interès comercial evident: el raonament ocult és una part del valor del producte. I el debat té una dimensió política, perquè arriba enmig de la rivalitat amb la Xina i de les propostes legislatives que l'empresa defensa.

Mateixa secció

Veure tota la secció →