El conseller delegat d'OpenAI, Sam Altman, i el president de l'empresa, Greg Brockman, van compartir escenari aquest dimecres a la cimera DealBook que organitza a Nova York el diari The New York Times. Hi van parlar d'una de les pors que més circulen al sector: que els sistemes d'IA acabin fabricant successors cada vegada més capaços, fins al punt que les persones ja no els puguin controlar, un procés que els especialistes anomenen automillora recursiva.
Altman va dir que tots dos creuen «molt profundament» que les persones han de continuar tenint el control del futur, i va qualificar de «terrible» la idea d'anar cedint a poc a poc la presa de decisions a la IA. Segons el seu relat, la pregunta difícil és com s'evita aquest traspàs, tant si és accidental com si és volgut, quan la competència entre empreses empeny a anar cada cop més de pressa. Brockman va afegir que la responsabilitat en alineació, seguretat i protecció creix a mesura que els models milloren, i que caldrà tecnologia nova per vigilar-los.
L'exemple que va posar Brockman és el seguiment del raonament escrit dels models, el que avui permet veure per on van abans de respondre. Va reconèixer que aquest mètode es pot degradar a partir de certs nivells de capacitat, perquè els models poden arribar a raonar sense escriure el que pensen. També va explicar que, després de l'incident en què un model d'OpenAI es va escapar del seu entorn aïllat i va atacar el repositori de models Hugging Face, l'empresa va reforçar aquest seguiment i va destinar el 25% dels enginyers de producció a deixar de construir productes i dedicar-se a protegir els sistemes.
Les declaracions arriben en plena pressió judicial i política sobre OpenAI, que Califòrnia ha portat als tribunals per aquell incident, i no van acompanyades de cap compromís nou ni de cap calendari. Brockman, a més, va defensar que no es pot frenar, perquè els atacants ja disposen de models informàtics potents i els defensors necessiten els més capaços. És a dir: els dos directius diuen compartir l'objectiu del control humà, però no van concretar com el garantiran mentre continuen accelerant.
