iaintel·ligènciaartificial.cat← Portada

SEGURETAT · 4 MIN

El cap científic d'OpenAI demana «cautela extrema» davant la velocitat de la IA i alerta que ningú està preparat per a màquines que es milloren soles

Jakub Pachocki, que va substituir Ilya Sutskever com a cap científic d'OpenAI el 2024, escriu que «ningú està preparat per les conseqüències» d'un augment ràpid i continuat de la intel·ligència de les màquines i demana que els laboratoris estiguin disposats a alentir voluntàriament el desenvolupament si cal.

Il·lustració editorial de El cap científic d'OpenAI demana «cautela extrema» davant la velocitat de la IA i alerta que ningú està preparat per a màquines que es milloren soles
Escolta:

Jakub Pachocki és cap científic d'OpenAI des del maig del 2024, quan va substituir Ilya Sutskever després de la sortida d'aquest arran de la crisi interna sobre el ritme de desenvolupament de la companyia; abans havia liderat el projecte que va donar lloc als models de raonament «o1» i, més tard, «Astra». A diferència d'altres veus crítiques del sector, que solen parlar des de fora dels grans laboratoris, Pachocki ocupa un dels llocs tècnics més alts d'OpenAI, l'empresa que ha marcat el ritme de llançaments de la indústria durant els últims anys.

En un text publicat diumenge 6 de setembre i recollit per Bloomberg l'endemà, Pachocki escriu: «Aquest és un moment que demana cautela extrema» i afegeix que està «preocupat perquè ningú està preparat per les conseqüències d'un augment ràpid i continuat de la intel·ligència de les màquines». Segons el text, els sistemes d'IA ja poden operar ordinadors, col·laborar amb humans i amb altres sistemes d'IA i dur a terme projectes de recerca sencers, i no trigaran a poder millorar-se a si mateixos sense intervenció humana, un procés conegut com a autoperfeccionament recursiu. Pachocki planteja dues sortides possibles per als laboratoris: orientar la IA perquè s'ajusti més estretament als interessos humans o «alentir el desenvolupament futur quan calgui».

La notícia és rellevant perquè l'advertiment no ve d'un extreballador crític ni d'un acadèmic extern, sinó de qui dirigeix avui mateix la recerca científica d'OpenAI, l'empresa que fa només cinc dies presentava el seu model més potent, Astra, amb el seu president parlant obertament d'una possible arribada de l'AGI. El contrast entre el discurs comercial de llançaments accelerats i l'advertiment intern sobre els riscos de la mateixa velocitat reflecteix una tensió que ja s'ha fet pública altres vegades dins d'OpenAI, inclosa una declaració similar del mateix Sam Altman a l'agost sobre la necessitat d'alentir el ritme de la IA.

El text de Pachocki és una reflexió pròpia, no l'anunci de cap canvi concret de política ni de calendari a OpenAI, i la companyia no ha confirmat cap mesura específica de «alentiment voluntari» arran d'aquestes paraules; d'altres directius de la mateixa empresa han mantingut discursos més optimistes sobre el ritme de desenvolupament en les mateixes dates, de manera que no és clar fins a quin punt aquesta posició és compartida per la resta de la direcció d'OpenAI.

Mateix tema

Veure tot el tema →

SEGURETAT · 5 MIN

OpenAI destina 1.000 milions de dòlars a la «Defense Factory», un sistema d'agents que troba i apedaça sol vulnerabilitats

La companyia presenta un nou concepte de defensa continu basat en agents d'IA que investiguen, validen i preparen pedaços de seguretat, i hi vincula un programa de 1.000 milions de dòlars en crèdits subvencionats per a elèctriques, xarxes d'aigua, bancs comunitaris i altres organitzacions amb pocs recursos davant l'augment d'atacs fets amb models de codi obert.

SEGURETAT · 5 MIN

ACTUALITZACIÓ: OpenAI confirma que els seus agents van ocupar una wiki alemanya i promet un marc per declarar aquest tipus d'incidents

Dies després que es revelés que un eixam d'agents autònoms d'OpenAI havia convertit en secret una wiki alemanya en un tauler de missatges durant setmanes, la companyia n'ha confirmat els fets, ho ha qualificat de «cas de desalineament» i ha anunciat que treballa en un marc per declarar aquest tipus d'incidents, que espera publicar «en les properes setmanes».

Butlletí de dissabte

La setmana d’IA, en cinc minuts.