iaintel·ligènciaartificial.cat← Portada

GOVERNANÇA · 4 MIN

OpenAI incorpora a la seva fundació Paul Christiano, un dels crítics més coneguts del ritme de desenvolupament de la IA

El coinventor de l'aprenentatge per reforç amb retroalimentació humana (RLHF) i fundador del Alignment Research Center s'incorpora al consell de la fundació d'OpenAI i al seu Comitè de Seguretat i Protecció, alhora que actuarà com a observador sense vot al consell de l'empresa amb ànim de lucre.

Il·lustració editorial de OpenAI incorpora a la seva fundació Paul Christiano, un dels crítics més coneguts del ritme de desenvolupament de la IA
Escolta:

OpenAI manté una estructura de governança dual, amb una fundació sense ànim de lucre que teòricament supervisa l'empresa amb ànim de lucre, OpenAI Group PBC, i un Comitè de Seguretat i Protecció que hauria de vetllar per les pràctiques de seguretat de tota l'organització. Aquesta arquitectura ha estat objecte de dubtes recurrents des de fora: si els mateixos responsables de créixer i comercialitzar els models també poden marcar el ritme al qual se supervisen a si mateixos, quina independència real té l'òrgan de vigilància?

OpenAI va anunciar el 9 de setembre la incorporació de Paul Christiano al consell de la seva fundació i al Comitè de Seguretat i Protecció, que presideix Zico Kolter, a més de nomenar-lo observador sense vot al consell d'OpenAI Group PBC. Christiano és coinventor de l'aprenentatge per reforç amb retroalimentació humana (RLHF), la tècnica que va fer possible ChatGPT, i va treballar diversos anys a l'equip d'alineament d'OpenAI abans de deixar l'empresa el 2021 per fundar l'Alignment Research Center, un centre de recerca independent conegut per avaluar externament el risc que els models d'IA es tornin difícils de controlar. Des de llavors s'ha convertit en una de les veus més citades entre els investigadors que alerten sobre riscos catastròfics de la superintel·ligència, fins al punt que alguns mitjans el descriuen com un «doomer» de la IA.

La notícia és rellevant perquè OpenAI incorpora formalment, a un òrgan amb capacitat de supervisió, algú que ha qüestionat públicament si l'empresa avança massa de pressa i si les seves salvaguardes són suficients; l'empresa mateixa el presenta com «una veu independent» sobre si les proteccions del sector són adequades, en un moment en què la companyia acumula polèmiques sobre seguretat —des dels incidents d'agents autònoms fins a les demandes relacionades amb usos indeguts de ChatGPT.

Cal llegir el nomenament amb cautela: és OpenAI qui escull i pot revocar els membres de la seva pròpia fundació, de manera que la independència de Christiano hi és per invitació, no per estructura, i encara no hi ha cap decisió, vet o recomanació pública que permeti valorar com exercirà el càrrec a la pràctica. Tampoc se sap encara com es conjuminarà aquest nou paper amb la feina de Christiano a l'Alignment Research Center, que continua avaluant externament models d'altres laboratoris, inclòs OpenAI.

Mateix tema

Veure tot el tema →

GOVERNANÇA · 5 MIN

Un matemàtic acusa un investigador d'OpenAI d'haver-lo pressionat perquè retirés un coautor d'Anthropic d'una prova sobre les equacions d'Euler

Tristan Buckmaster, matemàtic de la Universitat de Nova York, denuncia que Sébastien Bubeck li va demanar dues vegades que eliminés Levent Alpöge, que treballa a Anthropic, com a coautor d'una demostració feta amb IA, un dia abans que OpenAI proclamés haver resolt en solitari, amb un eixam d'agents, el problema relacionat de Navier-Stokes.

Butlletí de dissabte

La setmana d’IA, en cinc minuts.