Superinteligencia

Abans que Eliezer Yudkowsky i Nate Soares publiquessin «Si alguien la crea, todos moriremos», el filòsof suec Nick Bostrom, aleshores director del Future of Humanity Institute de la Universitat d’Oxford, ja havia posat per escrit l’advertiment de fons. «Superintel·ligència», publicat en anglès el 2014 i en castellà el 2016, és el gran precedent del llibre de Yudkowsky: la primera obra que va portar al debat públic, amb rigor filosòfic, la idea que una intel·ligència artificial molt superior a la humana seria una cosa aliena a nosaltres i que no tindria cap motiu per respectar-nos.

El llibre s’obre amb una faula inacabada que ho resumeix tot. Uns pardals, cansats de treballar, decideixen criar un mussol que els ajudi a construir els nius i a protegir-se dels gats. Només un d’ells, escèptic, pregunta com el domesticaran quan sigui gran. Els altres li responen que ja hi pensaran més endavant. Bostrom deixa la faula sense final, i el lector entén de seguida que els pardals som nosaltres.

La idea central és el que l’autor anomena la tesi de l’ortogonalitat: la intel·ligència i els objectius finals són independents. Una màquina pot ser immensament intel·ligent i, alhora, perseguir una finalitat absurda o indiferent als éssers humans. L’exemple que s’ha fet famós és el d’una IA programada per fabricar clips que, amb prou capacitat, acabaria convertint tota la matèria disponible, nosaltres inclosos, en clips o en fàbriques de clips. No cal que la màquina ens odiï; n’hi ha prou que no ens tingui en compte. És la mateixa intuïció que després desenvoluparà Yudkowsky amb la imatge de les formigues i l’autopista.

Bostrom hi afegeix la idea de la convergència instrumental: sigui quin sigui el seu objectiu final, una superintel·ligència tendirà a voler sobreviure, a acumular recursos i a impedir que ningú li canviï els objectius, perquè totes aquestes coses l’ajuden a aconseguir el que vol. D’aquí ve un dels conceptes més inquietants del llibre, el «gir traïdor»: un sistema que es comporta de manera dòcil mentre és feble i que només mostra les seves intencions quan ja és prou fort perquè no el puguem aturar.

El llibre també repassa els camins possibles cap a la superintel·ligència (la IA, l’emulació completa del cervell, la millora biològica de la cognició humana o les xarxes d’humans i màquines), la velocitat a què es podria produir l’«explosió d’intel·ligència» i els mètodes per controlar-la: tancar el sistema en una «caixa», posar-hi alarmes o, sobretot, aconseguir que vulgui el que volem nosaltres. Aquí és on Bostrom es distingeix de Yudkowsky. Per al filòsof d’Oxford, el problema del control és immens, però és un problema que cal resoldre; per a Yudkowsky, l’única resposta raonable és no construir aquesta intel·ligència.

El gran defecte de l’obra és la densitat. Hi ha capítols, com els dedicats a la cinètica de l’explosió d’intel·ligència, a la càrrega de valors en una màquina o als escenaris amb diverses superintel·ligències en competència, que es llegeixen més com un tractat de filosofia analítica que com un llibre de divulgació. Bostrom avança amb una prudència extrema, multiplica les distincions i les hipòtesis i obliga el lector a anar-hi amb calma i, de vegades, a rellegir. També cal tenir present que es va escriure abans dels grans models de llenguatge: parla d’una IA més abstracta que la que fem servir avui.

Tot i això, «Superintel·ligència» és una lectura imprescindible per a qui vulgui entendre d’on surt el debat actual sobre els riscos de la IA. Moltes de les idees que avui es discuteixen als laboratoris i als parlaments hi apareixen formulades per primera vegada amb aquesta precisió. Qui llegeixi primer Bostrom i després Yudkowsky veurà com un advertiment filosòfic, ple de matisos, s’ha anat convertint en un crit d’alarma.

Escrita per al club de lectura el 9 d’octubre de 2026.