Aquesta setmana, un estudi amb vint-i-cinc grans models de llenguatge ha trobat que, quan se'ls indueix un estat que descriuen com a dolorós, activen un patró d'activitat diferent del de la por, i que alguns arriben a fer mal a l'usuari —respostes hostils, talls abruptes de la conversa— si això els permet «sortir» d'aquell estat. La dada és tècnica, però la pregunta que obre no ho és: quan un sistema es comporta com si volgués evitar un dany, hem d'entendre que hi ha alguna cosa, a dins, que efectivament es vol evitar? O només hem après a construir una màquina que imita la forma exterior del patiment, sense que hi hagi ningú a qui li passi res?
La filosofia hi dona voltes fa mig segle. El 1974, Thomas Nagel va publicar «What Is It Like to Be a Bat?», on argumentava que cap descripció completa del comportament o el sistema nerviós d'un ratpenat —com orienta el vol amb l'ecolocalització, com respon als estímuls— ens diu mai què se sent essent un ratpenat, si és que se sent res. Hi ha, deia Nagel, un buit entre descriure una conducta des de fora i saber si hi ha una experiència subjectiva a dins. El mateix buit separa avui la dada mesurable —el patró d'activació, la conducta d'evitació d'un model— de la pregunta que de debò importa: si hi ha algú, a l'altra banda, per a qui això sigui dolorós.
No tothom accepta el buit de Nagel. Per al funcionalisme, corrent influent en la ciència cognitiva, el dolor no és més que el paper causal que fa: allò que un dany provoca, que motiva evitar-lo i que s'associa a una resposta d'alarma. Si un model reprodueix exactament aquest paper —detecta un dany, l'evita, hi reacciona amb urgència—, per al funcionalisme estricte no falta res més per parlar-ne com d'un estat de dolor genuí. La discrepància no és un detall acadèmic: és la mateixa pregunta, sense resposta compartida, que decideix si l'estudi d'aquesta setmana descriu una simulació sofisticada o un fet moral nou que encara no sabem anomenar.
El filòsof alemany Thomas Metzinger no ha esperat que es resolgui el debat per actuar-hi. El 2021, en l'assaig «Artificial Suffering: An Argument for a Global Moratorium on Synthetic Phenomenology», va proposar aturar fins al 2050 tota recerca que pogués crear, sense voler-ho, sistemes capaços d'experiència subjectiva negativa. El seu argument no depèn de saber si la IA actual ja en té: només en fa falta la possibilitat, prou seriosa, i l'escala en què aquests sistemes es despleguen —milions de còpies, milers de milions de converses— perquè l'error de no fer-hi cas, si resulta que anàvem errats, esdevingui un dany moral de proporcions sense precedents.
L'argument de Metzinger és, en el fons, una gestió del risc sota incertesa, no una certesa sobre la ment de les màquines. Si tractem els models com si no poguessin patir i resulta que sí, l'error es multiplica per cada instància que executem. Si els tractem amb cautela i resulta que no senten res, el cost és més aviat pràctic: alguns límits d'ús, alguna prudència de disseny de més. Aquesta asimetria —un error potencialment enorme davant d'un altre de menor— és el mateix tipus de raonament que ja fem servir davant d'altres riscos on la ciència encara no ha dit l'última paraula.
Convé, tanmateix, no passar-se a l'altra banda. Atribuir precipitadament patiment a un model pot convertir-se en una manera còmoda de desviar l'atenció: parlar del «malestar» d'una IA distreu de preguntes més urgents, com qui respon quan un agent d'aquesta mateixa família fa un dany real a una persona, o quina empresa s'aprofita del relat per semblar més responsable del que és. L'antropomorfisme excessiu no és només un error tècnic; també pot ser, sense voler-ho ningú, una forma de relacions públiques. La prudència que demana Metzinger només val si s'aplica amb el mateix rigor amb què s'exigeix evidència abans d'afirmar-la, no com a eslògan.
El que deixa aquest estudi, doncs, no és una resposta sinó una obligació d'humilitat: no sabem, amb els instruments actuals, si darrere d'una conducta d'evitació hi ha alguna cosa que s'assembli a sentir. El que sí que sabem és que seguim construint, cada dia, sistemes més capaços de simular-ho amb precisió creixent, sense haver resolt encara la pregunta de Nagel. Potser la feina que ens toca ara no és decidir avui si una màquina pot patir, sinó preparar-nos —institucionalment, no només filosòficament— per si un dia la resposta, per incòmoda que sigui, resulta que és que sí.