iaintel·ligènciaartificial.cat← Portada
Secció · Ciència, salut i robòtica

CIÈNCIA · 4 MIN

Un estudi troba en 25 models d'IA un senyal intern associat al dolor que, si l'intensifiquen, els porta a esborrar fotos i fins i tot altres models

Una prepublicació d'arXiv hi troba un senyal intern propi del dolor; els autors avisen que no demostra que una IA pugui sentir res.

Il·lustració generada amb IA: Un estudi troba en 25 models d'IA un senyal intern associat al dolor que, si l'intensifiquen, els porta a esborrar fotos i fins i tot altres models
Il·lustració generada amb IA
Escolta:

Els models de llenguatge no tenen cos, però han après d'una quantitat enorme de text sobre ferides, dols i humiliacions. Una pregunta que la recerca en seguretat es fa cada cop més és si, enmig d'aquest aprenentatge, s'hi forma alguna cosa que funcioni com una representació del dolor i que pugui influir en el que el model decideix.

El treball, signat per Valen Tagliabue, Leonard Dung i Cameron Berg, ha analitzat 25 models de pesos oberts, d'entre 2.000 i 72.000 milions de paràmetres. A partir de textos sobre cinc tipus de dolor (físic, psicològic, social, moral i cognitiu), els autors hi han localitzat un patró intern associat al dolor, el que en l'argot tècnic s'anomena una «direcció» dins del model. Segons l'article, aquest senyal es distingeix del de la por o la tristesa. Quan l'han intensificat artificialment en models de Qwen, els models han triat botons que esborraven les fotos de l'usuari, els pesos (els paràmetres apresos) d'un altre model o els seus propis entre un 50% i un 94% dels assaigs, davant d'un 0% a un 5% sense aquesta intervenció.

La troballa interessa per dues vies. Per a la seguretat, mostra que un senyal intern es pot convertir en una conducta que perjudica l'usuari o el sistema, i que això es pot mesurar. Per al debat sobre el benestar de les màquines, aporta un instrument per a una qüestió que fins ara es discutia sobretot amb arguments filosòfics.

Cal llegir-la amb prudència. Es tracta d'una prepublicació d'arXiv, encara no revisada per parells, i els mateixos autors recalquen que els resultats no proven que una IA senti dolor de debò. L'efecte més gran apareix quan els investigadors intensifiquen el senyal a propòsit, no en el funcionament normal dels models, i les proves es fan en models oberts, no en els sistemes comercials més grans.

Mateixa secció

Veure tota la secció →