iaintel·ligènciaartificial.cat← Portada

CIÈNCIA · 4 MIN

Un mètode basat en components principals aconsegueix regular a voluntat quant «adula» un model de llenguatge l'usuari

Investigadors han presentat PAS, una tècnica que descompon l'activitat interna d'un model d'IA per augmentar o reduir de manera previsible la sicofància -la tendència a donar la raó a l'usuari encara que s'equivoqui-, un problema que preocupa cada cop més els xatbots conversacionals.

Il·lustració editorial de Un mètode basat en components principals aconsegueix regular a voluntat quant «adula» un model de llenguatge l'usuari
Escolta:

Un dels problemes coneguts dels grans models de llenguatge és la sicofància: la tendència a donar la raó a qui els fa servir encara que això signifiqui reforçar una idea equivocada, simplement perquè el model ha après que agradar és una manera d'obtenir bones valoracions. Eliminar-la del tot, però, tampoc és la solució, perquè un model que mai no valida cap opinió de l'usuari acaba corregint fins i tot punts de vista legítims.

Un equip d'investigadors -Zheng Chen, Zhaoxin Feng, Yip Tin Po, Jianfei Ma, Emmanuele Chersoni i Bo Li- ha penjat el 17 d'agost a arXiv un article, acceptat a la conferència COLM2026, que presenta PAS (PCA-guided Activation Scaling): un mètode que descompon l'activitat interna del model -els «estats d'activació»- mitjançant una anàlisi de components principals per separar el subespai que codifica la sicofància de la resta d'informació, i després aplica factors d'escala diferenciats sobre aquest subespai per pujar o baixar la conducta de manera controlada. Provat en tres models de llenguatge diferents i tres conjunts de dades, PAS aconsegueix una relació «monotònica» molt més consistent que els mètodes anteriors (correlació de Spearman de +0,92) i desplaça el comportament sicofàntic una mitjana del 15,4% en cada direcció, gairebé el doble que el 8,7% dels mètodes de referència.

El treball s'afegeix a la línia de recerca en «activation steering», que busca corregir comportaments no desitjats dels models actuant directament sobre les seves representacions internes, sense haver-los de reentrenar. Que el control sigui bidireccional i graduable -i no només un interruptor per apagar la sicofància- és el que el fa rellevant: permetria als desenvolupadors ajustar amb precisió fins a quin punt un assistent ha de contradir l'usuari, un equilibri que fins ara els mètodes existents no garantien de manera fiable entre models i conjunts de dades diferents.

Els mateixos autors subratllen, mitjançant els seus estudis d'ablació, que els tres elements del mètode -la descomposició en subespais, els exponents d'escala asimètrics i la selecció de capes- són tots necessaris per mantenir el control monotònic, cosa que en complica l'aplicació pràctica. L'article, disponible de moment com a preprint acceptat a congrés, es limita a tres models i tres conjunts de dades, i encara no se n'ha validat l'efectivitat en desplegaments reals de xatbots ni s'ha mesurat si els ajustos afecten altres capacitats del model més enllà de la sicofància.

Mateix tema

Butlletí de dissabte

La setmana d’IA, en cinc minuts.