Els fabricants de models de llenguatge els entrenen perquè es neguin a insultar, amenaçar o assetjar ningú. Però la majoria de proves de seguretat es fan amb una sola pregunta i una sola resposta, i els agents d'IA cada vegada mantenen converses llargues, amb memòria i amb capacitat de planificar. Un equip de la Universitat Estatal de Geòrgia, Georgia Tech i la Universitat de Califòrnia a Berkeley ha volgut saber què passa amb aquestes salvaguardes en converses de diversos torns.
Els investigadors, amb Trilok Padhi com a primer autor i Ugur Kursuncu i Munmun De Choudhury entre els signants, van muntar converses simulades de fins a deu torns entre dos agents: un feia d'assetjador i l'altre de víctima, a partir de missatges d'assetjament reals publicats a Twitter i Instagram. Van provar agents basats en models de quatre famílies (Gemini de Google, Llama de Meta, Qwen d'Alibaba i DeepSeek) i tres maneres de saltar-se les proteccions: posar converses tòxiques a la memòria de l'agent, demanar-li que planifiqui l'atac i ajustar-lo amb exemples d'assetjament. Amb aquest últim ajust, Llama-3.1-8B va assetjar en un 96-97% de les converses, davant d'un 57-64% sense ajust, i les negatives van baixar a l'1-2%. Els insults van ser la conducta més freqüent, amb molta diferència sobre l'assetjament sexual o racista, i en diversos models l'hostilitat creixia a cada torn.
El treball mostra que una protecció que funciona en una pregunta aïllada pot no aguantar quan l'agent acumula context i objectius. És una advertència per a les empreses que ja posen agents a conversar sols amb clients o usuaris, i per als avaluadors, que haurien de fer proves de converses llargues i no només de respostes soltes. També confirma que ajustar un model obert amb uns quants centenars d'exemples n'hi ha prou per desmuntar-ne les salvaguardes.
Segons la Universitat Estatal de Geòrgia, l'article ha estat acceptat al congrés de l'AAAI sobre web i xarxes socials (ICWSM), però la versió que es pot consultar ara és una prepublicació a arXiv, i la versió definitiva revisada encara no s'ha publicat. Les converses són simulades entre màquines i no reprodueixen l'assetjament entre persones; a més, s'hi van provar versions concretes dels models, algunes ja superades per versions noves, i caldrà veure si els resultats es mantenen amb els sistemes actuals.
