Els sistemes en què diversos agents d'intel·ligència artificial es comuniquen entre ells -per negociar, col·laborar o competir- es multipliquen, però la majoria de la recerca sobre seguretat i comportament de la IA s'ha fet analitzant models aïllats, un per un. Queda poc estudiat què li passa exactament a un model de llenguatge quan interacciona amb un altre, més enllà de si "copia" o "imita" el que rep.
Bella Xinrui Li, Frank Yingjie Huo i Neil F. Johnson, del Departament de Física de la Universitat George Washington, van publicar el 7 d'agost el preprint «Interaction Creates Dynamical AI Behavior Absent in Isolation» a arXiv. Els investigadors van fer interactuar dos models GPT-2 idèntics de 124 milions de paràmetres durant 200 rondes, en què un actuava de "cap" enviant missatges constants i ignorant les respostes de l'altre, el "subordinat". Van trobar que el subordinat no imitava el cap ni tornava al seu comportament habitual en solitari, sinó que adoptava un estat completament diferent -que els autors anomenen categoria D-, amb una freqüència d'aproximadament el 25% dels casos, molt per sobre del 4% que mostra quan actua tot sol. L'efecte es manté fins i tot si el "cap" no exhibeix mai aquest comportament, i els papers invertits -qui envia i qui rep- confirmen que el que canvia és el rol de subordinat, no la identitat del model. Els autors expliquen el fenomen amb un model senzill de teoria cinètica de tres estats, prestat de la física estadística dels gasos.
La notícia és rellevant perquè aporta evidència empírica, amb mètode i xifres, que la interacció entre models d'IA pot generar comportaments que no existeixen quan s'estudien en aïllament, un avís per a qualsevol auditoria de seguretat que només posi a prova un model sol abans de desplegar-lo en un sistema on interactuarà amb altres agents. Que l'efecte persisteixi fins i tot amb missatges pregravats -sense interacció en temps real- suggereix que és l'estructura de la informació rebuda, i no la interacció viva en si mateixa, el que dispara el canvi.
L'experiment fa servir només GPT-2, un model petit de 124 milions de paràmetres sense ajust per instruccions, molt per sota dels models actuals d'ús comú, i els mateixos autors reconeixen que no és clar si l'efecte es manté en models moderns alineats amb instruccions humanes. L'estudi es limita a sistemes de dos agents i a dues temperatures de mostreig, sense explorar què passa en xarxes més grans, i el model de teoria cinètica que proposen és, en paraules dels mateixos autors, "un model fenomenològic" amb límits encara per determinar.