Una de les promeses més repetides sobre els agents d'intel·ligència artificial és que, amb el temps, poden «aprendre sols»: enfrontar-se a un flux de tasques i anar millorant a mesura que acumulen experiència en una memòria textual, sense necessitat de reentrenar el model. Els treballs que presenten aquests mètodes solen mostrar corbes de millora convincents, però gairebé sempre les proven en una única passada, amb un únic ordre de tasques.
Qinyuan Ye, investigador de Salesforce AI Research, i el seu equip -format també per Yu Li, Yada Pruksachatkun, Jiaxin Zhang i Chien-Sheng Wu, director de l'equip d'IA Interactiva de la companyia- han penjat el 18 d'agost a arXiv l'article «On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification». Els autors reavaluen dos mètodes existents d'agents amb memòria, però ampliant la prova en dues direccions que els treballs originals no havien cobert: repetir cada experiment múltiples vegades per mesurar la variància real dels resultats, i barrejar l'ordre de les tasques per veure com afecta l'aprenentatge. La troballa central és que «la millora de l'agent depèn en gran manera de l'ordre de les tasques», i que els treballs previs solien fer servir ordenacions per defecte que actuaven com un currículum implícit, una mena de requisit ocult per a l'èxit que els articles originals no reconeixien. L'equip també va examinar manualment la memòria dels agents i va trobar que la falta de detall en la descripció de tasques i entorns hi contribueix; afegir rúbriques més detallades i retroalimentació de l'entorn va pal·liar en part el problema, però «encara hi ha buits importants, cosa que suggereix que hi ha altres factors sense caracteritzar» darrere d'aquesta fragilitat.
El treball és rellevant perquè posa en qüestió com s'ha estat mesurant fins ara el progrés dels agents autònoms d'IA, en un moment en què cada cop més empreses -incloent-hi la mateixa Salesforce amb els seus productes d'agents per a atenció al client i vendes- aposten per sistemes que prometen millorar amb l'ús. Si part d'aquesta millora depèn de com s'ordenen les tasques de prova més que de la capacitat real del sistema, els resultats publicats fins ara podrien estar sobrevalorant la fiabilitat d'aquests agents.
L'article, disponible de moment com a preprint sense revisió per parells completa, se centra només en dos mètodes concrets d'agents amb memòria textual i no en tota la família de tècniques d'autoaprenentatge que existeixen. Els autors tampoc proposen encara una solució definitiva al problema, més enllà de constatar que rúbriques i retroalimentació més detallades ajuden només parcialment.