iaintel·ligènciaartificial.cat← Portada

CIÈNCIA · 4 MIN

Un nou mètode identifica quin agent d'IA té la culpa quan un equip d'agents fracassa, en lloc de fer-los reflexionar tots

Presentat en un preprint a arXiv per un equip encapçalat des de la Universitat Renmin de la Xina, DoCtOR atribueix automàticament la responsabilitat d'una fallada a un sol agent d'un sistema multiagent i millora entre un 22% i un 27% mètodes anteriors en tres bancs de proves.

Il·lustració editorial de Un nou mètode identifica quin agent d'IA té la culpa quan un equip d'agents fracassa, en lloc de fer-los reflexionar tots
Escolta:

Els sistemes formats per diversos agents d'intel·ligència artificial que es reparteixen una tasca complexa —cercar informació, navegar per una pàgina web, respondre una pregunta en diverses etapes— fallen sovint, i els mètodes actuals per aprendre de l'error solen fer que tots els agents implicats reflexionin sobre tota la seqüència sencera, encara que només un d'ells hagi comès l'error real. Aquesta manera de procedir és cara en còmput i, segons un nou treball, sovint innecessària.

Un equip encapçalat per Xiaoqing Wang, amb Keman Huang, Bin Liang, Hongyu Li, Xiaoyong Du i Wuqiong Pan, ha presentat a arXiv el 28 d'agost DoCtOR («Finding Where the Buck Stops»), un marc que primer identifica de manera automàtica quin agent concret ha causat la fallada —el que en diuen «atribució de fallades»— i després fa servir raonament contrafactual per generar els passos corregits, implicant en la reflexió únicament l'agent assenyalat com a responsable, no tot l'equip. Provat sobre els conjunts de dades HotPotQA, ChartQAPro i Mind2Web, el mètode millora entre un 22% i un 27% mètodes de referència com Reflexion, Retroformer i COPPER, i els autors mostren que, quan els recursos són limitats, reflexionar només sobre els passos posteriors a l'error crític funciona gairebé igual de bé que analitzar tota la seqüència de la fallada.

La idea és rellevant perquè posa una eina d'interpretabilitat pràctica —saber «qui ha fet què» dins un equip d'agents— al servei de fer aquests sistemes més barats i més fàcils de corregir, en un moment en què cada vegada més aplicacions reals encadenen diversos agents d'IA per completar una sola tasca i en què els costos de còmput de la reflexió múltiple es multipliquen amb el nombre d'agents implicats.

Es tracta d'un preprint encara no revisat per parells, i els resultats es limiten a tres bancs de proves concrets de preguntes i respostes, navegació web i interpretació de gràfics; caldrà veure si el mètode d'atribució es generalitza a sistemes multiagent amb estructures de col·laboració més complexes o a tasques on la responsabilitat de la fallada estigui repartida entre diversos agents alhora, un cas que el treball no aborda explícitament.

Mateix tema

Butlletí de dissabte

La setmana d’IA, en cinc minuts.