iaintel·ligènciaartificial.cat← Portada

CIÈNCIA · 4 MIN

Un estudi amb 260 configuracions troba el punt a partir del qual afegir més agents d'IA deixa de millorar el resultat

Investigadors del MIT Media Lab demostren que el rendiment del model individual, no el nombre d'agents que hi treballen junts, és el que decideix si la col·laboració multiagent ajuda o perjudica una tasca.

Il·lustració editorial de Un estudi amb 260 configuracions troba el punt a partir del qual afegir més agents d'IA deixa de millorar el resultat
Escolta:

Bona part del disseny actual d'aplicacions d'IA dona per fet que posar diversos agents a treballar junts -repartint-se tasques, revisant-se els uns als altres, discutint una resposta- sempre millora el resultat final respecte a fer servir un sol model. És una assumpció que rarament s'ha posat a prova de manera sistemàtica, més enllà de casos concrets i benchmarks aïllats.

Un equip liderat per Yubin Kim amb investigadors del MIT Media Lab, entre ells Hae Won Park i Paul Pu Liang, ha publicat a Nature Machine Intelligence un experiment controlat amb 260 configuracions diferents, combinant sis benchmarks -navegació web, raonament financer, planificació, automatització de tasques, enginyeria de programari i ús de terminal-, cinc arquitectures de coordinació entre agents i tres famílies de models de llenguatge. Van mantenir constants els mateixos prompts, les mateixes eines i el mateix pressupost de còmput, variant només com es coordinaven els agents i quina capacitat tenia el model de base. El resultat és un llindar de saturació: per sota d'un cert nivell de rendiment individual (al voltant del 45% en la línia base d'un sol agent), afegir-ne més ajuda; per sobre, l'aportació addicional és pràcticament nul·la. Un model predictiu basat en aquest llindar va endevinar correctament l'efecte de la coordinació multiagent en el 94% dels casos de validació sobre els benchmarks SWE-bench Verified i Terminal-Bench.

La troballa és rellevant perquè inverteix la intuïció habitual del sector: no és la mida de l'equip d'agents el que determina si val la pena coordinar-los, sinó la capacitat que ja té el model individual per fer la tasca tot sol. Per a qui dissenya sistemes d'IA agèntica, això suggereix que abans d'afegir més agents -amb el cost en còmput i en latència que suposa- convé mesurar primer si el model de base ja ha superat aquest llindar de saturació, cas en què la col·laboració addicional deixa de ser rendible.

Els mateixos autors adverteixen que el seu model predictiu, malgrat la seva capacitat d'endevinar quan la coordinació ajuda o perjudica, només explica una part limitada de la variació observada en el rendiment (un coeficient de determinació d'entre 0,37 i 0,41 segons la mètrica), de manera que hi queda un marge ampli inexplicat. L'estudi es limita, a més, als sis benchmarks i les tres famílies de models analitzats, i no es pot donar per fet que el mateix llindar es traslladi sense matisos a qualsevol altra tasca o arquitectura.

Mateix tema

Butlletí de dissabte

La setmana d’IA, en cinc minuts.