iaintel·ligènciaartificial.cat← Portada

CIÈNCIA · 5 MIN

Un mètode evolutiu de Salesforce triplica l'èxit d'un agent d'IA en tasques de navegació web, sense tocar el model

En lloc de reentrenar el model, els investigadors fan evolucionar la capa de prompts i eines que l'envolta. En el banc de proves WebArena-Infinity, la taxa d'èxit de l'agent puja del 43,5% al 93%.

Il·lustració editorial de Un mètode evolutiu de Salesforce triplica l'èxit d'un agent d'IA en tasques de navegació web, sense tocar el model
Escolta:

La majoria d'esforços per millorar agents d'intel·ligència artificial se centren a reentrenar el model que els fa funcionar. Un equip de Salesforce Research, amb Ran Xu com a autor sènior, proposa actuar en canvi sobre el «harness»: la capa de prompts, eines i control de flux que envolta un model que es manté fix.

El mètode, anomenat DarwinX i publicat en obert amb el nom de Beagle (llicència Apache 2.0), manté diverses variants d'aquesta capa alhora, en conserva els descobriments útils i només deixa avançar els canvis que milloren alguna capacitat sense fer empitjorar les altres; també permet combinar branques especialitzades que són febles en general però fortes en tasques concretes. En el banc de proves WebArena-Infinity, la taxa d'èxit de l'agent passa del 43,5% al 93%. També millora en Terminal-Bench 2.1 (del 75,5% al 83,2%), en SWE-bench Verified (+3,4 punts) i en TerminalWorld (del 61% al 68,3%).

Si els resultats es confirmen en més bancs de proves, suggereixen que una part important del rendiment d'un agent depèn de com s'organitza la infraestructura al seu voltant, no només de la mida o l'entrenament del model de base —una via, en principi, més barata de millorar-los que tornar-los a entrenar.

Els mateixos autors hi posen límits clars: els resultats són estocàstics, de manera que un mateix agent pot superar una tasca en una execució i fallar-la en la següent; el mètode aporta poc en fluxos de treball simples i estables; requereix una infraestructura d'avaluació amb verificadors fiables, que rarament existeixen als entorns de producció; i la millora obtinguda en la recombinació de branques a TerminalWorld no s'ha mesurat de manera independent.

Mateix tema

CIÈNCIA · 4 MIN

Un estudi demostra que les pautes que una IA es fabrica per avaluar-se a si mateixa es poden enganyar fins a un 26% de les vegades

Investigadors de la National University of Singapore, la Universitat de Pequín, l'Institut d'Automàtica de l'Acadèmia Xinesa de Ciències i JD.com posen a prova onze generadors de pautes d'avaluació amb tasques dissenyades perquè l'única resposta honesta sigui reconèixer que no tenen solució, i troben que sovint premien la resposta que enganya millor el sistema.

Butlletí de dissabte

La setmana d’IA, en cinc minuts.