Els bancs de proves habituals per avaluar agents d'intel·ligència artificial —programes que executen tasques per compte d'un usuari, no només que hi responen— solen provar escenaris en anglès i rarament comproven si l'agent preserva l'estat de l'entorn on treballa, ni com es comporta en contextos culturals diferents dels habituals als laboratoris que els entrenen.
Leonardo Ranaldi, Sherrie Shen, Jushi Kai i Alexandra Birch, de la Universitat d'Edimburg, han publicat l'1 de setembre a arXiv WorldBench, un banc de proves de 1.600 tasques repartides en set llengües i vuit cultures, centrat en tasques quotidianes ancorades en un personatge concret i executades dins d'entorns simulats. La novetat principal és una mètrica pròpia, l'Èxit de Tasca Restringit (CTS), que no només comprova si l'agent completa correctament l'encàrrec sinó si, en fer-ho, manté l'entorn intacte i no introdueix efectes secundaris no desitjats. En les proves dels autors, els models de capa frontera només assoleixen un 49,2% de CTS, amb una diferència notable entre la correcció de la tasca i la preservació de l'entorn.
El resultat és rellevant perquè posa xifres a una intuïció estesa però poc mesurada fins ara: els agents d'IA es tornen més fràgils com més s'allunyen de l'anglès i dels escenaris culturals habituals dels bancs de proves existents, i especialment en tasques llargues amb diversos passos encadenats. Per a una llengua minoritzada com el català, que aposta per integrar-se en aquests sistemes a través de projectes com l'AINA, el resultat subratlla que avaluar un model només en anglès pot amagar-ne mancances reals en altres llengües.
És un preprint encara no revisat per parells, i els autors no especifiquen si el català hi és una de les set llengües avaluades. Tampoc quantifiquen quant de temps o quantes dades caldrien per tancar la bretxa que han detectat entre models de capa frontera i la resta.