Mesurar què saben fer de debò els models d'IA és cada vegada més difícil: moltes proves conegudes s'han quedat petites o tenen errors, i els resultats d'un examen de preguntes diuen poc de com es comporta un model quan ha de fer una feina llarga. La consultora nord-americana SemiAnalysis, especialitzada en xips i infraestructura d'IA, ha publicat GDPx, un banc de proves que vol mesurar les capacitats dels models en els camps que, segons ella, més valor econòmic poden generar.
GDPx té onze àmbits: millora de la mateixa IA, disseny de maquinari, disseny de xips, ciberseguretat, biologia, finances, dret, inversió quantitativa, ciència de materials, alineament i enginyeria de programari. Les tasques no són preguntes soltes, sinó entorns interactius fets amb catorze empreses especialitzades a partir de material real: una sala de dades d'una compra d'empreses amb uns 4.000 fitxers, sistemes informàtics amb diversos serveis, laboratoris simulats o programari de disseny de xips. Cada model treballa amb les seves eines habituals, fins a vuit hores per tasca, i la nota és la mitjana de tres intents. El millor resultat global és d'un 12%, de Claude Opus 5.5, d'Anthropic, per davant de Gemini 4 Carbon (10,9%) i GPT-6 Astra (9,6%). Opus és el més regular i guanya en disseny de xips i de maquinari i en inversió quantitativa; Gemini 4 Carbon, en biologia, i GPT-6 Astra, en ciència de materials i en millora de la IA.
El resultat més revelador és com en són, de difícils, algunes feines. En finances i dret, on la nota és d'aprovat o suspès, gairebé tots els models treuen un zero: en una revisió d'un contracte d'inversió, cap no va lliurar un text utilitzable, i en una anàlisi financera cap no la va resoldre en 25 intents. Els autors també destaquen que tots els models tenen un rendiment molt desigual segons el camp i que, en ciberseguretat, biologia i alineament, els filtres de seguretat d'Opus 5.5 i de GPT-6 Astra els rebaixen la nota perquè es neguen a fer algunes tasques.
Hi ha motius per prendre-s'ho amb reserves. Molts dels resultats surten de pocs intents, alguns camps es puntuen amb un altre model d'IA fent de jutge, i el pes igual de cada àmbit és una decisió dels autors, que admeten que han volgut que el disseny de xips hi pesi una mica més. A més, dos dels tres autors havien fundat una empresa que venia dades d'entrenament als grans laboratoris, molts textos de cada camp els han escrit les empreses col·laboradores, i SemiAnalysis ven anàlisis sobre els mateixos models i empreses que classifica. No és un estudi revisat per experts independents.