Les proves de referència més conegudes per als agents d'IA que programen han quedat gairebé saturades: quan els models poden executar, comprovar i corregir el seu propi codi, hi passen del 99%, i les diferències entre ells pràcticament no es poden mesurar. Això contrasta amb l'experiència de molts programadors, que encara han de repassar i polir bona part del que fan aquestes eines.
Un equip d'Alibaba i de diverses universitats asiàtiques ha construït Co-Design Bench, una prova de 273 tasques triades d'entre més de 37.000 peticions reals de 26.314 sessions de programació. Els agents han de modificar aplicacions web que ja existeixen a partir del que demana l'usuari, de vegades amb imatges, gravacions d'àudio, vídeos o documents. Es van triar sobretot casos en què l'usuari havia hagut de tornar a formular la petició o desfer canvis, és a dir, feines que ja havien donat problemes. Una IA avaluadora prova l'aplicació acabada al navegador i una segona revisa cada resultat positiu, contra 2.331 criteris amagats escrits per experts. El millor dels deu models, GPT-6 Astra, d'OpenAI, compleix de mitjana el 69,9% dels criteris de cada tasca, però només deixa del tot resoltes el 26,4% de les tasques; el segueixen Claude Opus 5, d'Anthropic, i Qwen3.8-Max, d'Alibaba.
La conclusió pràctica és que els agents fan el gros de la feina però gairebé sempre en deixen algun detall per acabar, i que el rendiment baixa com més tipus de canvis combina un encàrrec (disseny, interacció, contingut), que és justament el que passa en els projectes reals. Gastar més càlcul no ho arregla: segons The Decoder, que ha difós l'estudi, GLM-5.2 consumeix gairebé sis vegades més *tokens* (unitats de text processat) que GPT-6 Astra en els canvis petits i treu un resultat clarament pitjor. Els autors també troben que el programa que fa d'entorn de treball de l'agent pot canviar molt la nota, i recomanen publicar sempre el model i l'entorn junts.
Es tracta d'una prepublicació a arXiv que encara no ha passat la revisió per parells. La prova avalua una sola petició per tasca, sense les preguntes i correccions que un usuari fa a mitja feina, i l'avaluació la fan models d'IA que també es poden equivocar. A més, un dels models comparats és d'Alibaba, una de les institucions que signen l'estudi.