Els agents de programació basats en IA no executen les seves ordres directament: sovint generen comandes de terminal (Bash) que passen per capes intermèdies de processament -analitzadors sintàctics, adaptadors d'interfície- abans d'arribar a executar-se de debò. Els bancs de proves habituals només reporten si la tasca ha acabat amb èxit o no, sense distingir si una fallada ve del model o d'aquesta capa intermèdia.
Shangao Li, Yao Zhang, Volker Tresp i Yuanyuan Yang han presentat el 13 d'agost, en un preprint a arXiv, QuoteBench: un banc de proves amb 56 tasques agrupades en 14 famílies derivades d'incidents reals, dissenyat expressament per posar a prova aquesta frontera. Fent servir un analitzador d'ordres deliberadament mal dissenyat -que no gestiona correctament els caràcters d'escapament-, els autors van reproduir exactament les mateixes respostes que ja havien generat els models, però fent-les passar per aquesta capa addicional: la taxa d'èxit va caure entre 55,4 i 73,2 punts percentuals respecte del resultat original, sense que el model hagués canviat res de la seva resposta. Quan als models se'ls informa explícitament de com funciona aquest processament intermedi, en recuperen entre 30,4 i 60,7 punts, segons la configuració.
L'estudi és rellevant perquè demostra que els rànquings entre agents de programació d'IA poden canviar només en funció de com estan desplegats i avaluats, no només de la seva capacitat real per raonar o programar, i arriba en un moment en què el mercat d'eines de programació agèntica s'ha tornat especialment competitiu -avui mateix DeepSeek ha obert el codi del seu propi «Harness» per competir amb Claude Code, i la francesa Kog assegura haver multiplicat per trenta la velocitat d'inferència en el mateix maquinari. Els autors demanen que les avaluacions detallin la configuració tècnica exacta en lloc de tractar les puntuacions com si fossin una propietat inherent del model.
Es tracta d'un preprint encara sense revisió per parells, centrat en un conjunt limitat de 56 tasques i 14 famílies d'incidents, de manera que no queda clar fins a quin punt l'efecte es generalitzaria a altres arquitectures d'agents o a desplegaments de producció reals, ni quina proporció de les fallades reportades en bancs de proves populars s'explica realment per aquest tipus de problema de processament intermedi en lloc de per limitacions del model mateix.