Un dels usos que més s'anuncien per als agents d'intel·ligència artificial en ciència és automatitzar l'anàlisi computacional d'un experiment biològic, la part del procés científic que sol consumir més temps un cop les dades ja estan recollides. Fins ara, però, cap avaluació sistemàtica havia comprovat si un agent és capaç de completar, sense supervisió humana pas a pas, una anàlisi completa a l'escala d'un estudi científic real.
Un equip encapçalat per Zane Koch i Asmamaw T. Wassie, amb Javier Valdes-Aleman, Jason Lee, Michaela M. Hinks, Samuel G. Rodriques, Andrew D. White i Jon M. Laurent, ha presentat BixBench3, un banc de proves de 20 tasques dissenyades per imitar com un científic delega feina a un ajudant: l'investigador tria la pregunta de recerca i el mètode general, i l'agent ha d'executar tota la seqüència d'anàlisis necessària a partir de dades en brut extretes d'un estudi ja publicat. Els resultats de cada tasca, per exemple una taula d'expressió gènica diferencial, es comparen de manera automàtica amb els resultats que l'estudi original va reportar realment. Sobre 138 resultats únics generats en total, els 13 models capdavanters avaluats van obtenir puntuacions d'entre 0,00, per a Gemini 3.1 Flash Lite, i 0,48 com a màxim, per a GPT 5.6 Sol, en una escala on 1 seria una rèplica perfecta.
El valor de l'estudi és mostrar, amb xifres concretes, la distància que encara separa la promesa dels agents científics de la seva capacitat real: el rendiment baixa de 0,36 a 0,10 quan el conjunt de dades supera els 100 gigabytes, i de 0,36 a 0,24 quan calen tres passos d'anàlisi seguits o més en lloc d'un o dos. De mitjana, completar cada tasca va requerir 6,8 hores, 102 milions de testimonis (tokens) i 43 dòlars de cost de còmput, amb l'intent més llarg registrat consumint 24 hores, més de mil milions de testimonis i 525 dòlars, xifres que qüestionen també la viabilitat econòmica actual d'aquest tipus d'automatització a gran escala.
Es tracta d'un preprint encara no revisat per parells, i els resultats, tot i ser sistemàtics, es limiten a les 20 tasques concretes construïdes pels autors a partir d'estudis ja publicats, no a la totalitat de la recerca biològica computacional possible. Els mateixos autors no aborden si un rendiment del 48% en el millor dels casos és suficient perquè un laboratori confiï una anàlisi real a un agent sense revisió humana posterior, una decisió que continua sent, de moment, del científic responsable de l'estudi.