Els laboratoris d'IA prometen agents capaços d'ajudar en la recerca biològica, però bona part de la feina d'un laboratori és poc espectacular: mirar una electroforesi, comptar colònies en una placa, comprovar que els controls d'un experiment de clonatge són correctes. OpenAI ha presentat BioBasicsBench, una prova pensada per mesurar justament això: si els seus models saben interpretar les dades en brut de feines rutinàries de laboratori humit, el que treballa amb mostres biològiques reals.
La prova l'ha construïda amb l'empresa emergent de disseny d'enzims Ligo Biosciences i té 100 tasques sortides dels experiments dels seus científics. Cada pregunta ha passat tres revisions: la d'un altre científic de Ligo, la d'un doctor d'un laboratori extern i una de final interna. Els punts premien les mesures correctes, el raonament ben fet i saber reconèixer quan les dades són massa ambigües per concloure res. OpenAI hi ha fet passar set dels seus models amb diferents nivells de raonament, cinc intents per tasca i 18.500 respostes avaluades. Amb el nivell màxim, GPT-6 Astra treu el 66,7% dels punts i GPT-6.1 Sol, el 62%, mentre que els models de la família GPT-5 es queden entre el 31% i el 44%. Astra, a més, fa servir aproximadament la meitat de text de sortida que GPT-5.6 Sol.
La prova és interessant pels errors que deixa veure. En una tasca, Astra va interpretar bé les bandes d'un gel, però després va invertir la conclusió que indicaven els controls i va recomanar unes colònies que encara portaven el plasmidi original. En una altra va ordenar bé les mostres però va donar per fet que el producte més gran volia dir que el clonatge havia funcionat, i va comptar un 12% de colònies de més en una placa. En canvi, va llegir l'etiqueta escrita a mà d'una placa de control i va veure que s'hi havia fet servir un antibiòtic equivocat, cosa que el model anterior va passar per alt.
Els resultats s'han de llegir amb cautela. La prova l'ha dissenyada i aplicada la mateixa OpenAI, només amb models propis, de manera que no diu res de com quedarien els d'altres empreses. Un terç dels punts encara s'escapen al millor model en feines que un científic fa cada dia, i alguns dels errors, com invertir la lectura dels controls, són dels que en un laboratori real fan perdre setmanes de feina.