Els grans models de llenguatge porten mesos superant amb notes altíssimes els exàmens de llicència mèdica dels Estats Units, al voltant del 92% d'encert, una xifra que sovint es fa servir com a prova que la IA ja iguala o supera els metges. Aquests exàmens, però, mesuren coneixement teòric en preguntes tipus test, no la capacitat de raonar davant d'un pacient real amb informació incompleta, ambigua o contradictòria.
Un grup encapçalat per Ethan Goh, de la Divisió de Medicina Computacional de Stanford, amb coautors d'Harvard, el MIT, la Universitat de Califòrnia a San Francisco i investigadors vinculats a Google, OpenAI, Anthropic, Microsoft i Amazon, publica a Nature Medicine una proposta de marc anomenat MAST (Medical Artificial Intelligence Superintelligence Test) per mesurar de manera rigorosa i basada en tasques si un sistema d'IA ha assolit capacitats de raonament clínic superiors a les d'un especialista humà. L'article parteix, entre altres dades, del banc de proves BRIDGE, desenvolupat per Mass General Brigham i publicat a Nature Biomedical Engineering, en què els mateixos models que aproven els exàmens de llicència amb un 92% només resolen correctament el 44,8% de les tasques clíniques reals que planteja.
La notícia és rellevant perquè posa xifres i un marc metodològic concret a una discrepància que fins ara es comentava sobretot de manera anecdòtica: els bons resultats en exàmens estandarditzats no es tradueixen automàticament en un bon rendiment clínic real, i calen instruments d'avaluació dissenyats específicament per a la pràctica mèdica abans de parlar de «superintel·ligència» en aquest àmbit. Si s'acaba adoptant, un marc com MAST podria influir en com hospitals i reguladors decideixen quan un sistema d'IA és prou fiable per participar en decisions clíniques.
Es tracta, de moment, d'una proposta de marc metodològic, no d'un test ja aplicat públicament a models concrets amb resultats publicats; caldrà veure com respon la comunitat mèdica i tecnològica a la seva adopció pràctica. Val la pena notar també que diversos coautors treballen per a les mateixes empreses —Google, OpenAI, Anthropic, Microsoft, Amazon— que desenvolupen els sistemes que aquest marc hauria d'avaluar, una circumstància que no invalida la feina però que sí que convida a llegir-la amb aquest context present.