Els sistemes d'ajuda a la decisió clínica basats en models de llenguatge s'han provat sobretot en escenaris simulats o amb casos històrics: se'ls dona una història clínica i es mira si encerten el diagnòstic. El que gairebé no s'havia mesurat fins ara és què passa quan un d'aquests sistemes s'endolla de debò al servei d'urgències d'un hospital i els metges hi han de conviure torn rere torn.
Un equip encapçalat per Leibovitch i col·laboradors va publicar el 19 d'agost a Nature Medicine una avaluació prospectiva de SHAKED, un sistema d'ajuda a la decisió construït sobre diversos models de llenguatge i desplegat al servei d'urgències del Rambam Health Care Campus, a Haifa. Durant quatre setmanes es van analitzar 1.138 pacients repartits en dues ales paral·leles del mateix servei: una amb SHAKED disponible i l'altra amb la rotació habitual. El resultat central no va ser un error del model, sinó un abandonament: l'ús clínic del sistema va caure del 68% al 30% al llarg de les quatre setmanes, i la caiguda es concentrava en els torns amb més càrrega de feina (odds ratio de 0,72 per cada hora de torn, interval de confiança del 95% entre 0,62 i 0,83). Els metges sí que el feien servir més per a les consultes de radiologia (OR de 2,98). No es va detectar cap efecte advers i la revisió d'experts va considerar clínicament adequades 99 de les 100 sortides mostrejades.
La dada és rellevant perquè inverteix la pregunta que domina el debat sobre la IA mèdica. Els autors conclouen que el coll d'ampolla per fer servir bé aquestes eines a urgències podria ser «l'adhesió sostinguda del personal clínic, més que no pas la precisió algorítmica»: un sistema pot encertar gairebé sempre i, tot i així, deixar de fer-se servir precisament en els moments de més pressió assistencial, que és quan teòricament seria més útil. L'estudi també va mesurar què passava amb els temps: l'estada mitjana a urgències va ser idèntica a les dues ales -4,9 hores-, i la reducció del temps de cicle de consulta (9,4 minuts menys) no va arribar a ser estadísticament significativa.
Els mateixos autors delimiten l'abast del que han fet: es tracta d'una avaluació d'etapa 1 del marc DECIDE-AI -és a dir, un estudi de viabilitat en condicions reals, no un assaig aleatoritzat-, en un sol hospital i durant quatre setmanes. La seva conclusió és explícita: aquests resultats serveixen per dissenyar un assaig aleatoritzat posterior, però «no justifiquen el desplegament clínic» d'aquest tipus de sistemes en aquesta fase. L'estudi està registrat a ClinicalTrials.gov amb l'identificador NCT06902675.