Els sistemes d'IA per detectar fractures a les radiografies obtenen molt bons resultats en proves controlades, però hi ha poques dades de com funcionen quan s'instal·len de debò en un hospital. Un equip de radiòlegs i tècnics de Singapur, amb investigadors de la Duke-NUS Medical School, ho ha mesurat durant tres mesos en un servei d'urgències on els tècnics en radiologia fan una primera lectura de les imatges.
L'estudi, publicat a «npj Digital Medicine», va seguir 13 tècnics que van llegir 2.496 exploracions consecutives de l'aparell locomotor. Cadascun primer feia la seva lectura, després mirava el resultat d'un sistema comercial d'aprenentatge profund i finalment donava la decisió definitiva, que es comparava amb la d'un radiòleg. Tota sola, la IA va detectar el 75,6% de les fractures, i només el 46,2% de les més subtils, per sota del 91,6% dels tècnics. Amb la seva ajuda, la precisió global dels tècnics va passar del 97,6% al 98%: van corregir 11 errors i en van introduir un, és a dir, un guany net de deu casos.
El treball és interessant perquè mostra un benefici real però petit, que no es deu al fet que la màquina sigui millor que les persones, sinó que de vegades s'equivoca en casos diferents. També posa en relleu una qüestió pràctica: el sistema no va donar cap resultat, o el va donar incomplet, en el 8,8% de les exploracions, i els autors conclouen que la fiabilitat del funcionament és tan important com la precisió diagnòstica. A més, els tècnics només van canviar de decisió en 11 dels 729 casos en què no coincidien amb la IA, i la major part de les vegades que van ignorar-la, la IA tenia raó.
És un sol servei d'urgències, amb un sol producte comercial i uns professionals que ja tenien un nivell de partida molt alt, de manera que el resultat no es pot estendre automàticament a altres hospitals. Els mateixos autors admeten que les conclusions sobre el comportament dels tècnics es basen en pocs casos i que no van mesurar si l'ajuda de la IA va canviar res en l'evolució dels pacients.