Portar IA generativa a la pràctica clínica xoca amb dos problemes pràctics: les dades dels pacients no poden sortir de la institució que les custodia, i els metges necessiten alguna manera de saber quan poden confiar en un diagnòstic generat per un model i quan no. Fins ara, la majoria de sistemes d'IA clínica es basaven en serveis al núvol i en la pròpia puntuació de confiança que el model declarava sobre les seves respostes.
Un equip de l'Else Kröner Fresenius Center for Digital Health de la Universitat Tècnica de Dresden, l'Hospital Universitari de Dresden i el National Center for Tumor Diseases de Heidelberg ha publicat a Nature Medicine un sistema d'agents d'IA que funciona íntegrament dins del servidor de l'hospital, construït sobre el marc MIRA. El sistema simula una consulta sencera entre un agent que fa de metge i un altre que fa de pacient per arribar a un diagnòstic, i es va provar amb casos clínics estandarditzats revisats per metges en 181 casos triats a l'atzar. Els investigadors, liderats per Jakob N. Kather i Li Zhang, van trobar que la consistència del diagnòstic quan es repetia la simulació diverses vegades era el millor indicador de si era correcte —amb una precisió del 84% i el 90% segons el banc de proves—, mentre que la puntuació de confiança interna del model no servia per predir-ho.
El resultat obre una via perquè els hospitals puguin fer servir IA generativa per ajudar al diagnòstic sense enviar dades sensibles a serveis externs al núvol, i dona als metges un criteri objectiu —la repetició— per decidir quan fiar-se d'un resultat generat per IA i quan no. És un pas concret cap a fer que la fiabilitat d'aquests sistemes es pugui mesurar, no només declarar.
Comprovar la consistència exigeix repetir la simulació diverses vegades per a cada cas, cosa que multiplica el cost computacional, i l'equip reconeix que treballa ara a reduir-lo sense perdre qualitat. L'estudi també va detectar que el sistema funcionava pitjor amb casos de pacients grans, una bretxa que caldrà investigar abans de portar l'eina a un entorn clínic real; de moment, la validació s'ha fet amb casos simulats, no amb pacients reals en un assaig clínic.