Diverses eines d'intel·ligència artificial per diagnosticar malalties de la pell ja compten amb l'aprovació de l'agència reguladora nord-americana FDA i s'utilitzen en consultes reals, i moltes hi incorporen mètodes d'IA explicable perquè el professional o el pacient entenguin per què el sistema arriba a una conclusió determinada. Fins ara, però, hi havia poca evidència sobre si aquesta transparència ajuda igual a tothom.
Un equip amb investigadors del MIT, la Universitat de Columbia i la Universitat de Stanford, liderat per Xuhai «Orson» Xu, ha publicat el 4 d'agost a Nature Medicine els resultats de dos experiments a gran escala amb 623 persones sense formació mèdica i 153 metges de família, als quals es va demanar que diagnostiquessin imatges de lesions cutànies amb l'ajuda de quatre tipus d'assistència d'IA: només la predicció amb el nivell de confiança, la comparació amb imatges similars, mapes de calor que ressalten les zones rellevants de la imatge, i explicacions en llenguatge planer generades per un model de llenguatge. Els resultats divergeixen clarament segons qui les fa servir: totes les formes d'IA explicable van millorar la precisió dels no experts, però sobretot perquè aquests van tendir a deferir a la predicció del sistema, fins i tot quan era errònia, un efecte especialment marcat amb les explicacions en llenguatge planer. Els metges de família, en canvi, van rendir millor quan rebien només la predicció de la IA, sense cap explicació afegida, i es van mostrar resilients davant prediccions incorrectes. Quan els investigadors van fer servir un model amb restriccions de justícia per compensar el biaix contra tons de pell més foscos, la precisió va millorar de manera notable i les diferències diagnòstiques per tonalitat de pell es van reduir.
La notícia és rellevant perquè posa xifres a una intuïció que fins ara es discutia poc en el disseny d'eines mèdiques amb IA: que fer un sistema més «transparent» no beneficia tothom per igual, i que una explicació pensada per generar confiança pot, paradoxalment, portar un usuari sense formació a confiar més del compte en una resposta equivocada. Els autors adverteixen que dissenyar interfícies d'IA explicable requereix tenir en compte qui les farà servir, i no donar per fet que més informació sempre és millor.
L'estudi es limita al diagnòstic dermatològic i no confirma si els mateixos patrons es repetirien en altres especialitats mèdiques; tampoc mesura l'efecte a llarg termini de l'ús repetit d'aquestes eines, més enllà de l'experiment puntual amb els participants.