La intel·ligència artificial explicable (XAI, per les sigles en anglès) s'ha promogut durant anys com la manera de fer que els sistemes d'IA mèdica siguin més transparents i, per tant, més segurs: en lloc de donar només un diagnòstic, el sistema n'explica els motius amb imatges similars, mapes de calor o text en llenguatge natural. Diversos treballs previs ja apuntaven, però, que aquesta transparència pot tenir efectes paradoxals sobre com les persones prenen decisions.
Un equip liderat per Marzyeh Ghassemi (MIT), Xuhai «Orson» Xu (Columbia) i Roxana Daneshjou (Stanford) publica a Nature Medicine dos experiments a gran escala amb 623 persones sense formació clínica i 153 metges d'atenció primària, als quals es van presentar imatges de pell amb prediccions d'un model d'IA acompanyades de quatre tipus d'ajuda: cap explicació, imatges similars, mapes de calor i explicacions en llenguatge natural generades per un model multimodal. Els resultats es divideixen clarament per perfil: els no-experts van millorar la seva precisió diagnòstica amb les explicacions, però sobretot per pura deferència cap a la IA —confiaven en el text explicatiu tant si l'IA encertava com si s'equivocava—, mentre que els metges d'atenció primària van obtenir els millors resultats quan rebien només la predicció, sense cap explicació afegida. Els models dissenyats amb criteris de justícia per corregir el biaix cap a tons de pell més foscos, en canvi, sí que van millorar la precisió global i van reduir les disparitats diagnòstiques, independentment del format d'explicació.
La notícia és rellevant perquè posa xifres concretes a un debat que fins ara es plantejava sobretot de manera conceptual: que una eina pensada per augmentar la confiança informada pugui, en la pràctica, augmentar només la confiança —sense informació real— en usuaris sense experiència clínica, mentre que als experts els resulta fins i tot un obstacle. Amb la IA mèdica arribant cada cop més directament a mans de pacients i no només de professionals, l'estudi suggereix que el disseny de les explicacions ha d'adaptar-se a qui les rep, no ser el mateix per a tothom.
L'estudi es limita a diagnòstic dermatològic a partir d'imatges i a quatre formats concrets d'explicació, de manera que les conclusions no es poden extrapolar automàticament a altres especialitats mèdiques ni a altres maneres de presentar la informació. Tampoc no avalua com canviaria el comportament dels participants amb un entrenament previ sobre com interpretar aquest tipus d'explicacions, una variable que els mateixos autors assenyalen com a pregunta oberta per a futura recerca.