Els models de llenguatge que analitzen informes mèdics per predir, per exemple, el risc de mort d'un pacient solen mostrar una precisió alta quan es proven amb les dades del mateix hospital on es van entrenar, però aquesta precisió cau quan s'apliquen a un altre centre o a un altre moment. Un dels motius, segons apunten Jin Mu i Guanhua Chen en un nou treball publicat com a preprint a arXiv, és que aquests models aprenen a explotar «artefactes» propis de com s'escriu un informe (plantilles, separadors, frases de farciment) que no diuen res sobre l'estat real del pacient, en lloc d'aprendre els senyals clínics de debò.
Els autors presenten CAST (Concept-guided Artifact Suppression Tuning), un mètode que fa servir «autoencoders dispersos» per identificar, dins de les activacions internes del model, un conjunt de característiques interpretables per una persona. Aquestes característiques s'etiqueten amb l'ajuda d'un altre model de llenguatge i amb restriccions basades en els codis mèdics ICD-10, es distingeix quines corresponen a artefactes d'escriptura i no a informació clínica real, i durant l'entrenament es «resten» activament d'aquestes últimes perquè el model deixi de fer-hi servir. El resultat és un mètode que, a més de predir, genera una explicació concepte a concepte de quins elements clínics han pesat en cada predicció i quins artefactes s'han suprimit.
Provat en la predicció de mortalitat a partir d'informes d'alta hospitalària de la base de dades MIMIC-IV, un conjunt públic de registres clínics d'un hospital nord-americà molt utilitzat en recerca, CAST millora els resultats dels models d'encoder ajustats amb què es compara i es manté competitiu amb models de llenguatge grans, tot conservant la capacitat d'auditar cada predicció. En un àmbit com el mèdic, on un model equivocat pot tenir conseqüències directes sobre un pacient, disposar d'un rastre explicable de per què el sistema ha arribat a una conclusió és tan important com la precisió mateixa, sobretot de cara a la validació clínica i regulatòria.
Es tracta d'un preprint encara no revisat per parells, amb només dos autors signants i sense afiliació institucional explicitada en el resum, i els resultats es limiten, de moment, a un únic conjunt de dades i a una única tasca, la predicció de mortalitat a partir d'informes d'alta. Els mateixos autors no aborden si el mètode es generalitza a altres tasques clíniques ni a informes escrits amb plantilles molt diferents de les de MIMIC-IV, un pas necessari abans de parlar de qualsevol aplicació real en un hospital.