El diagnòstic cardiovascular depèn d'integrar proves de naturalesa molt diferent: un electrocardiograma, una ecocardiografia, una radiografia de tòrax i les dades clíniques del pacient. A la pràctica clínica, un metge les combina de manera natural per arribar a una conclusió, però la majoria de models d'IA mèdica funcionen al revés: es construeixen per a una sola modalitat i només s'ajunten en fases posteriors, la qual cosa fa perdre les relacions creuades entre proves que un clínic sí que aprofita.
Un equip internacional d'investigadors ha presentat LAMAE (Latent-Attention Masked Autoencoders), un model multimodal que aprèn representacions conjuntes del pacient des del primer moment de l'entrenament, no com un pas afegit al final. En comptes de barrejar les modalitats a posteriori, LAMAE fa que s'intercanviïn informació directament en un espai latent compartit, organitzat per estudi, per prova i per variable clínica, cosa que li permet combinar dades de fonts diferents i seguir funcionant encara que en falti alguna. El model s'ha entrenat amb més d'1,2 milions d'estades hospitalàries de la base de dades MIMIC-IV.
En les proves, LAMAE supera tant els models especialitzats en una sola modalitat com diverses alternatives contrastives i de visió-llenguatge en tasques com predir la mortalitat intrahospitalària, assignar codis diagnòstics (ICD-10 i DRG) o estimar la durada de l'ingrés. La troballa més rellevant és que els avantatges es mantenen fins i tot quan, en el moment d'aplicar el model, només hi ha disponible una modalitat: el sistema segueix rendint millor que els models pensats només per a aquella prova concreta, senyal que ha après relacions útils entre proves i no només patrons de cadascuna per separat.
Es tracta d'un resultat de recerca amb mètode i avaluació clars, encara en preprint i pendent de revisió per parells, i entrenat i validat amb dades d'un únic sistema hospitalari nord-americà (MIMIC-IV), cosa que deixa oberta la pregunta de com es comportaria amb pacients d'altres països o sistemes sanitaris. Els autors no reivindiquen ús clínic immediat: presenten un mètode de representació que caldrà validar en assajos posteriors abans de pensar en cap aplicació real a la consulta.