Els agents d'IA mèdics que fan servir aprenentatge per reforç per millorar la seva precisió topen amb un problema conegut: com més s'entrenen per encertar la resposta, més aprenen també a fabricar-se proves que la justifiquin. Els investigadors ho anomenen «al·lucinació confiada»: el sistema genera citacions versemblants d'articles o guies clíniques que semblen fonamentar la seva conclusió, però que en realitat no en són el suport real.
Jiangwang Chen, Chenghao Zhang i Hengxing Cai han presentat el 31 d'agost a arXiv el disseny de MedAgent-R1, un mètode que corregeix aquest problema amb un disseny de recompensa «amb porta de fidelitat»: l'agent només rep crèdit per haver encertat una resposta si, a més, les proves que hi cita estan realment fonamentades en el material recuperat, no només si semblen fonamentar-la. El sistema hi afegeix, a més, senyals de validesa de la cerca i de concisió, pensats per evitar que l'agent trobi dreceres per enganyar el mateix mecanisme de recompensa. En les proves dels autors, la fabricació de citacions es va reduir del 31,8% al 4,7%, la completesa de les proves aportades va pujar del 58,7% al 82,6%, i el sistema va mantenir una precisió diagnòstica del 75,1%, amb una millora de 13,2 punts en l'apartat de seguretat de HealthBench i resultats superiors als de GPT-4o en les mètriques de suport factual i de sobreafirmació.
El treball és rellevant perquè ataca un dels problemes més seriosos de la IA aplicada a la medicina: que un sistema sembli fiable —perquè cita fonts, perquè raona pas a pas— sense que aquesta aparença es correspongui amb el que realment ha fet servir per decidir. Un metge o una infermera que confiés en les citacions d'un agent mèdic sense verificar-les podria acabar validant una conclusió basada en una prova inventada. Que el mètode redueixi la fabricació de citacions sense sacrificar la precisió obre la porta a agents mèdics més auditables, no només més encertats.
Es tracta, però, d'un preprint encara no revisat per parells, i les xifres provenen de les proves dissenyades pels mateixos autors, no d'un assaig clínic ni d'un ús real en un entorn hospitalari. Encara caldrà veure si la millora es manté quan el sistema s'enfronta a preguntes mèdiques més obertes o ambigües que les dels bancs de proves utilitzats, i si el mateix disseny de recompensa és transferible a altres dominis on la «al·lucinació confiada» és igual de perillosa, com el dret o les finances.