Els models de llenguatge que s'apliquen a la medicina solen acompanyar el seu diagnòstic d'una cadena de raonament pas a pas, pensada perquè un metge pugui seguir-la i confiar-hi, o detectar-hi un error. La pregunta que es fa un nou treball, penjat aquesta setmana a arXiv per Mengzhu Xu, Jifan Gao, Xia Jiang, Yaoxin Wu i Xi Long, és si aquesta cadena reflecteix de debò el que porta el model a la seva conclusió, o si només és un text plausible que s'hi adjunta després.
Els investigadors van dissenyar una «auditoria per pertorbació»: 30 tipus d'edicions amb sentit clínic —invertir la gravetat d'un símptoma, negar una troballa, eliminar una prova rellevant— que van aplicar sistemàticament sobre les cadenes de raonament de 14 models de llenguatge diferents, avaluats sobre quatre bancs de proves mèdics. El resultat central és el que anomenen la «taxa de desacoblament de la cadena»: en el 72,9% dels casos, l'edició alterava el text del raonament però el model mantenia exactament la mateixa resposta final. També van comprovar que corrompre directament la cadena de raonament no reduïa la precisió diagnòstica dels models, i que eliminar del tot la instrucció de «pensar pas a pas» tampoc l'empitjorava. Metges amb especialitat certificada van validar les pertorbacions utilitzades: el 98,5% es consideraven mèdicament defensables.
La troballa qüestiona una assumpció força estesa en l'ús clínic d'aquestes eines: que llegir l'explicació d'un model permet auditar-ne la fiabilitat. Si la resposta ja està «decidida» abans que el text de raonament es generi, aquest text pot funcionar més aviat com una documentació a posteriori que com una evidència real del procés que ha portat a la conclusió, amb implicacions directes per a com se supervisen i es regulen els sistemes d'IA en entorns clínics.
Es tracta d'un preprint encara no revisat per parells, i les proves s'han fet sobre bancs de dades i models concrets, no en un entorn hospitalari real amb pacients. El treball tampoc identifica quins canvis d'arquitectura o d'entrenament podrien corregir aquest «raonament decoratiu», ni si el problema es manté igual en models dissenyats específicament per fer un ús clínic assistit.