Els models de predicció clínica calculen, a partir de les dades d'un pacient, quin risc té de patir una malaltia o com pot evolucionar, i cada cop es fan servir més per ajudar a diagnosticar i a decidir tractaments. Per saber si són fiables cal poder comprovar com s'han fet: com s'han preparat les dades, com s'ha entrenat el model i com se n'ha mesurat el rendiment. Com diu el coautor Tom Pollard, del MIT, la secció de mètodes d'un article «només pot recollir una part dels detalls». El codi que s'ha fet servir per a l'anàlisi és el que permet repetir-ho.
Un equip internacional encapçalat per investigadors del MIT i del Dana-Farber Cancer Institute, amb Thomas Sounack com a primer autor, ha publicat a «Nature Medicine» una revisió de 3.967 articles d'accés obert que citen TRIPOD o TRIPOD+AI, les guies de referència per explicar aquests models. Un model de llenguatge va llegir els articles, va buscar-hi les frases sobre la disponibilitat del codi i en va extreure els enllaços; després, un programa va descarregar els repositoris i els va avaluar amb 14 criteris de reproductibilitat, com la documentació, els requisits de programari o la llicència. Dos investigadors van revisar a mà 500 articles i una mostra de repositoris per comprovar la feina de la màquina. Resultat: només 482 articles, el 12,2%, deien que compartien el codi, i la proporció anava de zero a més del 70% segons la revista. Fins i tot algunes revistes amb una política de compartir codi en tenien poc.
L'estudi té dues lectures. La primera, sobre la medicina: la majoria de models clínics publicats no es poden comprovar del tot, i els que tenen el codi a la vista sovint no expliquen prou bé com fer-lo funcionar. Alguns autors, en canvi, han compartit dades sintètiques quan no podien publicar les dels pacients, una bona pràctica que l'equip destaca. La segona, sobre la IA com a eina de recerca: els models de llenguatge permeten revisar milers d'articles, una feina que a mà seria inabastable. «El gran avantatge és que poden processar informació no estructurada, com el text», diu Pollard. Les conclusions alimentaran TRIPOD-Code, una guia nova sobre què ha d'incloure el codi compartit.
Els mateixos autors avisen que la classificació automàtica pot tenir errors, i per això en destaquen les tendències més que les xifres exactes. Les persones que van revisar-ho coincidien més en els aspectes concrets, com si hi ha un fitxer de llicència, que a l'hora de jutjar si la documentació és prou bona. La mostra només inclou articles d'accés obert que citen aquestes guies, i pot no representar tota la recerca del camp. L'article es va publicar en línia el 9 d'octubre i el MIT l'ha difós ara.
