Cada cop es proven més agents d'intel·ligència artificial en tasques científiques complexes, però l'anàlisi de catàstrofes naturals —terratrèmols, inundacions, onades de calor, incendis forestals— hi afegeix una exigència extra: cal creuar dades de fonts molt diferents, aplicar càlculs físics correctes i mantenir la coherència entre escales, unitats i interpretacions, en un context on un error pot traduir-se en una decisió equivocada davant d'un risc real per a persones.
Un equip internacional de recerca ha publicat a arXiv EarthVerse, un banc de proves amb 405 tasques construïdes a partir de 199 episodis documentats de perills naturals, agrupats en 19 famílies diferents. Cada tasca obliga l'agent a analitzar paquets de dades heterogenis, triar quina evidència és rellevant, fer els càlculs necessaris de manera transparent i resoldre les inconsistències que hi pugui haver, tot documentant com hi ha arribat. Els autors hi han avaluat 25 sistemes i models diferents.
El resultat més cridaner és la distància entre les dues maneres de mesurar l'encert: amb el criteri més permissiu, la millor precisió mitjana arriba al 84,65%, una xifra que semblaria prou bona. Però amb el criteri més estricte —que exigeix que tota la cadena de raonament, des de l'evidència fins a la interpretació física final, sigui consistent— la precisió cau fins a només el 34,81%. És a dir, els agents solen encertar el resultat final més sovint del que realment «entenen» el problema de cap a cap.
L'article, penjat el 24 d'agost i encara sense revisió per parells, es presenta com una prova que la robustesa dels agents d'IA en aquest tipus de tasques és molt més fràgil del que suggereixen les mètriques més laxes. Els autors adverteixen que caldrà fer proves amb criteris igualment exigents abans de confiar en aquests sistemes per a decisions reals de gestió de riscos naturals, on una cadena de raonament trencada pot passar desapercebuda fins que ja és tard.