Raonar sobre un «què hauria passat si» —què hauria canviat si un esdeveniment concret no s'hagués produït, o s'hagués produït d'una altra manera— exigeix anar més enllà del que s'ha observat i explicar com les condicions alterades es propaguen fins a les seves conseqüències. La majoria de bancs de proves existents per avaluar aquesta capacitat en els models de llenguatge es limiten a escenaris tancats, amb variables fixes i una única resposta correcta, i deixen fora els casos oberts, més propers a com raonem els humans, on cal avaluar tot el procés causal i no només el resultat final.
Un equip encapçalat per Yucheng Wang ha presentat el 28 d'agost a arXiv WhatIfBench, un banc de proves diagnòstic amb 220 preguntes hipotètiques de resposta oberta i llarg abast, repartides entre ciències, humanitats i ciències socials i escenaris híbrids. Per avaluar respostes en text lliure —que no es poden corregir només amb un sí o un no—, els autors proposen també PRISM, un mètode que converteix cada explicació en llenguatge natural en un graf semàntic d'esdeveniments, estats i mecanismes causals, i que combina una mètrica de validesa del procés causal amb una mètrica de qualitat explicativa de la resposta. Provats amb aquest marc, sis dels models de llenguatge més avançats del moment no arriben a saturar el banc de proves: fins i tot el més fort només assoleix un 64,62% de puntuació final, i l'anàlisi detallada hi troba buits causals persistents, «desviament de premisses» i fragmentació de la topologia del raonament —és a dir, narracions que sonen coherents però amaguen connexions causals trencades per sota.
El treball és rellevant perquè posa xifres a una intuïció que moltes vegades s'havia quedat en l'anècdota: que la fluïdesa d'una resposta generada per un model de llenguatge no garanteix que el raonament que hi ha al darrere sigui sòlid, especialment quan cal seguir una cadena llarga de causes i efectes en un escenari obert, sense una única resposta correcta. És un tipus de raonament rellevant per a qualsevol ús de la IA en planificació, diagnosi o presa de decisions, on sovint cal preguntar-se «què hauria passat si» abans de decidir com actuar. El treball ha estat acceptat a la conferència EMNLP 2026, una de les principals cites acadèmiques de processament del llenguatge natural.
Es tracta d'un preprint que descriu un banc de proves nou, encara no adoptat de manera generalitzada per la comunitat investigadora, i els autors no especifiquen les afiliacions institucionals dels onze signants ni el finançament del projecte. L'avaluació es limita a sis models de llenguatge concrets i a 220 preguntes triades pels mateixos autors, i encara falta veure si la metodologia de PRISM —basada en convertir respostes en grafs causals— es generalitza bé a dominis o llengües que no s'han provat en aquest primer treball.