Els grans laboratoris d'IA presenten cada cop més els seus models com a assistents capaços d'accelerar la recerca científica, però la manera habitual de mesurar-ho —comprovar si un model reprodueix una fórmula ja publicada— no distingeix si el model l'ha après de memòria durant l'entrenament o si l'ha deduïda realment a partir de dades noves.
Un equip de catorze investigadors ha presentat l'1 de setembre a arXiv SCILAWS-BENCH, un banc de proves amb 118 problemes extrets de 381 articles científics de sis disciplines i vuit milions de punts de dades reals. El banc combina dos escenaris: SCILAWS-REAL, que demana proposar una llei a partir d'observacions fixes i en mesura l'ajust predictiu i la validesa científica, i SCILAWS-PARALLEL, que obliga el model a interrogar activament "móns calibrats per residus" per recuperar una llei amagada i sintètica que no pot haver vist mai abans. Els resultats mostren que l'ajust predictiu i la validesa científica sovint divergeixen, que la memorització determina si un model es limita a reproduir fórmules publicades o va més enllà, i que els mètodes que generen moltes respostes i en trien la millor topen amb un coll d'ampolla a l'hora de seleccionar-la.
El treball és rellevant perquè posa en dubte una part de l'entusiasme recent per la IA com a "investigadora científica" —el mateix concepte que Anthropic i Google DeepMind han provat aquest estiu amb els seus propis sistemes—: un model pot semblar que "descobreix" una llei física o biològica quan en realitat només reconeix un patró après durant l'entrenament, cosa que és molt diferent d'una capacitat genuïna de raonament científic sobre dades autènticament noves.
És un preprint encara no revisat per parells, i l'escenari SCILAWS-PARALLEL construeix móns sintètics per garantir que la llei és desconeguda pel model, cosa que allunya la prova de la pràctica científica real. Els autors tampoc detallen com es comportarien els models de frontera més recents en el moment de publicar-se el treball, ni si els resultats es mantindrien amb disciplines científiques no incloses en el banc de proves.