Els bancs de proves de física s'han fet servir sovint per argumentar que els grans models de llenguatge encara raonen malament en ciències dures, però mesurar bé la capacitat real d'un model exigeix que les preguntes i les respostes de referència del mateix banc de proves siguin correctes, cosa que rares vegades es comprova amb el mateix rigor amb què es mesura el model.
Un equip de cinquanta investigadors liderat per Ali Ansari, en un article penjat l'11 de setembre a arXiv, «How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks», ha fet fer a especialistes en física una revisió manual de sis bancs de proves molt utilitzats, comprovant pregunta per pregunta i resposta per resposta si els errors marcats als models eren fallades reals de raonament o bé errors del mateix banc de proves —solucions de referència equivocades, criteris de correcció defectuosos o preguntes mal formulades. El resultat: bona part de les respostes marcades com a incorrectes reflectien defectes del banc de proves, no errors del model. Un cop corregits aquests defectes, el rendiment de GPT-5.6 Sol puja del 47,3% al 78,7% al banc HLE-Physics, i del 61,0% al 87,2% al CMT-Benchmark, amb una taxa d'encert del 94,4% als problemes de CritPt que es van mantenir vàlids després de la revisió.
L'estudi no és un anunci de cap empresa, sinó un resultat tècnic amb mètode i avaluació —una auditoria d'experts sobre les eines de mesura mateixes— que capgira una part de la narrativa sobre les limitacions dels models en física: segons els autors, els bancs de proves actuals «subestimen substancialment» la capacitat real dels models de frontera en problemes ben definits, i el treball parla d'una «gairebé saturació» d'aquestes tasques tancades, cosa que obliga a repensar com s'avaluen les capacitats científiques de la IA.
La troballa es limita als sis bancs de proves revisats i a un tipus concret de preguntes de física tancades, amb una única resposta correcta possible; no diu res sobre com es comportarien els mateixos models davant de problemes de física oberts o de recerca real, i es tracta, de moment, d'un preprint encara no revisat per parells.