Cada model nou d'IA arriba amb una taula de resultats en proves de referència. Moritz Hardt, informàtic i director a l'Institut Max Planck de Sistemes Intel·ligents, en un diàleg amb John Pavlus a *Quanta Magazine*, defensa que aquest sistema és «l'error que va fer néixer l'aprenentatge automàtic», però que ha funcionat més per sort que per disseny. Acaba de publicar el llibre *The Emerging Science of Machine Learning Benchmarks*.
El seu argument parteix de la història. La primera prova de referència és del 1959, amb caràcters impresos en targetes perforades per posar a prova escàners. El 1987 una prova de reconeixement de veu de l'agència DARPA va mostrar que la IA de l'època no superava mètodes estadístics simples, i va contribuir a un hivern de la IA d'uns 25 anys. El 2012, ImageNet va fer visible l'aprenentatge profund. Hardt explica que els rànquings entre models eren estables mentre tots s'entrenaven amb les mateixes dades, però que això s'ha perdut: les dades dels grans models no són públiques i els desenvolupadors poden ajustar-les a les proves conegudes. Un model que treu un 90% en un conjunt de preguntes pot treure al voltant d'un 73% en un conjunt lleugerament canviat.
La seva proposta és l'«entrenament en altitud», en referència als atletes que es preparen en alçada: una fase de preparació estandarditzada per a cada model abans de provar-lo. Les notes absolutes pujarien, però l'ordre entre models tornaria a ser vàlid. Posa com a exemple positiu el concurs CASP de plegament de proteïnes, on una prova ben feta ha fet avançar la ciència sense una teoria completa.
Es tracta d'una entrevista amb un investigador i amb un llibre propi, no d'un article revisat, i la proposta encara no l'ha adoptat cap laboratori. Serveix, però, per llegir amb més prudència les taules de resultats que acompanyen cada llançament.