Un bon tutor no és qui sempre dona la resposta més fàcil d'entendre, sinó qui sap quan cal fer-ho i quan, en canvi, cal deixar que l'alumne s'hi esforci una mica més. Aquest equilibri entre facilitar i exigir és precisament el que resulta difícil de mesurar en els tutors d'intel·ligència artificial, que solen avaluar-se només per si resolen bé un problema, no per com acompanyen qui l'ha de resoldre.
L'Allen Institute for AI (Ai2) ha presentat TutorMoments, un marc d'avaluació construït a partir de 462 transcripcions anonimitzades de sessions reals de tutoria individual de matemàtiques als Estats Units, de segon a setè de primària. Vint-i-set mestres amb experiència van revisar aquestes sessions i hi van marcar més de 1.500 «moments clau»: punts de decisió on calia triar entre donar suport directe o empènyer l'alumne cap a un raonament més exigent. A partir d'aquí, els models d'IA «prenen el relleu» de la sessió en aquell punt exacte i interactuen durant cinc torns amb un estudiant simulat, mentre un classificador avalua si han donat el suport adequat, si han exigit prou rigor o si han sobreajudat.
Els resultats mostren un patró clar: amb una instrucció genèrica, sense explicar el dilema pedagògic, els models tendeixen a sobreajudar de manera sistemàtica, amb puntuacions de «rigor adequat» d'entre 0,023 i 0,223 sobre 1. Quan se'ls explica explícitament el compromís entre acompanyar i exigir, la millora és notable: fins a 0,712–0,896 en suport adequat i 0,404–0,831 en rigor, per sobre fins i tot dels mateixos mestres humans de referència, que van obtenir 0,182 en rigor. Com resumeix l'equip d'Ai2, «una bona tutoria no és un comportament fix que es pugui identificar sempre igual: és un judici sobre què necessita aquest alumne, ara mateix, amb aquest problema». Ai2 n'ha publicat el conjunt de dades, el codi i les repeticions dels models perquè altres equips ho puguin reproduir.
Es tracta d'una avaluació basada en la repetició de moments concrets amb un alumne simulat, no d'un desplegament en aules reals amb infants de debò, i els resultats només es poden generalitzar a tutoria de matemàtiques en anglès amb el format concret d'aquest estudi. Que un model sàpiga puntuar bé quan se li explica el dilema per endavant tampoc garanteix que es comporti igual de bé quan un usuari real l'utilitza sense cap instrucció pedagògica prèvia.