Un equip de nou investigadors —entre ells Chang Guo, Yukun Xie i Zhipeng Zhang— ha publicat a arXiv «RoboFollow: Unveiling the Instruction Following Mirage in Embodied Agents», un estudi que qüestiona un dels indicadors més utilitzats per mesurar el progrés dels robots guiats per intel·ligència artificial: la taxa d'èxit en tasques amb instruccions de llenguatge natural.
Els autors identifiquen un problema estructural que anomenen «baixa entropia de l'escena»: en molts bancs de proves habituals, l'escena visual només permet una tasca plausible, de manera que el robot pot obtenir una puntuació alta ignorant gairebé per complet la instrucció que se li dona, ja que no calia triar entre diverses opcions. Per detectar-ho, han dissenyat RoboFollow, un banc de proves que garanteix diverses accions possibles per a cada escena, organitza les proves en nivells de dificultat creixent (relacions espacials, atributs, lògica) i separa la comprensió de la instrucció de l'execució física del moviment. En avaluar nou models de visió-llenguatge-acció amb aquest mètode, els autors observen que el bon rendiment en tasques bàsiques no es manté quan la mateixa tasca es planteja amb variants una mica més complexes, ni tan sols quan s'hi apliquen millores com models de base més potents o tècniques de guiatge sense classificador.
La importància de la troballa és metodològica: si els bancs de proves actuals sobreestimen sistemàticament la capacitat dels robots de seguir instruccions perquè no exigeixen triar entre alternatives reals, bona part dels progressos que s'anuncien en robòtica amb IA podrien ser més aparents que reals, i caldria repensar com s'avaluen aquests sistemes abans de confiar-hi tasques del món físic amb marge d'error baix.
Es tracta, de moment, d'un preprint encara no revisat per parells, i les proves s'han fet en un entorn de simulació —la plataforma RoboTwin2.0— i no amb robots físics operant en entorns reals, de manera que caldrà comprovar si la mateixa bretxa entre aparença i comprensió real es reprodueix fora del simulador.