Els robots humanoides han d'aprendre a coordinar moviment, postura i contacte amb els objectes, i una manera d'ensenyar-los és mostrar-los com ho fan les persones. El problema, segons els autors, és que els conjunts de dades que hi ha donen només una visió parcial d'aquesta coordinació.
Un equip del Laboratori d'IA de Xangai i de les universitats de Zhejiang i Jiao Tong de Xangai proposa EgoExplorer: una càmera GoPro al cap, cinc sensors de seguiment al cap, el dors de les mans i els turmells, i guants que registren els dits (només un dels models també mesura el tacte). Amb aquest equip van enregistrar 100 hores de persones fent tasques variades, sobretot de feines professionals, i en van reconstruir el moviment de tot el cos amb un procés de calibratge, compleció i restriccions. Segons els autors, l'error de posició del cos baixa un 71,9% respecte al millor mètode de referència.
En proves preliminars, generar vídeo, moviment i tacte alhora va donar millors resultats que fer-ho per separat, i un controlador d'un robot Unitree G1 simulat va reproduir sense caure moviments adaptats de dues de les demostracions. Els autors creuen que el conjunt de dades podria servir per entrenar altres controladors i, amb el temps, perquè els humanoides facin tasques en entorns reals.
Cal llegir-ho amb cautela: és una prepublicació a arXiv, encara no revisada per parells. El robot només es va provar en simulació, no va fer cap interacció precisa amb objectes ni va mostrar bon resultat en tasques que no coneixia, i els resultats de generació multimodal i de control de tot el cos són preliminars.