Ensenyar un robot a fer tasques domèstiques —agafar una poma d'un bol, obrir un armari, endreçar una taula— requereix moltíssimes hores de pràctica, i deixar-lo assajar directament al món real és lent i arriscat. La solució habitual és entrenar-lo primer en entorns virtuals, però construir a mà escenes 3D prou variades i realistes com per preparar un robot per a la diversitat de cases, hotels o oficines que trobarà després és, alhora, car i lent.
Un equip del CSAIL del MIT liderat per l'estudiant de doctorat Nicholas Pfaff, amb el professor Russ Tedrake i el també doctorand Thomas Cohn, en col·laboració amb els investigadors Sergey Zakharov i Rick Cory del Toyota Research Institute, ha presentat SceneSmith: un sistema en què tres agents basats en models de visió i llenguatge (amb GPT-5.2 com a motor de raonament espacial) es reparteixen la feina de generar una escena —un agent «dissenyador» proposa els elements i la disposició, un «crític» n'avalua el realisme i la coherència, i un «orquestrador» gestiona l'anada i tornada entre tots dos fins que l'escena queda llesta per carregar-se directament en un motor de simulació física. Amb aquest mètode, els investigadors han generat més de 1.300 escenes —restaurants, dormitoris, hotels, oficines, botigues de ceràmica, sales de jocs— amb fins a sis vegades més objectes que els mètodes anteriors com HSM o Holodeck, sense haver-los indicat explícitament que fossin creatius. El treball, publicat com a preprint a arXiv i presentat com a spotlight al ICML, ha estat finançat per Amazon, l'Oficina de Recerca Naval dels EUA, el Toyota Research Institute i la National Science Foundation.
La notícia és rellevant perquè aporta una manera escalable i barata d'ampliar la varietat d'entorns d'entrenament per a robots domèstics, un dels colls d'ampolla habituals de la robòtica, i perquè els resultats no es queden només en una demostració visual: en un estudi amb més de 200 persones, més del 90% van valorar les escenes de SceneSmith com més realistes que les generades amb mètodes anteriors, i quan es va desplegar una política robòtica ja entrenada en aquests entorns nous —sense haver-los vist mai— els agents d'IA que jutjaven si les tasques eren factibles van coincidir amb el criteri humà en el 99% dels casos.
Els mateixos autors reconeixen limitacions clares: generar cada escena encara triga diverses hores, el sistema només tracta bé objectes rígids —els elements deformables, com una esponja o un drap, exigirien ampliar les biblioteques 3D disponibles—, i fer-lo prou eficient per a un ús massiu requerirà més potència de càlcul. És, doncs, una eina prometedora per generar dades d'entrenament, no encara un substitut madur de la pràctica dels robots en entorns reals.