iaintel·ligènciaartificial.cat← Portada
Secció · Ciència, salut i robòtica

ROBÒTICA · 4 MIN

Runway, l'empresa de vídeo amb IA, allibera Praxis-1, un model que fa servir el que ha après dels vídeos per moure robots

El model, de 27.000 milions de paràmetres, es pot descarregar i fer servir comercialment. Segons les proves de la mateixa empresa, encerta el 46,2% de les tasques d'un banc de proves de Nvidia.

Il·lustració generada amb IA: Runway, l'empresa de vídeo amb IA, allibera Praxis-1, un model que fa servir el que ha après dels vídeos per moure robots
Il·lustració generada amb IA
Escolta:

Runway és coneguda sobretot pels seus models que generen vídeo a partir d'una frase. Ara aplica aquesta tecnologia als robots. Praxis-1 és el que l'empresa anomena un «model d'acció i món»: rep les imatges de les càmeres del robot, una instrucció escrita i la posició dels seus braços, preveu com canviarà l'escena i en dedueix els moviments que ha de fer. La idea de fons és que un model que ha vist milions de vídeos de coses que es mouen ja sap molt del món físic abans de tocar cap robot. L'empresa el va ensenyar a uns quants socis al setembre.

El model té 27.000 milions de paràmetres i Runway n'ha publicat els paràmetres entrenats (el que en l'argot s'anomenen pesos) i el codi per fer-lo servir i adaptar-lo, amb la llicència Apache 2.0, que en permet l'ús comercial. Es pot baixar de GitHub i de Hugging Face. Segons l'empresa, en el banc de proves RoboLab-120 de Nvidia, amb 120 tasques simulades, encerta el 46,2% dels intents, per davant del 42,9% de FLUX 3 Action i del 28% de π0.5. Adaptat a un robot que no havia vist mai, el RT-1 de Google, arriba al 80% d'encerts en simulació, davant del 52,4% del sistema original. Tres empreses, Standard Bots, Noble Machines i Ultra, ja l'han provat en un humanoide, un braç industrial i un robot de magatzem.

La notícia importa per dos motius. El primer és que és un model obert d'un dels grans laboratoris de vídeo, en un camp, el dels robots, on molts dels models punters són tancats. El segon és que Runway diu que els vídeos corrents d'internet serveixen tant com els vídeos de robots manejats a distància per entrenar-los, que són molt més cars de gravar. Arriba la mateixa setmana que s'ha sabut que OpenAI desfà el seu equip de robòtica perquè creu que els models generals ja poden governar robots: totes dues apostes van en la mateixa direcció.

Totes les xifres són de proves fetes per la mateixa Runway i no les ha verificat ningú de fora. L'empresa reconeix, segons The Decoder, que el model de vegades confon objectes semblants, que li costen les instruccions vagues i que encara no pot planificar sol tasques llargues, que s'han de descompondre pas a pas. La versió estàndard necessita una targeta gràfica de 80 GB de memòria, i encara no està clar si de debò necessita menys dades de robots que els models comparables.

Mateixa secció

Veure tota la secció →