iaintel·ligènciaartificial.cat← Portada
Secció · Ciència, salut i robòtica

CIÈNCIA · 4 MIN

Un model de Rochester i Nvidia genera imatges treballant directament amb els píxels i iguala gairebé els millors sistemes actuals

PixelDiT2, acceptat al congrés NeurIPS, evita el pas de comprimir la imatge que fan servir la majoria de generadors, cosa que permet retocar zones concretes sense refer-la tota.

Il·lustració generada amb IA: Un model de Rochester i Nvidia genera imatges treballant directament amb els píxels i iguala gairebé els millors sistemes actuals
Il·lustració generada amb IA
Escolta:

La majoria de generadors d'imatges actuals treballen amb models de difusió en un espai comprimit: primer redueixen la imatge a una representació compacta, hi fan la feina i després la tornen a convertir en píxels. Això estalvia molt de càlcul, però té un preu: com explica Jiebo Luo, professor d'enginyeria de la Universitat de Rochester, «es perd control, perquè no s'ajusten els píxels un per un». Per això costa tant demanar a aquestes eines que corregeixin un sol detall d'una imatge gairebé perfecta.

Un equip de la Universitat de Rochester i d'Nvidia (Yongsheng Yu, Wei Xiong, Yichen Sheng, Shiqiu Liu i el mateix Luo) presenta PixelDiT2, un model que genera la imatge directament sobre els píxels, sense aquesta compressió prèvia. La clau és el que anomenen «ancoratge en representacions»: un model de visió ja entrenat, que no es modifica, va orientant el procés zona per zona mentre la imatge es construeix, de manera que el generador es pot concentrar a produir els píxels. Al banc de proves ImageNet, el model arriba a una puntuació FID d'1,46 en imatges de 256 × 256 píxels i d'1,48 en imatges de 512 × 512 (com més baixa, millor). El treball s'ha acceptat al congrés NeurIPS, que se celebra al desembre, i el codi és públic.

Els models que treballen amb píxels havien reduït la distància amb els comprimits, però s'entrenaven més a poc a poc i donaven imatges una mica pitjors. Segons els autors, PixelDiT2 s'hi acosta molt i, a canvi, permet editar regions concretes, com unes ulleres o el color d'un cotxe, sense tocar la resta. La versió anterior, PixelDiT, ja es va presentar al congrés CVPR del 2026.

Els resultats són en un banc de proves estàndard d'imatges d'una categoria, no en generadors comercials a partir de text, i la nota de la universitat no detalla quant càlcul consumeix el sistema comparat amb els models comprimits. Els mateixos investigadors admeten que fer el mateix amb vídeo, on cal mantenir la coherència entre fotogrames, és encara «un gran repte».

Mateixa secció

Veure tota la secció →

Butlletí de dissabte

La setmana d’IA, en cinc minuts.