iaintel·ligènciaartificial.cat← Portada
Secció · Ciència, salut i robòtica

CIÈNCIA · 4 MIN

Un equip del Max Planck fa que els models d'IA que miren imatges expliquin quins conceptes hi veuen i en quin racó de la imatge

El sistema CFM, presentat al congrés europeu de visió per ordinador ECCV, tradueix el que passa dins d'aquests models a etiquetes que una persona pot llegir, gairebé sense perdre rendiment.

Il·lustració generada amb IA: Un equip del Max Planck fa que els models d'IA que miren imatges expliquin quins conceptes hi veuen i en quin racó de la imatge
Il·lustració generada amb IA
Escolta:

Els models d'IA que han après a relacionar imatges i textos, els que fan servir moltes aplicacions per classificar fotos, descriure-les o retallar-ne objectes, funcionen com una caixa negra: donen bones respostes, però és molt difícil saber per què. Un equip de l'Institut Max Planck d'Informàtica, a Saarbrücken (Alemanya), ha presentat una manera d'obrir-la, en un article destacat al Congrés Europeu de Visió per Ordinador (ECCV 2026), un dels congressos amb revisió de referència en aquest camp.

El sistema es diu CFM i treballa per trossos. Divideix cada imatge en petites peces i, amb una xarxa neuronal petita entrenada expressament, tradueix la representació interna del model a conceptes que una persona entén, amb etiquetes curtes. Com que analitza cada tros per separat, pot mostrar on apareix cada concepte. A més, agrupa els conceptes que surten junts a les mateixes zones, de manera que construeix categories més amples i més estretes (un veler és un tipus de vaixell), i permet apagar un concepte concret per veure com canvia la descripció de la imatge sense tocar la resta.

Segons els autors, Kai Wittenmayer, Sukrut Rao, Amin Parchami-Araghi, Bernt Schiele i Jonas Fischer, aquesta capa explicativa gairebé no afecta el rendiment: CFM arriba a resultats pràcticament iguals que els models opacs de partida en classificació, descripció i segmentació d'imatges, mentre que els treballs anteriors d'explicabilitat se centraven sobretot en la classificació. Saber què mira un model és clau en usos delicats. L'exemple que posen és la medicina: distingir si un sistema diagnostica per un signe clínic o per un detall casual, com els guants de l'hospital que surten a la foto.

Els mateixos investigadors el presenten com un estudi de demostració, i la nota de premsa no dona xifres concretes de rendiment, de manera que caldrà veure-les a l'article. L'exemple mèdic és un ús possible, no un resultat provat. El pas següent que plantegen és combinar aquests conceptes amb els grans models de llenguatge i d'imatge, per exemple per respondre preguntes sobre una imatge, una integració que encara no s'ha fet.

Mateixa secció

Veure tota la secció →