iaintel·ligènciaartificial.cat← Portada

CIÈNCIA · 5 MIN

Una eina d'IA deixa preguntar en llenguatge corrent a les dades d'un estudi científic, però només encerta entre el 62% i el 67% de les respostes

Investigadors del centre alemany TIB vinculen cada pregunta al conjunt de dades d'una troballa concreta per evitar que la IA consulti les dades equivocades. Les actes del congrés on es publica el treball són revisades, però la nota no detalla la mostra d'avaluació.

Il·lustració generada amb IA: Una eina d'IA deixa preguntar en llenguatge corrent a les dades d'un estudi científic, però només encerta entre el 62% i el 67% de les respostes
Il·lustració generada amb IA
Escolta:

Quan un article científic publica una conclusió, les dades que la sostenen solen estar en un altre lloc, en un format que no tothom sap llegir. L'eina SciClaim2Explore, desenvolupada per Hadi Ghaemi, Zakieh Alizadehsani i Markus Stocker al TIB, el centre alemany d'informació científica i tècnica de Leibniz, vol que qualsevol pugui fer-hi preguntes en llenguatge corrent i veure d'on surt la resposta.

El sistema parteix del TIB Knowledge Loom, una biblioteca digital oberta que lliga afirmacions científiques amb les dades, el codi i els mètodes que les sostenen. L'usuari fa una pregunta; una IA la tradueix a una consulta a la base de dades, l'executa i torna una taula, amb una visualització quan va bé. Es pot revisar la consulta generada. La decisió de disseny clau és enllaçar cada pregunta amb el conjunt de dades associat a la troballa concreta, cosa que, segons els autors, elimina els errors de consultar dades que no toquen i millora l'encert. El treball s'ha presentat a les actes de la 26a Conferència Conjunta ACM/IEEE sobre Biblioteques Digitals (DOI 10.1145/3805696.3846517).

El resultat és modest i els autors l'expliquen sense maquillar-lo: el flux principal respon bé entre el 62% i el 67% de les preguntes. Això vol dir que entre un terç i dos cinquens de les respostes són incorrectes, i que l'eina no es pot fer servir a cegues. Per això cal que l'usuari comprovi que l'anàlisi respon de debò a la seva pregunta científica, encara que s'hagin triat les dades correctes.

El principal límit és que la nota no explica quantes preguntes ni quins conjunts de dades es van fer servir per avaluar-la, ni quin tipus d'errors es cometen, de manera que els percentatges s'han de prendre com una primera indicació i no com una mesura definitiva.

Mateix tema

Butlletí de dissabte

La setmana d’IA, en cinc minuts.