iaintel·ligènciaartificial.cat← Portada

CIÈNCIA · 4 MIN

Un nou detector de textos d'IA es fixa en les idees i no en les paraules, però el treball és una prepublicació que encara no ha revisat ningú

IdeaLens, de la Universitat de Maryland i col·laboradors, reconeix el 91% dels documents escrits per IA, però falla quan les idees són humanes i l'estil el posa una màquina.

Il·lustració generada amb IA: Un nou detector de textos d'IA es fixa en les idees i no en les paraules, però el treball és una prepublicació que encara no ha revisat ningú
Il·lustració generada amb IA
Escolta:

Els detectors de textos escrits per IA s'han basat sobretot en l'estil: el vocabulari, el ritme de les frases, els girs repetits. Això els fa fràgils, perquè qualsevol retoc o una altra eina pot esborrar el rastre. Un equip liderat per Rishanth Rajendhran, amb Mohit Iyyer entre els autors i vinculat a la Universitat de Maryland, a Google DeepMind i a la Universitat Simon Fraser, proposa mirar una altra cosa: les idees.

El sistema, anomenat IdeaLens, converteix cada document en un esquema de les funcions de cada part i de descripcions curtes parafrasejades del contingut, i així s'allunya de la redacció original. El van entrenar amb un milió de documents, etiquetats amb un altre detector, Pangram. En textos del tot humans o del tot generats, va reconèixer el 91% dels escrits per IA i va donar falsa alarma en el 0,6% dels humans, un encert per sota d'alguns detectors existents. Quan 50 històries humanes partien de plans fets per una IA, va assenyalar el 68% com a IA, davant l'8% de Pangram 4; i si les idees eren humanes però el text el redactava una IA, només en va detectar el 7%.

L'anàlisi de 90.000 prediccions suggereix que les idees humanes tendeixen a portar fonts verificables, detalls concrets i límits reconeguts, mentre que les de la IA es veuen més genèriques, amb xifres i mètodes que no es poden comprovar, afirmacions grandioses i solucions que semblen perfectes. Els autors han publicat models i dades, i hi ha una demostració en línia.

Cal remarcar que és una prepublicació (arXiv) encara **no revisada per parells**, d'un treball de 53 pàgines. Els mateixos autors diuen que l'eina no és llesta per fer-se servir en situacions reals i que costa amb els textos d'alguns models nous. Detectar autoria mai és infal·lible, i un resultat així no hauria de servir per acusar ningú.

Mateix tema

Butlletí de dissabte

La setmana d’IA, en cinc minuts.