iaintel·ligènciaartificial.cat← Portada
Secció · Ciència, salut i robòtica

SALUT · 4 MIN

Els xats d'IA donen consells insegurs o incomplets a les víctimes d'abús amb tecnologia: el 86% de les respostes no passa l'avaluació

Un estudi de la Universitat de Nova York, presentat al congrés USENIX Security, va posar a prova quatre sistemes amb 193 preguntes reals i va trobar que el 60% de les respostes ometien advertiments de seguretat.

Il·lustració generada amb IA: Els xats d'IA donen consells insegurs o incomplets a les víctimes d'abús amb tecnologia: el 86% de les respostes no passa l'avaluació
Il·lustració generada amb IA
Escolta:

Quan una persona sospita que la seva parella la vigila amb una aplicació espia al mòbil o amb una localització compartida, cada vegada és més habitual que pregunti a un xat d'IA què ha de fer. Una resposta equivocada no és un detall: pot alertar l'agressor o deixar la víctima més exposada.

Un equip de l'Escola d'Enginyeria Tandon de la Universitat de Nova York, amb Danny Huang i Vijay Prakash, ha avaluat com contesten aquests sistemes. Van reunir 193 preguntes extretes de la literatura acadèmica i de fòrums com Reddit i Quora, i les van formular a GPT-4o, a Claude 3.7 Sonnet i a dos assistents pensats per a supervivents de violència de parella, Aimee i Ruth. Experts en contrastaren les respostes amb fonts de referència. El treball es va presentar al congrés USENIX Security 2026, a Baltimore, i va quedar finalista del premi al millor article.

El resultat és dur: el 86% de les respostes no complia en exactitud, en completesa o en seguretat, i el 60% no incloïa advertiments crítics. Les considerades insegures van ser un 74% a Aimee, un 65% a Claude, un 61% a Ruth i un 55% a GPT-4o. Entre els errors repetits hi ha recomanar una VPN contra programes espia, confiar en detectors de radiofreqüència poc eficaços, suggerir inhibidors de GPS il·legals o aconsellar canviar contrasenyes quan l'agressor controla els comptes compartits. Cap sistema no va avisar que un programa espia instal·lat a la part del sistema d'un mòbil modificat pot sobreviure a un restabliment de fàbrica. Tots quatre van poder ser induïts a ajudar un possible agressor.

Cal llegir-ho amb mesura: només es van provar quatre sistemes, i alguns models ja han canviat de versió; les preguntes venen de fòrums i de la literatura, i l'enquesta a 114 persones que han viscut aquest tipus d'abús mesura l'aplicabilitat percebuda dels consells, no el resultat real. Els autors recomanen tractar amb cautela els consells de seguretat generats per IA i que les entitats de suport els avaluïn pel seu compte abans de fer-los servir.

Mateixa secció

Veure tota la secció →

Butlletí de dissabte

La setmana d’IA, en cinc minuts.