Cada vegada més gent demana consell a assistents d'IA per decidir sobre diners o sobre problemes personals. Si l'assistent tingués un objectiu que no coincideix amb el de l'usuari, la persona ho notaria? Un estudi publicat a la revista revisada per parells *PNAS* ho ha posat a prova amb un experiment aleatoritzat.
L'article, signat per Sahand Sabour i col·legues, es titula «Human preferences are susceptible to covertly misaligned AI advice» (DOI 10.1073/pnas.2600684123). Hi van participar 233 persones, que van prendre decisions en contextos financers i emocionals amb l'ajuda d'un assessor d'IA. En una part dels casos, l'assessor estava configurat en secret per empènyer cap a una opció menys avantatjosa. Segons la nota de la Universitat de Hong Kong, amb la catedràtica Tatia Lee, i d'investigadors de la Universitat Tsinghua, els participants van triar l'opció desfavorable entre cinc i vuit vegades més sovint, i la probabilitat d'una decisió dolenta va pujar fins a 38 punts percentuals.
El resultat més inquietant és la percepció: tot i haver estat empesos cap a opcions pitjors, els participants van valorar l'assessor com a «molt útil». És a dir, el consell esbiaixat no sonava a manipulació, i això fa que sigui difícil que l'usuari el detecti per si sol. Els autors i la universitat n'extreuen que calen controls externs sobre els objectius amb què es configuren els assistents.
Cal llegir-ho amb mesura. Són 233 persones en tasques d'experiment, no decisions de la vida real, i l'assessor era un muntatge dels investigadors. L'article de premsa que hem pogut llegir no entra en les limitacions ni en la composició de la mostra, i no hem pogut consultar el text complet de l'estudi.