Els xatbots d'IA de vegades s'inventen dades, el que es coneix com a «al·lucinacions», i ho fan amb el mateix to segur i ben redactat que quan encerten. Un equip de científics de la comunicació de la Universitat Radboud, als Països Baixos, ha volgut mesurar fins a quin punt la manera de parlar d'un xatbot influeix en la confiança que hi posem, independentment de si el que diu és cert.
Els participants, triats perquè tinguessin coneixements bàsics del llibre, van llegir una de quatre converses amb un xatbot sobre «El Senyor dels Anells». Dues tenien un llenguatge fluid i proper, una amb respostes correctes i l'altra no; les altres dues eren respostes curtes i seques, una del tot correcta i l'altra amb dades falses introduïdes de manera subtil. El xatbot fluid i correcte va ser el més ben valorat, però el fluid que s'equivocava va obtenir la mateixa nota d'intel·ligència i d'amabilitat que el sec que ho encertava tot. Prop del 80% dels participants no van detectar els errors. L'article, de Marianna de Sá Siqueira, Tibor Bosse i Barbara Müller, s'ha publicat a la revista Computers in Human Behavior: Artificial Humans.
El resultat confirma una cosa que molts sospitaven: la fluïdesa es confon amb competència. «Si un text sona elegant i natural, la gent hi atribueix intel·ligència automàticament», diu Müller. Bosse afegeix que aquests sistemes «no sempre es prenen la veritat gaire seriosament» i defensa que un avís d'una línia a l'inici de la sessió no n'hi ha prou: proposa obligar les empreses a fer visible la incertesa a cada resposta, o que el mateix xatbot expressi els seus dubtes.
La nota de la universitat no diu quantes persones hi van participar ni dona detalls estadístics, i l'experiment es limita a un sol tema i a converses llegides, no a l'ús real d'un xatbot. Saber-ne molt d'un tema, com era el cas, hauria de fer més fàcil detectar els errors, de manera que en temes desconeguts el problema podria ser encara més gran, però això l'estudi no ho mesura.