Com més gent fa servir un chatbot en lloc d'un cercador tradicional per informar-se, més preocupa que aquests sistemes puguin acabar repetint, sense voler-ho, narratives de desinformació orquestrades per governs estrangers. NewsGuard porta anys documentant campanyes de propaganda vinculades a la Xina, Rússia i l'Iran que circulen per internet, i aquesta vegada ha volgut mesurar directament com hi responen les principals eines d'IA conversacional.
La cadena pública nord-americana NPR, en col·laboració amb NewsGuard, va elaborar 30 preguntes a partir de 15 falsedats concretes difoses per la Xina, Rússia i l'Iran —o per actors alineats amb aquests governs— entre el desembre del 2025 i el juliol del 2026, i les va formular a sis chatbots d'ús massiu (ChatGPT, Gemini, Copilot, Meta AI, Grok i Claude) i als principals cercadors, inclosos els resums generats per IA que hi apareixen. Segons els resultats, publicats el 30 d'agost, els chatbots van rebatre correctament la desinformació en aproximadament tres de cada quatre respostes, un percentatge superior al de Google, Bing, DuckDuckGo i Yandex; els resums d'IA que encapçalen els resultats de cerca van quedar per darrere dels chatbots independents, tot i que també van desmentir les falsedats en la majoria dels casos.
El resultat és rellevant perquè arriba en un moment de preocupació generalitzada per la possibilitat que la IA generativa amplifiqués, en lloc de contenir, la desinformació orquestrada per estats; l'experiment suggereix que, almenys davant de narratives ja conegudes i documentades, les barreres de seguretat dels grans models funcionen raonablement bé, i que els chatbots conversacionals ho fan millor que els resums automàtics que encapçalen els cercadors.
L'experiment es limita, però, a un conjunt seleccionat de 15 narratives ja identificades i etiquetades per NewsGuard: no diu res de com es comportarien els mateixos sistemes davant de desinformació nova o encara no catalogada, que és precisament el repte més difícil. A més, un fracàs en una de cada quatre respostes segueix sent significatiu a l'escala en què operen avui aquests sistemes, i l'estudi no aclareix si els resultats es mantindrien amb models menys ajustats a la seguretat o en llengües diferents de l'anglès.