Els xatbots sovint parlen en primera persona i diuen com són, però no se sap bé fins a quin punt aquestes respostes depenen de la llengua en què se'ls pregunta. L'estudi «Cultural bias or universal traits? Exploring personality-like profiles of large language models», publicat a la revista revisada per parells Royal Society Open Science (DOI 10.1098/rsos.252491), ho ha provat amb un qüestionari psicològic.
L'equip, dirigit per Yuzhan Hang, de la Universitat de Ciència i Tecnologia de la Xina, va fer contestar entre gener i març del 2025 el Big Five Inventory-2, de 60 afirmacions, a ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 i Le Chat, en anglès i en mandarí (Le Chat també en francès). Cada prova es va repetir 30 vegades per llengua. Els perfils eren força estables dins de cada llengua i els models se solien descriure com a cooperatius i fiables, amb pocs trets emocionals negatius. Però canviaven entre llengües: l'obertura mental de ChatGPT-4o va passar d'una mitjana de 4,74 sobre 5 en anglès a 4,03 en mandarí, i la de DeepSeek-V3 de 4,38 a 4,81.
Els models xinesos van puntuar més alt en diversos trets en mandarí, però Gemini també va mostrar més responsabilitat i menys emocions negatives en mandarí, cosa que no encaixa amb una explicació simple d'origen nacional. Cap model no va coincidir del tot amb el seu grup humà de referència. Els autors en treuen que la llengua condiciona com es presenta un model, i que no n'hi ha prou amb mesurar-lo en una sola.
Els resultats descriuen respostes a un qüestionari, no una personalitat real ni sentiments. L'estudi no pot separar l'efecte de les dades d'entrenament, el disseny, el procés d'entrenament i la traducció, les mostres humanes de comparació eren diferents (la xinesa només tenia estudiants universitaris) i el format del test pot afavorir respostes ben vistes. A més, tampoc no analitza converses habituals, i els models avaluats ja tenen versions posteriors.