La prova de Turing, proposada el 1950, pregunta si una persona és capaç de saber si conversa amb una màquina o amb un altre ésser humà. Amb els xats d'IA actuals la pregunta ha deixat de ser teòrica, però la majoria d'experiments han mirat només converses de text. Un equip dirigit per Mengmi Zhang, de la Universitat Tecnològica de Nanyang (Singapur), ha publicat a «Nature Human Behaviour» un estudi que ho mesura també en tasques de visió, com descriure una imatge o identificar-ne els colors i els objectes.
Els investigadors van recollir respostes de 636 persones i de 37 models d'IA, entre els quals GPT-4o, Claude 3.7 i Llama 3.3, en sis tipus de tasques, i les van fer jutjar a 1.916 persones diferents. A les proves de llenguatge, els jutges van encertar entre un 53% i un 57% de les vegades, poc més que el 50% que donaria l'atzar. Només van reconèixer com a fets per una IA el 46% dels peus d'imatge i el 47% de les respostes de conversa escrits per una màquina, i sovint van prendre per IA respostes humanes. Les dades es van recollir el 2023 i el 2024, amb experiments de control el 2025.
L'estudi també mostra on hi ha una escletxa. En un experiment més petit, els jutges triaven el tema i feien preguntes de seguiment a una persona i a un xat alhora: van descobrir GPT-3.5 Turbo, a qui s'havia demanat que es fes passar per humà, en les set converses. En una segona prova amb Llama 3 de 70.000 milions de paràmetres i sense filtres de seguretat (188 proves amb 28 participants), els jutges s'equivocaven, però encertaven més com més s'allargava la conversa. Per als autors, encertar una resposta no és el mateix que imitar una persona: un model va descriure bé una escena de platja, però no va veure el truc visual que feia semblar que un home s'aguantava el seu propi cap.
Els mateixos autors marquen els límits. Els models provats són d'una etapa anterior i els resultats potser no valen per als actuals; els investigadors van treure algunes errades evidents de les màquines, com les converses repetitives o tallades, de manera que les condicions eren controlades; i els experiments de conversa en directe fan servir models i instruccions diferents, i no permeten aïllar l'efecte de les preguntes. Que un grup reduït de jutges desemmascari un xat no demostra que la gent ho sàpiga fer de manera fiable en qualsevol situació.