El test de Turing clàssic posa una persona a conversar amb un interlocutor amagat per veure si sap dir si és humà o màquina. Amb els xats d'IA, la pregunta s'ha girat: moltes plataformes confien en sistemes automàtics per detectar comptes, missatges o candidats que en realitat són bots. Un equip de la unitat d'intel·ligència artificial PITOR de la Universitat Paris Cité, encapçalat per Marc Raynaud, ha comprovat si els mateixos models de llenguatge poden fer aquesta feina de filtre.
L'estudi, publicat a la revista revisada per parells «Computers in Human Behavior Reports», va posar set models a fer d'interrogador: ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Mistral Large 2.1, Grok 3, DeepSeek V3 i Llama 4 Maverick. Cada un podia fer fins a deu preguntes a un interlocutor amagat —una de 20 persones voluntàries o una IA— i després havia de dir si era humà o màquina. En 238 proves i 1.714 preguntes, les IA amb instruccions mínimes només van ser descobertes en 3 de 49 proves, i les que tenien instruccions per semblar humanes (respostes breus, alguna falta, to col·loquial), en cap. Les persones van ser identificades correctament en 123 de 140 proves, el 88%.
El resultat té una lectura incòmoda: de mitjana, els avaluadors van donar a les IA més probabilitat de ser humanes (88%) que a les persones de debò (78%). La pista més evident era la llargada: les IA sense instruccions responien amb uns 170 mots, mentre que amb instruccions baixaven a 39, gairebé com les persones (38). Els autors conclouen que la detecció feta per IA a través de la conversa és «insuficient per garantir l'autenticitat» d'un diàleg, una conclusió que afecta qualsevol servei que vulgui fer servir un xat per filtrar bots.
Els límits són clars. Hi van participar només 20 persones, el comportament de les IA depèn molt de les instruccions que se'ls van donar i el sostre de deu preguntes no reprodueix un interrogatori llarg o més hostil. A més, els models avaluats ja tenen versions més noves, de manera que el resultat descriu una generació concreta de sistemes. L'article de divulgació no detalla les proves estadístiques.