Els xatbots com ChatGPT han quedat al centre de les preocupacions per la seguretat dels adolescents i per l'ús que en poden fer persones que preparen atacs. Als Estats Units s'han publicat aquest any diverses investigacions i proves periodístiques en què els models donaven detalls sobre armes, i un informe de Common Sense Media d'aquest mes va qualificar de risc inacceptable la versió de ChatGPT per a adolescents, una conclusió que OpenAI atribueix a unes proves mal fetes. Divendres, l'empresa va anunciar un nou paquet de mesures, l'endemà d'haver actualitzat el document públic que fixa com s'han de comportar els seus models.
Segons la nota d'OpenAI i la informació de Reuters, ChatGPT limitarà als menors de 18 anys la informació pràctica sobre armes i sistemes de seguretat, encara que la pregunta sembli innocent, cosa que amplia la prohibició que ja tenia d'ajudar-los a aconseguir armes. L'empresa ha reforçat el sistema que endevina l'edat dels usuaris per fer passar a la versió per a adolescents els que calcula que en tenen menys de 18, i avisarà els pares si el compte d'un menor queda suspès perquè hi ha parlat repetidament de violència. Per a tots els usuaris, ChatGPT podrà tancar sol les converses en què algú sembli obsessionat amb la violència, i suspendre temporalment el compte després de diverses converses d'aquesta mena. També donarà menys detalls sobre atacs massius anteriors, com ara les armes que s'hi van fer servir i com es van aconseguir.
OpenAI diu que el tercer trimestre va fer més de 200 avisos a la policia per possibles amenaces de violència, i que publicarà cada sis mesos un informe sobre seguretat de la comunitat. El primer, previst per a principis del 2027, cobrirà la segona meitat del 2026 i hi haurà exemples anònims i dades sobre si les salvaguardes funcionen. Els adolescents podran continuar fent servir el xatbot per calmar una situació violenta, per buscar ajuda o per contactar amb un adult de confiança.
El que no se sap és com funcionen aquests filtres. OpenAI no diu quantes converses va revisar per arribar a aquells 200 avisos ni què se n'ha fet, i tampoc explica quants errors comet el sistema que calcula l'edat, que pot tractar un adult com un menor o al revés. Tallar converses i avisar la policia també obre preguntes de privacitat i sobre qui decideix què és una obsessió per la violència. L'informe semestral encara no existeix: fins que no surti, totes les dades són les que dona la mateixa empresa.