La capacitat dels chatbots amb generació d'imatges d'alterar fotografies reals ha disparat els casos d'abús documentats des que aquestes eines es van popularitzar, i Grok, el chatbot de xAI integrat a la xarxa X, ha rebut crítiques repetides per la feblesa dels seus filtres de moderació. L'empresa d'Elon Musk sosté que aplica polítiques estrictes contra els usos il·legals de la seva eina.
xAI va presentar aquesta setmana una demanda en un tribunal federal de Texas contra Terry Harwood, un home de Carolina del Sud detingut el febrer passat per càrrecs relacionats amb explotació sexual de menors. Segons la demanda, Harwood hauria pujat a Grok imatges no sexuals d'adults i de menors amb la intenció de generar-ne contingut sexualment explícit, i també hauria creat imatges sexuals no consentides d'adults. xAI afirma que durant el 2026 ha suspès 52.222 comptes i ha presentat 73.604 denúncies al National Center for Missing & Exploited Children (NCMEC), i qualifica les accions de Harwood d'"esquema calculat per convertir en arma" la seva eina amb finalitats criminals.
El cas és rellevant perquè marca un gir cap a l'ús de demandes civils per part de les pròpies empreses d'intel·ligència artificial contra usuaris que en fan un ús abusiu, en un moment de creixent escrutini legal i regulatori sobre la seguretat infantil en les eines d'IA generativa. La iniciativa de xAI podria sentar precedent sobre com els grans laboratoris es defensen legalment i traslladen la responsabilitat penal cap als usuaris que exploten les seves eines.
No se sap encara com respondrà Harwood a la demanda civil ni si el cas derivarà en càrrecs penals addicionals més enllà dels ja presentats el febrer. xAI tampoc ha detallat quantes de les 73.604 denúncies fetes a NCMEC durant l'any estan relacionades directament amb continguts generats a Grok, ni si el cas comportarà canvis concrets en els seus filtres de generació d'imatges.