Les eines d'IA que generen imatges han multiplicat el material d'abús sexual infantil que circula per internet, i les empreses tecnològiques reben pressió de governs, tribunals i entitats de protecció de la infància. OpenAI ja havia publicat a l'abril un pla de seguretat infantil i té demandes obertes de famílies que l'acusen d'haver fet mal a menors. Aquest dilluns ha anunciat un paquet d'eines noves per detectar aquest material i dissuadir qui el busca.
La peça central és un classificador d'imatges desenvolupat amb el Centre Nacional per a Infants Desapareguts i Explotats dels Estats Units (NCMEC). Busca senyals visuals d'abús en imatges que no ha vist mai, també les generades amb IA, i hi posa una puntuació perquè els revisors humans sàpiguen per on començar. Algunes empreses el podran fer servir gratis a través de l'API d'OpenAI, i la companyia treballa amb les organitzacions Tech Coalition i ROOST per obrir-lo a més plataformes. A ChatGPT, qui intenti peticions que sexualitzin infants veurà un avís que l'adreça a serveis especialitzats per deixar aquesta conducta, i el compte quedarà suspès 24 hores; si hi torna, el pot perdre per sempre.
Segons OpenAI, en les primeres proves amb empreses col·laboradores el classificador va marcar un 48% menys d'imatges i va trobar el mateix nombre d'imatges d'abús, i les que marca tenen el doble de probabilitats de ser-ho. Això vol dir menys feina per als equips que han de revisar-les a mà, una de les tasques més dures del sector. Els missatges d'avís s'han preparat amb Protect Children, la Lucy Faithfull Foundation i un investigador de la Universitat de Tasmània, Joel Scanlan, que n'ha avaluat una prova. El paquet inclou, a més, una guia per als desenvolupadors i eines per a les policies.
Totes les xifres d'eficàcia són de la mateixa OpenAI i de proves inicials: encara no hi ha cap avaluació independent del classificador. Només hi tenen accés algunes empreses triades, i l'accés de les policies el controlen administradors del programa. Common Sense Media, una entitat que analitza la tecnologia per a famílies, continua considerant que els productes d'OpenAI són un «risc inacceptable» per als adolescents.
