Els xats d'IA que fan de company o d'amic s'han convertit en una preocupació per a pares i legisladors, sobretot després de diversos casos d'adolescents que hi havien establert relacions intenses. L'estat de Nova York ja obligava des del 2025 a avisar que s'està parlant amb una màquina; ara fa un pas més amb una llei específica per als menors.
La governadora Kathy Hochul ha signat la llei A10379, impulsada per la senadora Kristen Gonzalez i el diputat Alex Bores. Segons Engadget, les empreses d'IA hauran de comprovar l'edat dels usuaris, oferir com a mínim un mètode que no depengui només d'un document oficial i esborrar després les dades d'edat. Amb menors o amb usuaris no verificats, els xatbots no podran dir que són reals, que estan vius o que tenen emocions, ni presentar-se com a parella, amic, professional o figura d'autoritat. Tampoc no podran fer preguntes emocionals per iniciativa pròpia, recuperar informació personal o de salut d'altres converses, animar al suïcidi, a l'autolesió, als trastorns alimentaris o al consum de drogues, ni empènyer el menor a amagar coses als pares.
És una de les regulacions més detallades sobre com s'han de comportar els xats d'IA amb els menors, i no prohibeix que en facin servir, sinó que en limita les funcions que s'han considerat més arriscades. Les infraccions es podran denunciar a la fiscalia general de l'estat i comportaran multes civils de fins a 25.000 dòlars cadascuna, a més d'indemnitzacions. Un jutge podrà ordenar també que s'esborrin les dades recollides il·legalment i els models entrenats amb aquestes dades.
La llei entrarà en vigor sis mesos després de la signatura, i encara caldrà veure com l'apliquen les empreses: la verificació de l'edat planteja dubtes de privadesa i és fàcil d'esquivar. Tampoc no està clar com es comprovarà a la pràctica que un xat no fa preguntes emocionals «per iniciativa pròpia». Hochul ha signat el mateix dia una altra llei que obliga els vigilabebès connectats a internet a protegir-se contra els intrusos.