A mesura que milions de persones fan servir assistents d'IA per parlar de qüestions personals i emocionals, i que augmenten els casos documentats de converses que deriven cap a una crisi de salut mental, les grans companyies del sector s'enfronten a una pregunta incòmoda: com s'ha de comportar un model quan l'usuari que hi parla és vulnerable. Anthropic ha anunciat aquesta setmana un pas concret per abordar-la des de fora de la pròpia empresa.
La companyia ha obert un programa de subvencions dotat amb 5 milions de dòlars, adreçat explícitament a «clínics, psicòlegs, metodòlegs i altres» perquè dissenyin i validin eines d'avaluació de codi obert sobre l'impacte dels models d'IA en el benestar dels usuaris. El programa ofereix finançament directe, accés als models d'Anthropic i suport tècnic; la data límit per presentar propostes és el 21 de setembre. Segons la guia publicada per l'empresa, una bona avaluació ha de definir amb claredat què compta com a èxit o fracàs, implicar experts clínics en el seu disseny, mesurar tant l'excés de complaença com la manca de mesures de protecció, reflectir converses realistes de diversos torns i validar els criteris d'avaluació contra el judici d'experts reals.
L'objectiu declarat és establir estàndards que serveixin per a tot el sector, no només per als models d'Anthropic, en un moment en què reguladors i associacions de pacients pressionen les empreses d'IA perquè demostrin com gestionen aquestes converses. «Són consideracions complexes i el que hi ha en joc és important», reconeix la companyia en l'anunci, i afegeix que l'enfocament «haurà d'anar evolucionant» a mesura que canviïn els models i els usos que se'n fan.
El programa el finança i el selecciona la mateixa Anthropic, cosa que en limita la independència real, i encara falta més d'un mes perquè es tanqui el termini de propostes: no hi haurà resultats de cap mena, ni tan sols una selecció de projectes, en un termini curt. L'anunci tampoc compromet l'empresa a canviar el comportament dels seus models a partir del que se n'aprengui, només a «considerar-ho».