Els detectors de textos generats amb IA tenen dos problemes de fons. D'una banda, hi ha eines que «humanitzen» un text fet per una màquina perquè sembli escrit per una persona. De l'altra, la manera d'escriure de la gent canvia, i també ho fan els models: un detector que s'entrena un dia i després es deixa quiet perd encert a mesura que el món es mou.
Un equip de Cornell Tech i de l'MIT, encapçalat per Kevin Ren, amb Manish Raghavan i Nikhil Garg, proposa una solució que en anglès es coneix com a test-time adaptation: en comptes de deixar el detector congelat, aquest reajusta el seu funcionament intern amb els textos nous que va rebent, encara que ningú no li digui quins són humans i quins no. Per provar-ho, van fer servir conjunts de textos barrejats, sense etiquetes, que incloïen escrits fets amb IA preparats expressament per enganyar els detectors. Davant dels canvis naturals de l'escriptura, el mètode va encertar el 85% de les vegades, davant del 73% dels sistemes tradicionals; amb els textos dissimulats, en va enxampar més del 93%, quan els mètodes existents només n'identificaven un 27%.
El treball, titulat «Hitting a Moving Target», s'ha acceptat al congrés NeurIPS, un dels principals de l'aprenentatge automàtic, on es presentarà aquest desembre. És rellevant per a escoles, universitats i mitjans, que fan servir aquests detectors per prendre decisions, i perquè mostra que la detecció no es pot plantejar com una eina que es compra un dia i funciona per sempre.
Els mateixos autors en marquen els límits. El mètode pot deixar de funcionar a mesura que els models escriguin d'una manera més natural, cada vegada serà més difícil trobar textos que se sàpiga del cert que són humans, i adaptar-se als canvis lents i subtils de l'escriptura és més difícil que neutralitzar un engany. «No està del tot clar que sigui un problema que es pugui resoldre», admet Raghavan. L'equip va fer servir crèdits d'accés als detectors de l'empresa Pangram.
