Cada cop més grups de recerca en ciències socials i de la salut fan servir eines d'IA per llegir centenars d'entrevistes, enquestes obertes o comentaris i treure'n els grans temes. Aquesta feina, que abans feien a mà diversos investigadors durant setmanes, ara es pot fer en minuts amb programes de modelització de temes, que agrupen els textos segons les paraules i els significats que comparteixen. El problema és saber si el que surt té sentit o només és una classificació de paraules ben presentada.
Un equip de la Universitat de Missouri, encapçalat per Chau Tong, professora de l'Escola de Periodisme, amb John Robert Bautista, de l'Escola d'Infermeria, i el doctorand Temitope Eyinla, ha proposat un mètode per avaluar-ho, que anomenen AURA. El van provar amb 32 entrevistes a professorat, professionals i estudiants d'infermeria sobre com fan servir la IA generativa. Primer, els investigadors van identificar a mà els temes principals; després, van fer passar els mateixos textos per BERTopic, una eina de modelització de temes, i van comparar els resultats. Onze dels dotze temes que havien trobat les persones tenien una correspondència clara amb algun dels temes de la màquina. L'estudi s'ha publicat a la revista «International Journal of Qualitative Methods».
El resultat té dues cares. D'una banda, l'eina és útil per ordenar molt material i fer aflorar patrons. De l'altra, que un tema coincideixi no vol dir que la màquina n'hagi entès el sentit: de vegades ajuntava en un sol tema idees que els investigadors consideraven diferents, i d'altres partia un sol tema en diversos de petits. Els autors no han trobat proves consistents que l'eina aporti idees noves que els analistes humans no haguessin vist. «L'experiència humana continua sent central per interpretar els resultats», resumeix Eyinla.
És un estudi petit, amb 32 entrevistes d'un sol àmbit, i els mateixos autors diuen que caldrà provar el mètode amb altres temes i altres tipus de recerca. Tampoc no compara diverses eines d'IA, sinó una de sola. El valor del treball és sobretot pràctic: ofereix als grups que ja fan servir aquestes eines una manera ordenada de revisar-ne els resultats abans de donar-los per bons.
