Les empreses que incorporen la IA generativa a la feina creativa s'enfronten a una pregunta de disseny: on ha d'intervenir la persona? Kartik Hosanagar, de la Wharton School de la Universitat de Pennsilvània, i Daehwan Ahn, de la Universitat de Geòrgia, ho han provat amb un experiment a l'aula que publica aquest dimarts la revista PNAS Nexus, de l'Acadèmia Nacional de Ciències dels Estats Units, després de passar la revisió per parells.
Hi van participar 285 estudiants d'una assignatura optativa sobre tecnologies emergents. El primer dia, cadascun va escriure sense ajuda un conte de 1.000 paraules; el segon, en va escriure un altre amb ChatGPT 3.5 en una de tres modalitats assignades a l'atzar. En la de «confirmació humana», la IA s'ocupava de les idees, l'esquema, la redacció i la revisió, i l'estudiant només hi donava el vistiplau. En la de «creativitat humana», l'estudiant generava les idees, triava el concepte i feia l'esquema, i la IA redactava i polia. En la de «copilot», cadascú la feia servir quan volia. Quatre avaluadors, dos companys i dos externs, van puntuar cadascun dels 549 contes. Amb IA, el temps total d'escriptura va baixar un 36,2%. Però la qualitat va millorar menys en el grup que només confirmava que en el grup copilot, i aquells estudiants van quedar menys satisfets i menys orgullosos del seu text. Els que van poder posar-hi les idees van obtenir els millors resultats en conjunt, i els escriptors més febles van ser els que més hi van guanyar.
L'estudi també va mesurar una cosa que sovint passa per alt: la varietat. Els contes escrits amb IA s'assemblaven més entre ells que els escrits sense, i els del grup que només confirmava eren els més semblants de tots. Quan la idea era de l'estudiant, la diversitat era la més alta de les tres modalitats amb IA. Els autors en treuen una conclusió pràctica per a les organitzacions: guanyar temps no obliga a deixar-ho tot a la màquina, i reservar a les persones l'inici del procés creatiu, quan es decideix de què va la cosa, és el que equilibra millor eficiència, qualitat i satisfacció.
Els resultats tenen límits clars. La mostra és d'estudiants universitaris d'una sola assignatura, la tasca era un únic conte curt i el model, ChatGPT 3.5, ja ha quedat superat per sistemes molt més capaços. L'ordre fix de l'experiment (primer sense IA, després amb IA) fa que una part de la millora pugui venir de la pràctica, i algunes de les diferències entre grups, com la que separa el de confirmació del de creativitat humana, no arriben al llindar habitual de significació estadística. La qualitat d'un text, a més, la van jutjar persones, amb la subjectivitat que això comporta.