Cada cop més tècnics, investigadors i responsables públics fan servir models de llenguatge per consultar la normativa ambiental: quin és el límit d'un contaminant a l'aigua potable, quina concentració de partícules permet una norma o com s'han de gestionar uns residus. El problema és que aquests models a vegades s'inventen la resposta amb tota la seguretat del món, el que en el sector s'anomena «al·lucinar». Un equip de la Universitat Estatal d'Arizona, amb Paul Westerhoff entre els autors, ho ha mesurat en un estudi publicat a la revista «Environmental Science & Technology».
Els investigadors van reunir 505 dades de normativa sobre aigua, aire i residus sòlids dels Estats Units, la Xina, la Unió Europea i l'Organització Mundial de la Salut, i les van preguntar a set models, quatre d'oberts i tres de comercials de primer nivell, en anglès i en xinès. Els oberts es van equivocar o es van inventar la dada en un 50-70% dels casos; els comercials, en un 7-15%. Els errors no es reparteixen per igual: tots els models fallen molt menys amb les normes dels Estats Units i quan se'ls pregunta en anglès. De mitjana, els models se senten menys segurs quan s'equivoquen, però una part no menyspreable de les respostes errònies surt amb molta confiança.
L'equip també va mirar dins dels models, amb una tècnica que localitza en quines capes es guarda la informació, i va provar una solució: donar-los accés a una base documental de consulta mentre responen, el que es coneix com a generació augmentada amb recuperació. Aquest sistema va reduir molt les respostes inventades, fins i tot en models oberts petits. Els autors conclouen que, en feines ambientals en què un error té conseqüències, no n'hi ha prou amb el model: cal que consulti fonts fiables i que es corregeixin els biaixos de l'entrenament.
L'estudi té límits. Avalua només set models en un moment concret, i en aquest camp les versions canvien cada poques setmanes, de manera que els percentatges poden haver variat. Les preguntes són dades concretes i verificables, no la interpretació d'una norma o d'un cas real, que és on sovint es fan servir aquestes eines. I la distància entre els Estats Units i la resta de territoris fa pensar que les normes europees, i encara més les locals, poden quedar pitjor cobertes del que caldria, una qüestió que l'estudi no mesura a escala local.