Els sistemes de «recuperació augmentada per generació» (RAG, per les sigles en anglès) combinen un model de llenguatge amb una base documental pròpia -en aquest cas, textos legals- perquè les respostes se citin sobre fonts reals en lloc d'inventar-se-les. La promesa és reduir les al·lucinacions típiques dels xatbots genèrics, i per això despatxos d'advocats i departaments de compliment normatiu els adopten cada cop més de pressa. Fins ara, però, hi havia poca evidència rigorosa sobre com de fiables són realment quan s'apliquen a un terreny tan sensible als errors com el dret.
Souvick Das, Sallam Abualhaija i Domenico Bianculli han avaluat vuit sistemes RAG legals sobre dos corpus diferents -el Reglament General de Protecció de Dades (RGPD) en anglès i el dret civil francès- fent servir mètriques a nivell de cada afirmació concreta i a nivell de resposta completa, i provant diferents tipus de preguntes i de perfils d'usuari. Els resultats es van validar contra 142 preguntes redactades per experts legals. La conclusió principal: «les al·lucinacions continuen sent generalitzades, des de menys del 10% de les respostes en els sistemes amb millor rendiment fins a gairebé la meitat en el pitjor cas». Una troballa especialment rellevant és que les preguntes amb una premissa falsa -és a dir, que parteixen d'un supòsit legal incorrecte que el sistema hauria de detectar i rebutjar- disparen les taxes d'al·lucinació de manera notable, fins i tot en els sistemes que en general funcionen millor.
L'estudi és rellevant perquè aquestes eines ja s'estan desplegant en despatxos i empreses sense gaire supervisió independent de la seva precisió real: que fins i tot els millors sistemes fallin davant preguntes trampa -les que un client mal informat o de mala fe podria fer sense voler-ho- és un avís pràctic per a qui hi confia cegament a l'hora d'assessorar. La investigació distingeix, a més, entre el rendiment mitjà d'un sistema i el seu comportament en els casos més difícils, que és precisament on un error legal té més conseqüències.
Es tracta d'un preprint encara no revisat per parells, i l'avaluació es limita a dos ordenaments jurídics concrets -el comunitari i el francès-, de manera que les conclusions no es poden extrapolar automàticament a altres branques del dret o a altres països. El conjunt de 142 preguntes, tot i estar redactat per experts, és també relativament reduït per generalitzar sense matisos sobre el conjunt del mercat de sistemes RAG legals.