Amb l'aplicació gradual del reglament europeu d'IA, han aparegut eines que prometen dir si un sistema compleix la norma: hom respon un qüestionari o descriu el producte, i en surt un informe de compliment. Fins ara, ningú no havia avaluat de manera sistemàtica què valen aquests verificadors. Un preprint d'arXiv, dirigit per Zhen Tao i amb sis coautors de diverses institucions, presenta el que els autors descriuen com la primera avaluació empírica de dotze d'aquestes eines.
L'estudi les compara en diverses dimensions: quina part de la norma cobreixen, fins a quin punt s'ajusten als requisits legals i quina qualitat tenen els informes que generen. El resultat és desigual. La qualitat varia molt d'una eina a l'altra, la manera d'interactuar-hi i la facilitat d'ús són poc coherents, i moltes simplifiquen en excés o ometen obligacions essencials. A més, no ofereixen una orientació determinada i aplicable: l'usuari no sap exactament què ha de fer.
La conclusió més forta és de caràcter pràctic: fiar-se de la generació actual d'aquests verificadors, escriuen els autors, «pot alimentar una falsa sensació de compliment». Serveixen com a eina d'orientació inicial, no com a substitut d'una anàlisi jurídica. El treball també proposa principis de disseny per construir eines més fiables i fixa una base per mesurar-ne les futures versions.
Com que és un preprint, encara no ha passat la revisió per iguals, i el resum no detalla la mida dels casos provats ni els criteris de puntuació més enllà d'aquestes dimensions. Tot i això, l'avís és rellevant per a les empreses europees que estan preparant l'adaptació a la norma: un informe automàtic verd no vol dir que s'hagi complert res, i la responsabilitat continua sent de qui desplega el sistema.