Fins ara, un mitjà o qualsevol web que no volgués que els seus textos servissin per entrenar models d'IA ho havia de dir empresa per empresa. El fitxer robots.txt, que fa dècades que indica als robots de cerca quines pàgines poden recórrer, obliga a anomenar un per un els rastrejadors de cada companyia, i cada nou rastrejador d'IA demana una línia nova. Mentrestant, els editors es queixen de l'allau de robots que copien els seus continguts, i han sorgit alternatives com la llicència RSL, per cobrar als rastrejadors, o el bloqueig per defecte de Cloudflare.
Segons The Verge, que cita Search Engine Roundtable, OpenAI, Google, Microsoft i Anthropic s'han compromès a respectar un senyal compartit, una mena de marca de preferències (*policy token*) que es posa al robots.txt i que val per a totes les empreses alhora. L'ha proposat Kevin Kelley, responsable tècnic d'estàndards d'Anthropic, dins de l'IETF, l'organisme que elabora els estàndards d'internet. Si els seus rastrejadors troben la marca, diuen les quatre empreses, no entraran a la web. Anthropic ja l'aplica; Google i Microsoft ho faran l'any que ve, i OpenAI, «en els pròxims mesos». Microsoft afegeix que les webs podran triar si no volen servir per entrenar models o tampoc per alimentar les respostes amb fonts (el que en diuen *grounding*), i que continuaran sortint igualment al cercador Bing.
És un canvi pràctic per als editors: una sola instrucció en lloc d'una llista que sempre queda incompleta. També és un senyal polític, perquè les quatre empreses que més rastregen la web accepten una regla comuna en plena onada de demandes per l'ús de continguts sense permís. Meta, a través del seu cap de comunicació, Andy Stone, n'ha valorat la idea: «Creiem que crear un senyal comú que transmeti aquestes preferències a diversos proveïdors alhora és un pas important».
Hi ha límits clars. El robots.txt és una petició, no una barrera tècnica: només funciona si qui rastreja decideix fer-ne cas, i els robots que no s'identifiquen el poden ignorar. Meta no ha dit si respectarà el senyal, i la proposta encara és un esborrany a l'IETF, no un estàndard aprovat. Tampoc no resol què passa amb els textos que ja s'han fet servir per entrenar els models actuals.