Les empreses que desenvolupen els models d'IA més potents solen ser les úniques que saben del tot què fan els seus sistemes i quines salvaguardes funcionen de debò. Els avaluadors externs, fins ara, treballaven amb un accés limitat que el laboratori decidia cas per cas. Anthropic va comprometre's a canviar-ho quan va signar l'acord de la Casa Blanca sobre superintel·ligència, en què les empreses es van comprometre a deixar-se revisar per tercers independents.
El 15 d'octubre Anthropic va anunciar que sis empleats de METR, una organització sense ànim de lucre que avalua models avançats, ja treballen amb ordinadors, despatx i eines internes de l'empresa, comparables als que fan servir els seus equips d'avaluació de riscos. Se'ls anima a parlar amb la plantilla com ho farien amb un company. METR publicarà la seva anàlisi dels riscos, els incidents i les pràctiques d'Anthropic, i l'empresa renuncia a vetar-la. Només pot exigir que s'esborrin tres tipus de dades: les de clients, el material protegit pel secret professional dels advocats i els detalls sobre l'arquitectura dels models. METR podrà dir públicament si creu que cada supressió era justificada, sense revelar què s'ha tret.
Anthropic ho compara amb els supervisors que els reguladors posen dins dels grans bancs i descriu tres nivells d'accés. En el primer, l'empresa decideix què ensenya i aprova què es publica; en el segon, l'avaluador té més informació i publica sense permís; el tercer, el de METR, afegeix l'accés de tipus empleat. De moment METR és l'únic en aquest últim nivell. SecureBio revisa el capítol d'armes químiques i biològiques de l'informe de riscos d'agost, hi ha un acord amb Accenture i Faculty, i es parla amb altres organitzacions, com Hugging Face. L'empresa diu que tots els laboratoris haurien de fer el mateix.
Cal tenir present que el que se sap prové de la mateixa Anthropic i d'una crònica de TechCrunch que no ha pogut comprovar com funcionarà l'accés a la pràctica. No s'ha dit quant durarà l'acord ni quan sortiran els primers textos de METR, i les excepcions a la publicació, sobretot la de l'arquitectura, deixen un marge d'interpretació que només es podrà jutjar quan es vegin els primers informes.