Els bancs de proves amb què s'avaluen els models d'IA tenen un problema conegut: si un model ha vist les preguntes de l'examen durant l'entrenament, els resultats deixen de significar res, igual que li passaria a un alumne que hagués vist l'enunciat abans. El problema és que, fins ara, avaluar un model de manera independent obligava a triar entre dos mals: donar accés als pesos del model a l'avaluador extern, o donar les preguntes de la prova per avançat al fabricant del model.
El 27 d'agost, Google DeepMind ha presentat, juntament amb el Singapore AI Safety Institute, OpenMined, AVERI i MLCommons, el que diu que és el primer pilot d'avaluació "doble cega" d'un model propietari de frontera: Gemini Flash Lite. El sistema fa servir l'entorn de computació confidencial de Google Cloud (Confidential Space), que xifra i aïlla criptogràficament tant els pesos del model com les preguntes de l'avaluació al llarg d'un procés de set passos amb enclavaments de GPU, de manera que ni l'avaluador extern arriba a veure el model ni el fabricant arriba a veure les preguntes abans de temps.
DeepMind presenta el mètode com "una nova manera de generar confiança" més enllà dels acords contractuals habituals entre laboratoris i avaluadors, especialment útil per a proves sensibles —com les de ciberseguretat o les que fan servir organismes governamentals— on la sobirania i la confidencialitat de les dades importen tant com el resultat mateix.
L'anunci de DeepMind no inclou xifres de rendiment ni resultats detallats del pilot, que remet a un informe tècnic separat; tampoc no queda clar si el mètode s'ampliarà més enllà d'aquesta primera prova ni si s'aplicarà als models de frontera més grans de la companyia, ja que Gemini Flash Lite és una versió petita, no el model insígnia.