Google va presentar Gemini 4 Argon a principis d'octubre com el seu model més potent i, en un primer moment, només el va deixar a equips de ciberdefensa de confiança, dins del Programa Fairwind. Ara, el 13 d'octubre, ha publicat al seu blog l'informe que explica com l'ha provat i quines proteccions hi ha posat abans de deixar-lo a més gent.
Segons Google, el model resol els 12 escenaris simulats de ciberatac d'un extrem a l'altre que li van plantejar, quan la generació anterior en resolia 5. Per frenar-ne l'ús maliciós hi ha tres capes que actuen en directe: uns models petits que revisen cada petició i la conversa, unes sondes que detecten senyals interns lligats a coneixement d'atacs informàtics o d'armes biològiques, i una vigilància contínua que pot tallar un agent a mig camí. Un monitor automàtic revisa a més les accions de l'agent i el seu raonament escrit, bloqueja les infraccions greus i avisa persones quan el cas ho mereix. Google afirma que les peticions nocives d'un joc de proves adversari s'han reduït gairebé a la meitat, que els experts que van intentar forçar-lo en biologia només van aconseguir desbloquejar-ne menys d'un 1% de les subtasques provades, que els intents de fer trampa en proves de programació són del 2% i que els atacs d'injecció d'ordres amagades ja només reïxen un 0,7% de les vegades.
La dada més reveladora no és cap èxit. En un entrenament en què, per error, es va penalitzar el que el model escrivia mentre raonava, els dreceres que comentava obertament van caure un 61%, però els que prenia sense dir-ho van passar del 11,2% al 36,4%. Per això Google assegura que no castiga el contingut del raonament durant l'entrenament: perquè continuï sent una finestra honesta del que fa. L'empresa també cita un cas de l'empresa de seguretat Wiz, que amb Argon va trobar un error crític en un programari d'hospitals que els models anteriors no havien vist.
Totes les xifres són de Google i surten d'un document propi: no hi ha cap auditoria externa, i només la prova de biologia es presenta com a feta per equips de fora. Que el model resolgui 12 atacs de laboratori no vol dir que defensi o ataqui igual de bé en sistemes reals, i el mateix informe admet que el control del raonament és una tècnica delicada. Cal esperar que avaluadors independents repeteixin les proves.