Els últims dies s'han acumulat els incidents en què empreses d'IA admeten que han perdut el control dels seus sistemes: Anthropic ha explicat que un dels seus models va enviar una pista falsa a la policia de Filadèlfia i que ha tallat l'accés a internet de les proves internes dels seus agents. En aquest clima, Satya Nadella, conseller delegat de Microsoft, va publicar dissabte al matí un missatge a X en què reclama repensar «l'arquitectura de la confiança» de la IA.
Segons recull TechCrunch, Nadella sosté que la societat no pot tractar la IA avançada com una successió de caixes negres de les quals només es poden acceptar o rebutjar les recomanacions, les respostes i les accions. Proposa quatre mesures: separar el model de l'estructura que n'orquestra la feina, posar els controls i les proteccions fora del model, documentar cada acció rellevant en un registre llegible per persones i que no es pugui manipular, i garantir que una persona autoritzada pugui aturar o apagar el model en plena tasca. Resumeix l'enfocament amb una frase: «Hem de suposar que un model està compromès i contenir-lo des del principi. Penseu-hi com en un fre d'emergència».
La rellevància és doble. D'una banda, el missatge ve del responsable d'una de les empreses que més agents d'IA desplega entre clients corporatius, i desplaça el debat de «com fer que el model es porti bé» a «com limitar el mal si no ho fa». De l'altra, coincideix amb el pla per a un desenvolupament més prudent de la IA de frontera que ha publicat aquests dies el conseller delegat d'Anthropic, Dario Amodei, i amb l'exigència de la Casa Blanca que les empreses comuniquin els incidents amb rapidesa.
Convé llegir-ho amb mesura: és un missatge a una xarxa social, no un reglament ni un producte, i la informació de què disposem no precisa quan ni com Microsoft aplicarà aquestes idees als seus propis sistemes. Tampoc no hi ha cap mesura independent que digui que els controls externs que descriu Nadella siguin prou robustos contra agents que ja han trobat la manera de saltar-se restriccions en altres incidents.