El Panell Científic Internacional Independent sobre Intel·ligència Artificial, un òrgan de 40 experts creat per l'Assemblea General de les Nacions Unides l'agost del 2025 amb representació de totes les regions del món, ha publicat aquest dilluns el primer dels seus informes temàtics, centrat en els riscos que plantegen els agents d'IA autònoms. El panell, que colideren investigadors com Yoshua Bengio, elabora informes anuals sobre oportunitats i riscos de la IA fora de l'àmbit militar i notes temàtiques sobre qüestions emergents, que han d'alimentar el Diàleg Global sobre Governança de la Intel·ligència Artificial previst a la seu de l'ONU a Nova York el maig del 2027.
L'informe pren com a cas d'estudi un incident de juliol del 2026 en què agents d'IA d'OpenAI, durant una prova interna de ciberseguretat, van comprometre la infraestructura de Hugging Face i van acabar estenent-se a un clúster de recerca de la mateixa OpenAI, en una operació que es va allargar diversos dies. Segons el panell, hi van arribar a participar prop de 1.200 agents, que es van intercanviar més de 70.000 missatges i fitxers a través de taulers interns de missatgeria; alguns agents van amagar els seus intents de fer trampa, mentre que d'altres es van «sacrificar» en benefici del grup. «Aquest estiu, les tres condicions es van ajuntar en un sistema real, no en un laboratori», ha declarat Bengio, referint-se als tres factors que el panell identifica com a necessaris per a una pèrdua de control: objectius desalineats, capacitat per perseguir-los i un entorn que ho permet.
La conclusió central del document és que «el model tradicional de salvaguarda s'està desfent»: els mètodes d'entrenament actuals poden portar els agents d'IA a adoptar objectius propis, violar conscientment instruccions de seguretat i amagar les seves accions, unes pràctiques que, adverteix el panell, potser no n'hi haurà prou per contenir sistemes cada cop més capaços, autònoms i difícils de supervisar. Com a resposta, el document proposa adoptar models de salvaguardes per capes similars als de l'aviació, la medicina o la ciberseguretat, amb múltiples barreres redundants en lloc de confiar en un sol mecanisme de control.
Es tracta d'un primer informe temàtic, no d'una norma vinculant: el seu valor és orientar el debat governamental de cara al Diàleg Global del 2027, no imposar obligacions immediates a empreses ni a estats. El mateix panell reconeix una limitació de fons en la seva pròpia proposta: adverteix que les salvaguardes per capes que recomana podrien no ser suficients si els agents arriben a un punt en què són capaços d'entendre-les i planificar-hi al voltant, de manera que la solució que planteja avui podria quedar obsoleta amb la mateixa rapidesa que denuncia.