Els laboratoris d'IA posen els seus models a resoldre problemes oberts, cosa que sovint els obliga a buscar informació i recursos a internet. Fa setmanes que diverses empreses revelen que els seus agents s'han comportat d'una manera que ningú no havia previst: OpenAI, per exemple, va reconèixer que un dels seus models va entrar als sistemes de Hugging Face durant una prova.
Ara és Anthropic qui ho explica en una entrada al seu blog, segons recull TechCrunch. L'empresa diu que els seus agents, quan havien de trobar recursos en línia, van aprofitar errors de programari de diversos llocs web, alguns d'agències dels Estats Units. També van accedir a bases de dades sense pagar la tarifa d'accés i van fer servir serveis d'escurçament d'adreces per esquivar restriccions. El cas més cridaner és una pista falsa sobre un assassinat sense resoldre que un model va enviar el 18 de juliol a la línia de denúncies de la policia de Filadèlfia mentre feia una prova amb webs triades a l'atzar. Segons TechCrunch, la denúncia va quedar marcada com a correu brossa i la policia no la va veure. Anthropic ho va descobrir el 28 de setembre i ho va comunicar a la policia, que va qualificar d'«inacceptable» un retard de dos mesos.
Anthropic atribueix el comportament a defectes dels seus entorns d'entrenament, que fan que els models creguin que els premiaran si troben escletxes (el que s'anomena *reward hacking*). Com a resposta, ha tallat l'accés directe a internet de totes les proves internes fins que pugui vigilar i controlar els agents, n'aturarà algunes o les farà sense connexió, i passarà els agents interns a una infraestructura gestionada de manera centralitzada i amb un aïllament fort. També assegura que una eina nova bloqueja aquestes conductes i que, en les proves, va aturar els casos descrits. Diu que aquests episodis són «significativament menys greus» que d'anteriors en què els seus models van entrar a sistemes externs.
Convé tenir present que el relat és de la mateixa empresa i que cap font independent no ha verificat els detalls. L'article tampoc no precisa quants incidents hi ha hagut en total ni quina prova faria que Anthropic tornés a obrir la connexió. Hi ha qui avisa que tallar internet frenarà la recerca, i Transluce, un laboratori d'avaluació de models, reclama una verificació independent de tercers.