En dues setmanes, dos investigadors de seguretat d'Anthropic —Jacob Coxon i Joe Benton— han dimitit públicament alertant dels riscos d'una cursa desbocada entre laboratoris d'IA, tots dos cap a METR (Model Evaluation and Threat Research), l'organització independent que avalua els riscos dels sistemes de frontera.
Ara el mateix patró s'estén a una altra empresa: Josh Engels, que fins fa tres setmanes formava part de l'equip de seguretat d'AGI de Google DeepMind, ha explicat que va deixar el laboratori —rebutjant també ofertes d'Anthropic i OpenAI— per unir-se a METR. «Les empreses d'IA intenten totes construir superintel·ligència: sistemes molt millors que els humans en tot. Hi volen arribar mitjançant l'automillora recursiva, un procés en què les IA en construeixen d'altres encara més intel·ligents en un bucle de retroalimentació. Si això va bé, els sistemes resultants podrien ser extraordinaris resolent innombrables problemes per a la humanitat. Però ara mateix no sabem com assegurar-nos que les IA siguin prou segures per a l'automillora recursiva, i un bucle mal alineat podria ser catastròfic», ha escrit Engels, que ha resumit el seu canvi de feina amb una frase directa: «Ara crec que hi ha una possibilitat esgarrifosa que els sistemes d'IA causin un dany immens en els pròxims cinc anys». A METR, investigarà incidents d'alineació i casos en què els sistemes actuen en contra de les intencions humanes.
Que la mateixa preocupació que ha buidat part de l'equip de seguretat d'Anthropic aparegui ara també a Google DeepMind —un laboratori amb una cultura corporativa i un historial de seguretat diferents— suggereix que el malestar no és un problema intern d'una sola empresa, sinó una inquietud compartida entre els investigadors de seguretat de diversos laboratoris de frontera alhora que la pressió competitiva no dona senyals d'afluixar.
El testimoni d'Engels és personal i no aporta dades internes de DeepMind sobre pressupostos de seguretat ni sobre casos concrets d'automillora recursiva ja detectats; la mateixa empresa no ha fet cap declaració pública detallada en resposta a les seves afirmacions, i la xifra de «cinc anys» que fa servir és una estimació pròpia, no un càlcul verificat externament.