Els grans laboratoris d'IA porten mesos immersos en una cursa declarada cap a sistemes cada cop més autònoms i capaços de millorar-se a si mateixos, mentre les seves pròpies estructures de governança —comitès de seguretat, fundacions, observadors externs— es multipliquen sense que quedi clar si poden frenar res quan calgui. En aquest context arriben, de tant en tant, avisos que no vénen de fora del sector sinó de dins.
El 9 de setembre, Jacob Coxon, investigador que diu haver dedicat tres anys a la recerca de preentrenament tant a OpenAI com a Anthropic, va anunciar en un fil públic a X que deixava el sector de la IA. Coxon hi escriu que els laboratoris "van directes cap a la superintel·ligència que es millora a si mateixa i s'estan jugant les nostres vides", i que la gent que hi treballa "creu sincerament que això podria matar-nos tots abans que acabi la dècada". Demana acords de ritme (pacing agreements) entre els laboratoris nord-americans i, si cal, prohibicions temporals de seguir millorant la capacitat dels models, i qüestiona si algú vol "engegar un entrenament per reforç superintel·ligent sense una comprensió rigorosa de com pensarà". Evan Hubinger, cap d'alineament d'Anthropic, hi va respondre confirmant part del diagnòstic: "Jacob té raó –creiem sincerament que la IA podria matar tota la humanitat–", amb una probabilitat que ell mateix xifra per sobre del 10% en la propera dècada, tot i reconèixer que Anthropic "no té un pla per resoldre l'alineament de la superintel·ligència".
La notícia és rellevant perquè no és la denúncia d'un activista extern ni d'un competidor, sinó la renúncia pública d'algú que ha treballat als dos laboratoris que es presenten com els més compromesos amb la seguretat, i perquè un directiu de seguretat d'Anthropic n'ha confirmat el nucli del missatge en lloc de desmentir-lo; arriba, a més, la mateixa setmana que OpenAI incorporava Paul Christiano a la seva fundació precisament per reforçar-hi la vigilància independent.
Anthropic no ha fet cap declaració oficial sobre la dimissió de Coxon, i les seves afirmacions sobre pressions internes o sobre l'estat real dels plans de seguretat de cada empresa no s'han pogut verificar més enllà del que ell mateix i Hubinger han escrit públicament; tampoc hi ha, de moment, cap resposta d'OpenAI a les crítiques que Coxon també li adreça.