Anthropic, l'empresa que fa Claude, va demanar a l'octubre sortir a borsa al Nasdaq, i dilluns va presentar a la Comissió de Valors dels Estats Units (SEC) una versió revisada del fulletó informatiu, el document que han de llegir els futurs inversors. La major part de la cobertura s'ha fixat en les xifres financeres actualitzades, però l'apartat de riscos inclou un avís sobre un dels temes més delicats del sector: la possibilitat que la IA s'ajudi a si mateixa a fer-se més capaç, el que els investigadors anomenen «automillora recursiva».
El document explica que l'empresa ja fa servir la IA en la seva pròpia recerca i que això «també podria suposar un risc considerable per a la seguretat», sobretot si accelera bruscament el ritme del progrés. Admet que la seva capacitat de mesurar a quina velocitat avancen els seus models és limitada i que, en el passat, no ha detectat una acceleració significativa fins que ja s'havia produït. I afegeix que les estimacions internes i les expectatives sobre models futurs, no sobre els actuals, indiquen que l'empresa podria complir «imminentment» la definició de «progrés dràsticament accelerat atribuïble a la IA» que fixa la seva Política d'Escalat Responsable, el reglament intern que marca quines precaucions s'activen a cada nivell de capacitat.
L'avís té pes perquè no surt d'una entrevista ni d'una conferència, sinó d'un document legal pel qual l'empresa pot respondre davant els inversors. Anthropic hi diu que no preveu poder fer servir Claude amb seguretat per dissenyar i construir de manera totalment autònoma les generacions successives de models «sense una supervisió o una comprensió humanes significatives», encara que tècnicament sigui possible, i que estudia canvis en la seva política perquè les persones continuïn tenint el control del desenvolupament. També anuncia que publicarà més informes quan avaluï les implicacions d'haver arribat a aquest llindar.
Cal llegir-ho amb cautela. L'empresa recalca que no ha classificat cap dels seus models actuals per sobre del llindar i que encara n'analitza les dades. A més, un fulletó de sortida a borsa és alhora un document de transparència i una peça de presentació davant els inversors, i alguns crítics citats per TechCrunch hi veuen també un missatge comercial: dir que s'és a prop d'una IA que s'accelera sola és una manera de dir que s'és al capdavant. El text no concreta quan ni amb quin model es podria creuar el llindar.