Fa setmanes que es parla de si la IA ja ajuda a fer IA millor. El 3 de novembre, la mateixa Anthropic va avisar els inversors que podria arribar aviat al punt en què la intel·ligència artificial accelera de manera dràstica la creació de models nous. Al setembre, el seu conseller delegat, Dario Amodei, havia demanat al sector que «alentís el ritme» amb què millora les capacitats dels models perquè les mesures de seguretat poguessin anar-hi al darrere. Ara hi ha una mirada de fora.
Model Evaluation and Threat Research (METR), una organització sense ànim de lucre de Berkeley que avalua models per a Anthropic, OpenAI i altres laboratoris i que es finança amb donacions, va publicar dijous un informe fet amb accés a dades internes de l'empresa i entrevistes amb el seu personal. Va analitzar unes onze setmanes, de mitjan agost a final d'octubre. La seva estimació és que Anthropic millora les capacitats dels models en tasques ben definides aproximadament el doble de ràpid que un any enrere. No ho atribueix a més potència de càlcul per entrenar, sinó, com a hipòtesi més probable, al fet que la mateixa IA ja fa bona part de la feina que accelera el procés. Tampoc no hi ha trobat cap coll d'ampolla, ni de càlcul ni de dades, que el freni. I diu que l'informe públic de riscos que Anthropic va publicar a l'agost «en conjunt, subestima» l'acceleració que s'estava produint.
És la primera vegada que un avaluador extern posa xifres a aquesta qüestió dins d'un dels grans laboratoris, i arriba en un moment delicat: Anthropic prepara per a aquest mes una sortida a borsa que podria ser la més gran de la història. El cofundador Sam McCandlish va respondre a la xarxa X que moltes de les conclusions coincideixen amb les seves («la IA accelera la nostra recerca, però és difícil dir exactament quant») i va presentar l'informe com una prova del valor de tenir avaluadors independents dins dels laboratoris.
L'informe té límits que reconeix el mateix METR. Admet que podria exagerar l'acceleració, que potser només val per a tasques amb instruccions clares, i que la IA encara no és capaç de fer, tota sola, aportacions decisives al nucli de l'entrenament dels models, tot i que alguns investigadors d'Anthropic hi veuen «senyals de vida». A més, l'empresa ha tatxat parts del document: McCandlish reconeix que això fa més difícil comprovar-lo, però diu que explicar què hi ha darrere de l'acceleració seria sensible comercialment i donaria un full de ruta a la competència.