Cloudflare, una de les grans empreses d'infraestructura d'internet, ofereix a través de Workers AI models d'IA oberts que els clients fan servir des dels seus programes. Per respondre ràpid, aquests sistemes guarden en una memòria temporal (la memòria cau) els càlculs intermedis de cada petició. Si aquesta memòria no se separa bé entre usuaris, la resposta d'un client pot acabar contenint fragments de la petició d'un altre.
Això és el que va passar amb el model GLM-5.3, segons l'informe que l'empresa va publicar el 26 d'octubre. Des del dia que es va posar en marxa, el 27 d'agost, i fins al 9 de setembre, 155 respostes van incloure dades de peticions d'altres clients. Totes corresponien a textos molt llargs, de més de 681.280 unitats de text (*tokens*). L'error combinava dues coses: el model acceptava textos de fins a 1.048.576 unitats, però la memòria reservada era més petita, una diferència que l'empresa coneixia abans del llançament; i un error del programari obert SGLang, que marcava aquestes peticions com a rebutjades però les continuava processant, de manera que el model llegia restes de peticions anteriors i responia com si tot anés bé. El va descobrir el 8 de setembre l'investigador Gadi Evron, de l'empresa Knostic, a través del programa de recompenses per errors de Cloudflare, i l'endemà el model es va retirar i es va tornar a publicar corregit.
El cas mostra un risc poc conegut dels serveis d'IA compartits: no fa falta cap atac perquè les dades d'una empresa acabin en mans d'una altra; n'hi ha prou amb un error de configuració. Cloudflare admet que les proves prèvies al llançament només comprovaven que el servei respongués sense error, no que la resposta fos correcta. Ara ha ampliat la memòria, ha corregit el programari i recomana a tots els que fan servir SGLang que l'actualitzin a la versió 0.5.22 o posterior.
L'empresa diu que no ha trobat indicis que ningú aprofités l'error expressament i que les peticions afectades s'assemblen a l'ús normal de textos llargs. Tot i això, l'informe no explica quina mena de dades es van barrejar ni si ha avisat individualment els clients afectats. Les xifres i la cronologia són les que dona la mateixa Cloudflare.