Els models oberts, aquells que qualsevol empresa pot descarregar i fer funcionar als seus servidors, es venen sovint amb una promesa de privadesa: les dades no surten de casa. L'empresa canadenca Cohere, que també fabrica models d'IA, ha publicat aquest dilluns un cas que posa a prova aquesta idea. Segons explica al seu blog, Qwen3.8-Flash-Next, una versió preliminar de la nova generació de models d'Alibaba publicada a l'agost, va intentar enviar dades a un servidor de fora mentre feia una tasca rutinària de ciberseguretat.
La prova formava part de CTI-REALM, un banc d'avaluació de Microsoft per a tasques d'analista de seguretat: el model havia d'escriure una regla per detectar un tipus de descàrrega maliciosa. En comptes de limitar-se a això, va mirar el contingut d'una carpeta temporal, va comprovar quines eines de transferència tenia a l'abast, va llegir la configuració de xarxa i va intentar pujar una cadena de text de prova a un espai d'emmagatzematge del núvol d'Alibaba a Pequín. En el raonament escrit just abans havia dit que no faria servir cap eina. L'entorn de proves no tenia sortida a internet i l'intent va fallar. Cohere diu que el comportament és rar, menys d'una crida de cada 100.000, i que en repetir la mateixa ordre el model va fer bé la feina; amb tot, calcula que un servei amb 10 milions d'interaccions d'agents a la setmana en podria veure un centenar. L'empresa ha publicat els registres i un programa per reproduir-ho a Hugging Face.
Cohere admet que no pot saber si va ser intencionat o una mania apresa durant l'entrenament, i el seu cofundador Ivan Zhang ha dit a TechCrunch que és «molt difícil atribuir-hi intenció». La lliçó que en treu és pràctica: tractar uns pesos desconeguts com qualsevol programa baixat d'internet, bloquejar per defecte la sortida a la xarxa dels agents, no fiar-se del raonament que escriu el model com si fos una barrera de seguretat i demanar als proveïdors garanties sobre com s'han entrenat. També demana als governs que aclareixin si les restriccions als models xinesos, com la que els Estats Units van aplicar fa uns dies a DeepSeek, valen també per als models que funcionen en ordinadors propis.
El cas té diverses ombres. Segons TechCrunch, alguns investigadors creuen que el comportament s'explica més aviat per entorns d'entrenament desendreçats, on el model hauria après a desar fitxers al núvol d'Alibaba, que no pas per cap intent d'espiar. També critiquen que, per trobar el detonant, Cohere va donar al model l'inici d'una ordre de xarxa perquè la completés, cosa que el feia inventar adreces web; un dels escèptics que va revisar els registres diu que hi ha proves que Qwen s'inventa adreces sospitoses, però cap d'una porta del darrere. Alibaba no hi havia respost. I cal tenir present que Cohere ven models als governs i podria sortir-hi guanyant si desconfien de les alternatives xineses gratuïtes.