Josep Domingo-Ferrer és catedràtic d'enginyeria informàtica de la Universitat Rovira i Virgili, on dirigeix el grup CRISES-Seguretat i privadesa; és el fundador i director de CYBERCAT, el Centre de Recerca en Ciberseguretat de Catalunya, i membre de l'Institut d'Estudis Catalans. Aquests dies és professor invitat a l'ENS-PSL de París. Ha respost aquestes sis preguntes per escrit.
1. Què és CYBERCAT i quines preguntes sobre privadesa i intel·ligència artificial us ocupen ara mateix?
CYBERCAT vol dir Centre de Recerca en Ciberseguretat de Catalunya. Es tracta d'un centre virtual, que vaig fundar el 2018 i que dirigeixo. Inclou grups de recerca en ciberseguretat de la URV, la UPC, la UPF, la UdL, la UOC i la UAB, amb més de 100 investigadors en total. A banda de fer recerca, actualment el CYBERCAT impulsa una xarxa de transferència de tecnologia cap al sector productiu, amb el suport de la Generalitat.
Dins del grup CRISES-Seguretat i privadesa que dirigeixo a la URV, tenim una línia de recerca en intel·ligència artificial confiable. Alguns temes que tractem són aquests.
Per un cantó, ens centrem en l'avaluació de la privadesa de les dades d'entrenament en condicions realistes. Sovint els atacs que es descriuen en articles científics fan servir models sobreapresos o molt petits, i suposen que l'atacant té uns recursos il·limitats i un coneixement del funcionament intern del model que no és realista. Els resultats que estem obtenint diuen que, en condicions realistes, és molt difícil que publicar un model entrenat reveli les dades personals que es van fer servir per a l'entrenament. Això val tant per a models predictius com per a grans models generatius. Publicar un gran model de llenguatge difícilment revelarà les dades que es van fer servir per al seu preentrenament; fins i tot si el model ha estat ajustat (*fine-tuned*), no és gaire probable que un atac d'inferència de pertinença aconsegueixi recuperar les dades que s'han fet servir en l'ajustament. Per tant, el missatge per a la societat és que la publicació de models d'IA no és incompatible amb la privadesa de les dades que s'han fet servir per entrenar-los.
D'altra banda, treballem en mètodes de desaprenentatge garantit i eficient. El desaprenentatge és essencial per controlar l'aprenentatge automàtic. Per exemple, permet fer oblidar a un model dades privades o subjectes a drets d'autor que va veure durant l'entrenament, permet eliminar biaixos que pugui tenir, permet augmentar-ne la robustesa eliminant dades d'entrenament errònies, i permet alinear-ne el comportament amb uns certs valors ètics. Els mètodes de desaprenentatge exacte, que forneixen un model desaprès equivalent a un model que mai no hagués vist les dades a desaprendre, requereixen molt de càlcul. Per això, la majoria de mètodes són aproximats, en el sentit que no donen una garantia d'oblit, però són ràpids. Nosaltres estem enllestint mètodes garantits de desaprenentatge (que garanteixen l'oblit) i que són tan eficients com els aproximats.
Un tercer tema té a veure amb la seguretat de l'aprenentatge automàtic. En concret, dissenyem defenses contra atacs d'enverinament, no dirigits i dirigits, a l'aprenentatge federat. A la resposta a la tercera pregunta en dono més detalls.
2. Es pot entrenar un sistema d'IA útil —per exemple, per ajudar a diagnosticar el càncer de mama— sense que les dades de les pacients surtin de cada hospital? Com explicaríeu l'aprenentatge federat a algú que no és del sector?
L'aprenentatge federat permet exactament això. Una colla de participants (per exemple, hospitals que tenen dades dels seus pacients) poden col·laborar per entrenar un model sobre el conjunt dels seus jocs de dades confidencials, i ho poden fer sense haver de comunicar les seves dades als altres participants (això és important, perquè un hospital hauria d'evitar cedir a tercers les dades dels seus pacients). El model resultant serà molt més acurat que el que cada participant obtindria entrenant-lo sobre el seu joc de dades.
El funcionament de l'aprenentatge federat és el següent. Suposem uns hospitals H1, H2, …, Hn. Un gestor d'aprenentatge, posem G, envia un model inicial M0 (amb els pesos tots a zero o inicialitzats aleatòriament) a H1, …, Hn. Cada hospital Hi entrena M0 sobre les seves dades i obté una versió local del model; llavors Hi envia a G una «actualització» de M0, que és la diferència entre el model M0 que ha rebut i el que ha obtingut entrenant-lo localment amb les seves dades. Tot seguit, el gestor G actualitza M0 amb la mitjana de les actualitzacions rebudes de tots els hospitals, i obté així un nou model actualitzat M1, que envia de nou a tots els hospitals. Amb això es completa el que s'anomena una «època» d'aprenentatge federat. El procés itera prou èpoques fins que el nou model actualitzat, posem Mk, és molt semblant al de l'època anterior, posem Mk-1. Això vol dir que s'ha aconseguit convergir cap a un model estable i que l'aprenentatge federat es pot donar per acabat. Aquest model Mk és molt més acurat que el que cada hospital hauria obtingut entrenant-lo aïlladament amb les seves dades locals.
3. L'aprenentatge federat no és infal·lible. Quines fuites d'informació o quins atacs encara són possibles, i com es poden evitar?
L'aprenentatge federat és més vulnerable a atacs que no pas l'aprenentatge centralitzat. La raó és que es tracta d'un aprenentatge distribuït, en el qual intervenen diversos participants que potser no són tots honrats.
Els atacs a la privadesa proven de deduir totalment o parcialment les dades locals d'un dels participants (per exemple, un hospital) a partir de les successives actualitzacions del model que va enviant durant l'aprenentatge. L'atacant pot ser un participant o simplement algú extern que observa les actualitzacions que s'envien. Les defenses poden consistir a enviar actualitzacions xifrades, a ocultar quin participant envia quina actualització, o a combinar aquestes estratègies.
Els atacs a la seguretat poden ser no dirigits o dirigits. Els atacs no dirigits intenten dificultar la convergència del model durant l'aprenentatge: un o diversos participants envien actualitzacions errònies o aleatòries per evitar que el model convergeixi. Els atacs dirigits intenten fer que el model aprengui malament; per exemple, que classifiqui malament certes entrades. En aquests atacs dirigits, l'atacant és un participant que modula les seves actualitzacions per aconseguir que unes certes entrades es classifiquin malament. Les defenses es basen a detectar i descartar actualitzacions molt diferents de les que envien la majoria dels participants. Si la majoria són honrats, enviaran actualitzacions no gaire diferents entre elles, i per tant diferents de les actualitzacions dels participants maliciosos.
4. Per què sovint no n'hi ha prou d'anonimitzar les dades? On són els límits reals de l'anonimització quan hi ha models d'IA pel mig?
No hi ha d'haver cap mancança si s'anonimitzen les dades amb una garantia formal de privadesa (k-anonimat o privadesa diferencial, per exemple), o bé si es fa una anonimització empírica però amb una bona anàlisi del risc de revelació, i aquest és petit. Els models d'IA tenen almenys dues interaccions amb l'anonimització.
Un model d'aprenentatge automàtic del qual es publiquen els paràmetres podria permetre recuperar o reconstruir (ni que fos parcialment) les dades d'entrenament, tot i que nosaltres hem vist que aquest risc és baix en general. En tot cas, si les dades d'entrenament són personals o molt sensibles, anonimitzar-les abans de fer-les servir en l'entrenament seria una bona pràctica, tot i que pot comportar algun sacrifici en la precisió del model entrenat.
Els models generatius permeten als atacants aconseguir ràpidament molt de context que els pot facilitar la reidentificació de dades anonimitzades (saber a qui corresponen). Per això cal ser especialment curosos en l'anonimització, i atenir-se a models formals de privadesa.
5. Un model d'IA pot «recordar» dades personals amb què s'ha entrenat. Què vol dir això per al dret a l'oblit i per a la protecció de dades?
Com he dit en la resposta a la primera pregunta, en general els models recorden poques dades concretes del munt de dades d'entrenament que han vist.
Tot i així, si alguna dada d'entrenament és molt diferent de la resta (una dada aberrant, o *outlier*), podria ser recordada pel model. Això és particularment probable si la dada s'ha fet servir per ajustar (*fine-tune*) un model preentrenat. Si interessa assegurar-se que aquesta dada sigui oblidada, el desaprenentatge és una bona opció (vegeu la resposta a la primera pregunta).
6. Què hauria d'exigir un ciutadà, o una administració, abans de confiar dades personals a un sistema d'IA?
El ciutadà pot exigir garanties de transparència, privadesa, seguretat i control de les seves dades. Més concretament, el ciutadà té dret a saber qui tractarà les dades i amb quina finalitat; a tenir la garantia que les dades no seran revelades ni pel model ni pels seus gestors; a poder retirar les seves dades i exigir-ne l'oblit efectiu; a tenir seguretat davant dels ciberatacs; a la transparència i l'auditoria del que fa el sistema d'IA amb les dades, i a saber qui en serà responsable si les dades es filtren.