Els grans models de llenguatge aprenen, durant l'entrenament, tant coneixement útil com informació que després convé que no facin servir per a fins nocius: instruccions per fabricar un explosiu, per exemple, poden formar part del mateix coneixement de química que un model necessita per respondre preguntes escolars legítimes. La tècnica del «desaprenentatge» (unlearning) intenta esborrar selectivament aquest tipus de coneixement, però fins ara els mètodes per mesurar si realment funciona eren massa simples.
Sahil Kale i Ian Harris han publicat el 20 d'agost a arXiv «ConceptGuard: Benchmarking Context-Sensitive Unlearning in Large Language Models», un banc de proves construït al voltant del que anomenen «conceptes de doble ús»: idees o coneixements que es poden aplicar tant en contextos nocius com en contextos benignes. A diferència dels bancs de proves anteriors, que tracten cada fet a esborrar com un element independent, ConceptGuard construeix parells de conjunts explícitament complementaris —un de «per oblidar», amb usos nocius d'un concepte, i un de «per retenir», amb usos legítims del mateix concepte— per comprovar si un mètode de desaprenentatge sap distingir el context d'ús, no només la presència del concepte. Els autors informen que els mètodes de desaprenentatge actuals mostren «una separació contextual feble» i un rendiment pobre en les mètriques de ROUGE i a nivell de concepte, cosa que revela un compromís difícil entre oblidar de debò i mantenir la utilitat del model.
El resultat és rellevant perquè el desaprenentatge s'ha convertit en una de les eines que els laboratoris d'IA prometen fer servir per complir amb exigències regulatòries de seguretat i privadesa —esborrar dades personals d'un usuari, per exemple, o eliminar capacitats perilloses d'un model ja entrenat—, i un mètode que no distingeix context acaba o bé deixant forats de seguretat explotables, o bé fent malbé capacitats legítimes que no tenien res a veure amb l'ús nociu. ConceptGuard ofereix, per primer cop, una manera sistemàtica de detectar aquest problema abans que es converteixi en un incident real.
Es tracta d'un preprint, encara no revisat per experts d'una revista o congrés, i els seus propis autors no proposen encara un mètode de desaprenentatge que resolgui el problema que documenten: el treball és, de moment, un instrument de mesura, no una solució, i caldrà veure com responen els laboratoris que desenvolupen aquestes tècniques quan els seus mètodes s'avaluïn amb aquest nou criteri.