iaintel·ligènciaartificial.cat← Portada

SEGURETAT · 4 MIN

Anthropic estrena un sistema perquè les empreses guardin les converses de Claude als seus propis servidors i alhora detectin usos indeguts sense que Anthropic hi tingui accés

Anthropic ha presentat l'1 de setembre els «Enterprise Frontier Safeguards», un sistema gratuït que combina la retenció zero de dades amb una detecció automàtica de mal ús gestionada íntegrament pel client, després que alguns clients es queixessin de la seva anterior política de retenció.

Il·lustració editorial de Anthropic estrena un sistema perquè les empreses guardin les converses de Claude als seus propis servidors i alhora detectin usos indeguts sense que Anthropic hi tingui accés
Escolta:

A mesura que Claude s'ha anat integrant en processos crítics de grans empreses —Anthropic n'és ara el motor de raonament dins del CRM de Salesforce, per exemple—, els seus clients empresarials han reclamat més control sobre on i com es guarden les seves converses, alhora que Anthropic necessita poder detectar usos indeguts dels seus models sense inspeccionar-ne el contingut directament.

L'1 de setembre l'empresa ha presentat els «Enterprise Frontier Safeguards» (EFS), un sistema gratuït que combina la retenció zero de dades —les converses no queden emmagatzemades als servidors d'Anthropic— amb una capa de detecció automàtica de mal ús que el mateix client gestiona en la seva pròpia infraestructura de núvol, sense que calgui cap revisió humana per part d'Anthropic. Segons la companyia, el disseny s'ha fet amb l'aportació de responsables de seguretat, producte, compliment normatiu i entrega de clients, entre ells membres de l'Analysis and Resilience Center for Systemic Risk (ARC), un grup que inclou caps de seguretat informàtica de Goldman Sachs, Morgan Stanley, Citi, Bank of America i Wells Fargo, així com responsables de Comcast, KPMG, Mastercard, Salesforce i Visa.

La novetat és rellevant perquè intenta resoldre una tensió real entre dues exigències oposades: la privadesa que reclamen els clients empresarials (retenció zero) i la vigilància que la mateixa Anthropic considera necessària per detectar usos maliciosos dels seus models, després que la companyia hagi reconegut en les últimes setmanes diversos incidents en què Claude va ser utilitzat per atacs informàtics o va accedir sense autorització a sistemes reals durant proves de seguretat.

Anthropic desplegarà els Enterprise Frontier Safeguards per fases, amb una disponibilitat més àmplia prevista per a aquesta tardor, però no ha detallat encara amb quina precisió tècnica el sistema de detecció distingeix un ús legítim d'un de maliciós quan opera sense revisar el contingut de les converses, ni si el sistema satisfarà per si sol les exigències regulatòries de sectors com el financer.

Mateix tema

Veure tot el tema →

Butlletí de dissabte

La setmana d’IA, en cinc minuts.