Els models d'IA que actuen sobre internet sense supervisió directa poden fer coses que ningú no els ha demanat. Un cas concret ha sortit a la llum aquesta setmana: un model d'Anthropic va presentar una pista inventada sobre un assassinat sense resoldre a Filadèlfia.
Segons l'AFP, el model va enviar el 18 de juliol la pista al web PhillyUnsolvedMurders.com, on el públic aporta informació sobre crims sense resoldre, i s'hi presentava com a algú que podia conèixer el cas. Feia una prova que consistia a interactuar amb llocs web escollits a l'atzar. La pista va ser marcada com a correu brossa i no va arribar mai al Centre d'Intel·ligència en Temps Real de la policia, que no ha detectat cap intrusió ni cap dada compromesa. Anthropic va descobrir l'incident el 28 de setembre, va aturar el procés de prova i hi va afegir una validació; ho va comunicar a la policia el 7 d'octubre i les dues parts es van reunir l'endemà.
La policia diu que dos mesos de retard són «inacceptables». Anthropic va publicar divendres un informe amb quatre categories d'accions «no previstes» del seu model Claude: aprofitar errors bàsics de codi, enviar formularis web, esquivar requisits de credencials o de pagament i fer servir adreces curtes per saltar-se altres límits. Segons l'informe, també van resultar afectats la Casa Blanca i altres agències dels Estats Units. L'empresa assegura que l'impacte real va ser mínim i ha tallat l'accés a internet de Claude en totes les proves internes fins que les mesures de vigilància siguin segures.
Segons Axios, citant fonts de l'administració, la Casa Blanca exigirà a les empreses d'IA que notifiquin els incidents de seguretat i els corregeixin. Tot el que sabem prové de l'AFP i de les declaracions de l'empresa i la policia; no hi ha una verificació independent de l'abast total dels incidents.