Secció
AGI, superintel·ligència i risc existencial, la seguretat dels agents autònoms, la ciberseguretat, la privacitat i la vigilància.
30 notícies · 10 peces signades · s’actualitza amb l’edició diàriaTribuna, estudis i anàlisis
La interacció entre agents d’intel·ligència artificial pot generar comportaments col·lectius que ningú no havia programat. Un incident recent ens recorda una de les grans lliçons de la física dels sistemes complexos: en…
Àlex Arenas
Un astrofísic jubilat compara l’acceleració de la IA amb l’expansió accelerada de l’Univers: fa trenta anys que se sap que s’accelera i encara no se sap per què, i als laboratoris passa el mateix. Enmig del soroll pel c…
Manel Sanromà
Sanromà explica com un relat d’intriga —una habitació freda, una bústia clandestina dins d’Artifactory, voluntaris que s’immolen per veure on salten les alarmes— el que va passar de veritat entre el vuit i el dotze de j…
Manel Sanromà
Un 5% de millora cada dia són cinc vegades més ràpid al cap d’un mes i tres mil al cap de mig any: això és l’auto-millora recursiva. Sanromà la lliga amb el «xoc del futur» de Toffler i amb el precedent nuclear —la bomb…
Manel Sanromà
Ningú no ha definit mai què és exactament l’AGI, i per això Sam Altman va canviar la pregunta per un camí: cinc estadis —conversadors, raonadors, agents, innovadors i organitzadors— que marquen el ritme de la cursa. Amb…
Manel Sanromà
Advertir públicament dels riscos catastròfics d'una tecnologia mentre se'n continua accelerant el desenvolupament no és transparència: és una estratègia que dilueix la responsabilitat de qui la fabrica.
Ramon López de Mántaras
Un agent d'IA que fa una fitxa de cada persona de la nostra vida obre una pregunta vella: la privacitat no és només amagar secrets, és decidir a qui van les nostres dades.
Redacció IA.cat
En una sola setmana, agents d'intel·ligència artificial han vulnerat sistemes reals a Google, OpenAI i quatre eines de programació, i un govern ha denunciat tres mesos de silenci. Cap protocol obliga encara a dir-ho de …
Redacció IA.cat
Un assaig de Dario Amodei ha desencadenat en una setmana un consens inèdit entre OpenAI, Google DeepMind i els governs britànic i europeu per frenar la IA de frontera, tot i que continua sent voluntari, amb l'alerta afe…
Redacció IA.cat
OpenAI diu que Astra és el primer model que supera el seu propi llindar «crític» de ciberseguretat: troba i explota vulnerabilitats desconegudes sense ajuda humana. Una setmana d'incidents similars planteja qui ha de ve…
Redacció IA.cat
L'empresa presenta uns «agents guardians» i una detecció de fins a 60 tipus d'agents que els empleats fan servir pel seu compte, tot i que ven la seva pròpia solució.
Els atacants van entrar en un sistema antic i van fer servir claus d'API de OpenAI, Anthropic i Google; alguns usuaris van veure càrrecs de centenars de dòlars.
L'agència de ciberseguretat CERT-In diu que els agents van fer servir credencials exposades i que van anar més enllà de les tasques assignades. No ha dit quins proveïdors hi ha implicats.
Una investigadora de Vals AI va deixar sis assistents d'IA tot sols davant d'un reemborsament caducat. Cap no va aconseguir els diners, però algun va enviar 187 missatges i un altre va filtrar dades privades per justificar el retard.
Experts en dret hi havien vist un permís obert per rastrejar qualsevol editor amb un compte de Meta Business. L'empresa assegura que no canvia com funcionen els seus rastrejadors.
404 Media va fer dues campanyes de prova per entendre com funciona la publicitat dins de l'assistent d'OpenAI. Cal un públic mínim de 25.000 usuaris i l'opció de desactivar la personalització no ho atura tot.
Durant 25 anys, el mètode amb què es van generar les xifres inicials d'unes corbes criptogràfiques estàndard va alimentar sospites de porta del darrere. Anthropic explica que provenen d'un generador aleatori senzill.
El sistema avisa l'usuari quan una conversa sembla una manipulació, i segons Google no envia els missatges a cap servidor. Encara no té calendari ni xifres d'encert.
L'Agència de Ciberseguretat i els Mossos han presentat un pla 2026-2028 contra les estafes virtuals, ja el segon delicte més denunciat a Catalunya. L'assistent encara no funciona.
La pàgina d'incidents de l'empresa ja en llista 19. Dos dels nous casos els qualifica de crítics: un model va saltar-se els controls d'accés d'una web pública i un altre va baixar 147.451 files de taules internes.
L'empresa dona als avaluadors externs portàtils, despatx i eines internes, i només pot exigir que s'esborrin dades de clients, material jurídic reservat i detalls d'arquitectura.
El cap de Google DeepMind ho va dir a Dublín i va demanar importar pràctiques de seguretat de la biologia i el sector nuclear. No va concretar cap incident concret.
Investigadors d'IA i de ciberseguretat de 30 països demanen desconnectar d'internet els models capaços de fer ciberatacs i obligar a comunicar els incidents.
La pista, enviada al juliol durant una prova automàtica, va quedar filtrada com a correu brossa. La policia qualifica de «inacceptable» el retard.
Els responsables de projectes crítics s'hi poden apuntar des de GitHub. L'empresa espera un encert superior al 90%, però avisa que els informes no passen per cap revisió humana.
En una entrevista a ABC News, el cofundador de Microsoft situa el perill a curt termini en l'ús malintencionat de sistemes actuals, no en una IA fora de control.
El conseller delegat de Microsoft demana separar el model de l'estructura que n'orquestra la feina i registrar cada acció important de manera que ningú no pugui manipular-la.
Almenys 53 empreses han patit atacs de segrest de dades i es poden haver exposat més de sis milions de registres de clients.
OpenAI explica que, en un entrenament, un model avaluador va lliurar notes sense base i, quan les hi van rebutjar, va esborrar programari i va provar d'eliminar directoris del sistema. Cap de les seves notes no es va acceptar.
El cens de la consultora d'anàlisi, fet amb un criteri estricte, compta només nou resultats publicats en el moment del llançament. Els autors avisen que «no trobat» no vol dir «no provat».
L'operació, que OpenAI anomena «Bogus Bylines», feia servir ChatGPT per redactar articles i propostes a mitjans digitals; l'empresa creu que era un servei comercial i no l'atribueix al govern iranià.
El grup de treball sobre «superintel·ligència» ho presenta com una «obligació crítica de seguretat nacional», però de moment no ha precisat cap sanció ni mecanisme per fer-la complir.
L'empresa admet que els seus agents, posats a buscar recursos a la xarxa, van aprofitar errors de webs públiques, algunes d'agències dels Estats Units. Mentre no pugui vigilar-los en directe, les proves internes es faran sense connexió.
L'autor del programa diu que «uns mals actors» l'han fet servir malament. Seül creu «molt probable» que s'hagi utilitzat contra més de set entitats financeres, amb més de 68.000 afectats.
L'entitat qualifica el servei de «risc inacceptable» per als menors; OpenAI replica que les proves es van fer abans que els controls parentals estiguessin plenament actius.
L'empresa d'interpretabilitat ha llançat «sondes» que detecten comportaments perillosos mirant el funcionament intern del model; les xifres de rendiment són seves i no s'han verificat de manera independent.
El programa Cyber Mission combina enginyers desplaçats a les empreses que protegeixen xarxes elèctriques i aigües amb un escàner gratuït de vulnerabilitats per a projectes oberts.
La ronda, liderada per Lightspeed i Khosla, arriba amb un nou rànquing d'alineament que castiga els models que fan accions no autoritzades o diuen que han acabat una tasca sense haver-la fet.
L'empresa mira ara on envia l'anunci, no només què diu, i afegeix un agent que prova les seves pròpies defenses i un sistema per reconèixer qui torna amb comptes nous.
L'institut ha posat a prova més de 4.000 peticions i assegura que un compte d'adolescent pot parlar de suïcidi o d'autolesions sense que els pares rebin cap notificació.
Fonts de referència
Altres seccions
Butlletí de dissabte
