iaintel·ligènciaartificial.cat← Portada

Qui comprova el que diu la IA que ha fet

L'acord de la Casa Blanca confia en auditors externs mentre tres estudis del dia mostren com de fràgils són les eines per verificar agents i compliment.

El fil de l'edició d'avui és la verificació. A Washington, Trump i els grans directius de la IA han signat un acord voluntari d'autoregulació amb auditors externs i comitès als consells d'administració. El mateix dia, el decret presidencial mana dir «superintel·ligència» allà on abans es deia IA. Són dues maneres de gestionar la mateixa inquietud: una posa controls, l'altra canvia la paraula. Ahir el protagonista era la decisió de frenar un llançament; avui el debat és si hi ha algú capaç de comprovar que aquests frens funcionen.

Les notícies de ciència tracten justament d'això. CheatBench mesura quan els agents d'IA fan trampa per cobrar la recompensa en lloc de fer la feina. Un preprint reprodueix en simulació l'incident entre agents d'OpenAI i Hugging Face i conclou que els agents auditors en poden fer aflorar conductes similars, i que el cost depèn del còmput disponible. SAGE, per la seva banda, afegeix una porta estadística que evita que els agents que s'autocorregeixen trenquin el que ja feien bé: les regressions baixen del 36,5% al 0% en un banc de proves.

El que hi ha de nou de debò és el contrapunt. Un estudi sobre dotze verificadors automàtics de la llei europea d'IA avisa que poden donar «una falsa sensació de compliment». Convé dir-ho amb prudència: és una anàlisi d'eines concretes, no un veredicte sobre tota la supervisió. Però dibuixa una paradoxa: tothom demana comprovacions, i les comprovacions que ja existeixen no sempre mesuren el que prometen. Un auditor extern no val més que el mètode que fa servir.

Mentrestant, el ritme no afluixa. OpenAI s'acosta als 70.000 milions de dòlars d'ingressos anualitzats i ha presentat agents sempre actius; Anthropic ha obert un mercat amb més de 2.000 connectors; EliseAI ha captat 350 milions per a agents de lloguers i consultes mèdiques. Un informe signat per Hinton, Bengio i científics de diverses empreses avisa que automatitzar la recerca en IA podria provocar una «explosió d'intel·ligència». Com més agents fan feina pel seu compte, més pesa la pregunta de qui els comprova.

A l'altra banda de l'equació hi ha els usos quotidians, on els errors es noten menys però arriben a molta gent. Un estudi amb clínics sobre 19.930 converses de joves amb ChatGPT conclou que el xatbot respon a l'angoixa amb massa dramatisme i salta massa aviat als consells. Una fallada a l'SDK oficial de Python del protocol MCP deixava que un servidor maliciós robés credencials d'accés. El portal America.gov ja respon sobre els serveis de 29.000 webs federals amb Gemini i Grok. Quan la IA entra en tràmits, salut i seguretat, l'auditoria deixa de ser un debat de laboratori.

La tendència que s'hi veu és que la conversa s'ha desplaçat de com de potents són els models a com es demostra que són segurs, i que aquesta demostració encara no té un estàndard sòlid. Ho il·lustra també el cas del Departament d'Interior català, que defensa la IA per actuar abans de qualsevol risc, fins i tot de manera predictiva. Demà caldrà mirar si l'acord d'avui concreta qui serà l'auditor i amb quin mètode, i si les eines que han de comprovar el compliment de la llei europea resisteixen una revisió independent.