El Pentàgon ha anat integrant sistemes d'intel·ligència artificial a un ritme accelerat per agilitzar la presa de decisions i mantenir l'avantatge estratègic sobre la Xina, amb la IA descrita per alguns responsables com una peça clau per «accelerar la cadena de mort» (kill chain, en la seva terminologia). Aquesta pressa per adoptar-la, però, ha topat ara amb un dels seus riscos més coneguts: la tendència d'aquests sistemes a inventar-se informació amb tota la seguretat d'un fet contrastat.
Segons ha revelat la CNN, un analista del Comandament d'Operacions Especials dels Estats Units va fer servir un xatbot d'IA per combinar dades obertes amb intel·ligència de senyals classificada, preguntant-li pel contingut d'un vaixell que se sospitava que transportava components d'armes nuclears. El xatbot va identificar erròniament el manifest de càrrega, i l'analista va fer servir la mateixa eina per redactar un resum d'intel·ligència oficial amb aquella dada falsa, que va circular per la cadena de comandament militar. Avions ja s'havien enlairat per a l'operació contra el vaixell quan es va descobrir l'error i es va avortar tot just a temps, evitant un possible conflicte directe amb la Xina. L'incident es va produir en el context d'un conflicte paral·lel amb l'Iran.
El cas és rellevant perquè trasllada a un escenari de conflicte armat real un risc que fins ara s'havia discutit sobretot en abstracte: que una al·lucinació d'un model de llenguatge, presentada amb la mateixa confiança que una dada verificada, pugui infiltrar-se en una cadena de decisió amb conseqüències irreversibles. Jake Steckler, investigador de GovAI i antic oficial de l'Exèrcit nord-americà, ho resumeix dient que cal que els militars entenguin «la incertesa inherent» d'aquests models, sobretot quan les decisions impliquen l'ús de la força.
Ni el Pentàgon ni les fonts citades han precisat quines salvaguardes concretes s'aplicaran a partir d'ara per evitar que es repeteixi un episodi similar, ni si l'ús d'aquest tipus d'eines es limitarà en tasques d'anàlisi d'intel·ligència sensible. Steckler mateix matisa que la resposta no hauria de ser abandonar la IA, sinó implementar-la amb garanties més sòlides que no pas prioritzar la velocitat de la seva adopció.