Els sistemes de conducció autònoma basats en aprenentatge profund prenen decisions —frenar, esquivar, esperar— a partir de xarxes neuronals que ningú pot llegir directament: un conductor de seguretat o un passatger no té manera de saber, mirant el cotxe des de dins, per què frena de cop en una situació que sembla normal. Aquesta opacitat dificulta que les persones puguin preveure el comportament del vehicle just quan més els convindria fer-ho, en moments inesperats.
Un equip liderat per Eoin Kenny, exinvestigador postdoctoral del MIT, amb Julie Shah —professora d'Aeronàutica i Astronàutica i directora del CSAIL— i Momchil Tomov, científic de Motional, l'empresa de vehicles autònoms, ha publicat el 2 de setembre a Nature el CW-Net (Concept-Wrapper Network): un mòdul que s'insereix dins l'arquitectura de planificació ja existent d'un cotxe autònom i en tradueix les decisions a conceptes clars com «s'acosta a un vehicle aturat» o «a prop d'un ciclista», entrenat amb 130 milions d'exemples etiquetats de gravacions reals de conducció. El sistema es dissenya perquè la capa final de decisió hagi de fer servir aquests conceptes, de manera que l'explicació sigui fidel al comportament real del vehicle i no una justificació a posteriori. En proves en pista, els conductors de seguretat van preveure millor el comportament del cotxe en situacions sorprenents amb l'ajuda del CW-Net, i un estudi de simulació amb persones sense experiència tècnica va mostrar la mateixa millora; en un cas concret, el sistema va revelar que un vehicle s'havia aturat per una frenada d'emergència i no, com s'assumia, per haver detectat correctament un ciclista.
La notícia és rellevant perquè aporta un mètode concret, publicat i avaluat —no només una promesa d'interpretabilitat— per a un dels problemes centrals de la seguretat de la IA en entorns crítics: que les persones puguin entendre i anticipar per què una màquina fa el que fa, no només què fa. Que el treball combini el rigor acadèmic del MIT amb les dades reals d'una empresa de vehicles autònoms en operació, Motional, li dona una base pràctica poc habitual en aquest tipus de recerca.
Els mateixos autors reconeixen que el ventall de conceptes que el CW-Net sap explicar és limitat i caldrà ampliar-lo, i que la validació s'ha fet amb les dades i els vehicles d'una sola empresa, sense que encara hi hagi una prova independent en altres flotes o fabricants de conducció autònoma; els mateixos investigadors apunten que calen més tècniques d'entrenament i disseny per cobrir situacions que el sistema encara no sap descriure bé.