Els assistents d'IA que entenen vídeo solen respondre quan l'usuari els fa una pregunta. Però en moltes situacions, com quan algú cuina, munta un moble o aprèn un programa, el que caldria és un assistent que vegi la feina i avisi quan alguna cosa va malament, sense haver d'esperar que li preguntin. Saber quan parlar, i quan callar, és més difícil del que sembla.
Un equip de 16 investigadors liderat per Google, amb participació de Stanford, Oxford i diverses universitats dels Estats Units, segons The Decoder, ha presentat StreamVibe, un conjunt de proves, un model i un sistema de memòria per a aquests assistents. Les proves tenen unes 4.100 mostres d'avaluació i 85.000 d'entrenament, extretes de més de 183 hores d'enregistraments quotidians i de pantalles d'ordinador, i inclouen peticions explícites, objectius vagues com «ajuda'm si tinc cap dificultat» i encàrrecs que canvien pel camí. El model, StreamVibe-VL, decideix cada segon si ha de dir alguna cosa. Segons els autors, millora un 10,7% el moment i la qualitat de les respostes respecte d'altres sistemes, i la memòria, que recorda les peticions pendents i els passos ja fets, afegeix un 12,3% en la capacitat d'intervenir pel seu compte.
La recerca apunta a la propera generació d'assistents amb càmera, com els que porten algunes ulleres intel·ligents, que hauran d'ajudar sense ser pesats. El treball també fa visible un problema comú: tots els sistemes provats empitjoren quan han de construir sobre les seves respostes anteriors, perquè els errors s'acumulen.
És una prepublicació a arXiv, del 26 d'octubre, encara no revisada per parells. Els mateixos autors reconeixen que les situacions reals són més complexes que les de les proves i que, en vídeos de més de cinc minuts, els models rarament encerten el moment d'intervenir. Les respostes de referència es van generar amb un model de Google i després les van aprovar quatre avaluadors humans. Segons The Decoder, un model comercial de Google supera StreamVibe-VL en diverses proves.