Les llengües de signes no es poden traduir com les llengües parlades: no hi ha un mapeig directe entre sons seqüencials i text, sinó que el significat es construeix amb moviments simultanis de mans, cara, braços i tors, amb un lèxic i una gramàtica propis. Aquesta complexitat és el motiu pel qual la traducció automàtica de llengua de signes ha anat molt per darrere de la traducció de veu, malgrat que uns 70 milions de persones sordes o amb dificultats auditives arreu del món en fan servir alguna com a llengua principal.
El 12 d'agost, Google DeepMind va presentar SL2T (sign-language-to-text), un model que tradueix directament la llengua de signes americana (ASL) a text en anglès, sense passar per l'anotació intermèdia de «glosses» que fan servir altres sistemes -una tècnica que, segons DeepMind, capta millor les expressions no manuals i les construccions espacials característiques d'aquestes llengües. Per raons de privadesa i velocitat, el sistema no envia vídeo als servidors: un model que s'executa al mateix dispositiu converteix la gravació en un esquelet de coordenades geomètriques de la persona, i només aquestes dades -no la imatge- es processen al núvol. El model s'ha entrenat amb més de 100.000 hores de dades de llengua de signes multilingües, de les quals un 25% en ASL, l'única combinació disponible en aquest primer llançament, que arriba a la funció de dictat per signes de Gboard i a l'aplicació Live Transcribe dels mòbils Pixel 11.
DeepMind ha desenvolupat el sistema amb la participació de persones sordes de la mateixa companyia i d'un comitè assessor extern de llengua de signes, i el planteja com l'equivalent, per a la comunitat sorda, del que la traducció de veu a text ha suposat per als usuaris oients. És, segons la companyia, el primer sistema de traducció de llengua de signes d'aquesta escala que arriba a un producte de consum massiu, en un àmbit de la IA aplicada a la lingüística que fins ara havia quedat sobretot en fase de recerca acadèmica.
El llançament només cobreix l'ASL cap a l'anglès, mentre que al món es fan servir prop de 200 llengües de signes diferents, i DeepMind reconeix obertament aquesta limitació i diu que preveu ampliar l'abast a més llengües i dispositius més endavant. És, de moment, una funció exclusiva dels mòbils Pixel 11 més recents, sense data anunciada per arribar a altres fabricants ni a més combinacions lingüístiques.