Mistral AI, l'empresa francesa d'IA, va presentar el 20 d'octubre Voxtral 3, un conjunt de models de veu per convertir parla en text i text en parla, juntament amb un paquet de desenvolupament (SDK) per construir agents de veu: programes que escolten una persona, raonen, consulten dades i responen parlant.
La família inclou Voxtral Small Transcribe 3, que identifica qui parla en cada moment, Voxtral Mini Transcribe 3, un model de 4.000 milions de paràmetres per transcriure en lot, una versió en temps real i Voxtral Mini TTS 3, per a la síntesi de veu. La transcripció admet més de 50 llengües, entre les quals les 24 oficials de la Unió Europea, i la versió en temps real en cobreix més de 35 amb un retard inferior a 500 mil·lisegons. La síntesi parla en més de 35 llengües i 50 dialectes.
L'SDK, construït sobre LiveKit, combina aquests models amb un model de raonament com Mistral Small 4 i es connecta a la telefonia (SIP) i al navegador (WebRTC). L'empresa vol que cada torn de conversa duri menys d'un segon i que l'agent calli quan la persona l'interromp. Els preus van des de 0,0035 dòlars el minut per a la transcripció en lot fins a 0,04 el minut per a l'agent complet amb Mistral Small 4, i 0,08 amb un model més gran. La síntesi costa 13 dòlars per milió de caràcters.
Les xifres de latència i d'idiomes són les de Mistral i no les ha comprovat cap tercer; fins i tot la pàgina de l'empresa dona dues xifres diferents per als idiomes del temps real (35 i 40). Tampoc no diu si els models són de pesos oberts: parla d'API allotjada a la UE i d'instal·lació pròpia, però aquesta darrera opció s'ha de negociar amb l'empresa. El català no apareix en cap llista de la pàgina que hem pogut llegir.