Mistral AI lanza Voxtral 3 y reta a OpenAI con modelo de voz de alta precisión

Mistral AI presenta Voxtral 3, una familia de modelos de voz que combina transcripción, síntesis y un SDK de agente conversacional, con métricas que compiten con los líderes del sector.

Mistral AI ha puesto en marcha Voxtral 3, una suite de modelos de voz que incluye tres variantes de reconocimiento automático de habla (ASR), una de síntesis de texto a voz (TTS) y un SDK para crear agentes conversacionales en tiempo real. Todos los modelos están disponibles en previsualización pública a través de la API de Mistral, con puntos de presencia en Europa, EE. UU. y a nivel global.

Detalles de la familia Voxtral 3

La familia está compuesta por cuatro modelos y un SDK:

• Voxtral Small Transcribe 3: modelo insignia orientado a la transcripción por lotes y diarización. Soporta traducción, preguntas‑respuesta, resumen y llamadas a funciones.
• Voxtral Mini Transcribe 3: versión de 4 B parámetros pensada para entornos con recursos limitados, ofreciendo una opción más económica y rápida.
• Voxtral Mini Transcribe Realtime 3: servicio de streaming ASR mediante WebSocket con detección de final de turno.
• Voxtral Speech 3: motor de text‑to‑speech que completa la cadena de interacción.

Todos los modelos de transcripción admiten diarización y sesgo de contexto, lo que permite mejorar la precisión al inyectar palabras clave o frases relevantes. La transcripción por lotes cubre 50 idiomas, entre ellos los 24 oficiales de la UE.

Rendimiento y métricas frente a la competencia

Según los propios datos de Mistral, los modelos Voxtral 3 ocupan los tres primeros puestos en rankings independientes de reconocimiento de voz. En la prueba FLEURS 45, el modelo Small registra un WER del 4.1 % (4.0 % en lenguaje forzado), mientras que el Mini alcanza 4.6 % (4.5 %). Para comparar, Whisper large‑v3 se sitúa en 16.0 % y 14.9 % respectivamente.

En diarización (cpWER), Small y Mini obtienen 18.4 % y 18.6 %, superando a Pyannote (19.0 %) y a MAI‑Transcribe‑2 (20.3 %). En la métrica de recuerdo de frases clave (benchmark Earnings 22), Small alcanza el 94.6 % con sesgo de contexto y 81.4 % sin él, muy por encima de los 84 % de la competencia.

En la evaluación de Artificial Analysis, Small registra un AA‑WER de 2.1 % y Mini 2.2 %, ubicándose sólo por detrás de Fun‑Realtime‑ASR‑preview (1.7 %) y MAI‑Transcribe‑2 (2.0 %). La diferencia clave sigue siendo la velocidad: Small procesa a 65.8× la velocidad de referencia, mientras que MAI‑Transcribe‑2 llega a 307.5×.

En modo tiempo real, el modelo Mini Realtime presenta un WER del 7.4 % en el conjunto FLEURS 35, frente al 4.2 % de Gemini 3.5 Realtime, lo que indica que la precisión sigue siendo el punto débil frente a los gigantes de la nube.

Cómo funciona el SDK de agente de voz

El SDK se construye sobre LiveKit y orquesta tres etapas como una única tubería de streaming:

• Escucha: Voxtral Mini Transcribe Realtime 3 captura el audio y detecta el final del turno del interlocutor.
• Razonamiento: un LLM genérico, por ejemplo Mistral Small 4, interpreta la transcripción y ejecuta llamadas a herramientas.
• Respuesta: Voxtral Speech 3 genera la respuesta en la tonalidad adecuada y la envía al canal de salida.

Cada ciclo de interacción se completa en menos de un segundo, y el agente deja de hablar tan pronto como el interlocutor interrumpe. El SDK es compatible con llamadas telefónicas vía SIP y con sesiones de navegador o aplicación mediante WebRTC. La arquitectura modular permite intercambiar el LLM, la voz o el idioma sin rehacer la integración completa.

Implicaciones para desarrolladores y mercado

Para los equipos que construyen asistentes de voz, la disponibilidad de un SDK que unifica escucha, razonamiento y respuesta reduce significativamente la fricción de integración. Además, el hecho de que los modelos se ofrezcan tanto a través de la API pública como bajo licencia para despliegues locales abre la puerta a casos de uso con requisitos de soberanía de datos.

Sin embargo, la falta de información pública sobre los requisitos de GPU y VRAM limita la capacidad de los desarrolladores para planificar la infraestructura necesaria. Mistral afirma que Voxtral Mini está pensado para “entornos con recursos restringidos”, pero sin cifras concretas, la promesa sigue siendo vaga.

En el contexto competitivo, el anuncio llega en un momento en que OpenAI, Google y Microsoft están reforzando sus ofertas de voz con modelos cada vez más grandes y con latencias mínimas. La estrategia de Mistral parece orientarse a un nicho de precios más accesibles y a la flexibilidad de despliegue, intentando capturar a startups y a empresas que no pueden permitirse los costos de los servicios en la nube de los gigantes.

El hecho de que los modelos Voxtral 3 se sitúen entre los mejores en precisión, pero que todavía queden rezagados en velocidad real‑time frente a Gemini 3.5, sugiere que Mistral deberá seguir optimizando la arquitectura de inferencia para cerrar la brecha. Mientras tanto, la comunidad podrá experimentar con la previsualización pública y evaluar si la combinación de precisión multilingüe y capacidad de diarización compensa la latencia superior.

En definitiva, Voxtral 3 representa un paso relevante para Mistral AI, pero su éxito dependerá de cuán rápido la empresa pueda traducir las métricas de laboratorio en rendimientos consistentes en entornos de producción.