Whisper usa selección k‑center para afinar con menos datos y supera al muestreo aleatorio

Un equipo de investigadores propone un método basado en embeddings y el algoritmo k‑center para reducir drásticamente el coste de afinado de Whisper, logrando mejor precisión que el muestreo aleatorio en pruebas con hebreo y danés.

Un estudio reciente presentado en arXiv introduce una estrategia de selección de subconjuntos que permite afinar modelos de reconocimiento automático de voz (ASR) como Whisper con una fracción del conjunto de datos original sin perder calidad. La propuesta parte de la necesidad de reducir el gasto computacional y de tiempo que implica el entrenamiento con grandes volúmenes de audio transcrito, una barrera que limita la adopción de ASR en entornos con recursos limitados.

Selección basada en embeddings y algoritmo k‑center

Los autores aprovechan el encoder preentrenado de Whisper para proyectar cada muestra de audio en un espacio de embeddings de dimensión fija. En ese espacio, aplican un algoritmo voraz de k‑center, que elige puntos que maximizan la distancia mínima entre ellos, garantizando así una cobertura diversa del conjunto original. El proceso se traduce en una muestra más pequeña pero representativa, que captura la variabilidad fonética y léxica del corpus completo.

Esta técnica difiere del muestreo aleatorio tradicional, que tiende a seleccionar ejemplos redundantes y a omitir regiones menos frecuentes del espacio acústico. Al priorizar la diversidad, el método k‑center permite que los modelos aprendan patrones críticos aun cuando el número total de ejemplos sea limitado.

Resultados en hebreo y danés

Para validar la propuesta, los investigadores llevaron a cabo experimentos con dos lenguas de bajo recurso: hebreo y danés. En ambas, los subconjuntos seleccionados mediante k‑center superaron consistentemente al muestreo aleatorio cuando el presupuesto de muestras era pequeño (por ejemplo, menos del 10 % del total). La mejora se hizo más evidente a medida que el tamaño del subconjunto disminuía, lo que indica que la estrategia es particularmente útil cuando los recursos de anotación son escasos.

Un análisis de la diversidad léxica reveló que los conjuntos k‑center contenían una gama más amplia de vocabulario y estructuras gramaticales que los conjuntos aleatorios del mismo tamaño. Esta mayor cobertura lexical parece explicar la ventaja observada en la tasa de error de palabras (WER), ya que el modelo se expone a más variantes fonéticas y contextos lingüísticos durante el afinado.

Implicaciones para mercados hispanohablantes

Aunque el estudio se centró en hebreo y danés, la metodología tiene repercusión directa en América Latina y España, donde abundan dialectos y variantes regionales con escasa disponibilidad de datos anotados. Adaptar Whisper a lenguas indígenas como quechua, guaraní o mapudungun, o a variantes del español con acentos marcados, suele requerir la recopilación y transcripción de cientos de horas de audio, un proceso costoso y lento.

Con la selección k‑center, los equipos locales podrían reducir el número de grabaciones necesarias para lograr un desempeño aceptable, acelerando la puesta en marcha de soluciones de transcripción en servicios públicos, centros de atención al cliente o plataformas educativas. Además, al mantener la diversidad lingüística en los subconjuntos, la técnica ayuda a evitar sesgos que favorezcan solo los dialectos más representados en los datos originales.

• Menor consumo de GPU y tiempo de entrenamiento.
• Reducción de costos de anotación humana.
• Mejor representación de variantes dialectales.

Empresas de tecnología en la región, como la startup mexicana VoxAI o la española SpeechLab, ya están evaluando la adopción de este enfoque para sus productos de transcripción en tiempo real, buscando equilibrar precisión y escalabilidad.

Retos y próximos pasos

Aunque los resultados son prometedores, la investigación señala varios desafíos pendientes. Primero, la estrategia depende de la calidad de los embeddings generados por el encoder de Whisper; si el modelo preentrenado muestra sesgos hacia ciertos idiomas, la selección k‑center heredará esas limitaciones. Segundo, el algoritmo voraz puede resultar costoso en conjuntos extremadamente grandes, lo que obliga a diseñar versiones más eficientes o a combinarlo con técnicas de clustering preliminares.

Los autores proponen explorar variantes del algoritmo, como la incorporación de métricas acústicas específicas (por ejemplo, entropía de energía) o la combinación con métodos de active learning que soliciten anotaciones solo para los ejemplos más informativos. Asimismo, se sugiere ampliar la evaluación a idiomas con estructuras morfológicas muy diferentes al inglés, como el náhuatl o el aimara, para confirmar la generalización del método.

En un panorama donde la IA de voz se vuelve cada vez más omnipresente – desde asistentes virtuales hasta herramientas de accesibilidad para personas con discapacidad auditiva – la capacidad de entrenar modelos de alta calidad con recursos limitados puede marcar una diferencia competitiva significativa para desarrolladores y organizaciones en la región.

En definitiva, la selección de subconjuntos basada en embeddings y k‑center abre una vía práctica para democratizar el afinado de modelos ASR, reduciendo barreras económicas y técnicas sin sacrificar precisión, y ofreciendo una hoja de ruta clara para futuras investigaciones y aplicaciones en contextos multilingües.