GPT‑5.6 Luna supera a rivales en inglés, pero LLaMA 3.3 70B domina el bengalí

Un estudio de arXiv compara ocho LLMs en resumen abstractivo sin entrenamiento previo y muestra que el rendimiento sobresaliente en inglés no se replica en bengalí, resaltando la necesidad de métricas más completas para lenguas de bajos recursos.

Un equipo de investigadores ha publicado una evaluación exhaustiva de ocho modelos de lenguaje grande (LLM), tanto de código cerrado como abierto, sobre los conjuntos de prueba XL‑Sum en inglés y bengalí. El benchmark, ejecutado en modo zero‑shot, combina métricas léxicas, semánticas y verificaciones de factualidad sin referencia, además de una valoración multidimensional mediante LLM‑as‑a‑Judge. Los resultados ponen de manifiesto diferencias marcadas entre los dos idiomas y cuestionan la fiabilidad de depender de una sola métrica para valorar la calidad de los resúmenes multilingües.

Metodología del benchmark multilingüe

Los autores seleccionaron ocho LLMs que cubren un rango amplio de tamaños y arquitecturas: GPT‑5.6 Luna, LLaMA 3.3 70B, Gemini 2.5 Flash, entre otros. Cada modelo fue ejecutado sobre los mismos documentos de prueba en inglés y bengalí, manteniendo la paridad de número de parámetros para evitar sesgos de capacidad. La evaluación incluyó:

• ROUGE y BLEU como métricas léxicas tradicionales.
• METEOR y BERTScore para capturar similitud semántica.
• Un algoritmo de verificación de factualidad que no requiere referencias externas.
• Una valoración de tipo LLM‑as‑a‑Judge, donde un modelo especializado califica la coherencia y precisión de los resúmenes generados.

Esta combinación permite observar tanto la calidad superficial del texto como la consistencia factual, dos aspectos críticos en aplicaciones reales.

Resultados divergentes entre inglés y bengalí

En el idioma inglés, GPT‑5.6 Luna lideró varios indicadores léxicos, superando a sus competidores en ROUGE‑1, ROUGE‑2 y BLEU. Sin embargo, cuando el mismo modelo se evaluó en bengalí, su ventaja desapareció. En su lugar, LLaMA 3.3 70B alcanzó los puntajes más altos en ROUGE y BLEU, indicando una mejor capacidad para capturar la estructura y el vocabulario del idioma.

En cuanto a la factualidad, Gemini 2.5 Flash obtuvo la puntuación más elevada en bengalí, sugiriendo que su proceso de generación preserva mejor la veracidad de la información pese a no liderar en métricas léxicas. Estas disparidades subrayan que el éxito en inglés no garantiza resultados equivalentes en lenguas menos representadas.

Limitaciones de las métricas únicas

El estudio también reveló que los rankings de los modelos varían significativamente según la métrica empleada. Por ejemplo, mientras GPT‑5.6 Luna domina los indicadores léxicos en inglés, su posición se deteriora en métricas de factualidad y en la evaluación LLM‑as‑a‑Judge. Esta variabilidad demuestra que una única medida, como ROUGE, puede ofrecer una visión sesgada del desempeño real, especialmente en contextos multilingües.

Los autores abogan por un enfoque de evaluación holístico que combine varios tipos de métricas para obtener una imagen más fiable del comportamiento de los LLMs en diferentes idiomas.

Implicaciones para la IA en lenguas de bajos recursos

Los hallazgos tienen repercusión directa en la comunidad de IA de América Latina y el Caribe, donde abundan lenguas con recursos limitados. La evidencia de que un modelo sobresaliente en inglés no se traduce automáticamente a bengalí sugiere que los proyectos locales deben invertir en pruebas específicas y en la creación de benchmarks propios.

Empresas tecnológicas con presencia en la región, como IBM México o Globant, podrían considerar la adaptación de modelos de código abierto, como LLaMA 3.3 70B, que demostró mayor capacidad de generalización en un idioma de recursos escasos. Asimismo, la integración de verificadores de factualidad independientes podría mejorar la confianza de los usuarios en aplicaciones de resumen automático para sectores como la salud, la educación y el periodismo.

la investigación destaca la necesidad de marcos de evaluación más complejos y de esfuerzos colaborativos para fortalecer la capacidad de los LLMs en idiomas menos atendidos, evitando que la brecha tecnológica se amplíe entre el inglés y el resto del mundo.