Z.ai lanza GLM‑Legal y supera a Claude Fable 5 y Kimi K3 en el benchmark de Harvey

Z.ai presentó hoy GLM‑Legal, un modelo de IA especializado en tareas jurídicas que alcanza un 19,2 % de tasa de aprobación total en el Harvey Legal Agent Benchmark, casi tres veces la puntuación de su modelo base.

Z.ai dio a conocer GLM‑Legal, su nuevo modelo de lenguaje orientado al sector jurídico, con una reivindicación clara: ofrecer capacidades de agente legal a un coste significativamente inferior al de los grandes modelos propietarios. El anuncio llega en un momento en que la competencia por dominar la IA aplicada al derecho se intensifica, y la empresa ha optado por un acceso restringido mediante una API de solicitud previa, sin publicar los pesos del modelo.

El modelo GLM‑Legal y sus especificaciones técnicas

GLM‑Legal parte de la arquitectura GLM‑5.3‑Flash, un modelo multimodal con 320 000 millones de parámetros en total y 18 000 millones de parámetros activos en modo Mixture‑of‑Experts (MoE). La combinación de atención dispersa y lineal permite manejar contextos de hasta 1 millón de tokens y generar respuestas de hasta 128 000 tokens, lo que reduce el coste de servir largas secuencias. El modelo procesa texto, imágenes, vídeo y archivos, aunque su salida sigue siendo exclusivamente textual.

Los pesos del modelo se ejecutan en servidores multi‑GPU bajo la capa de inferencia vLLM o SGLang, con precisión FP8 para minimizar la carga de memoria. Z.ai no ha revelado un recuento de parámetros independiente para GLM‑Legal, pero la mejora de rendimiento se atribuye al entrenamiento especializado descrito a continuación.

Cómo se entrenó el modelo y la lógica detrás del enfoque de Z.ai

El proceso de entrenamiento se dividió en dos fases claramente diferenciadas:

• Fase intermedia: ingestión de un corpus legal ampliado que cubre legislación, jurisprudencia y contratos, con el objetivo de reforzar la cadena de razonamiento desde hechos a normas y conclusiones.
• Fase posterior: aprendizaje por refuerzo (RL) en decenas de miles de entornos de tareas jurídicas simuladas, donde el agente interactúa con herramientas de documentos (docx, pptx, xlsx) y recibe retroalimentación de jueces automatizados.

Durante la fase posterior, Z.ai también evolucionó un “harness” de agente que gestiona la interacción entre el modelo y las herramientas externas. Los fallos detectados en entornos de prueba obligaron a ajustar el harness, lo que a su vez permitió exponer al modelo a casos de uso más realistas. Este ciclo de co‑evolución es una práctica que, aunque no novedosa, sigue siendo escasa en la mayoría de los lanzamientos de IA legal.

Rendimiento en el benchmark de Harvey y comparativa con la competencia

Harvey’s Legal Agent Benchmark (LAB) evalúa 1 250 tareas distribuidas en 24 áreas de práctica, con más de 75 000 criterios de calificación redactados por expertos. Sólo se considera “pasada” una tarea cuando se cumplen todos los criterios, lo que eleva la barra de dificultad.

GLM‑Legal obtuvo una tasa de aprobación total del 19,17 %, ubicándose en el puesto 7 de 79 modelos evaluados por Vals AI. Su modelo base, GLM‑5.3‑Flash, marcó apenas 6,67 %. La mejora de 12,5 puntos porcentuales constituye el eje de la campaña de marketing de Z.ai.

En la tabla de resultados oficiales, GLM‑Legal supera a Kimi K3 (12,92 %) y a Claude Fable 5 (11,25 %). Sin embargo, el modelo queda por debajo de Muse Spark 1.2, que lidera con 25,42 %. En la categoría de “Legal Research Bench” de Vals AI, GLM‑Legal obtuvo 41,83 %, ligeramente inferior a su propio modelo base (45,19 %).

En términos de coste, Z.ai indica que cada prueba del benchmark se factura a 0,15 USD, lo que implica que el modelo alcanza un rendimiento comparable al de los modelos de frontera a una fracción de su precio (aproximadamente 1/128 del coste de Claude Fable 5).

Implicaciones para el mercado legal y los riesgos de la estrategia de acceso limitado

El anuncio de Z.ai llega cuando los grandes proveedores de IA –OpenAI, Anthropic y Google– están consolidando sus ofertas de IA para abogados mediante paquetes de suscripción y APIs abiertas. Al limitar GLM‑Legal a una API bajo solicitud, Z.ai persigue dos objetivos aparentes: proteger la propiedad intelectual del modelo y controlar la calidad del uso en entornos críticos.

Esta decisión, sin embargo, genera fricciones para los desarrolladores independientes y los departamentos legales que buscan integrar IA sin pasar por procesos de aprobación prolongados. Además, la ausencia de pesos públicos impide la auditoría externa de sesgos o vulnerabilidades, un punto de preocupación creciente en la comunidad jurídica.

Desde la perspectiva de los despachos, el modelo ofrece una herramienta atractiva para la revisión de contratos y la extracción de evidencia, pero la latencia reportada (alrededor de 1 hora y 12 minutos por tarea completa) limita su utilidad en flujos de trabajo que requieren rapidez.

Qué significa este cambio para los desarrolladores y los estudios legales

Para los equipos de desarrollo, GLM‑Legal representa una opción de alto rendimiento a bajo coste, siempre que acepten la restricción de la API y la demora en la ejecución. La arquitectura MoE y el soporte de contextos de un millón de tokens pueden simplificar la construcción de agentes que necesiten procesar extensos documentos legales sin fragmentarlos.

Para los estudios jurídicos, la llegada de un modelo que alcanza casi el 20 % de aprobación total en un benchmark tan exigente sugiere que la IA está empezando a superar la barrera de la simple generación de texto y se está acercando a una asistencia razonable en tareas de análisis de evidencia. No obstante, la brecha entre la puntuación de GLM‑Legal y los líderes del benchmark indica que todavía hay margen de mejora antes de que la IA pueda sustituir a los profesionales humanos en la mayoría de los casos.

En los próximos meses, será crucial observar si Z.ai abre el modelo a un acceso más amplio, publica los pesos para auditorías externas o mejora la latencia mediante optimizaciones de hardware. Mientras tanto, la estrategia de lanzar un modelo especializado con un desempeño competitivo, pero bajo un modelo de acceso cerrado, pone de relieve la tensión entre la innovación rápida y la transparencia exigida por la comunidad legal.