Tsinghua presenta AKV y corta 27 % el coste de los agentes LLM frente a la resumición

Investigadores de la Universidad de Tsinghua y la CUHK publican AKV, un motor de servicio de caché KV que permite a los agentes de gran modelo de lenguaje descartar y reposicionar entradas, reduciendo hasta un 27,7 % el gasto computacional y mejorando ligeramente la precisión en los benchmarks más exigentes.

El equipo de la Universidad de Tsinghua, en colaboración con la Universidad China de Hong Kong (CUHK), ha puesto a disposición del público AKV, una infraestructura de servicio diseñada para la ingeniería de caché KV en agentes basados en grandes modelos de lenguaje (LLM). A diferencia de la práctica tradicional de resumir todo el historial de conversación, AKV permite a los agentes eliminar de forma selectiva entradas de la caché y reutilizar el resto sin volver a calcular los estados ocultos. En pruebas realizadas con tres modelos diferentes y cuatro conjuntos de evaluación, el costo medio por tarea disminuye un 27,7 % y la puntuación promedio sube 1,7 puntos frente a la estrategia de resumir el contexto.

Cómo funciona la ingeniería de caché KV

La ingeniería de caché KV se basa en tres operaciones fundamentales:

• Append: la actualización habitual que inserta nuevas claves y valores al final de la caché.
• Drop: elimina entradas específicas de la atención futura sin mover las posiciones de los demás elementos.
• Repos: reordena las claves que se conservan, compactándolas en los índices 0 a r‑1 mediante una rotación RoPE (RoPE rotation), mientras los valores permanecen intactos.

Al evitar una nueva prefijación de los tokens que permanecen en la caché, el sistema ahorra tiempo de cómputo y, según el estudio adjunto, las lecturas de la caché KV representan el 82,4 % del coste total de la API.

Rendimiento en los benchmarks de agentes

AKV se probó con los siguientes modelos:

• GPT‑OSS‑120B (5,1 B de parámetros activos).
• MiniMax‑M2.7 (10 B activos de un total de 230 B).
• MiroThinker‑1.7‑Mini (3 B activos de un total de 30 B).

Los experimentos se ejecutaron en ocho GPUs NVIDIA A800 de 80 GB usando precisión BF16, y un despliegue rápido permite servir GPT‑OSS‑120B en dos GPUs con paralelismo tensorial 2.

Los resultados más relevantes fueron:

• Reducción del coste medio por tarea de 20,0 ¢ a 9,7 ¢ en el benchmark SWE‑bench Verified con GPT‑OSS‑120B.
• Mejora de la puntuación media de 40,0 a 43,2 en el mismo conjunto de pruebas.
• Un aumento del 7 % en la tasa de éxito de BrowseComp‑Plus para GPT‑OSS‑120B al aplicar la operación Repos.
• Peor desempeño con MiniMax‑M2.7 en BrowseComp‑Plus, donde la puntuación quedó 3,4 puntos por debajo del método Text Engineering.

En todos los casos, la política principal consistió en descartar las respuestas de herramienta más antiguas y conservar las 12 más recientes, mientras que la línea base resumía el historial a 96 K tokens (48 K para MiroThinker). La diferencia de coste se traduce directamente en menores facturas de uso en plataformas de inferencia en la nube.

Implicaciones para desarrolladores en América Latina y España

El lanzamiento de AKV llega en un momento en que startups y departamentos de I+D de la región buscan reducir la dependencia de servicios de inferencia externos, que suelen tener precios prohibitivos. Al permitir que los agentes mantengan una caché reutilizable sin necesidad de volver a pre‑rellenar todo el contexto, los equipos pueden ejecutar modelos de 100 B parámetros en servidores locales con tarjetas gráficas de 12 GB, siempre que apliquen la estrategia de caída y reposicionamiento de entradas.

Empresas como Ualá (Argentina) y Carto (España) ya están experimentando con LLMs para automatizar consultas de datos y atención al cliente. Incorporar AKV podría reducir sus gastos en la nube en torno al 20 %, lo que se traduciría en precios más competitivos para los usuarios finales. Además, la licencia Apache‑2.0 facilita la integración con infraestructuras basadas en SGLang, que ya está ganando tracción en centros de investigación de la Universidad Nacional Autónoma de México y el Instituto Tecnológico de Canarias.

Retos y próximos pasos

Si bien AKV muestra claras ventajas, su adopción plantea varios desafíos:

• Complejidad de la política de caída: definir cuándo y qué entradas eliminar requiere un análisis fino del flujo de conversación, que varía según el dominio (finanzas, salud, comercio).
• Compatibilidad con otras pilas: aunque el proyecto está construido sobre SGLang, la comunidad aún necesita adaptadores para marcos como vLLM o FastChat.
• Gestión de estado en entornos multi‑usuario: en aplicaciones con cientos de sesiones concurrentes, la lógica de liberación de entradas debe garantizar que ninguna petición activa pierda información crítica.

Los autores del proyecto indican que seguirán ampliando la biblioteca de políticas, incluyendo variantes basadas en métricas de relevancia token‑a‑token y aprendizaje por refuerzo. Asimismo, prometen publicar una guía de mejores prácticas para la puesta en producción en nubes híbridas.

Qué significa este avance para el ecosistema global de IA

La apertura del código fuente bajo licencia Apache‑2.0 permite que cualquier organización —desde gigantes como Google y Microsoft hasta pequeñas startups latinoamericanas— lo incorpore sin restricciones legales. En un panorama donde la mayor parte del gasto de inferencia proviene de la lectura de la caché KV, la propuesta de AKV introduce una capa de optimización que podría convertirse en un estándar de facto, similar a lo que ocurrió con la compresión de pesos y la quantización.

Si bien la comunidad todavía necesita validar la robustez de la técnica en tareas de generación creativa o en entornos de diálogo prolongado, la reducción de costes y la mejora de la precisión son indicadores fuertes de que la ingeniería de caché KV tiene un papel crucial en la próxima generación de agentes autónomos.