KVLearn reduce 56 % el tiempo de respuesta y 53 % el tráfico de caché en LLMs disgregados

Un equipo de FastLM presenta KVLearn, un marco basado en aprendizaje que decide qué bloques de caché KV conservar en arquitecturas de servicio LLM disgregadas, logrando hasta un 56 % menos de latencia y 53 % menos de transferencia de datos.

Un equipo de FastLM ha lanzado KVLearn, una solución de retención de caché KV diseñada para entornos de servicio de modelos de lenguaje grande (LLM) donde la fase de pre‑relleno y la de decodificación se ejecutan en pools de nodos distintos. En pruebas con cargas de texto y multimodales, el sistema disminuye el tiempo hasta el primer token en un 56 % frente a la ausencia de caché y recorta el tráfico inter‑nodo en un 53 %.

Arquitectura disgregada y el nuevo desafío del caché

En la arquitectura disgregada, el pre‑relleno genera bloques de KV‑cache en un conjunto de servidores y los envía a otro conjunto dedicado a la decodificación. Esta separación rompe la premisa clásica de los algoritmos de caché: un «miss» ya no implica solo recomputación local, sino también una transferencia de red que puede saturar el fabric y elevar la latencia.

KVLearn — predicción de reutilización y decisión de retención

KVLearn se compone de tres módulos:

• Prefix Reuse Predictor (PRP): un predictor ligero que estima la probabilidad de reutilizar un bloque a partir de características estructurales y temporales del prefijo, sin modificar los pesos del modelo.
• Cost‑Aware Retention Score (CARS): convierte la probabilidad de reutilización en una puntuación que pondera costos de recomputación, transferencia y almacenamiento, determinando si el bloque debe mantenerse o admitirse.
• Adaptive Threshold Controller (ATC): ajusta dinámicamente los umbrales de admisión basándose en las tasas de hit observadas y la presión de memoria del nodo.

Los tres componentes operan en línea, lo que permite que KVLearn se adapte a patrones de reutilización heterogéneos, como los bloques KV derivados de imágenes o videos.

Resultados experimentales y comparativas

Las evaluaciones se realizaron sobre cargas mixtas de texto y datos multimodales. Los números más relevantes son:

• Reducción del tiempo hasta el primer token de 56 % frente a la configuración sin caché.
• Mejora del 38 % respecto a una política LRU‑Pool tradicional.
• Ventaja del 33 % frente a baselines estilo Mooncake.
• Disminución del volumen de transferencia inter‑nodo de 53 % en comparación con LRU‑Pool.
• El rendimiento (throughput) se mantiene dentro de un ≈5 % del óptimo teórico (oracle) en la carga MM‑Session.

El código fuente de KVLearn está disponible en GitHub para que la comunidad lo reproduzca y extienda.

Implicaciones para la infraestructura de IA

Al reducir tanto la latencia como el consumo de ancho de banda, KVLearn permite que los proveedores de servicios LLM desplieguen nodos de decodificación más ligeros, ahorrando capital en hardware y energía. Además, la política basada en costos abre la puerta a estrategias de gestión de recursos más finas en centros de datos donde la congestión de red es un cuello de botella crítico.

En un panorama donde la separación de pre‑relleno y decodificación se vuelve cada vez más frecuente para escalar modelos de cientos de miles de millones de parámetros, la capacidad de decidir inteligentemente qué información mantener en caché podría marcar la diferencia entre un servicio rentable y uno prohibitivo.