RBS-Attention acelera la inferencia de LLMs de contexto extenso y aligera el pre‑relleno

Un nuevo método sin entrenamiento, RBS‑Attention, reduce drásticamente el coste del pre‑relleno en modelos de lenguaje de gran contexto, logrando hasta 20× de aceleración en GPUs H100.

Los modelos de lenguaje de gran escala que manejan contextos de 100 k tokens o más siguen enfrentándose a un cuello de botella crítico: el proceso de prefill, en el que la auto‑atención densa recorre todo el prompt antes de generar el primer token. Este paso, cuyo coste computacional crece de forma cuadrática con la longitud del texto, limita tanto la latencia como el consumo energético de los servicios de IA.

Cómo funciona RBS‑Attention y por qué la atención densa se vuelve un cuello de botella

RBS‑Attention (Radius‑Bounded Sparse Attention) propone una solución training‑free basada en una selección dual de bloques. La arquitectura tradicional de FlashAttention ya permite ejecutar atención bloque‑esparsa, pero al elegir bloques mediante el promedio de relevancia (el «centroid») se corre el riesgo de mean dilution: tokens críticos pueden quedar ocultos entre muchos irrelevantes.

Para contrarrestar este efecto, RBS‑Attention introduce dos ramas complementarias:

• Rama centroidal: calcula la relevancia media del bloque y captura patrones de atención global.
• Rama de rescate: evalúa el radio máximo de la clave del bloque y, mediante una distribución dependiente del prompt, la capa y la cabeza, identifica bloques que podrían estar subestimados.

Cada rama genera una máscara binaria que se umbra de forma independiente; la combinación final controla cuántos bloques de rescate se añaden al cálculo, manteniendo la ejecución regular de FlashAttention sin necesidad de modificar el kernel.

Rendimiento medido en GPUs H100 y comparativas con enfoques existentes

Los experimentos reportados en el artículo utilizan la GPU Nvidia H100 y el modelo Qwen3‑30B‑A3B‑Instruct‑2507‑FP8 con un contexto de 128 k tokens. Los resultados más relevantes son:

• 20.65× de aceleración en la fase de prefill‑attention cuando se ejecuta de forma aislada.
• 11.92× de mejora frente a vLLM, una de las bibliotecas más optimizadas para inferencia de LLMs.
• 5.97× de reducción del tiempo total hasta el primer token (TTFT) en un flujo end‑to‑end.

En cuanto a calidad, el método mantiene una precisión competitiva: 88.65 % de exactitud en el benchmark RULER frente a 89.52 % de la atención densa. Evaluaciones adicionales en LongBench‑v2, InfiniteBench y Video‑MME confirman que la pérdida de rendimiento es marginal y se compensa con la ganancia de velocidad.

Implicaciones para desarrolladores y proveedores de IA

Para los equipos que despliegan servicios de generación de texto, la reducción del coste de prefill se traduce en varios beneficios tangibles:

• Menor consumo de energía por token generado, lo que impacta directamente en la factura de operación de centros de datos.
• Posibilidad de ofrecer contextos más extensos sin necesidad de escalar la infraestructura de GPU, ampliando casos de uso como análisis de documentos largos o conversaciones con memoria extendida.
• Reducción de la latencia percibida por el usuario final, especialmente en aplicaciones interactivas donde el tiempo hasta el primer token es crítico.

Además, al no requerir re‑entrenamiento, RBS‑Attention puede incorporarse a pipelines existentes con una sola actualización de software, lo que simplifica la adopción en entornos de producción.

Limitaciones actuales y próximos pasos de investigación

Aunque los resultados son prometedores, la técnica presenta áreas que requieren mayor estudio. La ligera caída en exactitud sugiere que los umbrales de selección aún pueden optimizarse para diferentes distribuciones de datos. Los autores también señalan que el comportamiento de la memoria varía según el tamaño de bloque y la profundidad de la red, lo que abre la puerta a ajustes dinámicos basados en la carga de trabajo.

Futuras investigaciones podrían explorar la combinación de RBS‑Attention con otras estrategias de sparsidad, como Routing Transformer o Longformer, para evaluar sinergias potenciales. Asimismo, la adaptación a arquitecturas de hardware distintas a la H100, como los aceleradores basados en AMD o los chips de inferencia de Edge, será clave para validar la portabilidad del método.

RBS‑Attention demuestra que la selección de bloques basada en un radio adaptativo y una doble rama de filtrado puede romper el paradigma de la atención densa en contextos extensos, ofreciendo una vía práctica para acelerar la inferencia sin sacrificar significativamente la calidad del modelo.