Beam de Reflection supera a Llama 2 con 23 B de velocidad y 501 B de parámetros
Reflection lanza Beam, un modelo mixto‑de‑expertos de 501 B de parámetros (23 B activos por token) con ventana de contexto de 1 M de tokens, abierto bajo Apache 2.0 y listo para ejecutarse en hardware propio o en la nube mediante un harness Rust optimizado.
Reflection, el nuevo laboratorio estadounidense que colabora con Hugging Face, ha puesto a disposición de la comunidad Beam, un modelo de lenguaje de 501 B de parámetros que solo activa 23 B por token. Con una ventana de contexto de 1 millón de tokens y una licencia Apache 2.0, el modelo está pensado para equipos que requieren capacidad de frontera sin depender de APIs propietarias.
Arquitectura Mixture‑of‑Experts y escalado de parámetros
Beam sigue la arquitectura Mixture‑of‑Experts (MoE). El decodificador cuenta con 52 capas, cada una con un tamaño oculto de 5 120. Las primeras tres capas utilizan una MLP densa SwiGLU, mientras que las 49 restantes emplean bloques MoE con 256 expertos. Cada experto es una MLP SwiGLU de 2 560 dimensiones intermedias, lo que equivale a unos 39 M de parámetros por experto. En conjunto, los expertos representan el 98,4 % del total de parámetros del modelo.
El router se basa en el esquema de grupos limitado de DeepSeek‑V3: los 256 expertos se agrupan en ocho bloques de 32, se seleccionan los cuatro bloques con mayor puntuación y, dentro de ellos, se eligen los ocho mejores expertos. Cada token se procesa con sólo ocho expertos, lo que reduce la carga computacional a la escala de un modelo de 23 B de parámetros mientras se mantiene la capacidad de un modelo de 501 B.
Rendimiento y consumo de memoria
Gracias al enrutamiento esparso, Beam requiere la memoria de un modelo de 501 B (aprox. 1 TB en formato safetensors BF16) pero ejecuta la inferencia a la velocidad de un modelo de 23 B. Los checkpoints están disponibles en tres precisiones: BF16 (≈1 TB), NVFP4 (4‑bit para GPUs Blackwell) y FP8 (optimizado para Hopper y Ampere). El uso de vLLM o SGLang permite aprovechar la compresión de peso sin perder precisión significativa.
En atención, Beam combina grouped‑query attention con 48 cabezas de consulta y 8 de clave‑valor, normalizadas mediante RMSNorm. Cada capa alterna entre atención de ventana deslizante (512 tokens) y atención global (9 capas), usando RoPE en las capas locales y una escala de softmax escalable en las globales para evitar la degradación de la distribución de probabilidad a medida que el contexto se extiende.
Ecosistema de despliegue y herramientas de código abierto
El modelo se entrega con un harness escrito en Rust que extrae el máximo rendimiento del hardware, además de implementaciones nativas en transformers. Hugging Face ha publicado recetas para inferencia, ajuste fino supervisado (SFT) y aprendizaje por refuerzo (RL). Los usuarios pueden iniciar rápidamente con los scripts de vLLM o SGLang, que gestionan la carga de los 256 expertos en memoria y ejecutan el escalado de pesos del router en precisión FP32 para garantizar estabilidad.
«Beam es el primer modelo abierto de 501 B parámetros que puedes poseer, personalizar y escalar», declaró Hugging Face en el anuncio oficial.
Reflection también ofrece un incentivo de 10 000 USD en créditos de Hub para los proyectos más innovadores que publiquen sus aplicaciones, datasets o repositorios derivados de Beam.
Perspectiva práctica para equipos y desarrolladores
Para equipos con infraestructura propia, Beam representa una opción competitiva frente a modelos cerrados como GPT‑4o o Claude 3.5. Un servidor con 8 GPUs NVIDIA H100 (80 GB VRAM) puede cargar los 256 expertos en memoria y servir inferencias a velocidad comparable a un modelo de 23 B, reduciendo costes de alquiler de nube. La ventana de 1 M de tokens abre la puerta a casos de uso que requieren análisis de documentos extensos, generación de código con contexto histórico o agentes que operan en entornos de larga duración.
Sin embargo, la necesidad de aproximadamente 1 TB de almacenamiento para el checkpoint completo sigue siendo una barrera para pequeñas startups. La disponibilidad de versiones cuantizadas (NVFP4, FP8) mitiga este problema, aunque la precisión en tareas de razonamiento fino puede requerir la variante BF16.
Beam combina la capacidad de un modelo de escala de cientos de miles de millones de parámetros con la eficiencia de ejecución de un modelo mucho menor, ofreciendo a los desarrolladores una herramienta potente para aplicaciones de razonamiento a largo plazo y agentes autónomos, siempre bajo una licencia permisiva que favorece la adopción y la personalización.
