Kyutai lanza REKI y supera a modelos dobles en manipulación robótica con memoria eficiente

Kyutai, en colaboración con Inria y la École des Ponts, publica REKI, un modelo vision‑language‑action de 2.4 B parámetros que incorpora memoria de corto plazo y supera a la mayoría de sus rivales en pruebas fuera de distribución.

Kyutai ha puesto en línea REKI, un modelo vision‑language‑action (VLA) de 2.4 B parámetros pensado para la manipulación de robots. El proyecto, desarrollado con Inria y la École des Ponts, se entrenó exclusivamente con datos públicos y, a diferencia de la mayoría de los VLA, incluye una memoria ligera que almacena los últimos tres fotogramas con una separación de un segundo.

Arquitectura híbrida que combina visión y acción

El núcleo de REKI se compone de un backbone Qwen3.5‑2B (2.2 B parámetros) y un experto en acción de 200 M parámetros. El experto genera action chunks mediante flow matching distribuido en diez pasos de Euler. Cada configuración de estado del robot recibe su propio pequeño MLP, mientras que la normalización adaptativa RMSNorm permite que la información de flujo y del estado se mezcle de forma estable.

Memoria integrada sin sobrecarga de cómputo

Los VLA tradicionales operan sólo con el fotograma actual, lo que provoca oscilaciones cuando el entorno es ambiguo. REKI introduce registradores aprendidos (32 tokens) que se colocan antes de los tokens de acción de cada frame. Estos registradores se cruzan con la instrucción textual y con las vistas codificadas del frame, y se auto‑atenden entre sí a lo largo de la ventana de tres frames. La clave está en que nunca leen los tokens de acción, de modo que su coste es marginal: añadir la lectura de los registros incrementa la latencia en apenas 0.1 ms y consume ~2 MiB de VRAM por frame histórico.

Esta arquitectura reduce dramáticamente un fallo frecuente en manipuladores: la tendencia a alternar entre dos poses cuando la visión es confusa. En el benchmark RoboTwin, la tasa de oscilación cayó del 18.6 % al 4.1 % gracias a la memoria.

Resultados en los benchmarks más exigentes

REKI se pre‑entrenó una única vez y luego se afinó por separado para cada conjunto de pruebas. Los números publicados en su model card son los siguientes:

• LIBERO‑Plus: 90.4 % (superando a Qwen‑RobotManip 89.0 % y a π0.5 85.7 %).
• RoboTwin Clean2Rand: 65.8 % (solo Qwen‑RobotManip lo supera con 68.5 %).
• RoboCasa365: 38.4 % (por encima de RLDX‑1 36.0 % y Qwen‑RobotManip 35.9 %).
• LIBERO (4 suites): 97.6 %.
• RoboTwin 2.0 Easy / Hard: 85.9 % / 84.6 %.

En promedio, el pre‑entrenamiento aporta +13.8 puntos en Clean2Rand y +30.3 puntos bajo condiciones de desorden, mientras que la memoria añade +1.5 puntos en LIBERO‑Plus y +5.4 puntos en RoboCasa365.

«La incorporación de una ventana de memoria tan ligera permite que los robots mantengan coherencia temporal sin sacrificar velocidad», declaró el equipo de Kyutai en la presentación pública.

Implicaciones para la industria robótica y los desarrolladores

Desde el punto de vista práctico, REKI se ejecuta en una única NVIDIA H100 con una latencia de 21.8 ms por bloque de acción, procesando dos cámaras a 256×256 píxeles. Los pesos se distribuyen en formato BF16 y, por ahora, no existen variantes cuantizadas, lo que sugiere que la adopción inmediata está dirigida a centros de investigación o a empresas con acceso a hardware de alto nivel.

Para los desarrolladores independientes, el hecho de que todo el modelo esté disponible en Hugging Face abre la puerta a experimentaciones locales sin necesidad de alquilar servidores en la nube. Sin embargo, la falta de versiones optimizadas para GPUs de consumo (por ejemplo, RTX 3080) limita su uso en prototipos de bajo coste.

En el panorama competitivo, REKI demuestra que una arquitectura bien pensada puede competir con modelos que duplican su número de parámetros. La apuesta de Kyutai por datos públicos y por una memoria de coste casi nulo plantea una pregunta importante: ¿seguirá la industria persiguiendo modelos cada vez más grandes o empezará a valorar más la eficiencia y la capacidad de integración en entornos reales?

El futuro próximo probablemente verá una mayor convergencia entre visión, lenguaje y control, pero la verdadera disrupción vendrá de soluciones que mantengan la latencia bajo los 30 ms y que funcionen en hardware accesible. REKI marca un paso relevante en esa dirección, aunque aún queda por demostrar su robustez en entornos industriales con variaciones de iluminación, textura y dinámica de objetos.