Hugging Face supera a IA genérica con Carbon‑X, LLM de ADN de 14 B parámetros
Hugging Face lanza Carbon‑X, un modelo de lenguaje de 14.8 B parámetros que interpreta secuencias de ADN y responde en inglés, disponible bajo licencia Apache 2.0.
Hugging Face ha puesto a disposición Carbon‑X, el primer modelo de lenguaje que combina directamente la lectura de secuencias de ADN con la generación de texto en inglés, con 14.8 B de parámetros y bajo licencia Apache 2.0. El modelo permite a laboratorios ejecutar inferencias en una única GPU de 80 GB sin necesidad de enviar datos sensibles a la nube.
Arquitectura híbrida que une texto y código genético
Carbon‑X parte de la arquitectura Qwen3-14B y añade un tokenizador híbrido. El vocabulario mantiene los sub‑tokens habituales de texto y se amplía con 5 515 tokens especiales para ADN, cada uno representando un sexteto de bases (6‑mers). De esta forma, una cadena de ADN se traduce a una secuencia de tokens que el mismo decodificador procesa junto al texto, sin requerir un codificador de ADN separado.
El backbone conserva 40 capas, un tamaño oculto de 5 120 y la técnica GQA con 8 cabezas KV, lo que garantiza que el modelo pueda manejar contextos de hasta 40 960 tokens.
Proceso de entrenamiento en cuatro fases
El entrenamiento se estructuró en cuatro etapas, tal como describe la model card:
- Calentamiento de embeddings: 10 B de tokens con la arquitectura congelada, para que solo aprendan los nuevos embeddings de ADN.
- Entrenamiento intermedio: 302 B de tokens con longitud de secuencia 8 192, combinando 55 % de ADN crudo, 20 % de inglés, 15 % de texto biológico y 10 % de datos de instrucción.
- Fine‑tuning supervisado (SFT): 3 épocas sobre 20 subconjuntos de datos, con verificadores determinísticos diseñados por expertos.
- Refuerzo con recompensas (RL): dos rondas de aprendizaje por refuerzo usando
TRLyvLLM, con recompensas verificables.
El ajuste de la tasa de aprendizaje resultó crítico: tasas altas favorecían el aprendizaje del ADN pero degradaban la capacidad de respuesta en inglés, mientras que una tasa más moderada y una mayor duración del entrenamiento equilibraron ambos dominios.
Rendimiento en benchmarks de biología
Carbon‑X se evaluó en cinco benchmarks públicos de secuenciación y variantes genéticas. Los resultados, auto‑reportados por Hugging Face, muestran que el modelo lidera en tareas de codificación de variantes y predicción de bases siguientes, aunque aún queda por detrás de los modelos propietarios en variantes complejas.
| Benchmark | Carbon‑X | GPT‑6.1 Sol | Opus 5.5 | Kimi K3 |
|---|---|---|---|---|
| BioReason Coding | 74.9 | 71.0 | 70.3 | 53.9 |
| BioReason Non‑SNV | 85.1 | 91.7 | 94.8 | 65.3 |
| GenomeQA | 63.6 | 67.2 | 62.2 | 52.0 |
| NextBase | 39.4 | 32.9 | 1.1 | 30.6 |
| FrontierVEP | 70.4 | 74.9 | 76.2 | 50.1 |
| Average | 66.7 | 67.5 | 60.9 | 50.4 |
En promedio, Carbon‑X alcanza un 66.7 % de precisión, 27 puntos por encima de su predecesor Qwen3-14B y a solo 0.8 puntos del modelo propietario GPT‑6.1 Sol. Su mayor ventaja se observa en la tarea NextBase, donde predice la siguiente base con un 39.4 % de acierto, superando ampliamente a la competencia.
Implicaciones prácticas para la comunidad biotecnológica
Al publicar los pesos bajo Apache 2.0, Hugging Face permite a cualquier laboratorio ejecutar Carbon‑X en infraestructura local, lo que elimina la necesidad de subir secuencias genómicas a servicios externos. Con un modelo que cabe en 15.8 GB en formato GGUF Q8_0 (o 9.6 GB en Q4_K_M), incluso equipos modestos pueden obtener inferencias en tiempo real usando Transformers o vLLM.
Para investigadores, esto abre la puerta a aplicaciones como:
- Clasificación automática de organismos a partir de fragmentos de ADN.
- Detección rápida de mutaciones benignas o patogénicas en pipelines de secuenciación.
- Identificación de regiones reguladoras sin necesidad de herramientas especializadas.
Sin embargo, los resultados más bajos en preguntas de splicing (29.8 % en GenomeQA) indican que todavía se necesita trabajo para abordar variantes de corte y empalme con la misma precisión que los modelos cerrados.
Qué significa este avance para el futuro de la IA biomédica
Carbon‑X demuestra que un modelo de lenguaje único puede manejar simultáneamente texto y código genético sin arquitectura de codificador separada, reduciendo la complejidad de integración para desarrolladores. La combinación de un tokenizador híbrido y entrenamiento multimodal podría inspirar nuevas generaciones de modelos que integren otras secuencias biológicas, como proteínas o metabolitos.
En los próximos meses, la comunidad esperará versiones optimizadas y evaluaciones independientes que confirmen los números auto‑reportados. Si los resultados se mantienen, Carbon‑X podría convertirse en la columna vertebral de muchas aplicaciones de IA en genética, desde diagnósticos clínicos hasta diseño de terapias basadas en edición génica.
