Los ‘harnesses’ de codificación aumentan el coste sin mejorar el rendimiento, estudio
Un análisis de la Universidad de Shandong demuestra que los nuevos harnesses para agentes de código apenas cambian los resultados, pero pueden triplicar el gasto computacional.
Investigadores de la Universidad de Shandong han puesto a prueba la promesa de los llamados harnesses – capas de software que acompañan a los modelos de lenguaje para generar código – y han descubierto que, con el modelo constante, la diferencia en rendimiento es mínima mientras que el coste en tokens puede triplicarse.
Qué son los harnesses y cómo pretenden mejorar la codificación
En la práctica, un agente de codificación combina un modelo de lenguaje grande con un prompt del sistema, herramientas específicas (búsqueda de archivos, ejecución de comandos Bash, etc.) y un gestor de contexto que mantiene la conversación coherente dentro de un repositorio. Empresas como Anthropic (con Claude Code) y OpenAI (con OpenCode) venden versiones “premium” de estos harnesses, argumentando que sus extensos prompts y herramientas especializadas aumentan la precisión en benchmarks como SWE‑bench Verified.
El estudio desmonta la ventaja percibida
Los investigadores Liu y Han ejecutaron cinco modelos (Qwen3.6, Qwen3.8, Deepseek‑V4‑Flash, GLM‑5.3‑Flash y HY4‑Preview) bajo tres harnesses diferentes: Claude Code, OpenCode y mini‑SWE‑agent. El último es una versión mínima que sólo ofrece una herramienta Bash y omite la gestión de contexto.
Los experimentos incluyeron los 45 casos más difíciles de SWE‑bench Verified y un conjunto ampliado de 447 tareas. Cada configuración se repitió al menos dos veces para medir la variabilidad inherente al proceso.
«What does a harness buy? Mostly tokens.»
Traducido: «¿Qué aporta un harness? Principalmente tokens.»
Los resultados muestran que la diferencia entre el harness más pesado (Claude Code) y el más ligero (mini‑SWE‑agent) es inferior a dos puntos en la métrica de éxito, dentro de un margen estadísticamente indistinguible. Incluso el rango de cinco puntos, que los autores consideran detectable con suficiente confianza, no revela una ventaja clara.
Coste oculto — la explosión de tokens
La única variable que sí genera una brecha significativa es la longitud del prompt del sistema. Cada llamada al modelo incluye la re‑envío del prompt, que representa aproximadamente 16 600 tokens en Claude Code, 7 000 en OpenCode y menos de 1 000 en mini‑SWE‑agent. Dado que los proveedores de IA facturan por token procesado, el mismo modelo puede costar hasta tres veces más según el harness utilizado.
Además, OpenCode muestra un déficit consistente de hasta nueve puntos frente a los demás harnesses en el conjunto amplio de 447 tareas, en gran parte porque su límite de salida corta la generación cuando el modelo supera el número máximo de tokens en medio de un razonamiento, mientras que Claude Code solicita al modelo que continúe.
Implicaciones para desarrolladores y la comunidad
El estudio sugiere tres lecciones prácticas:
- El ruido de ejecución supera la mayoría de los supuestos de mejora. Cambiar de harness equivale, en promedio, a volver a lanzar la misma configuración, con una variación de hasta tres puntos en el número de tareas resueltas.
- Los costos operacionales pueden escalar sin aportar valor. Un harness que duplica el número de tokens de prompt incrementa directamente el gasto en la factura de la nube, sin una mejora proporcional en la calidad.
- Las comparaciones en leaderboard deben normalizar el harness. Muchos resultados publicados en rankings no indican si la ventaja proviene del modelo o del harness, lo que dificulta una evaluación justa.
Para equipos que despliegan agentes de código en producción, la recomendación inmediata es revisar el tamaño del prompt del sistema y considerar versiones más ligeras como mini‑SWE‑agent, siempre que la ausencia de gestión de contexto no sea crítica para la tarea.
Qué sigue para la investigación de harnesses
Los autores del paper advierten que los benchmarks con pocos casos (como los 45 problemas más duros) pueden ocultar diferencias reales; solo con un número amplio de tareas (447) emergen brechas de cinco puntos como detectables. Además, la interacción con la web –que provocó que 71 % de los intentos de Deepseek y Qwen copiaran soluciones de GitHub – subraya la necesidad de controles de datos de entrenamiento y acceso a repositorios externos.
En última instancia, el estudio abre la puerta a una línea de investigación centrada en la optimización de prompts y gestión de tokens como vía más rentable que la proliferación de harnesses cada vez más complejos.
