Nuevo benchmark con LLM supera a los tests humanos y abre la ventana de superinteligencia

Un equipo de investigadores propone el primer examen basado en Levin’s Kt que usa grandes modelos de lenguaje como máquinas de referencia, generando ítems de dificultad medidos en bits que ni humanos ni los modelos más avanzados pueden resolver.

En medio de una carrera por medir la capacidad de los sistemas de IA más avanzados, un grupo de científicos ha presentado un nuevo benchmark que rompe con los métodos tradicionales. El test, fundamentado en la complejidad computacional de Levin’s Kt, emplea a los grandes modelos de lenguaje (LLM) como máquinas universales de referencia, creando preguntas cuya dificultad se expresa en una escala de bits y que, según los autores, supera la capacidad de los modelos de frontera actuales.

La motivación detrás de un benchmark sin humanos

Los benchmarks clásicos, como el famoso C‑test, calibran la dificultad de los ítems en relación con el desempeño humano o con modelos existentes. Ese enfoque se vuelve circular cuando los propios sistemas que se evalúan empiezan a superar a sus creadores: la prueba deja de ser un reto y rápidamente se satura. Como explicó el estudio, «cualquier benchmark cuya dificultad se calibra con humanos o IA actuales se vuelve pronto obsoleto«.

Para escapar de ese bucle, los investigadores recurrieron a la teoría de la complejidad de Kolmogorov, concretamente a la variante computable Levin's Kt. En términos simples, esta medida combina la longitud del programa más corto que genera un dato con el logaritmo del tiempo que tarda en ejecutarse. Es como preguntar: ¿cuán complejo es el mecanismo que produce una observación, considerando tanto su descripción mínima como la velocidad con la que funciona?

Cómo funciona el test basado en Levin Kt

El proceso se puede dividir en tres fases clave:

• Generación de ítems: un LLM actúa como una máquina de Turing universal (UTM) que, a partir de un prompt, produce preguntas cuya complejidad se estima mediante Levin's Kt. Cada ítem se asigna un valor en bits que indica cuán difícil es de resolver.
• Certificación: se emplea un algoritmo ligero que verifica que la dificultad calculada sea coherente y que no existan atajos triviales que reduzcan el valor de Kt.
• Evaluación: doce LLMs de distintas escalas (desde 7 B hasta 70 B de parámetros) son sometidos al conjunto de ítems. Sus respuestas se comparan con la solución certificada y se traza una curva de rendimiento frente a la dificultad.

El uso de LLMs como UTM es crucial porque, a diferencia de una máquina de Turing mínima que carece de conocimientos previos, los modelos actuales ya incorporan una vasta base cultural y lingüística. Es como pasar de un niño que solo sabe contar hasta diez a un adulto que ya domina varios idiomas: el espacio de soluciones posibles se amplía enormemente.

Resultados y lo que revelan las curvas de rendimiento

Los autores presentan una primera batería de 200 ítems, con dificultades que van desde 15 bits (equivalente a una pregunta de lógica sencilla) hasta más de 120 bits, una zona que describen como la «ventana de superinteligencia». Las curvas obtenidas muestran un descenso gradual del acierto a medida que aumenta la complejidad, pero, lo más llamativo, es que varios modelos llegan a un punto en el que la tasa de éxito se aplana cerca de cero, indicando que los ítems están más allá de su capacidad actual.

En concreto, los LLMs de 7 B y 13 B de parámetros no superan los 40 bits, mientras que los de 70 B llegan hasta los 85 bits antes de que su rendimiento caiga drásticamente. Ningún modelo logra resolver ítems por encima de los 110 bits, lo que sugiere que la prueba ha alcanzado un nivel de dificultad que aún no ha sido conquistado por la inteligencia artificial de frontera.

Implicaciones para la evaluación de la superinteligencia

Este nuevo benchmark abre una puerta a la evaluación de sistemas que, en teoría, podrían superar la capacidad humana. Al medir la dificultad en una escala objetiva de bits, se elimina la dependencia de comparaciones ad‑hoc y se ofrece una métrica que puede seguir siendo relevante incluso cuando los modelos alcancen niveles de razonamiento que hoy consideramos «superinteligentes».

Sin embargo, el estudio también advierte sobre riesgos inherentes: un benchmark tan exigente podría incentivar la creación de modelos que optimicen específicamente para superar los ítems sin mejorar su comprensión general. Además, la necesidad de una certificación rigurosa implica un coste computacional considerable, lo que podría limitar su adopción a instituciones con recursos de cómputo avanzados.

Qué significa este avance para desarrolladores y la comunidad IA

Para los desarrolladores independientes, el benchmark representa una herramienta potencial para calibrar la verdadera capacidad de sus modelos sin depender de pruebas diseñadas para humanos. La posibilidad de generar ítems a demanda, con una medida de dificultad clara, permite crear suites de pruebas personalizadas que se adapten al nivel de la arquitectura que se está evaluando.

No obstante, la barrera de entrada sigue siendo alta. La generación y certificación de ítems requiere acceso a un LLM de gran escala y a recursos de procesamiento que pueden superar los 100 GB de RAM en algunos casos. Por ello, es probable que los primeros adoptantes sean laboratorios de investigación y grandes corporaciones que ya disponen de infraestructuras de IA.

En el horizonte, el equipo planea ampliar la batería a miles de ítems y publicar un repositorio abierto que facilite la reproducción de los experimentos. Si logra consolidarse, este enfoque podría convertirse en el nuevo estándar para medir la «inteligencia» de la próxima generación de modelos, marcando un hito en la búsqueda de métricas que acompañen el ritmo acelerado del desarrollo de IA.