Los agentes AI alcanzan 99,9 % de precisión, pero su latencia es un millón de veces REST

Un estudio de la Universidad de XYZ compara siete enfoques para resolver expresiones aritméticas y revela que los sistemas agenticos, aunque casi perfectos, son hasta un millón de veces más lentos que arquitecturas tradicionales como REST.

Un equipo de investigadores de la Universidad de XYZ ha puesto bajo la lupa la promesa de la Inteligencia Artificial agentica para automatizar tareas de negocio. En un experimento controlado con 1.000 expresiones aritméticas, compararon siete arquitecturas distintas: llamadas directas a funciones Python (Function Calling), microservicios basados en REST, SOAP y el Model Context Protocol (MCP), respuestas directas de grandes modelos de lenguaje (LLM) mediante la API de Groq, cinco modelos locales de Ollama y, por último, agentes que combinan LLM locales con herramientas MCP.

Rendimiento de los métodos deterministas frente a los basados en LLM

Los métodos tradicionales – la llamada nativa a una función Python y los microservicios REST, SOAP y MCP – lograron una precisión del 100 % con una latencia prácticamente despreciable, comparable a la ejecución en memoria de una CPU. En contraste, la evaluación directa de un LLM en la nube alcanzó como máximo un 92,9 % de aciertos y necesitó más de 22 000 veces la latencia de la llamada nativa.

Los agentes llegan al 99,9 % pero a un coste de latencia exorbitante

Cuando los agentes locales invocaron herramientas MCP, el mejor de ellos alcanzó una precisión de 99,9 %, acercándose al nivel de los métodos deterministas. Sin embargo, esa mejora se pagó con una latencia cercana a un millón de veces la línea base. En términos concretos, si una llamada nativa tarda 0,1 ms, el agente tardaría alrededor de 100 s para resolver la misma operación.

Implicaciones para la arquitectura de sistemas empresariales

Los resultados ponen en evidencia que la elección de una arquitectura no puede basarse únicamente en la moda de los agentes AI. Las empresas que priorizan exactitud pero también rendimiento deben sopesar cuidadosamente los trade‑offs. En entornos donde la velocidad es crítica – por ejemplo, sistemas de facturación en tiempo real o controles industriales – los microservicios tradicionales siguen siendo la opción más sensata. Por otro lado, los agentes pueden resultar útiles en flujos que combinan razonamiento lingüístico con cálculo, siempre que la latencia no sea un cuello de botella.

Recomendaciones y marco de decisión arquitectónica

Los autores proponen un Arquitectural Decision Framework (ADF) que guía la selección entre agentes, LLMs y arquitecturas convencionales según dos ejes: precisión requerida y throughput deseado. El marco sugiere:

• Usar métodos deterministas cuando la tarea es puramente computacional y la latencia debe ser mínima.
• Considerar agentes solo si la tarea incluye componentes de razonamiento natural o interacción multimodal y la latencia aceptable está en el rango de segundos.
• Descartar LLMs directos para cálculos exactos, ya que su desempeño es insuficiente tanto en precisión como en velocidad.

El código que sustenta los experimentos está disponible en GitHub, lo que permite reproducir los benchmarks y adaptar el ADF a casos de uso propios.

Qué significa este estudio para los desarrolladores independientes

Para los equipos pequeños que buscan incorporar agentes AI en sus productos, la lección es clara: la facilidad de integración no compensa el coste de tiempo de ejecución cuando la operación es estrictamente aritmética. En la práctica, un desarrollador podría combinar un microservicio REST para la lógica de cálculo y reservar los agentes para la generación de texto o la orquestación de procesos más complejos.

la investigación desmitifica la idea de que los agentes AI son una solución universal. La decisión debe basarse en métricas objetivas – precisión y latencia – y no en la novedad del enfoque.