Investigadores coreanos identifican por primera vez el 'costo energético oculto' de los agentes de IA

Tabla de contenido

Con el inicio de la era de los agentes de IA —sistemas capaces de razonar y actuar de forma autónoma—, el consumo energético de los centros de datos se perfila como un desafío crucial. Un equipo de investigación de KAIST ha analizado, por primera vez, el coste computacional y el consumo energético de los agentes de IA, descubriendo que pueden consumir hasta 136,5 veces más energía por consulta que la IA generativa convencional.

Características clave de los agentes de IA y sus implicaciones para la infraestructura. Crédito de la imagen: KAIST

El estudio demuestra que la competitividad en la era de la IA se extiende más allá del rendimiento de los modelos e incluye la eficiencia de los centros de datos y la infraestructura energética.

KAIST anunció que un equipo de investigación dirigido por el profesor Minsoo Rhu de la Facultad de Ingeniería Eléctrica analizó sistemáticamente, por primera vez, la cantidad de recursos computacionales y de energía que requieren los agentes de IA en entornos de servicio del mundo real.

Las aplicaciones basadas en grandes modelos de lenguaje (LLM, por sus siglas en inglés), como ChatGPT, han evolucionado rápidamente más allá de la simple respuesta a preguntas. Ahora se están convirtiendo en agentes de IA: sistemas de IA de última generación capaces de planificar, utilizar herramientas externas como búsquedas web, calculadoras y entornos de ejecución de código, y resolver tareas complejas coordinando múltiples pasos de forma autónoma.

Aunque los agentes de IA se están adoptando cada vez más en áreas como el desarrollo de software, la investigación y la automatización del lugar de trabajo, se sabe poco sobre la cantidad de electricidad y el coste operativo necesarios para su funcionamiento en la práctica.

El equipo de investigación definió los agentes de IA no solo como programas de software, sino como un nuevo tipo de carga de trabajo que debe ser procesada continuamente por servidores de centros de datos y unidades de procesamiento gráfico (GPU), chips de alto rendimiento utilizados para la computación de IA a gran escala. Posteriormente, el equipo analizó la carga computacional y el consumo de energía generados durante la ejecución real de los agentes de IA.

El análisis reveló que los agentes de IA realizan muchas más invocaciones de modelos de lenguaje natural (LLM) que razonamientos convencionales de cadena de pensamiento. La cadena de pensamiento (CoT) se refiere a un método en el que un modelo de IA descompone su proceso de razonamiento paso a paso para llegar a una respuesta, mientras que una invocación de LLM se refiere a cada solicitud computacional realizada a un modelo de lenguaje para generar un nuevo juicio o respuesta.

Debido a que los agentes de IA recurren repetidamente a los modelos de lenguaje durante la ejecución, su latencia de respuesta también aumenta significativamente. El equipo descubrió que el tiempo de respuesta puede incrementarse hasta 153,7 veces, mientras que las GPU permanecen inactivas hasta un 54,5 % del tiempo total de ejecución, dado que las herramientas externas realizan sus tareas. En otras palabras, a medida que los sistemas de IA asumen tareas más complejas, surge una nueva forma de ineficiencia en la que las costosas GPU no pueden utilizarse plenamente.

El equipo de investigación también analizó el consumo energético de los agentes de IA a escala de centro de datos. Un agente de IA que utiliza un modelo LLM de 70 mil millones de parámetros —una escala comparable a la de los servicios de IA comerciales actuales— consumió un promedio de 348,41 vatios-hora por consulta. Esto representa 136,5 veces más energía que la consumida por un sistema de IA generativa convencional que realiza respuestas a preguntas sencillas.

Futuro
#

Además, el equipo proyectó un escenario futuro en el que se generan 13.700 millones de solicitudes de agentes de IA al día, un volumen equivalente al tráfico actual de búsquedas de Google. En este escenario, la demanda de energía de los centros de datos alcanzaría aproximadamente 198,9 gigavatios, un nivel que supera con creces la escala de los centros de datos de IA actualmente en desarrollo (que rondan los pocos gigavatios) y que equivale aproximadamente a la mitad del consumo energético promedio de Estados Unidos.

El estudio, sin embargo, demuestra que el enfoque de la competencia en la era de la IA está cambiando de una IA más inteligente a una IA más eficiente. En adelante, será esencial no solo avanzar en los modelos de IA, sino también optimizar conjuntamente los semiconductores, los centros de datos y la infraestructura energética para IA mediante el codiseño. Se espera que este enfoque se convierta en una estrategia clave para reducir el costo operativo de los servicios de IA y construir una infraestructura de IA sostenible.

De izquierda a derecha: Byeongjun Shin, estudiante de maestría; Jinha Chung, estudiante del programa integrado de maestría y doctorado; Jiin Kim, estudiante de doctorado; y, arriba, el profesor Minsoo Rhu de KAIST. Crédito de la imagen: KAIST

«Este estudio es el primero en demostrar cuantitativamente no solo cómo la IA se está volviendo más inteligente, sino también cuánta electricidad y cuánto coste se requiere para implementar y mantener esa inteligencia», afirmó el profesor Rhu. «A medida que los agentes de IA se generalicen, será cada vez más importante adoptar un enfoque de codiseño integrado que optimice no solo la infraestructura de los centros de datos de IA, sino también los modelos de agentes de IA y la infraestructura energética». Añadió: «La investigación y la inversión en esta dirección serán esenciales para reducir drásticamente el coste que supone para los usuarios finales el acceso a los servicios de IA, al tiempo que se construye una infraestructura de IA sostenible».

El estudio fue realizado con Jiin Kim, estudiante de doctorado de la Facultad de Ingeniería Eléctrica de KAIST, como primer autor. El artículo se presentó en febrero en el 32.º Simposio Internacional IEEE sobre Arquitectura de Computadoras de Alto Rendimiento (HPCA), una de las conferencias internacionales más prestigiosas en diseño de sistemas informáticos. El equipo de investigación también ha publicado como código abierto las implementaciones de agentes de IA y los benchmarks utilizados en el artículo para apoyar estudios posteriores de investigadores de todo el mundo.

Cita
#

El estudio “The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective” (“El coste del razonamiento dinámico: desmitificando los agentes de IA y la escalabilidad en tiempo de prueba desde la perspectiva de la infraestructura de IA”) fue publicado en IEEE Xplore. Autores: Jiin Kim; Byeongjun Shin; Jinha Chung; Minsoo Rhu

Contacto [Notaspampeanas](mailto: notaspampeanas@gmail.com)