Mucho más que una simple herramienta entre otras, la IA generativa se transformó en una aliada imprescindible para empresas de todos los sectores, gracias al poder de los grandes modelos de lenguaje (LLM) para optimizar la generación de contenido y la toma de decisiones. Ahora bien, para alcanzar su máximo potencial, esta tecnología exige una infraestructura de centro de datos sin precedentes.
Esta exigencia se debe a que los modelos de GenAI a gran escala requieren ingentes cantidades de computación habilitada para GPU. La red que soporta estos modelos no puede ser estándar, sino que debe ser personalizada para garantizar un rendimiento optimizado, eficiente y predecible.
Para abordar este panorama desafiante, las arquitecturas de IA de nueva generación precisan de una estructura de red dedicada que aporte una combinación de conectividad de alto rendimiento y baja latencia para la ejecución rápida de tareas.
En este artículo, detallamos cuáles son los retos que presenta la IA generativa para los data centers, qué requisitos de red exige la inteligencia artificial y por qué HPE Aruba Networking tiene el poder de desbloquear el poder de la GenIA
¿Qué desafíos presenta la IA generativa para los centros de datos?
La irrupción de la IA generativa, impulsada por LLM transforma la operatoria de organizaciones de todos los sectores, como retail, manufactura y finanzas, entre otros.
Sin embargo, capitalizar su potencial genera una serie de desafíos críticos para la infraestructura de los centros de datos:
Demanda extrema de computación
Los modelos de GenAI a gran escala requieren enormes cantidades de computación habilitada para GPU. Estos modelos trabajan con conjuntos de datos de entrenamiento con tamaños de terabits, miles de millones de parámetros, y necesitan acceder a sistemas de almacenamiento y memoria de latencia ultrabaja
Necesidad de contar con redes personalizadas
Para admitir estos modelos masivos, la red debe ser personalizada. Solo así podrá garantizar un rendimiento optimizado, eficiente y predecible.
De hecho, como mencionamos, se prevé que el 20% de los puertos de conmutación de centros de datos Ethernet se conectarán a servidores acelerados para soportar cargas de trabajo de IA para el año 2027. Esto pone de manifiesto la urgencia de adoptar arquitecturas especializadas.
Requisitos de baja latencia y ancho de banda
Los datos de entrenamiento deben accederse desde sistemas de almacenamiento y memoria de latencia ultrabaja.
Para lograrlo, la red debe ofrecer un rendimiento optimizado, eficiente y predecible, especialmente en entornos de carga de trabajo multi-inquilino.
Diferenciación de la arquitectura de red
Para manejar el tráfico de GenAI, la arquitectura de red debe dividirse en dos estructuras clave:
- Estructura frontend. Conexión con el almacenamiento y el tráfico de aplicaciones, que suele usar una red Ethernet estándar.
- Estructura backend. La interconexión de GPU, que exige ser sin pérdida, de alto rendimiento y escalable para el entrenamiento de IA.
Este requisito de una “estructura sin pérdida” para el backend es fundamental, ya que cualquier flujo de datos retrasado puede paralizar el progreso de todos los nodos, resultando en costosos nodos aceleradores inactivos a la espera de una respuesta de la red.
Del entrenamiento a la inferencia: la red especializada que exige la IA
El viaje de la IA generativa dentro del centro de datos se divide en dos fases con requisitos de infraestructura totalmente diferentes: entrenamiento e inferencia.
La red utilizada tiene que poder abordar de manera eficiente la naturaleza y el tiempo de respuesta que exige cada una de estas etapas.
En primer lugar, se encuentra el entrenamiento, que es el proceso de enseñar al algoritmo base, alimentándolo con cantidades masivas de datos para crear nuevos modelos de IA. Es una instancia intensiva y prolongada que consume recursos de manera continua —pudiendo tardar horas, días o incluso semanas hasta entregar resultados—, y se ejecuta sobre plataformas de computación de alto rendimiento.
Una vez que el modelo ha sido entrenado, entra en juego la inferencia. Esta fase consiste en la ejecución del modelo para hacer predicciones o sacar conclusiones basadas en datos del mundo real.
La inferencia exige una ejecución en tiempo real, con resultados medidos en microsegundos o segundos, y se lleva a cabo en plataformas diseñadas para una respuesta rápida.
Para soportar estas cargas de trabajo tan demandantes, los modelos a gran escala requieren una red personalizada para un rendimiento optimizado, eficiente y predecible.
Como mencionamos, la arquitectura debe dividirse en dos estructuras: frontend y backend.
La exigencia de una estructura backend sin pérdida es un punto crucial. Cualquier retraso en el flujo de datos puede detener el progreso de todos los nodos, dejando inactivos a los costosos aceleradores mientras esperan la respuesta de la red.
Después de todo, lo que importa es el tiempo total para completar la tarea, no la latencia individual de un paquete.
Para lograr esta calidad de servicio sin pérdida, se utilizan tecnologías especializadas:
- ROCEv2 (acceso remoto directo a memoria). Permite la transferencia directa de datos entre memorias sin intervención de la CPU, reduciendo la latencia y aumentando el rendimiento.
- ECN (notificación de congestión explícita). Es esencial para establecer una red Ethernet sin pérdida, ya que monitorea la congestión y regula la red para priorizar las cargas de trabajo de IA que no pueden tolerar la pérdida de paquetes.
HPE Aruba Networking, la plataforma de conmutación que desbloquea el poder de la GenIA
Para capitalizar la capacidad de la IA generativa y ofrecer una experiencia digital superior, las organizaciones necesitan una infraestructura de red que ofrezca escalabilidad, rendimiento y eficiencia operativa.
HPE Aruba Networking es el aliado estratégico que permite diseñar y crear estructuras de red dedicadas y optimizadas para la inteligencia artificial.
La nueva generación de conmutación para el centro de datos de esta solución está diseñada para cumplir los requisitos de conectividad de alto rendimiento y baja latencia que exige la IA.
El producto destacado es HPE Aruba Networking CX 9300 Switch Series, que ofrece:
- Rendimiento extremo, con una configuración fija de 1U con 25,6 Tbps
- Conectividad de alta velocidad, ya que admite hasta 32 puertos de 100/200/400 GbE
Funciones de optimización. Incluye funciones específicas de optimización de IA/HPC, como ROCEv2 (para latencia ultrabaja) y ECN (para red sin pérdidas), esenciales para garantizar la calidad de servicio (QoS) que requiere la inteligencia artificial.
Además del CX 9300, HPE Aruba Networking ofrece otros conmutadores clave que complementan la infraestructura de IA/HPC:
- CX 6300M. Puede utilizarse como un conmutador de gestión fuera de banda (OOBM) GbE de bajo costo.
- CX 8325. Es ideal para usarse como conmutador de rack en la parte superior (Top of Rack, TOR), ofreciendo conectividad de 10/25 GbE y 40/100 GbE desde las máquinas virtuales del servidor.
La conmutación de última generación que ofrece HPE Aruba Networking proporciona a las empresas las herramientas para adoptar la IA generativa con una infraestructura que garantiza la escalabilidad, el rendimiento y la eficiencia operativa sin precedentes. ¿Querés saber más sobre esta solución? Contactanos.
