Nvidia, líder indiscutible en el mercado de GPUs, parece estar redefiniendo su estrategia ante un cambio fundamental en la computación de Inteligencia Artificial. Un acuerdo de licenciamiento estratégico de 20 mil millones de dólares con Groq señala el fin inminente de la era de las GPUs de propósito general como la solución única y universal para la inferencia de IA. Los expertos predicen que el 2026 marcará la adopción generalizada de arquitecturas de inferencia desglosadas, adaptadas a las crecientes demandas de contexto masivo y razonamiento instantáneo
La inferencia, la fase donde los modelos de IA entrenados se ejecutan, ha superado recientemente al entrenamiento en ingresos de centros de datos. Esto ha desplazado el foco de la precisión a la latencia y la capacidad de mantener el 'estado' en agentes autónomos. La arquitectura de GPU tradicional se está dividiendo en dos frentes: la fase de 'prefill' (ingesta masiva de datos para comprender el contexto) y la fase de 'decode' (generación secuencial de tokens). Nvidia está respondiendo con su familia de chips Vera Rubin, optimizando componentes específicos para cada tarea, y licenciando la tecnología de Groq, conocida por su unidad de procesamiento de lenguaje (LPU) y su memoria SRAM de alta velocidad, para potenciar la fase de decodificación.
La tecnología SRAM de Groq, integrada directamente en el procesador, ofrece una eficiencia energética y velocidad excepcionales para el movimiento de datos a corta distancia. Esto la hace ideal para modelos más pequeños (por debajo de 8 mil millones de parámetros) y cargas de trabajo de baja latencia, como robótica o dispositivos IoT, un mercado que Nvidia estaba descuidando. Además, el éxito de empresas como Anthropic en crear 'stacks' de software portátiles que funcionan en diferentes aceleradores (incluyendo GPUs de Nvidia y TPUs de Google) ha presionado a Nvidia a asegurar que sus cargas de trabajo más sensibles al rend imiento permanezcan dentro de su ecosistema CUDA. Finalmente, la guerra por el 'estado' de los agentes autónomos, impulsada por la necesidad de memoria a corto plazo (KV Cache) para mantener la coherencia, se beneficia de la velocidad de la SRAM para recuperar este estado casi instantáneamente. En resumen, el futuro de la IA se dirige hacia una especialización extrema, donde la elección de hardware y la arquitectura de software se basarán en el etiquetado explícito de cargas de trabajo para optimizar el rendimiento.
Fuente Original: https://venturebeat.com/infrastructure/inference-is-splitting-in-two-nvidias-usd20b-groq-bet-explains-its-next-act
Artículos relacionados de LaRebelión:
- Buffett Steps Down Berkshire Hathaway CEO Era Ends
- EEUU Retira Sanciones Fin de la Era Predator
- IA en Video El Fin de los Creadores Independientes
- Drones Chinos en la Mira Fin para Policias y Bomberos
- Luminar en Bancarrota El Fin de un Gigante Lidar
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario