Las empresas están invirtiendo en infraestructura de Inteligencia Artificial a un ritmo vertiginoso, pero la mayoría no tiene idea de cuánto les está costando realmente. Un nuevo estudio revela una brecha significativa entre la rápida adquisición de recursos informáticos y la capacidad de las organizaciones para medir y controlar sus gastos. La mayoría de las empresas aún se encuentran en las primeras etapas de implementación de IA, experimentando o ejecutando cargas de trabajo limitadas, pero sus intenciones de gasto ya superan su madurez.
La investigación destaca que la mayoría de las empresas todavía confían en los hiperescalares y las APIs de modelos existentes. Sin embargo, sus planes futuros apuntan a la ado pción de nubes especializadas en IA y aceleradores alternativos, tecnologías que actualmente utilizan muy poco o nada. Esta transición se ve impulsada por la intención de cambiar o añadir proveedores de infraestructura en el próximo año, e incluso en el próximo trimestre, para el 38% de las empresas encuestadas. Al tomar decisiones de compra, la integración con la infraestructura existente y el costo total de propiedad (TCO) son los factores clave, no el precio por unidad de procesamiento.
La ineficiencia es un problema generalizado: el 83% de las empresas reportan una utilización de sus GPUs inferior al 50%, y casi la mitad (49%) la sitúa por debajo del 25%. A pesar de esto, la inversión en nueva infraestructura continúa. La capacidad de medir rigurosamente los costos y el retorno de la inversión en cómputo de IA es limitada, con menos de la mitad de las empresas (44%) realizando un seguimiento exhaustivo. Esto crea un escenario donde las empresas toman decisio nes económicas cruciales basándose en datos que no pueden medir con precisión. Adicionalmente, la próxima gran frontera en inferencia de IA, el cambio de cómputo a ancho de banda de memoria, apenas está en el radar de muchas organizaciones, lo que sugiere que el ciclo de gasto acelerado y falta de visibilidad económica continuará.
Fuente Original: https://venturebeat.com/resources/the-ai-compute-gap-enterprises-are-buying-infrastructure-faster-than-they-can-measure-what-it-costs
Artículos relacionados de LaRebelión:
- IA GPUs Subutilizadas Costos Elevados y Desafios Empresariales
- IA y Datacenters Beneficios vs Costos Ocultos
- Agentes IA en Empresas Costos Seguridad y Cultura
- Hackers Chinos Diez Anos Ocultos en Linux
- Pinterest Redujo Costos de IA 90 Optimizando Modelos
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario