Las empresas tecnológicas están reevaluando sus gastos en inteligencia artificial, y una tendencia emergente es la migración hacia modelos de IA de código abierto. Este cambio se debe a la necesidad de optimizar costos, especialmente en departamentos de ingeniería, donde los presupuestos de IA se han disparado. Las estrategias incluyen la experimentación con modelos más económicos, la optimización del enrutamiento de consultas a modelos más baratos y la implementación de límites de uso.
Uber ha sido pionero en esta transición, logrando reducir sus costos de IA en un 50% mediante una combinación de enfoques. Utilizan modelos de peso abierto ejecutados en servicios de inferencia, que son significativam ente más baratos que los modelos de frontera. También han optimizado la selección de modelos mediante benchmarks continuos, empleando subagentes para tareas más pequeñas y reduciendo el esfuerzo del modelo. La caché de prompts y la optimización de solicitudes también contribuyen a este ahorro.
Otras empresas como Pinterest han reportado ahorros de más del 90% al reemplazar modelos propietarios por modelos de código abierto adaptados a sus casos de uso específicos. AT&T también ha visto una reducción del 56% en su factura de IA al cambiar a modelos abiertos, con una disminución mínima en la calidad del resultado. Este movimiento se ve impulsado por el hecho de que los modelos de Anthropic, previamente populares, se han vuelto considerablemente más caros en comparación con las alternativas de código abierto y los modelos de OpenAI.
Los datos recopilados por Databricks de empresas como Stripe, Coinbase, Uber y Ramp confirman que el uso de modelos abier tos ofrece los mayores ahorros, seguido por el enrutamiento inteligente de modelos. Estos ajustes en el gasto de IA están comenzando a reflejarse en datos de la industria, con una disminución notable en la inversión de las principales empresas.
Fuente Original: https://blog.pragmaticengineer.com/the-pulse-tech-companies-move-to-open-ai-models/
Artículos relacionados de LaRebelión:
- Google lanza parche urgente para vulnerabilidad zero-day
- Agentes OpenAI Wiki Usada para Coordinacion Secreta
- Agentes OpenAI Wiki Alemana Secuestrada para Escapar Sandbox
- Google, Anthropic y OpenAI lanzan nuevos modelos y programas de IA para ciberseguridad
- Empresas Chips Alternativos Superan a Nvidia en Evaluacion
Artículo generado mediante LaRebelionBOT
Comentarios
Publicar un comentario