Las empresas se enfrentan a un problema creciente: están pagando de más por las consultas simples de Inteligencia Artificial al usar modelos de IA demasiado potentes o costosos para tareas básicas. La solución emerge en la forma de enrutamiento de modelos, una tecnología que selecciona automáticamente el modelo de IA más adecuado para cada tarea, optimizando tanto la calidad como el costo.
Snowflake ha dado un paso adelante con su Cortex AI Gateway, introduciendo el enrutamiento dinámico de modelos. Esta función permite a las empresas elegir la opción "automática", donde el sistema dirige cada consulta al modelo que ofrece la mejor combinación de rendimiento y economía. Según pruebas internas de Snowflake, esta capacidad puede reducir los costos de tokens hasta en un 300%, especialmente al evitar que las preguntas sencillas recaigan en los modelos más caros y lentos.
Este avance se alinea con una tendencia general de la industria, con competidores como Databricks, AWS, Google Cloud y Nvidia también desarrollando tecnologías de enrutamiento. Sin embargo, Snowflake enfatiza que el enrutamiento va más allá del precio y el rendimiento, abarcando también la gobernanza y el contexto. La plataforma utiliza dos mecanismos clave para la toma de decisiones: un modelo más pequeño intenta primero la tarea y, si falla, delega a uno más grande; y un clasificador analiza el historial de consultas para dirigir las preguntas directas a modelos más sencillos. Los usuarios aún tienen la opción de fijar modelos específicos. La innovación de Snowflake no implica costos adicionales, ya que se basa en el uso de tokens, y se integra con los controles de acceso y gobernanza de d atos existentes, asegurando que la inferencia se mantenga dentro de los límites de seguridad de Snowflake, lo cual es crucial para datos sensibles y modelos de origen extranjero.
La clave para que modelos más económicos puedan gestionar tareas complejas reside en el contexto. Herramientas como Horizon Context y Cortex Sense de Snowflake proporcionan este contexto de antemano, eliminando la necesidad de que el modelo realice trabajo exploratorio costoso, como escribir y probar SQL o buscar datos. Además, la memoria del agente se incorpora al contexto, permitiendo que las consultas repetidas se beneficien del aprendizaje previo. La competencia en este espacio es feroz, con jugadores como OpenRouter y Nvidia ofreciendo soluciones similares. Sin embargo, la propuesta de valor de Snowflake radica en la integración profunda de la gobernanza de datos, el control de acceso y la atribución de costos dentro de su propio ecosistema, lo que resulta especialmente valioso para las emp resas que ya confían en Snowflake para la gestión de sus datos y la gobernanza.
La elección de un enrutador se reduce a qué modelo de gobernanza se alinea mejor con la estructura de datos y equipos de una empresa. Para las operaciones basadas en Snowflake, el enrutamiento interno que respeta los modelos de acceso existentes es más beneficioso. Las empresas centradas en Databricks podrían preferir un gateway centrado en el linaje. Aquellas que buscan flexibilidad multicanal y una amplia selección de modelos sin bloqueos de proveedor podrían optar por gateways neutrales. En última instancia, la decisión de implementar el enrutamiento de modelos debe considerar la gobernanza de datos preexistente y la necesidad de visibilidad de costos.
Fuente Original: https://venturebeat.com/orchestration/enter prises-are-overpaying-for-simple-ai-queries-snowflakes-gateway-now-auto-routes-to-cut-costs-up-to-3x
Artículos relacionados de LaRebelión:
- Snowflake optimiza costes mediante enrutamiento inteligente de IA
- IA Compras Aceleradas Costos OCULTOS
- IA GPUs Subutilizadas Costos Elevados y Desafios Empresariales
- IA y Datacenters Beneficios vs Costos Ocultos
- Agentes IA en Empresas Costos Seguridad y Cultura
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario