Desarrollar un asistente de IA como "Yelp Assistant" para páginas de negocios presenta desafíos significativos que van más allá de un simple prototipo. La clave para su éxito radica en un sistema de ingeniería robusto que mantenga los datos actualizados, asegure respuestas precisas y seguras, y optimice el rendimiento.
Yelp abordó estos desafíos implementando un enfoque de Generación Aumentada por Recuperación (RAG), que descompone el proceso en tres fases: indexación offline par a construir una base de conocimiento, recuperación en tiempo real que utiliza búsqueda léxica y semántica para encontrar fragmentos relevantes, y una fase de generación donde un modelo de lenguaje (LLM) crea la respuesta basándose únicamente en la evidencia proporcionada, citando las fuentes originales.
La estrategia de datos evolucionó para manejar la naturaleza dinámica del contenido. Se implementó una ingesta de datos en streaming para información de alta velocidad como reseñas y atributos de negocio, garantizando actualizaciones en minutos, mientras que para datos estáticos como menús se optó por un pipeline de lotes semanal. La separación de datos fue crucial: contenido no estructurado como reseñas se maneja a través de índices de búsqueda, mientras que hechos estructurados como horarios se almacenan en bases de datos de tipo Entidad-Atributo-Valor. La recuperación híbrida de fotos combina el análisis de subtítulos con la similitud de embeddings de imágenes para una mayor precisión. Para optimizar la latencia, se desarrolló una API unificada de servicio de contenido que abstrae la complejidad de las lecturas paralelas de diferentes fuentes, manteniendo las respuestas por debajo de los 100 milisegundos en el percentil 95.
En la pipeline de inferencia, Yelp migró de un modelo monolítico a varios modelos especializados. Un selector de fuentes de contenido dirige las consultas a los almacenes de datos más relevantes. Un generador de palabras clave traduce las consultas de usuario a términos de búsqueda más efectivos. Los guardarraíles de entrada, como clasificadores de Confianza y Seguridad y Tipo de Consulta, actúan como filtros iniciales para entradas maliciosas o fuera de alcance. La estrategia de entrenamiento combinó el ajuste fino de modelos pequeños y eficientes para el análisis de preguntas con el uso de modelos grandes y potentes para la generación final de respuestas, logrando un equilibrio entre la tencia y calidad.
La optimización del servicio fue clave para reducir la latencia de más de 10 segundos a menos de 3 segundos. Técnicas como el streaming de respuestas (Server-Sent Events) mejoraron la experiencia del usuario, la ejecución paralela de tareas independientes y las llamadas asíncronas aceleraron el proceso. La detención temprana de tareas innecesarias cuando se detectan consultas bloqueadas y el uso de modelos jerarquizados (modelos pequeños para análisis, modelos grandes para generación) contribuyeron significativamente a la eficiencia.
La evaluación se alejó de métodos informales para adoptar un sistema de "LLM como juez", separando la calidad en dimensiones medibles como la corrección, el tono y el estilo. Lecciones aprendidas importantes incluyen la necesidad de una recuperación evolutiva, la gestión rigurosa del tamaño de los prompts para controlar costos, y la construcción de guardarraíles modulares y paralelos para manejar eficazmen te los límites y las desviaciones del comportamiento del usuario. El "Yelp Assistant" es, en esencia, un sistema de evidencia graduada en múltiples etapas, demostrando que el camino de un prototipo funcional a un asistente de producción requiere una ingeniería completa y meticulosa.
Fuente Original: https://blog.bytebytego.com/p/how-yelp-built-yelp-assistant
Artículos relacionados de LaRebelión:
- Comida Ultraprocesada El Nuevo Tabaco para la Salud
- Android Maxima Proteccion Antirrobo para tu Movil
- IA Autonoma Constitucion de Datos para Agentes Inteligentes
- Amazon asegura cobre para IA mineria innovadora en marcha
- Uber Cache Inteligente para Millones de Consultas
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario