Los sistemas de inteligencia artificial multi-agente enfrentan un desafío crítico: la comunicación entre agentes mediante texto genera latencia, aumenta costos y dificulta el entrenamiento cohesivo del sistema completo. Investigadores de la Universidad de Illinois Urbana-Champaign y Stanford han desarrollado RecursiveMAS, un marco innovador que permite a los agentes colaborar transmitiendo información a través del espacio de embeddings en lugar de texto, logrando mejoras significativas en eficiencia y rendimiento.
RecursiveMAS se inspira en los modelos de lenguaje recursivos, donde en lugar de procesar datos linealmente a través de capas distintas, se reutiliza un conjunto de capas compartidas que procesan la información y la retroalimentan. Este framework extiende este principio a una arquitectura multi-agente que funciona como un sistema recursivo unificado. Cada agente actúa como una capa en un modelo recursivo, pasando representaciones latentes continuas al siguiente agente en la secuencia, creando un flujo circular de información. Solo el último agente genera una salida textual en la ronda final, mientras que los demás se comunican internamente sin producir tokens de texto.
El componente arquitectónico clave es el RecursiveLink, un módulo ligero de dos capas diseñado para transmitir y refinar los estados latentes del modelo. Existen dos variaciones: el RecursiveLink interno opera dentro de un agente durante su fase de razonamiento, permitiéndole generar un flujo continuo de pensamientos latentes sin texto. El RecursiveLink externo sirve como puente entre agentes, adaptando las dimensiones de embedding entre diferentes arquitecturas de modelos. Durante el entrenamiento, solo se actualizan los parámetros de RecursiveLink, manteniendo congelados los pesos de los modelos originales, similar a la adaptación de bajo rango.
Las pruebas realizadas en nueve benchmarks que abarcan matemáticas, ciencia, medicina, generación de código y búsqueda de respuestas demostraron resultados impresionantes. RecursiveMAS logró una mejora promedio de precisión del 8.3% comparado con las alternativas más robustas, destacándose especialmente en tareas de razonamiento complejo. El sistema alcanzó una aceleración de inferencia de 1.2x a 2.4x y redujo el uso de tokens hasta en un 75.6% en la tercera ronda de recursión. Además, el entrenamiento resultó notablemente económico, actualizando solo 13 millones de parámetros (0.31% de los parámetros entrenables), reduciendo costos de entrenamiento en más de la mitad comparado con el ajuste fino completo. Los investigadores han liberado el código y los pesos del modelo bajo licencia Apache 2.0, facilitando su adopción empresarial para flujos de trabajo de agentes complejos sin la sobrecarga computacional que actualmente limita las implementaciones.
Fuente Original: https://venturebeat.com/orchestration/how-recursivemas-speeds-up-multi-agent-inference-by-2-4x-and-reduces-token-usage-by-75
Artículos relacionados de LaRebelión:
- MRC Protocolo de Red para LLMs Revoluciona Datacenters
- Grave Fallo CopyFail Amenaza Sistemas Linux Globalmente
- IA y Captchas Cognitivos El Nuevo Internet Agente
- Google Lanza TPUs Para La Era Agente
- GPT-Rosalind IA Revoluciona Investigacion Cientifica
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario