La optimización de sistemas de Inteligencia Artificial, especialmente en entornos de producción, puede ser un desafío complejo. A menudo, los ingenieros se enfrentan a un proceso tedioso de prueba y error para ajustar parámetros como las estrategias de fragmentación (chunking), los métodos de recuperación y las indicaciones del sistema, lo que dificulta atribuir qué cambio específico resolvió un problema. Para abordar esta dificultad, investigadores de la Universidad Renmin de China y Microsoft Research han desarrollado Arbor, un innovador marco que transforma la investigación y optimización de IA de conjeturas aleatorias a un proceso de aprendizaje acumulativo.
Arbor organiza hipótesis, experimentos y hal lazgos en una estructura de árbol, permitiendo que el sistema aprenda de sus fallos anteriores para realizar mejoras más inteligentes y verificadas con el tiempo. En pruebas prácticas, Arbor ha demostrado superar en más de 2.5 veces las ganancias de rendimiento verificables de los agentes de codificación de IA estándar en tareas de ingeniería del mundo real, todo ello con el mismo presupuesto de recursos. Esto se traduce directamente en la automatización de la mejora continua de sistemas de ingeniería complejos en el ámbito empresarial.
El desafío fundamental en la optimización autónoma (AO) radica en la falta de una estructura de datos que permita acumular y utilizar el conocimiento de intentos anteriores. Los sistemas actuales, al tratar cada intento de forma aislada y depender de transcripciones de conversación que superan los límites de la ventana de contexto, pierden la visión general del proceso de investigación y son propensos a estancarse en fallos ini ciales o a perseguir métricas engañosas. Arbor introduce dos componentes clave: un coordinador de larga duración que gestiona el estado general de la investigación y genera hipótesis, y ejecutores de corta duración y altamente enfocados que implementan y prueban estas hipótesis en entornos aislados. A través de un mecanismo llamado "Refinamiento de Árbol de Hipótesis" (HTR), Arbor representa todo el proceso de investigación como un árbol persistente donde cada nodo combina una hipótesis, el artefacto ejecutable, la evidencia fáctica y una visión destilada. Esto permite explorar múltiples direcciones compitiendo simultáneamente, y los fallos se registran como restricciones negativas para evitar la repetición. Una característica crucial es la "puerta de fusión", que exige que las mejoras se verifiquen contra datos de prueba independientes antes de ser incorporadas, previniendo el sobreajuste. Arbor ha demostrado un rendimiento superior, logrando más de 2.5 veces l a ganancia promedio de Codex y Claude Code, y ha mostrado generalización en tareas no vistas, sentando un precedente para la optimización autónoma de IA. Sin embargo, su implementación tiene costos, principalmente el gasto de tokens para el coordinador y la necesidad de recursos de cómputo para los entornos aislados. Su idoneidad se centra en tareas con métricas claras y confiables, un horizonte de tiempo largo y un espacio de búsqueda considerable.
Fuente Original: https://venturebeat.com/orchestration/new-ai-optimization-framework-beats-claude-code-and-codex-by-2-5x-on-the-same-compute-budget
Artículos relacionados de LaRebelión:
- Claude Code Artifacts Dashboards Interactivos en Tiempo Real
- Gobierno Bloquea Claude Riesgo IA para Empresas
- Microsoft SkillOpt Optimizacion Automatica de Agentes IA
- IA de Busqueda Revolucionaria Harness-1 Supera a GPT-54
- Claude Escribe el 80 del Codigo de Anthropic
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario