La empresa de inteligencia artificial Anthropic ha lanzado una llamada de atención a la industria, abogando por un mecanismo coordinado y verificable para pausar o ralentizar el desarrollo de la IA de vanguardia. La preocupación principal radica en el escenario donde los sistemas de IA avanzados comiencen a auto-mejorarse a un ritmo que supere la capacidad de la sociedad para gestionar sus consecuencias.
Anthropic propone que los desarrolladores de IA de frontera acuerden establecer un "freno" antes de que sea estrictamente necesario. El punto de inflexión que les inquieta es la auto-mejora recursiva, es decir, sistemas de IA capaces de acelerar significativamente su propio desarrollo. Si bien esto representa un hito tecnológico, también incrementa el riesgo de que los humanos pierdan el control sobre estos sistemas.
La empresa destaca que la clave de su propuesta no es la cautela individual, sino la coordinación. Una pausa unilateral por parte de una sola compañía solo beneficiaría a quienes continúen desarrollando, desplazando la frontera tecnológica en lugar de ralentizarla. Para que una pausa sea efectiva, se necesitaría un consenso entre los principales laboratorios de IA, reglas claras sobre los desencadenantes y levantamientos de la pausa, y un órgano supervisor. Anthropic señala que el desarrollo actual de la IA ya muestra indicios de esta tendencia; por ejemplo, más del 80% del código que se ha incorporado a su propio modelo Claude fue generado por el propio Claude, evidenciando un bucle de auto-mejora parcial.
Anthropic reconoce que implementar una pausa verificable presenta desafíos considerables, ya que requeriría transparencia, umbrales acordados y una entidad con autoridad para tomar decisiones. Actualmente, estos mecanismos no existen y las empresas compiten ferozmente en un mercado donde ser el primero es fundamental. Como solución, Anthropic planea organizar discusiones con legisladores, investigadores, sociedad civil y otras empresas de IA para abordar cómo gestionar riesgos como la auto-mejora recursiva y fortalecer la coordinación.
Esta iniciativa se alinea con la estrategia de Anthropic de advertir sobre los peligros de la tecnología que desarrolla. La gran pregunta ahora es si sus competidores verán esta propuesta como un problema de coordinación genuino o como un intento de marcar el paso. Por el momento, Anthropic ha puesto sobre la mesa la idea de una pausa, a la espera de que otros estén dispuestos a considerarla seriamente.
Fuente Original: https://thenextweb.com/news/anthropic-urges-a-coordinated-verifiable-pause-for-frontier-ai
Artículos relacio nados de LaRebelión:
- Claude Escribe el 80 del Codigo de Anthropic
- AI Pause Anthropic Warns of Self-Improving Risks
- Nvidia Vera IA Potente con Anthropic y OpenAI
- Anthropic Lanza Claude Opus 48 con IA Mejorada
- IA Europea BNP Paribas vs Mythos de Anthropic
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario