El artículo plantea una preocupante cuestión sobre la seguridad de los agentes de Inteligencia Artificial (IA). Bruce Schneier y Barath Raghavan argumentan que estos agentes ya están comprometidos desde su diseño, debido a que operan con datos no confiables, utilizan herramientas no verificadas y toman decisiones en entornos hostiles. Esto abre la puerta a ataques en cada fase del ciclo OODA (Observar, Orientar, Decidir, Actuar).
La vulnerabilidad reside en la propia fortaleza de estos modelos: tratar todas las entradas como iguales. Técnicas como la inyección de prompts, el envenenamiento de datos y el uso indebido de herramientas pueden corromper el sistema desde dentro. Esto lleva a un trilema de seguridad en la IA: rápido, inteligente o seguro. Solo se pueden elegir dos, ya que la integridad no es una característica que se pueda añadir a posteriori, sino que debe integrarse desde el principio.
Los autores enfatizan la necesidad de abordar la integridad en la IA, al igual que se ha hecho con la disponibilidad y la confidencialidad en la seguridad informática. Se argumenta que no se pueden construir sistemas fiables sobre bases poco sólidas. La pregunta clave no es si podemos añadir integridad a la IA, sino si la arquitectura misma permite la integridad.
Fuente Original: https://yro.slashdot.org/story/25/10/14/2054250/are-ai-agents-compromised-by-design?utm_source=rss1.0mainlinkanon&utm_medium=feed
Artículos relacionados de LaRebelión:
- 4chan Multado Ley de Seguridad en Linea Reino Unido
- Musk X Ketamina y Seguridad Revelada
- IA adaptable ReasoningBank memoria para agentes inteligentes
- Basura Espacial Eliminar 50 Objetos Reduce Riesgo
- Gafas Inteligentes La Explosion del Mercado
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario