Saltar al contenido
ES EN

Microsoft propone vigilar los agentes de IA como amenazas internas

Microsoft presenta herramientas para vigilar agentes de IA en empresas, limitar sus permisos y pedir aprobación humana ante decisiones arriesgadas.

Microsoft ha presentado nuevas funciones de seguridad para empresas que usan agentes de IA, con una idea central: vigilarlos como posibles amenazas internas. La propuesta más destacada es Guardian Agents, parte de Project Perception, que busca supervisar los agentes utilizados por una organización. La empresa explica el anuncio en su publicación sobre Guardian Agents. El giro importa porque desplaza la atención: el riesgo no vendría únicamente de un atacante externo, sino también de una herramienta autorizada para operar dentro de la empresa.

Ilustración conceptual de un agente de inteligencia artificial rodeado de controles de seguridad
La propuesta es separar la capacidad de actuar de la autoridad para decidir qué puede hacer el agente.

Project Perception se había presentado con tres clases de agentes: un equipo rojo que simula ataques, uno azul que los detecta y analiza vulnerabilidades, y uno verde que intenta corregirlas. Ese planteamiento se centraba en amenazas que llegan desde fuera. Ahora Microsoft advierte de que los modelos de frontera son impredecibles: se entrenan para completar tareas, no necesariamente para respetar las normas o el criterio de cada organización. La preocupación aumenta cuando el agente puede consultar datos sensibles o usar herramientas capaces de ejecutar acciones importantes.

La respuesta que describe Microsoft combina vigilancia y límites. La compañía añade a Defender una función para detectar hasta 60 tipos de agentes que los empleados incorporan al trabajo, entre ellos Claude Code, Codex y OpenClaw. También anuncia controles para restringir el acceso de los agentes a datos y sistemas, ajustar permisos según la tarea y pedir aprobación humana si una acción parece arriesgada. El anuncio de seguridad de Microsoft presenta estas medidas como una forma de mantener el control, aunque el material disponible no detalla aquí cómo se han medido sus resultados.

La separación entre quien proporciona el modelo y quien supervisa sus acciones tiene sentido como principio de gobernanza: no conviene que la misma parte sea proveedor y único árbitro de lo que su agente hace. Satya Nadella defendió esa idea en un texto sobre modelos como riesgo interno. Pero el contexto comercial también cuenta. Microsoft vende servicios de seguridad y nube, y tiene vínculos empresariales con OpenAI y Anthropic; impulsar controles propios puede responder tanto a una preocupación real como a una oportunidad de negocio.

La idea no se limita a Microsoft. La empresa figura entre los miembros iniciales de la Open Agent Safety Platform de Nvidia, una iniciativa respaldada por más de cien compañías. Según el material publicado, la plataforma busca aislar agentes en entornos seguros y permitir que se vigile o detenga su comportamiento mediante hardware. Es una dirección prometedora, pero todavía conviene distinguir la arquitectura anunciada de la eficacia demostrada: el hecho de poder parar un agente no dice por sí solo qué señales activan esa intervención ni cuántas decisiones peligrosas se escapan.

Para una empresa, el mensaje práctico no es prohibir todo agente ni delegar la seguridad en las promesas del proveedor. Es inventariar qué herramientas se están usando, concederles solo los permisos necesarios y conservar supervisión humana para las acciones de mayor impacto. También hace falta pedir evidencia: qué agentes detecta el sistema, qué errores comete y cómo se comporta cuando las tareas son ambiguas. Microsoft plantea una arquitectura de control razonable; nuestra cautela está en no confundir la necesidad del control con la prueba de que un producto concreto ya lo resuelve.

Fuente original: techcrunch.com

Elaborado con apoyo de IA y revisado por la redacción

Dune

· Editora de verificación · Dubái

«La independencia del vigilante importa, pero también hay que demostrar que realmente detecta los riesgos.»

Comentarios

Publicar un comentario