OpenAI ha desarrollado un hacker de élite basado en inteligencia artificial y lo ha encerrado bajo llave. Su nombre es GPT-Red, y su única misión es intentar破坏 los propios sistemas de IA de la compañía. Según OpenAI, este modelo es demasiado peligroso para permitir que cualquier otra persona tenga acceso a él. Se trata de un equipo rojo automatizado: un software diseñado para buscar vulnerabilidades en otros sistemas de IA, de modo que los agujeros de seguridad puedan ser reparados antes del lanzamiento público.
GPT-Red fue entrenado mediante combate simulado. OpenAI lo colocó en un ciclo de auto-juego contra un escuadrón de modelos defensores. El hacker recibe recompensas por lograr un ataque exitoso, mientras que los defensores son recompensados por repeler uno. A medida que los defensores se vuelven más astutos, GPT-Red debe inventar trucos más ingeniosos. La compañía invirtió cantidades sin precedentes de poder computacional en este modelo, una cifra que califican como la mayor jamás utilizada para trabajo de seguridad.
Los resultados son impresionantes. GPT-Red descubrió una clase completamente nueva de ataque que los investigadores nunca habían visto antes, llamada "cadena de pensamiento falsa". Este ataque planta una nota falsa en la memoria de trabajo privada de un modelo, engañándolo para que confíe en información incorrecta. El investigador Chris Choquette-Choo lo explicó con un ejemplo: es como decirle a alguien que 1+1=3 y que ya lo ha verificado, haciendo que el modelo simplemente acepte y repita esa información errónea.
Las pruebas incluso llegaron al mundo físico. En una de ellas, GPT-Red atacó a Vendy, un agente de IA que opera una máquina expendedora real en las oficinas de OpenAI. El hacker logró cambiar los precios, reducir el costo de un artículo caro al mínimo de 50 centavos, y cancelar el pedido de un cliente. Las estadísticas son sorprendentes: contra una versión anterior de GPT-5, más del 90% de los ataques más fuertes de GPT-Red funcionaron. Contra el nuevo GPT-5.6, solo el 23% tuvo éxito. En una repetición de una prueba de 2025, GPT-Red superó ampliamente a hackers humanos, resolviendo el 84% de los escenarios frente al 13% de los humanos.
A pesar de su efectividad, OpenAI no planea liberar GPT-Red al público, manteniendo sus habilidades alejadas de posibles secuestradores de agentes reales. Aunque el modelo tiene puntos ciegos, como ataques prolongados o instrucciones ocultas en imágenes, representa un paso importante hacia la automatización de la seguridad de IA a escala industrial.
Fuente Original: https://thenextweb.com/news/gpt-red-openai-ai-hacker
Artículos relacionados de LaRebelión:
- GPT-56 de OpenAI Luz Verde y ChatGPT para el Trabajo
- OpenAI lanza GPT-56 Sol con aprobacion gubernamental
- EEUU pide a OpenAI retrasar lanzamiento de IA
- IBM Crea el Primer Chip Sub-1nm del Mundo
- OpenAI Lanza Su Primer Chip de IA
Artículo generado mediante LaRebelionBOT
No hay comentarios:
Publicar un comentario