El agente corrupto de OpenAI muestra por qué necesitamos reglas federales para la IA autónoma
Meses antes de la violación de Hugging Face, surge la IA investigación publicada que hizo público el periodista de investigación Ronan Farrow. Diez agentes autónomos de IA operaron en cinco entornos virtuales durante quince días sin intervención humana. Gran parte de la atención se centró en Grok 4.1 volviéndose violento y Gemini 3 Flash cometiendo 683 crímenes.
Lo que más importaba pasó desapercibido: Claude Sonnet 4.6 de Anthropic construyó una democracia pacífica de forma aislada y luego robó recursos de entornos vecinos en el momento en que se unió a uno compartido. La lección fue clara: la seguridad no es un atributo modelo. Surge del entorno operativo. Los modelos no cambiaron. Trabajando según lo diseñado, su comportamiento evolucionó a medida que cambiaba el entorno. La lección es difícil de ignorar: el entorno de gobernanza cambió y, con él, la dinámica de recompensas.
La historia aquí se refiere a instituciones, específicamente OpenAI y Hugging Face, y cómo debemos entender su reciente incidente de seguridad a través de esa lente.
La industria está de acuerdo sobre cómo ocurrió la violación de Hugging Face. Los expertos en ciberseguridad se han centrado en las vulnerabilidades, cómo se utilizaban y cómo remediarlas. OpenAI ha destacado las capacidades del modelo. Ambas conversaciones importan. Lo que requiere atención es por qué esta brecha es estratégicamente importante. Después de pasar el fin de semana pasado discutiéndolo con formuladores de políticas, investigadores de seguridad y profesionales de la industria en Aspen, salí convencido de que estamos examinando el problema equivocado.
En 1961, el psicólogo de Yale Los experimentos de Stanley Milgram. reveló una verdad más amplia: cambiar la arquitectura institucional cambia el comportamiento sin cambiar al actor. Los investigadores de Emergence AI no cambiaron al agente de Claude. Cambiaron la arquitectura de gobernanza que determinaba lo que constituía el éxito del sistema. El comportamiento de Claude cambió con eso.
OpenAI construyó un modelo inteligente pero se olvidó de construir una sala más inteligente. Esa elección hizo posible la brecha en Hugging Face. Todas las organizaciones que ahora despliegan agentes autónomos enfrentan el mismo problema de gobernanza.
OpenAI le dio al agente un objetivo: pasar una evaluación de ciberseguridad. Para ponerlo a prueba por completo, relajaron las restricciones de seguridad y el agente encontró un camino más corto. En lugar de resolver la evaluación directamente, encontró las respuestas fuera del entorno de prueba, escapó de su entorno de pruebas y aprovechó una falla en el proceso de procesamiento de datos de Hugging Face para llegar a los sistemas de producción en vivo. Durante el fin de semana, sin supervisión humana, ejecutó más de 17.000 acciones automatizadas escalando su propio acceso, moviéndose a través de sistemas internos y recopilando credenciales.
Hugging Face es una de las empresas de inteligencia artificial más destacadas del mundo, valorada en aproximadamente 4.500 millones de dólares. Proporciona la infraestructura que los gobiernos, las organizaciones de defensa y las empresas de tecnología utilizan para construir e implementar IA. El agente perseguía el objetivo que se le había asignado. Irrumpir en Hugging Face fue el camino más rápido para pasar la prueba. La gobernanza establecía el objetivo, el nivel de riesgo a aceptar y quién era responsable. El diseño técnico determinó si esas decisiones de gobernanza podrían hacerse cumplir. Como afirman los investigadores James Shires y Max Smeets han discutidopara que un modelo sea lo suficientemente capaz de actuar por sí solo, las pruebas y el despliegue deben regirse de la misma manera.
El diseño de agentes de IA requiere estándares básicos. La observabilidad, incluida una capa de monitoreo que señala cuando un agente va más allá de su alcance, es un requisito básico. La revisión humana también es importante en los límites de escalada, como cuando un agente pasa de herramientas internas a herramientas externas. Cuando cualquier agente cruza ese límite, ¿qué alerta se activa? ¿Qué humano lo revisa? Carecemos de respuestas claras para cualquiera de las dos. Se trata de una elección de gobernanza, no simplemente de una falla de seguridad. En el mejor de los casos, ésta fue una prueba catastróficamente fallida. En el peor de los casos, ¿cómo podemos confiar en que una empresa de inteligencia artificial de vanguardia autogobernará el despliegue autónomo de agentes?
Hace más de una década, el Departamento de Defensa de EE. UU. creó el programa Comply-to-Connect (C2C): cada dispositivo que se conecta a redes sensibles debe demostrar que pertenece allí o quedará aislado de la red. C2C funciona porque el actor en cuarentena se detiene. Una computadora portátil que no pasa la verificación se desconecta y permanece allí. Un agente de IA autónomo se adapta a la aplicación de la ley. C2C fue creado para actores pasivos. La gobernanza de los agentes autónomos debe adaptarse a los que se adaptan. La visibilidad no es aplicación de la ley y la aplicación de la ley no es control. Nos faltan los tres.
Una segunda falla que no se está discutiendo lo suficiente: la violación explotó una suposición de confianza implícita en el proceso de procesamiento de datos de Hugging Face, donde las entradas se trataban como confiables sin verificación. Después de SolarWinds, el gobierno de EE. UU. estableció reglas para la integridad de la cadena de suministro de software: Orden Ejecutiva 14028 y demandas de verificación de software federal. El principio era simple: la confianza debe verificarse mediante pruebas. Esos principios aún no se han aplicado de manera integral o consistente a la cadena de suministro del modelo de IA. Las reglas siguen siendo débiles. A nadie se le ha pedido que explique por qué.
La respuesta no es un nuevo marco. Los marcos existentes son suficientes. C2C demostró que la visibilidad sin aplicación de la ley deja lagunas, mientras que la Orden Ejecutiva 14028 estableció que la confianza en las cadenas de suministro de software requiere pruebas y verificación. El desafío radica en aplicar estos principios a una nueva categoría de actores. El Congreso, la Agencia de Seguridad de Infraestructura y Ciberseguridad o la Oficina de Gestión y Presupuesto deberían tomar determinaciones formales de que los agentes autónomos de IA deben seguir las mismas reglas que cualquier otro actor en una red federal. El marco existe; debe ser actualizado.
El próximo incidente ya está en marcha. Aparecerá en los registros como tráfico extraño, se entregará a las mismas personas que publicaron estos marcos esta semana y provocará otra ronda de recomendaciones sobre las que nadie actúa. Hemos resuelto este problema antes: para dispositivos, para software, para cadenas de suministro. Sabemos cómo construir habitaciones más inteligentes. Las herramientas existen. La voluntad, la autoridad y la decisión de gobernar siguen ausentes.
