El gobierno de EE. UU. y sus aliados publican orientación sobre cómo implementar agentes de IA de forma segura
Las agencias de ciberseguridad de Estados Unidos, Australia, Canadá, Nueva Zelanda y el Reino Unido publicaron conjuntamente el viernes una guía instando a las organizaciones a tratar los sistemas autónomos de inteligencia artificial como una preocupación central de ciberseguridad, advirtiendo que la tecnología ya se está implementando en sectores críticos de infraestructura y defensa con salvaguardias insuficientes.
La guía se centra en la IA agente: software construido sobre grandes modelos de lenguaje que pueden planificar, tomar decisiones y realizar acciones de forma autónoma. Para que este software funcione, necesita conectarse a herramientas externas, bases de datos, almacenes de memoria y flujos de trabajo automatizados, lo que le permite ejecutar tareas de varios pasos sin revisión humana en cada etapa.
La guía fue coautora de la Agencia de Seguridad Cibernética y de Infraestructura de EE. UU., la Agencia de Seguridad Nacional, el Centro Australiano de Seguridad Cibernética de la Dirección de Señales de Australia, el Centro Canadiense de Seguridad Cibernética, el Centro Nacional de Seguridad Cibernética de Nueva Zelanda y el Centro Nacional de Seguridad Cibernética del Reino Unido.
El mensaje central de las agencias es que la IA agente no requiere una disciplina de seguridad completamente nueva. Las organizaciones deben incorporar estos sistemas a los marcos de ciberseguridad y las estructuras de gobernanza que ya mantienen, aplicando principios establecidos como confianza cero, defensa en profundidad y acceso con privilegios mínimos.
El documento identifica cinco categorías amplias de riesgo. El primero es el privilegio: cuando a los agentes se les concede demasiado acceso, un solo compromiso puede causar mucho más daño que una vulnerabilidad de software típica. El segundo cubre fallas de diseño y configuración, donde una mala configuración crea brechas de seguridad incluso antes de que un sistema entre en funcionamiento.
La tercera categoría cubre riesgos de comportamiento, o casos en los que un agente persigue un objetivo de maneras que sus diseñadores nunca pretendieron o predijeron. El cuarto es el riesgo estructural, donde las redes interconectadas de agentes pueden desencadenar fallas que se extienden a través de los sistemas de una organización.
La quinta categoría es la rendición de cuentas. Los sistemas agentes toman decisiones a través de procesos que son difíciles de inspeccionar y generan registros que son difíciles de analizar, lo que dificulta rastrear qué salió mal y por qué. Las agencias también señalan que cuando estos sistemas fallan, las consecuencias pueden ser concretas: archivos alterados, controles de acceso modificados y pistas de auditoría eliminadas.
La guía también señala la inyección rápida, donde las instrucciones incrustadas dentro de los datos pueden secuestrar el comportamiento de un agente para realizar tareas maliciosas. La inyección rápida ha sido un problema persistente con los modelos de lenguajes grandes, y algunas empresas admiten que es posible que el problema nunca se resuelva.
La gestión de identidad recibe una atención significativa en todo el documento. Las agencias recomiendan que cada agente lleve una identidad verificada y protegida criptográficamente, utilice credenciales de corta duración y cifre todas las comunicaciones con otros agentes y servicios. Para las acciones de alto impacto, un ser humano debería tener que aprobar, y la guía es explícita en el sentido de que decidir qué acciones requieren esa aprobación es un trabajo para los diseñadores de sistemas, no para el agente.
Las agencias admiten que el campo de la seguridad no se ha puesto al día con la IA agente. Algunos riesgos exclusivos de estos sistemas aún no están cubiertos por los marcos existentes, y la guía exige más investigación y colaboración a medida que la tecnología asume un número creciente de funciones operativas.
«Hasta que las prácticas de seguridad, los métodos de evaluación y los estándares maduren, las organizaciones deben asumir que los sistemas de IA agentes pueden comportarse de manera inesperada y planificar las implementaciones en consecuencia, priorizando la resiliencia, la reversibilidad y la contención de riesgos sobre las ganancias de eficiencia», se lee en la guía.
Puede leer la guía completa a continuación.
