NVIDIA forma una alianza abierta y segura de IA con 37 miembros y el marco NOOA de fuentes abiertas – CYBERDEFENSA.MX

NVIDIA y otras 36 organizaciones han formado la Alianza abierta y segura de IA Desarrollar y compartir tecnologías, técnicas y herramientas abiertas para proteger el software y los agentes de inteligencia artificial (IA).

El grupo de 37 miembros abarca empresas de nube, seguridad, software empresarial e inteligencia artificial, incluidas Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Palo Alto Networks, Red Hat y Linux Foundation.

Su alcance declarado cubre toda la pila de agentes, incluida la identidad, los permisos, el aislamiento, las barreras de seguridad, los registros, los formatos de los modelos, el escaneo multimodelo y los flujos de trabajo de codificación seguros.

El argumento es que los ciberdefensores necesitan modelos de IA que puedan leer, cambiar y ejecutar en su propio hardware, no sólo sistemas cerrados a los que se accede a través de la interfaz de programación de aplicaciones (API) de un proveedor.

El lanzamiento también trae su primera contribución técnica nombrada: Agentes OO de NVIDIA-labs (NOOA)un marco de investigación de Apache 2.0 diseñado para hacer que el comportamiento de los agentes sea más fácil de probar, rastrear, auditar y gobernar. Los materiales de lanzamiento no incluyen un estatuto, una junta directiva, flujos de trabajo técnicos, un cronograma de entrega o un repositorio de alianza compartido, y su sitio web independiente aún está en construcción.

Ciberseguridad

The Hacker News se comunicó con NVIDIA para obtener detalles sobre la gobernanza de la alianza, los compromisos de los miembros y los primeros entregables planificados, y actualizará esta historia con cualquier respuesta.

El primer código viene con una advertencia de zona de pruebas

Un arnés de agente es la capa de software alrededor de un modelo que representa el contexto, ejecuta acciones, gestiona el estado y decide cuándo se realiza una tarea. Bajo NOAesa capa se representa como una clase de Python. Los campos almacenan su estado, los métodos exponen sus capacidades, las cadenas de documentos actúan como mensajes y las anotaciones de tipo definen los contratos que debe seguir el modelo.

Un método que contiene un cuerpo de elipsis, …, se completa en tiempo de ejecución mediante un bucle controlado por un modelo de lenguaje grande (LLM). Un método que contiene Python ordinario sigue siendo un código determinista. La misma estructura permite a los desarrolladores utilizar flujos de trabajo familiares de prueba, seguimiento, control de versiones y refactorización en lugar de dividir el comportamiento del agente en indicaciones, esquemas de herramientas, devoluciones de llamadas y gráficos de flujo de trabajo.

En su propia evaluación, NVIDIA informó que el marco obtuvo una puntuación del 86,8 % en el punto de referencia de redescubrimiento de vulnerabilidades CyberGym L1 utilizando GPT-5.5, con acceso a la red bloqueado y comprobaciones basadas en reglas aplicadas a cada trayectoria.

El repositorio es igualmente directo sobre el riesgo. NOOA se puede configurar para ejecutar Python generado por LLM, que puede transmitir datos privados, eliminar archivos o modificar su entorno. Sus comprobaciones de árbol de sintaxis abstracta y listas de denegación de módulos se describen como controles de defensa en profundidad, «no como un límite de contención».

NVIDIA sitúa la contención fuera del propio NOOA. Los agentes que ejecutan código generado deben ejecutarse detrás de un aislamiento a nivel de sistema operativo, como un contenedor, una máquina virtual o su entorno de pruebas OpenShell. NOOA proporciona inspección y rastreo; el entorno limitado a nivel del sistema operativo es el límite de contención.

Una revisión del repositorio público realizada el 27 de julio encontró una etiqueta v0.0.6 fechada el 22 de julio. guía de lanzamiento dice que etiquetar una confirmación es la ceremonia de lanzamiento y que adjuntar ruedas integradas a una versión de GitHub separada es opcional.

Es guía de contribución dice que NVIDIA mantiene el desarrollo y que se aceptan contribuciones externas a través de solicitudes de extracción. El repositorio no tenía ningún archivo de hoja de ruta ni de gobernanza a nivel raíz.

El incidente de la cara de abrazo se convirtió en el argumento

NVIDIA vinculó el caso de la alianza a favor de modelos defensivos controlados localmente con la Intrusión de julio en Hugging Facedonde un sistema de agentes autónomos comprometió partes de la infraestructura de producción de la empresa.

Hugging Face identificó el acceso no autorizado a un conjunto limitado de conjuntos de datos internos y varias credenciales utilizadas por sus servicios. No encontró evidencia de manipulación de modelos públicos, conjuntos de datos, espacios, imágenes de contenedores o paquetes publicados.

Hugging Face dijo que el acceso inicial a su entorno se produjo a través de un conjunto de datos malicioso que abusaba de un cargador de conjuntos de datos de código remoto y de la inyección de plantillas en una configuración de conjunto de datos. La actividad avanzó hacia el acceso a nodos, la recopilación de credenciales y el movimiento lateral a través de varios grupos internos.

Hugging Face dijo que ejecutó agentes de análisis impulsados ​​por LLM en más de 17.000 acciones registradas para reconstruir la línea de tiempo, extraer indicadores de compromiso y mapear las credenciales que habían sido tocadas. Las API de modelo de frontera alojadas comercialmente rechazaron inicialmente los comandos de ataque, las cargas útiles de explotación y los artefactos de comando y control necesarios para el análisis.

En cambio, la compañía ejecutó el modelo GLM 5.2 de peso abierto en su propia infraestructura, que también mantuvo los datos del ataque y las credenciales de referencia dentro de su entorno. Su consejo operativo fue «tener un modelo capaz que pueda ejecutar en su propia infraestructura, examinado y listo antes de un incidente».

En este caso, la ventaja era el control operativo. El incidente no establece un modelo de apertura como sustituto de la identidad, el aislamiento o la contención.

Como informó anteriormente The Hacker News, OpenAI más tarde dicho su investigación preliminar encontró que GPT-5.6 Sol y un modelo previo al lanzamiento más capaz causaron el incidente mientras operaba con rechazos cibernéticos reducidos durante una evaluación interna de ExploitGym.

La divulgación de OpenAI describe un paso anterior en la cadena. Los modelos explotaron una vulnerabilidad de día cero en un proxy de caché de registro de paquetes alojado internamente para obtener acceso a Internet. Luego encadenaron vulnerabilidades y credenciales robadas en los sistemas OpenAI y Hugging Face mientras buscaban respuestas comparativas. OpenAI dijo que una cadena encontró una ruta de ejecución remota de código en los servidores de Hugging Face.

OpenAI dijo que Hugging Face detectó y detuvo la actividad en su infraestructura y ya había comenzado la contención y la reconstrucción forense cuando las empresas se conectaron.

Las revelaciones principales establecen que el modelo abierto ayudó a Hugging Face a reconstruir la intrusión y respaldó su respuesta. No muestran que GLM 5.2 haya detectado, detenido o contenido la infracción de forma independiente.

Una coalición sin manual de funcionamiento público

La alianza sigue un 24 de julio carta de la industria argumentando que los modelos descargables brindan a los defensores capacidades comparables a las de los atacantes, reducen la dependencia de proveedores individuales y permiten que el trabajo sensible permanezca en la infraestructura controlada por el usuario.

OpenAI, Google y Meta aparecen entre los firmantes de la carta, pero no figuran en la lista inaugural de miembros de la alianza. Anthropic no aparece en ninguna de las listas al 27 de julio de 2026.

Ciberseguridad

La plantilla por sí sola no explica esas ausencias. Firmar la carta de política y unirse a una coalición técnica son compromisos diferentes, y los materiales públicos no dicen por qué esas empresas están ausentes, si se están llevando a cabo discusiones sobre membresía o qué miembros deben contribuir para unirse.

Varias tecnologías citadas en el anuncio son anteriores a la coalición, incluida Hugging Face. tensores de seguridad formato de modelo, respaldado por HPE SPIFFE/SPIRE identidad de carga de trabajo, IBM y Red Hat Pozo de luz sistema de remediación, Microsoft MDASH arnés de seguridad multimodelo y el agente de codificación Grok Build de SpaceXAI. Son proyectos de miembros, no productos creados por alianzas.

Elástico dijo que contribuirá con investigación, herramientas y conocimiento arquitectónico en materia de seguridad, búsqueda, observabilidad y detección impulsada por IA. Multitud de huelga dijo que está desarrollando técnicas que utilizan modelos abiertos para detectar ataques contra sistemas y agentes de inteligencia artificial.

El Fundación Linux se describió a sí mismo como un socio inaugural y dijo que su función es proporcionar un lugar neutral para que las organizaciones competidoras colaboren. No indicó que la alianza esté alojada o gobernada formalmente como un proyecto de la Fundación Linux.

El registro público no distingue entre miembros que asignan ingenieros para el trabajo conjunto, contribuyen a proyectos existentes o respaldan la dirección de la coalición. Los flujos de trabajo publicados, los mantenedores, los procesos de lanzamiento o el código gobernado conjuntamente harían que el nivel de participación conjunta fuera más fácil de evaluar.

Por ahora, el registro público muestra una coalición, una posición política, varios compromisos de los miembros y una nueva versión de código identificable mantenida por NVIDIA, NOOA. La gobernanza de la alianza, la hoja de ruta conjunta, el primer entregable de varios miembros y los modelos, pesos y conjuntos de datos prometidos por NVIDIA siguen sin revelarse.

npm 12 deshabilita la instalación de scripts de forma predeterminada para reducir el riesgo de la cadena de suministro – CYBERDEFENSA.MX

GitHub tiene oficialmente anunciado el lanzamiento de npm versión 12 con los scripts de instalación deshabilitados de forma predeterminada, junto con los tokens de acceso granular (GAT) en desuso diseñados para evitar la autenticación de dos factores (2FA).

La subsidiaria propiedad de Microsoft señaló que los siguientes comportamientos de instalación de npm que solían ejecutarse automáticamente antes se han habilitado:

  • El valor predeterminado de enableScripts está desactivado, lo que significa que los scripts del ciclo de vida de la dependencia (es decir, preinstalación, instalación, postinstalación) y las compilaciones implícitas de node-gyp ya no se ejecutan a menos que se permitan explícitamente.
  • –allow-git tiene el valor predeterminado none, lo que significa que –allow-git tiene el valor predeterminado none: las dependencias de Git (directas o transitivas) ya no se resuelven a menos que se permitan explícitamente.
  • –allow-remote tiene el valor predeterminado none, lo que significa que las dependencias de URL remotas (por ejemplo, archivos tar https) ya no se resuelven a menos que se permitan explícitamente.

Para revisar y aprobar scripts confiables, ahora los usuarios deben ejecutar: «npm aprobar-scripts –allow-scripts-pending» y luego confirmar la lista de permitidos resultante en el archivo «package.json».

Ciberseguridad

Vale la pena señalar que estos cambios se obtuvieron una vista previa el mes pasado, y GitHub recomendó a los desarrolladores actualizar a npm 11.16.0 o más reciente, ejecutar el comando de instalación normal y revisar las advertencias mostradas.

La última versión de npm también introduce dos nuevos cambios:

  • Los GAT de npm configurados para omitir 2FA ya no podrán realizar acciones confidenciales de administración de cuentas, paquetes y organizaciones. Esto incluye crear o eliminar tokens, generar códigos de recuperación y cambiar la contraseña de la cuenta npm, el correo electrónico, el perfil o la configuración 2FA, cambiar el acceso a los paquetes, los mantenedores o la configuración de publicación confiable, y administrar la membresía de la organización y el equipo, así como sus concesiones de paquetes.
  • Los GAT de npm ya no conservarán la capacidad de publicar directamente. Su superficie de publicación se limitará a leer paquetes privados y realizar una publicación, donde un paquete solo se vuelve público después de la aprobación humana de 2FA.

Se espera que el primero de los dos cambios entre en vigor a principios de agosto de 2026. Mientras tanto, se recomienda dejar de usar tokens de derivación de 2FA para las operaciones antes mencionadas y realizarlas de forma interactiva con 2FA. El segundo cambio está previsto para enero de 2027.

«Para prepararse, planee trasladar la publicación automatizada a una publicación confiable (OIDC) o una publicación por etapas con un paso de aprobación humana, en lugar de un token de publicación de larga duración», dijo GitHub.

Ciberseguridad

El desarrollo llega como pnpm 11.10. presenta una nueva configuración «_auth» para configurar la autenticación del registro como un valor único estructurado con clave URL.

«El beneficio de seguridad es que la credencial y el host al que pertenece viajan juntos, y pnpm lee _auth solo desde el entorno o la configuración global, nunca desde los archivos de un proyecto», Socket explicado.

«Eso significa que un pnpm-workspace.yaml o .npmrc malicioso o comprometido dentro de un repositorio no puede apuntar un token válido a un host diferente. Un archivo de proyecto manipulado es una forma común en que los atacantes consiguen un punto de apoyo, y redirigir un token de registro es una ruta directa para robarlo, por lo que cerrar esa ruta elimina la exposición».

Un caso sobre cómo dar forma a las 'listas de ingredientes' para los modelos de IA

Un documento de política publicado el martes aboga por listas de materiales de software (SBOM) para inteligencia artificial como un mecanismo para reducir el riesgo cibernético y mejorar la transparencia, y busca brindar a los legisladores, agencias federales y otros una hoja de ruta sobre cómo proceder.

El SBOM, comúnmente descrito como un inventario de ingredientes de software, surgió en la década de 2010 y se ha expandido más allá del software para incluir hardware e inteligencia artificial.

Pero el papel del Instituto de Seguridad y Tecnología, sobre el cual CyberScoop es el primero en informar, sostiene que los AIBOMS requieren un trabajo fundamental antes de que puedan implementarse ampliamente. Esto se produce cuando algunas empresas ya ofrecen servicios de AIBOM y otras organizaciones están dando forma activamente a la política de AIBOM.

«Lo que nos preocupa es que terminemos en una situación de 'disparar, preparar, apuntar' en la que todos lo hacían, pero todos hacíamos cosas ligeramente diferentes», dijo el coautor del artículo, Allan Friedman, quien ha trabajado en SBOM en múltiples funciones del gobierno de EE. UU. «Si no tenemos una visión compartida, resulta mucho más difícil tener una política coherente. Se vuelve mucho más difícil tener herramientas comunes y datos interoperables y se vuelve mucho más difícil utilizar los datos que estamos rastreando para cumplir la promesa de transparencia de la cadena de suministro».

La idea del documento surgió de conversaciones con asesores de Hill y personal del Pentágono, dijo Friedman, y personas como ellos también son el público objetivo.

Una premisa clave es que la política de AIBOM debe explorar el tema desde dos lados.

“¿Cómo se resuelve el problema del huevo y la gallina, en el que nadie proporciona los datos, por lo que nadie los solicita, y nadie los solicita, por lo que nadie los proporciona?” Friedman dijo a CyberScoop. «La respuesta es que hay que partir tanto de la oferta como de la demanda».

Por el lado de la oferta, “un AIBOM debería capturar detalles relevantes sobre los modelos y conjuntos de datos utilizados para entrenamiento, ajuste, evaluación, validación, prueba, recuperación, conexión a tierra, aumento u otros fines operativos o de desarrollo de modelos”, sugiere el documento.

«El lado de la demanda comienza con alguna forma de función forzada o requisito de que las organizaciones comprendan lo que hay en los productos que fabrican y venden», afirma, siendo uno de esos requisitos potencialmente un mandato de la industria para exigir el seguimiento de los componentes del sistema, por ejemplo, como los estándares «ligeros» utilizados en la industria de tarjetas de pago sobre seguridad de datos que no son demasiado exactos sobre cómo se deben rastrear los componentes.

Pero también podría incluir regulaciones gubernamentales o condiciones de contratación, sostiene Friedman con su colega del Instituto de Seguridad y Tecnología, Nick Leiserson. (El alcance de las directivas gubernamentales sobre IA es un tema de considerable debate en el Capitolio y dentro de la administración Trump en este momento).

Friedman dijo que el documento no pretende ser el final de todo y reconoció el trabajo previo de organizaciones como Open Worldwide Application Security Project (OWASP) y Linux Foundation.

«No estamos diciendo que este sea un tema completamente nuevo, ni tampoco que AIBOM resolverá todos los problemas de seguridad de la IA», dijo. «He estado luchando por SBOM durante una década. Ya sabes, SBOM no recogerá tu ropa de la tintorería».

Y como la IA continúa evolucionando rápidamente, eso significa que artículos como el publicado el martes están apenas al comienzo de la discusión, dijo Friedman.

Tim Starks

Escrito por Tim Starks

Tim Starks es reportero senior de CyberScoop. Sus paradas anteriores incluyen trabajar en The Washington Post, POLITICO y Congressional Quarterly. Originario de Evansville, Indiana, se ocupa de la ciberseguridad desde 2003. Envíe un correo electrónico a Tim aquí: tim.starks@cyberscoop.com.

GitHub deshabilitará los scripts de instalación de npm de forma predeterminada para detener los ataques a la cadena de suministro

GitHub tiene anunciado lo que dijo son «cambios importantes» que llegarán a la versión 12 de npm, uno de los cuales desactiva los scripts de instalación de forma predeterminada para combatir las amenazas a la cadena de suministro de software.

Los cambios tienen como objetivo combatir las técnicas de ataque que abusan del comando «npm install» para desencadenar la ejecución de código malicioso utilizando ganchos del ciclo de vida de npm. «Npm install» se utiliza para descargar e instalar todas las dependencias necesarias para un proyecto Node.js. La versión 12 está prevista para su lanzamiento el próximo mes.

Al describir los scripts del ciclo de vida en el momento de la instalación como la «superficie de ejecución de código más grande en el ecosistema npm», GitHub dicho el comando «npm install» ejecuta scripts de cada dependencia transitiva, como resultado de lo cual un único paquete comprometido en cualquier parte del árbol de dependencias puede ejecutar código arbitrario en una máquina de desarrollo o en un ejecutor de CI.

Ciberseguridad

Al bloquear tales comportamientos, la idea es requerir la aprobación explícita del usuario antes de que la ejecución del código se inicie automáticamente durante la «instalación npm», en lugar de ser confiable de forma predeterminada. «Hacer la opción de ejecución de script cierra ese camino y lo mantiene a un comando de distancia para los paquetes en los que confía», dijo GitHub.

Los cambios se enumeran a continuación:

  • npm install ya no ejecutará scripts de preinstalación, instalación o postinstalación desde dependencias a menos que estén permitidos explícitamente en el proyecto.
  • npm install ya no resolverá las dependencias de Git, ya sean directas o transitivas, a menos que se permita explícitamente a través de –allow-git.
  • npm install ya no resolverá dependencias de URL remotas, como archivos tar https, a menos que se permita explícitamente a través de –allow-remote.

«Esto incluye compilaciones nativas de node-gyp (es decir, un paquete con un enlace.gyp y sin un script de instalación explícito aún se bloquea, porque npm ejecuta una reconstrucción implícita de node-gyp)», dijo la subsidiaria propiedad de Microsoft sobre los cambios en el comportamiento predeterminado de «allowScripts». «Preparar scripts desde git, las dependencias de archivos y enlaces se bloquean de la misma manera».

Al establecer «–allow-git» en «none» de forma predeterminada, la configuración cierra una ruta de ejecución de código donde el archivo de configuración .npmrc de una dependencia de Git utilizado podría anular el ejecutable de Git, incluso con –ignorar-scriptsuna marca que evita que los paquetes especificados en un archivo package.json ejecuten automáticamente scripts de ciclo de vida integrados durante el proceso de instalación.

Ciberseguridad

GitHub recomienda que los desarrolladores se preparen para estos cambios actualizando a npm 11.16.0 o posterior, ejecutando la instalación normal y revisando las advertencias mostradas.

«Utilice npm aprobar-scripts –allow-scripts-pending para ver qué paquetes tienen scripts, aprobar aquellos en los que confía y confirmar el paquete.json actualizado», agregó. «Después de eso, sólo los scripts que usted aprobó seguirán ejecutándose una vez que actualice. Todo lo que deje sin aprobar se detendrá».

A principios de este año, npm también introdujo «min-release-age», una configuración que le dice a npm que rechace cualquier versión de paquete publicada menos de un número específico de días como protección contra paquetes maliciosos recientemente publicados.

CISA quiere que la infraestructura crítica funcione 'semanas o meses' de forma aislada durante el conflicto

La Agencia de Seguridad de Infraestructura y Ciberseguridad insta a los propietarios y operadores de infraestructuras críticas a planificar la prestación de servicios esenciales en condiciones de emergencia, potencialmente durante meses seguidos.

La principal agencia de ciberseguridad del gobierno federal advirtió que los piratas informáticos patrocinados por el estado, en particular dos grupos chinos conocidos como Salt Typhoon y Volt Typhoon, continúan amenazando sectores críticos como la electricidad, el agua e Internet.

La agencia ahora está trabajando con el sector privado para proteger la tecnología operativa (los sistemas que controlan la maquinaria pesada y el equipo que alimenta la infraestructura más crítica) de ataques que ingresan a través de sistemas de TI comerciales o productos de proveedores externos.

La iniciativa conocido como CI Fortify – incluirá que CISA realice evaluaciones técnicas específicas de entidades de infraestructura crítica y tiene como objetivo crear planes que “permitan operaciones seguras durante semanas o meses mientras están aislados” de redes de TI y herramientas de terceros, según el sitio web de la agencia.

Nick Andersen, director interino de CISA, dijo a los periodistas que el objetivo es «la prestación de servicios [that] aún puede llegar a la infraestructura crítica después de que el propietario del activo se haya desconectado de TI y OT, de proveedores externos y conexiones de proveedores de servicios y de equipos de telecomunicaciones de terceros”.

En los últimos dos años, las guerras en Ucrania, Gaza, Irán y otros lugares han visto plantas acuáticas, subestaciones eléctricas, centros de datos y otras infraestructuras críticas dirigido por cinéticos o ciberataques.

Andersen dijo que la agencia ya ha comenzado a colaborar con algunas empresas para poner a prueba las evaluaciones y espera que el trabajo aumente considerablemente a medida que CISA contrate personal adicional en los próximos meses.

Se negó a nombrar las entidades involucradas en el programa piloto, pero dijo que se centrarán en organizaciones que apoyan la seguridad nacional, la defensa, la salud y seguridad públicas y la continuidad económica. Añadió que las evaluaciones de CISA variarán de un sector a otro dependiendo de sus necesidades únicas.

«El agua no está necesariamente diseñada para priorizar las necesidades específicas de los clientes fuera de los períodos de recuperación, mientras que la energía y el transporte tienen compensaciones más inmediatas al seleccionar una carga o un conjunto de carga sobre otro», dijo Andersen como ejemplo.

Un pilar de la estrategia de CISA es el aislamiento: esencialmente apagar todas las conexiones de redes comerciales y de terceros a una red OT cuando se enfrenta una emergencia o una vulnerabilidad desconocida.

Las organizaciones también necesitan desarrollar un plan interno sobre cómo serían los niveles de servicio aceptables en esas condiciones y llegar a entendimientos con sus clientes críticos, como las instalaciones militares de EE. UU. y los servicios de salvamento.

El segundo pilar, la recuperación, implica las mejores prácticas para las organizaciones: realizar copias de seguridad de archivos, documentar sistemas y realizar copias de seguridad manuales para las operaciones cuando los sistemas informáticos normales no funcionan.

En conversaciones con especialistas en ciberseguridad que se centran en infraestructura crítica y tecnología operativa, se supone ampliamente que China no es la única nación que ha comprometido ampliamente la infraestructura crítica de los estadounidenses. Que es casi seguro que los grupos de hackers vinculados a otras naciones hayan notado y explotado las mismas vulnerabilidades básicas y problemas de higiene encontrados por los tifones.

Agencias como el FBI y la Comisión Federal de Comunicaciones han promocionado esfuerzos para purgar a los piratas informáticos chinos y trabajar voluntariamente con las empresas de telecomunicaciones para reforzar la seguridad de sus redes. Pero los funcionarios de seguridad nacional y los defensores de la ciberseguridad de EE. UU. han dicho constantemente que tanto Salt Typhoon como Volt Typhoon siguen siendo amenazas activas para la infraestructura crítica de EE. UU.

Derek B. Johnson

Escrito por Derek B. Johnson

Derek B. Johnson es reportero de CyberScoop, donde su área incluye la ciberseguridad, las elecciones y el gobierno federal. Antes de eso, ha brindado una cobertura galardonada de noticias sobre ciberseguridad en los sectores público y privado para varias publicaciones desde 2017. Derek tiene una licenciatura en periodismo impreso de la Universidad de Hofstra en Nueva York y una maestría en políticas públicas de la Universidad George Mason en Virginia.

El gobierno de EE. UU. y sus aliados publican orientación sobre cómo implementar agentes de IA de forma segura

Las agencias de ciberseguridad de Estados Unidos, Australia, Canadá, Nueva Zelanda y el Reino Unido publicaron conjuntamente el viernes una guía instando a las organizaciones a tratar los sistemas autónomos de inteligencia artificial como una preocupación central de ciberseguridad, advirtiendo que la tecnología ya se está implementando en sectores críticos de infraestructura y defensa con salvaguardias insuficientes.

La guía se centra en la IA agente: software construido sobre grandes modelos de lenguaje que pueden planificar, tomar decisiones y realizar acciones de forma autónoma. Para que este software funcione, necesita conectarse a herramientas externas, bases de datos, almacenes de memoria y flujos de trabajo automatizados, lo que le permite ejecutar tareas de varios pasos sin revisión humana en cada etapa.

La guía fue coautora de la Agencia de Seguridad Cibernética y de Infraestructura de EE. UU., la Agencia de Seguridad Nacional, el Centro Australiano de Seguridad Cibernética de la Dirección de Señales de Australia, el Centro Canadiense de Seguridad Cibernética, el Centro Nacional de Seguridad Cibernética de Nueva Zelanda y el Centro Nacional de Seguridad Cibernética del Reino Unido.

El mensaje central de las agencias es que la IA agente no requiere una disciplina de seguridad completamente nueva. Las organizaciones deben incorporar estos sistemas a los marcos de ciberseguridad y las estructuras de gobernanza que ya mantienen, aplicando principios establecidos como confianza cero, defensa en profundidad y acceso con privilegios mínimos.

El documento identifica cinco categorías amplias de riesgo. El primero es el privilegio: cuando a los agentes se les concede demasiado acceso, un solo compromiso puede causar mucho más daño que una vulnerabilidad de software típica. El segundo cubre fallas de diseño y configuración, donde una mala configuración crea brechas de seguridad incluso antes de que un sistema entre en funcionamiento.

La tercera categoría cubre riesgos de comportamiento, o casos en los que un agente persigue un objetivo de maneras que sus diseñadores nunca pretendieron o predijeron. El cuarto es el riesgo estructural, donde las redes interconectadas de agentes pueden desencadenar fallas que se extienden a través de los sistemas de una organización.

La quinta categoría es la rendición de cuentas. Los sistemas agentes toman decisiones a través de procesos que son difíciles de inspeccionar y generan registros que son difíciles de analizar, lo que dificulta rastrear qué salió mal y por qué. Las agencias también señalan que cuando estos sistemas fallan, las consecuencias pueden ser concretas: archivos alterados, controles de acceso modificados y pistas de auditoría eliminadas.

La guía también señala la inyección rápida, donde las instrucciones incrustadas dentro de los datos pueden secuestrar el comportamiento de un agente para realizar tareas maliciosas. La inyección rápida ha sido un problema persistente con los modelos de lenguajes grandes, y algunas empresas admiten que es posible que el problema nunca se resuelva.

La gestión de identidad recibe una atención significativa en todo el documento. Las agencias recomiendan que cada agente lleve una identidad verificada y protegida criptográficamente, utilice credenciales de corta duración y cifre todas las comunicaciones con otros agentes y servicios. Para las acciones de alto impacto, un ser humano debería tener que aprobar, y la guía es explícita en el sentido de que decidir qué acciones requieren esa aprobación es un trabajo para los diseñadores de sistemas, no para el agente.

Las agencias admiten que el campo de la seguridad no se ha puesto al día con la IA agente. Algunos riesgos exclusivos de estos sistemas aún no están cubiertos por los marcos existentes, y la guía exige más investigación y colaboración a medida que la tecnología asume un número creciente de funciones operativas.

«Hasta que las prácticas de seguridad, los métodos de evaluación y los estándares maduren, las organizaciones deben asumir que los sistemas de IA agentes pueden comportarse de manera inesperada y planificar las implementaciones en consecuencia, priorizando la resiliencia, la reversibilidad y la contención de riesgos sobre las ganancias de eficiencia», se lee en la guía.

Puede leer la guía completa a continuación.

Greg Otto

Escrito por Greg Otto

Greg Otto es el editor en jefe de CyberScoop y supervisa todo el contenido editorial del sitio web. Greg ha dirigido una cobertura de ciberseguridad que ha ganado varios premios, incluidos los de la Sociedad de Periodistas Profesionales y la Sociedad Estadounidense de Editores de Publicaciones Empresariales. Antes de unirse a Scoop News Group, Greg trabajó para Washington Business Journal, US News & World Report y WTOP Radio. Tiene una licenciatura en periodismo televisivo de la Universidad de Temple.