El repositorio de modelos de IA más grande del mundo abrazando la cara violada por un agente de IA autónomo – CYBERDEFENSA.MX
En un giro irónico, la plataforma de inteligencia artificial (IA) de código abierto Hugging Face reveló que fue víctima de un ataque perpetrado por un sistema autónomo de agentes de IA.
La compañía dijo que detectó y respondió al incidente que tuvo como objetivo su infraestructura de producción a principios de la semana pasada.
«Identificamos acceso no autorizado a un conjunto limitado de conjuntos de datos internos y a varias credenciales utilizadas por nuestros servicios», dijo la empresa. dicho en un comunicado.
Si bien la investigación sobre la intrusión continúa en curso, Hugging Face dijo que no ha encontrado evidencia de que el agente de IA haya manipulado modelos, conjuntos de datos o espacios públicos orientados al usuario, ni su propia cadena de suministro de software.
El punto de partida del ataque fue el proceso de procesamiento de datos en sí, con un conjunto de datos malicioso que abusaba de dos rutas de ejecución de código, a saber, en su cargador de conjunto de datos de código remoto y una inyección de plantilla en una configuración de conjunto de datos, para ejecutar código en un trabajador de procesamiento.
Con ese acceso, se dice que el actor de amenazas escaló al acceso a nivel de nodo, recopiló credenciales de nube y clúster y se movió lateralmente a varios clústeres internos durante un fin de semana.
El modelo de lenguaje grande (LLM) exacto utilizado para llevar a cabo el ataque no está claro, pero la campaña fue ejecutada por un marco de agente autónomo que realizaba «muchos miles de acciones individuales a través de un enjambre de entornos limitados de corta duración, con comando y control automigratorio organizado en servicios públicos».
Hugging Face dijo que desde entonces ha abordado la causa raíz del problema, precisamente las vías de ejecución del código utilizadas para el acceso inicial. Tambien llevo a cabo las siguientes medidas de remediacion:
- Se eliminó el punto de apoyo del atacante en los clústeres afectados y se reconstruyeron los nodos comprometidos.
- Se revocaron y rotaron las credenciales y tokens afectados, y se llevó a cabo una rotación más amplia de secretos como medida de precaución.
- Implementó barreras de seguridad adicionales y controles de admisión más estrictos en sus grupos.
- Detección y alertas mejoradas para garantizar que los socorristas reciban notificaciones en cuestión de minutos, 24 horas al día, 7 días a la semana.
Como medida de seguridad adicional, Hugging Face insta a los clientes a rotar los tokens de acceso y revisar la actividad reciente en sus cuentas.
La compañía también dijo que recurrió a Z.ai. GLM 5.2un modelo chino de peso abierto, para realizar el análisis forense después de que los modelos de la frontera occidental rechazaran solicitudes que contenían comandos de ataque reales, cargas útiles de explotación y artefactos de comando y control (C2) porque se activaron sus barreras de seguridad y su incapacidad para diferenciar entre un atacante y un esfuerzo legítimo de respuesta a incidentes.
«Esta experiencia apunta a una brecha que vale la pena planificar», afirmó la empresa con sede en Nueva York. «No sabemos qué modelo impulsó a los agentes del atacante, si un modelo alojado con jailbreak o uno de peso abierto sin restricciones; de cualquier manera, el atacante estaba sujeto a una política de no uso, mientras que nuestro propio trabajo forense fue bloqueado por las barreras de los modelos alojados que probamos por primera vez».
«La lección práctica para los defensores: tener un modelo capaz que pueda ejecutar en su propia infraestructura, examinado y listo antes de un incidente, tanto para evitar el bloqueo de la barrera como para evitar que los datos y credenciales del atacante abandonen su entorno».
