Grok Build cargó repositorios Git completos en xAI Storage, no solo los archivos que leyó – CYBERDEFENSA.MX

La CLI de codificación Grok Build de xAI estaba cargando repositorios Git completos, con el historial de confirmación completo y todo, en un depósito de Google Cloud Storage ejecutado por xAI, no solo los archivos que necesitaba una tarea de codificación.

Un investigador que publica como cerebroversión de prueba 0.2.93capturó una de esas cargas, clonó el paquete git de la solicitud interceptada y recuperó un archivo que al agente se le había dicho claramente que no abriera.

La carga se realizó en un canal separado del modelo en sí, y es difícil discutir la división de bytes. En un repositorio de 12 GB de archivos que el modelo nunca leyó, el modelo dirige el tráfico a /v1/responses llegó a aproximadamente 192 KB, mientras que el canal de almacenamiento a /v1/storage movió 5,10 GiB, una brecha de aproximadamente 27.800 veces entre lo que necesitaba el modelo y lo que dejaba la máquina.

Esa carga de almacenamiento se ejecutó en 73 fragmentos de aproximadamente 75 MB, cada uno de los cuales devolvió HTTP 200, y a través del tamaño del investigador barrió el tamaño total del repositorio rastreado. El cubo de destino, grok-code-session-tracesse nombra en binario y en etapas metadata.json cuyas rutas por archivo apuntan a gs://grok-code-session-traces/.

El archivo no leído fue src/_probe/never_read_canary.txtplantado con un marcador único. La clonación del paquete capturado lo recuperó palabra por palabra junto con el historial de confirmación completo del repositorio, y la misma prueba se replicó en un segundo repositorio no relacionado. Las capturas lo que establecen es transmisión, aceptación y almacenamiento, no entrenamiento.

El desmontaje no afirma que xAI esté entrenado en el código, que el personal lo lea o que los archivos ignorados por git siempre sean barridos. Los archivos rastreados más el historial es lo que muestra el cable.

Ciberseguridad

El camino de los secretos es separado y más sencillo. Cuando Grok lee un archivo, su contenido pasa al turno del modelo y se realiza un seguimiento. .env fue con ellos sin redactar, canario API_KEY y DB_PASSWORD valores y todo. El mismo contenido también llegó a un session_state archivo destinado al almacenamiento. Los secretos plantados eran falsos, por lo que no se filtró nada real en la prueba. El comportamiento sigue siendo el problema: un archivo de credenciales que el agente leyó durante una tarea salió y se almacenó sin redacción.

La configuración que elegirían la mayoría de los desarrolladores no hizo nada aquí. Con «Mejorar el modelo» desactivado, Grok aún cargó el repositorio y el propio servidor. /v1/settings la respuesta seguía regresando trace_upload_enabled: true. Esa palanca determina si sus datos entrenan el modelo. No rige si su código sale de la máquina. Son dos controles diferentes y sólo uno de ellos estuvo expuesto al usuario.

Cada agente de codificación en la nube tiene que enviar alguna fuente a un modelo remoto para realizar su trabajo, por lo que se espera el primer canal. Enviar todo el repositorio rastreado y su historial es un límite más amplio que enviar los archivos que necesita una tarea.

Un repositorio puede contener código propietario, URL internas, datos de clientes y credenciales que se eliminaron del árbol de trabajo pero que aún se encuentran en el historial de confirmaciones. En propia comparación de herramientas cruzadas de cereblabClaude Code y Codex no enviaron ningún paquete de repositorio; Gemini no envió ninguno en una prueba inactiva, aunque su ejecución de tarea realista fue bloqueada por cuotas antes de terminar.

Grok Build fue el caso atípico. Siguen siendo herramientas en la nube que envían los archivos que abren, por lo que «solo local» es el modelo mental incorrecto para cualquiera de ellas. Pero la recolección al por mayor del espacio de trabajo era específica de Grok Build.

La respuesta de xAI

El 13 de julio lo mismo. 0.2.93 El binario dejó de realizar solicitudes de almacenamiento. cereblab volvió a realizar la prueba seis veces y no vio nada /v1/storage cargas, y el servidor ahora regresó disable_codebase_upload: true y trace_upload_enabled: false.

El desarrollador Peter Dedene informó que la misma bandera fue devuelta a su cuentapor lo que el cierre no fue solo la observación de una sola máquina del cereblab. El cliente probado permaneció 0.2.93 aunque la configuración de su servidor cambió, se trató de un cambio del lado del servidor, no de una solución enviada en una actualización. xAI no ha confirmado si llega a todas las cuentas o es permanente.

Ciberseguridad

Hasta ahora, xAI ha abordado el problema en X en lugar de mediante un aviso de seguridad o una nota de registro de cambios. El Cuenta @SpaceXAI dijo que los equipos empresariales con retención de datos cero nunca tienen código o datos de seguimiento almacenados, que el uso de claves API respeta ZDR y que los consumidores que no lo han habilitado pueden ejecutar /privacy en la CLI para deshabilitar la retención y eliminar datos previamente sincronizados.

Elon Musk fue más allá, dicho todos los datos de usuario cargados hasta ahora serían «borrados total y absolutamente», sin dejar nada atrás. ZDR cubre equipos empresariales y el uso de API, por lo que para suscriptores individuales el /privacy El comando es el control que se ofrece.

Para cualquiera que ya haya ejecutado la herramienta, la decisión es no esperar a xAI. Rote cualquier credencial que Grok haya podido enviar: cualquier cosa que haya leído, cualquier cosa en un archivo rastreado y cualquier cosa en el historial de git que llevaba el paquete, incluido un secreto que usted confirmó y luego eliminó.

Un archivo que fue ignorado y nunca confirmado quedó fuera del paquete. Uno comprometido avanza en la historia y borrarlo más tarde no lo hace retroceder. Un análisis separado de la compilación 0.2.99. Encontré el código de carga todavía en el binario, retenido por la bandera del servidor, por lo que xAI puede volver a activarlo sin una actualización.

Y todavía no ha dicho por qué se cargaron repositorios completos de forma predeterminada, cuánto tiempo se conservaron o cuántos usuarios se vieron afectados. La exclusión voluntaria de la capacitación no es una promesa de que su código permanecerá fijo, y vale la pena comprobar usted mismo lo que sale de la máquina.

Demanda Deepfake CSAM contra xAI, Grok se expande

Se han agregado dos nuevas partes a una demanda colectiva contra X.ai por su herramienta Grok, incluidos adolescentes y niños que dicen que fue utilizada por familiares u otras personas que conocen para crear material de agresión sexual infantil (CSAM) no consensuado y falso.

La demanda, presentada originalmente en marzo por tres mujeres, fue modificado esta semana para incluir a dos demandantes adicionales, Jane Does 4 y 5, quienes dicen que Grok fue utilizado para crear contenido ilegal basado en sus fotos y videos reales.

Las cinco mujeres en la demanda son anónimas y la denuncia dice que la difusión del material las había dejado humilladas y avergonzadas.

Jane Doe 4, una mujer de Wyoming, dijo que su padrastro subió una foto de ella cuando tenía 11 años y estaba acostada en un sofá frente a su teléfono. Usando Grok, el padrastro creó más de 7.000 imágenes de ella relacionadas con CSAM. También compartió e intercambió las imágenes con otros en plataformas de redes sociales.

La demanda alega que el padrastro optó por Grok «porque la plataforma era menos restrictiva que otros modelos de IA y respondía a sus indicaciones para generar material sexualmente explícito utilizando una imagen que representaba a un menor prepúber».

También afirma que en febrero, xAI generó un aviso al Centro Nacional para Niños Desaparecidos y Explotados con respecto a las imágenes, pero la compañía solo presentó la imagen original y auténtica como prueba. Según la demanda, xAI no respondió cuando las autoridades solicitaron las miles de imágenes generadas por Grok basadas en la foto y la información de la dirección IP que habrían ayudado rápidamente a identificar a su padrastro como el perpetrador.

La demanda afirma que el padrastro se pegó un tiro dos días después de ser arrestado y acusado de delitos de explotación infantil. Su suicidio se sumó a la “crisis personal extrema” provocada por las imágenes creadas a través de Grok. Regularmente «lucha contra el autodesprecio y el disgusto», así como contra la «ansiedad extrema» ante la idea de que otras personas encontrarán las imágenes en línea y sufre de depresión, incluido sueño excesivo e ideas suicidas cuando está despierta.

Jane Doe 5 afirmó que un hombre adulto relacionado con uno de sus compañeros de clase usó Grok para convertir una fotografía de su graduación de octavo grado en material ilícito. Las imágenes también se intercambiaron y compartieron con otras personas en línea. Si bien el hombre fue arrestado y acusado, gran parte del contenido todavía está disponible en Internet. Como resultado, “siente una total falta de control sobre la difusión continua de los archivos”.

«Es imposible saber cuántos otros depredadores sexuales de niños pueden poseer ahora el CSAM de Jane Doe 5, ni cuán ampliamente se ha difundido su CSAM en línea a través de canales y aplicaciones de la red oscura», dice la denuncia.

La oficina de prensa de xAI no respondió a una solicitud de comentarios enviada por correo electrónico por parte de CyberScoop.

La demanda también agrega a Stability AI como demandado, alegando que la compañía lanzó Stable Diffusion 1.0 como un modelo de peso abierto a pesar de saber que estaba entrenado en CSAM y se negó a alterar o modificar sus barreras de seguridad en respuesta.

Según un Estudio de Stanford 2023el conjunto de datos subyacente utilizado para entrenar modelos de difusión estable se creó mediante el rastreo web no guiado de contenido de Internet. Eso significa que ingirió “una cantidad significativa de material explícito”, incluido CSAM. Stable Diffusion 1.0 tenía un clasificador destinado a bloquear la generación de tales imágenes, pero debido a esos datos de entrenamiento, los desarrolladores posteriores podrían explotar más fácilmente el modelo y crear versiones modificadas que eludan esas protecciones.

Si bien Stable Diffusion 2.0 introdujo barreras de seguridad más fuertes, la demanda afirma que Stability AI eliminó esas protecciones en respuesta a los usuarios «descontentos» de que las nuevas restricciones eran «mojigatas» e «impopulares». Esto, a su vez, ha alimentado un ecosistema de “aplicaciones de nudificación” con jailbreak basadas en los modelos de Stability AI.

«Stability AI sabía que sus modelos, una vez capaces de generar imágenes sexualmente explícitas, previsiblemente se utilizarían para generar CSAM a menos que se implementaran salvaguardias adecuadas a nivel de modelo», decía la denuncia.

Stability AI no respondió a una solicitud de comentarios de CyberScoop.

Derek B. Johnson

Escrito por Derek B. Johnson

Derek B. Johnson es reportero de CyberScoop, donde su área incluye la ciberseguridad, las elecciones y el gobierno federal. Antes de eso, ha brindado una cobertura galardonada de noticias sobre ciberseguridad en los sectores público y privado para varias publicaciones desde 2017. Derek tiene una licenciatura en periodismo impreso de la Universidad de Hofstra en Nueva York y una maestría en políticas públicas de la Universidad George Mason en Virginia.

Los investigadores muestran que se puede abusar de Copilot y Grok como servidores proxy C2 de malware – CYBERDEFENSA.MX

Los investigadores de ciberseguridad han revelado que los asistentes de inteligencia artificial (IA) que admiten la navegación web o las capacidades de recuperación de URL pueden convertirse en retransmisiones sigilosas de comando y control (C2), una técnica que podría permitir a los atacantes mezclarse con las comunicaciones empresariales legítimas y evadir la detección.

El método de ataque, que se ha demostrado contra Microsoft Copilot y xAI Grok, lleva el nombre en código IA como proxy C2 por Punto de control.

Aprovecha «el acceso web anónimo combinado con navegación y mensajes de resúmenes», dijo la compañía de ciberseguridad. «El mismo mecanismo también puede permitir operaciones de malware asistidas por IA, incluida la generación de flujos de trabajo de reconocimiento, secuencias de comandos de las acciones del atacante y decidir dinámicamente ‘qué hacer a continuación’ durante una intrusión».

El desarrollo señala otra evolución importante en la forma en que los actores de amenazas podrían abusar de los sistemas de inteligencia artificial, no solo para escalar o acelerar diferentes fases del ciclo de ciberataque, sino también aprovechar las API para generar dinámicamente código en tiempo de ejecución que pueda adaptar su comportamiento en función de la información recopilada del host comprometido y evadir la detección.

Ciberseguridad

Las herramientas de IA ya actúan como multiplicador de fuerza para los adversarioslo que les permite delegar pasos clave en sus campañas, ya sea para realizar reconocimientos, escaneo de vulnerabilidades, elaborar correos electrónicos de phishing convincentes, crear identidades sintéticas, depurar código o desarrollar malware. Pero la IA como proxy C2 va un paso más allá.

Básicamente, aprovecha las capacidades de navegación web y recuperación de URL de Grok y Microsoft Copilot para recuperar URL controladas por el atacante y devolver respuestas a través de sus interfaces web, transformándolo esencialmente en un canal de comunicación bidireccional para aceptar comandos emitidos por el operador y canalizar los datos de la víctima.

En particular, todo esto funciona sin requerir una clave API o una cuenta registrada, lo que hace que los enfoques tradicionales como la revocación de clave o la suspensión de cuenta sean inútiles.

Visto de otra manera, este enfoque no es diferente de las campañas de ataque que han convertido en armas servicios confiables para la distribución de malware y C2. También se le conoce como vivir en sitios confiables (LOTS).

Sin embargo, para que todo esto suceda, existe un requisito previo clave: el actor de la amenaza ya debe haber comprometido una máquina por algún otro medio e instalado malware, que luego utiliza Copilot o Grok como canal C2 mediante indicaciones especialmente diseñadas que hacen que el agente de IA se comunique con la infraestructura controlada por el atacante y pase la respuesta que contiene el comando que se ejecutará en el host al malware.

Check Point también señaló que un atacante podría ir más allá de la generación de comandos para utilizar el agente de IA para diseñar una estrategia de evasión y determinar el siguiente curso de acción pasando detalles sobre el sistema y validando si vale la pena explotarlo.

Ciberseguridad

«Una vez que los servicios de IA puedan usarse como una capa de transporte sigilosa, la misma interfaz también puede transmitir indicaciones y resultados de modelos que actúan como un motor de decisión externo, un trampolín hacia los implantes impulsados ​​por IA y C2 estilo AIOps que automatizan la clasificación, la selección de objetivos y las opciones operativas en tiempo real», afirmó Check Point.

La divulgación se produce semanas después de que la Unidad 42 de Palo Alto Networks demostrara una novedosa técnica de ataque en la que una página web aparentemente inocua se puede convertir en un sitio de phishing mediante el uso de llamadas API del lado del cliente a servicios confiables de modelo de lenguaje grande (LLM) para generar JavaScript malicioso dinámicamente en tiempo real.

El método es similar al reensamblaje de la última milla (LMR), que implica contrabandear malware a través de la red a través de canales no monitoreados como WebRTC y WebSocket, e insertarlos directamente en el navegador de la víctima, evitando efectivamente los controles de seguridad en el proceso.

«Los atacantes podrían utilizar indicaciones cuidadosamente diseñadas para eludir las barreras de seguridad de la IA, engañando al LLM para que devuelva fragmentos de código malicioso», afirman los investigadores de la Unidad 42 Shehroze Farooqi, Alex Starov, Diva-Oriane Marty y Billy Melicher. dicho. «Estos fragmentos se devuelven a través de la API del servicio LLM, luego se ensamblan y ejecutan en el navegador de la víctima en tiempo de ejecución, lo que da como resultado una página de phishing completamente funcional».