El nuevo modo de bloqueo de ChatGPT limita las herramientas que podrían permitir la filtración de datos – CYBERDEFENSA.MX

OpenAI ha comenzado a implementar un nuevo Modo de bloqueo a ChatGPT para cuentas personales elegibles para reducir el riesgo de filtración de datos que surge de ataques de inyección rápida.

La función está diseñada principalmente para personas y organizaciones que manejan datos confidenciales y requieren garantías de protección más estrictas. El modo de bloqueo está disponible para los usuarios que han iniciado sesión en los planes Free, Go, Plus y Pro, y ChatGPT Business de autoservicio.

«El modo de bloqueo es una configuración de seguridad avanzada opcional que limita muchas herramientas y capacidades de los productos OpenAI que pueden conectarse a la web o a servicios externos», OpenAI dicho.

«Está diseñado para reducir el riesgo de filtración de datos debido a ataques de inyección rápida al limitar las solicitudes de red salientes, a expensas de deshabilitar o limitar algunas funciones útiles».

Las salvaguardas tienen como objetivo fortalecer la superficie de ataque contra inyecciones rápidas, lo que sigue siendo un problema «fronterizo» que afecta a todos los modelos de lenguajes grandes (LLM).

Específicamente, se basan en el sandboxing y los controles existentes para combatir Mecanismos de exfiltración de datos basados ​​en URL para limitar las solicitudes de red salientes que potencialmente podrían transmitir datos confidenciales a la infraestructura controlada por el atacante.

Ciberseguridad

La idea no es impedir que se produzcan inyecciones inmediatas. Tampoco cambia la forma en que funcionan la memoria o la carga de archivos, ni la capacidad de compartir una conversación. Más bien, el objetivo es eliminar posibles vías a través de las cuales se podrían extraer los datos. Con ese fin, el modo de bloqueo desactiva las siguientes funciones:

  • Navegación web en vivo, que se limita a acceder únicamente al contenido almacenado en caché
  • Soporte de imágenes, para mostrar imágenes en respuestas regulares o recuperar imágenes de la web
  • Investigación profunda
  • Modo agente
  • Red Canvas, que impide que los usuarios aprueben Lienzo-código generado para acceder a la red
  • Descargas de archivos, que bloquean la descarga de archivos para el análisis de datos.

Al señalar que la función no está «destinada a todos», OpenAI también señaló que tanto el modo de bloqueo como el modo de desarrollador no se pueden usar al mismo tiempo, y agregó que activar uno deshabilita el otro.

«El modo de bloqueo está diseñado para reducir sustancialmente el riesgo de una rápida filtración de datos basada en inyección en ChatGPT y productos OpenAI compatibles, pero no garantiza que la filtración de datos no pueda ocurrir», dijo la compañía. «El riesgo puede persistir a través de aplicaciones habilitadas, combinaciones imprevistas de capacidades o técnicas recientemente descubiertas».

«El modo de bloqueo tampoco previene todos los demás efectos de los ataques de inyección rápida. Por ejemplo, una instrucción maliciosa oculta en un archivo cargado aún podría afectar el comportamiento de ChatGPT y provocar una respuesta incorrecta».

El desarrollo se produce cuando OpenAI también lo ha hecho. lanzado una nueva función de administración de cuentas que permite a los usuarios revisar las sesiones activas de ChatGPT y cerrar sesión en sesiones individuales o en todas si se detectan signos de actividad no autorizada en la cuenta. Las sesiones enumeradas incluyen información sobre el dispositivo, la aplicación utilizada, la ubicación aproximada, la fecha y hora de inicio de sesión, si el dispositivo es confiable y si es la sesión actual.

La vulnerabilidad en el administrador de agentes Antigravity AI de Google podría escapar de la zona de pruebas y permitir a los atacantes la ejecución remota de código

A medida que las organizaciones consideran la IA agente para sus negocios y sus pilas de TI, los investigadores continúan encontrando errores y vulnerabilidades en los principales modelos comerciales que pueden expandir significativamente su superficie de ataque.

Esta semana, investigadores de Pillar Security revelado una vulnerabilidad en Antigravity, una herramienta de desarrollo impulsada por IA para operaciones de sistemas de archivos creada por Google.

El error, parcheado desde entonces, combinaba la inyección rápida con la capacidad permitida de creación de archivos de Antigravity para otorgar a los atacantes privilegios de ejecución remota de código.

La investigación detalla cómo el exploit pudo eludir el modo seguro de Antigravity, la configuración de seguridad más alta de Google para sus agentes que ejecuta todas las operaciones de comando a través de un entorno de pruebas virtual, acelera el acceso a la red y prohíbe al agente escribir código fuera del directorio de trabajo.

Se supone que el modo seguro limita el acceso del agente de IA a sistemas sensibles y su capacidad para ejecutar actos maliciosos o peligrosos a través de comandos de shell. Pero una de las herramientas de búsqueda de archivos utilizadas por Antigravity, llamada «find_by_name», está clasificada como una herramienta del sistema «nativa». Esto significa que el agente puede ejecutarlo directamente y antes de que protecciones como el Modo seguro puedan incluso evaluar las operaciones a nivel de comando.

«El límite de seguridad que impone el Modo Seguro simplemente nunca ve esta llamada», escribió Dan Lisichkin, investigador de seguridad de IA de Pillar Security. «Esto significa que un atacante logra la ejecución de código arbitrario bajo la configuración exacta en la que confiaría un usuario preocupado por la seguridad para evitarlo».

Los ataques de inyección rápida se pueden realizar a través de cuentas de identidad comprometidas conectadas al agente, o indirectamente ocultando instrucciones clandestinas dentro de archivos de código abierto o contenido web que el agente ingiere. Antigravity tiene problemas para distinguir entre los datos escritos que ingiere para el contexto y las instrucciones literales, por lo que se puede lograr un compromiso sin ningún acceso elevado al hacer que lea un documento o archivo malicioso.

Según un cronograma de divulgación proporcionado por Pillar Security, el error se informó a Google el 6 de enero y se corrigió el 28 de febrero, y Google otorgó una recompensa por el descubrimiento.

Lisichkin dijo que este mismo patrón de inyección rápida a través de entradas no validadas se ha encontrado en otros agentes de codificación de IA como Cursor. En la era de la IA, cualquier entrada no validada puede convertirse en un mensaje malicioso capaz de secuestrar sistemas internos.

«El modelo de confianza que sustenta los supuestos de seguridad, de que un humano detectará algo sospechoso, no se sostiene cuando agentes autónomos siguen instrucciones de contenido externo», escribió.

El hecho de que la vulnerabilidad haya podido eludir por completo el modo seguro de Google subraya cómo la industria de la ciberseguridad debe comenzar a adaptarse y «ir más allá de los controles basados ​​en la desinfección».

«Cada parámetro de herramienta nativa que llega a un comando de shell es un punto de inyección potencial. La auditoría de esta clase de vulnerabilidad ya no es opcional y es un requisito previo para enviar funciones agentes de forma segura», escribió Lisichkin.

Derek B. Johnson

Escrito por Derek B. Johnson

Derek B. Johnson es reportero de CyberScoop, donde su área incluye la ciberseguridad, las elecciones y el gobierno federal. Antes de eso, ha brindado una cobertura galardonada de noticias sobre ciberseguridad en los sectores público y privado para varias publicaciones desde 2017. Derek tiene una licenciatura en periodismo impreso de la Universidad de Hofstra en Nueva York y una maestría en políticas públicas de la Universidad George Mason en Virginia.

Las fallas del agente OpenClaw AI podrían permitir una inyección rápida y una filtración de datos – CYBERDEFENSA.MX

El Equipo Técnico de Respuesta a Emergencias de la Red Nacional de Computadoras de China (CNCERT) ha emitido una advertencia sobre la seguridad derivada del uso de OpenClaw (antes Clawdbot y Moltbot), un agente autónomo de inteligencia artificial (IA) autónomo, de código abierto y autohospedado.

En una publicación compartida en WeChat, CNCERT señaló que las «configuraciones de seguridad predeterminadas inherentemente débiles» de la plataforma, junto con su acceso privilegiado al sistema para facilitar las capacidades de ejecución autónoma de tareas, podrían ser exploradas por malos actores para tomar el control del punto final.

Esto incluye riesgos que surgen de inyecciones rápidas, donde instrucciones maliciosas incrustadas en una página web pueden hacer que el agente filtre información confidencial si se le engaña para que acceda y consuma el contenido.

El ataque también es referido como inyección rápida indirecta (IDPI) o inyección rápida entre dominios (XPIA), ya que los adversarios, en lugar de interactuar directamente con un modelo de lenguaje grande (LLM), utilizan funciones benignas de IA como armas como el resumen de páginas web o el análisis de contenido para ejecutar instrucciones manipuladas. esto puede rango de evadir los sistemas de revisión de anuncios basados ​​en inteligencia artificial e influir en las decisiones de contratación para envenenar la optimización de motores de búsqueda (SEO) y generar respuestas sesgadas al suprimir las críticas negativas.

Ciberseguridad

OpenAI, en una publicación de blog publicada a principios de esta semana, dijo que los ataques rápidos de estilo inyección están evolucionando más allá de simplemente colocar instrucciones en contenido externo para incluir elementos de ingeniería social.

«Los agentes de IA son cada vez más capaces de navegar por la web, recuperar información y realizar acciones en nombre de un usuario», afirma. dicho. «Esas capacidades son útiles, pero también crean nuevas formas para que los atacantes intenten manipular el sistema».

Los riesgos de inyección rápida en OpenClaw no son hipotéticos. El mes pasado, investigadores de PromptArmor descubrieron que el función de vista previa del enlace en aplicaciones de mensajería como Telegram o Discord se puede convertir en una vía de filtración de datos cuando se comunica con OpenClaw mediante una inyección rápida indirecta.

La idea, a alto nivel, es engañar al agente de IA para que genere una URL controlada por el atacante que, cuando se presenta en la aplicación de mensajería como una vista previa del enlace, automáticamente hace que transmita datos confidenciales a ese dominio sin tener que hacer clic en el enlace.

«Esto significa que en sistemas de agentes con vistas previas de enlaces, la filtración de datos puede ocurrir inmediatamente después de que el agente de IA responda al usuario, sin que el usuario tenga que hacer clic en el enlace malicioso», dijo la compañía de seguridad de IA. dicho. «En este ataque, el agente es manipulado para construir una URL que utiliza el dominio de un atacante, con parámetros de consulta generados dinámicamente adjuntos que contienen datos confidenciales que el modelo conoce sobre el usuario».

Además de las indicaciones deshonestas, CNCERT también ha destacado otras tres preocupaciones:

  • La posibilidad de que OpenClaw pueda eliminar inadvertida e irrevocablemente información crítica debido a una mala interpretación de las instrucciones del usuario.
  • Los actores de amenazas pueden cargar habilidades maliciosas en repositorios como ClawHub que, cuando se instalan, ejecutan comandos arbitrarios o implementan malware.
  • Los atacantes pueden aprovechar las vulnerabilidades de seguridad reveladas recientemente en OpenClaw para comprometer el sistema y filtrar datos confidenciales.

«Para sectores críticos, como las finanzas y la energía, tales violaciones podrían conducir a la fuga de datos comerciales centrales, secretos comerciales y repositorios de códigos, o incluso resultar en la parálisis completa de sistemas comerciales completos, causando pérdidas incalculables», agregó CNCERT.

Para contrarrestar estos riesgos, se recomienda a los usuarios y organizaciones fortalecer los controles de red, evitar la exposición del puerto de administración predeterminado de OpenClaw a Internet, aislar el servicio en un contenedor, evitar almacenar credenciales en texto sin formato, descargar habilidades solo de canales confiables, deshabilitar las actualizaciones automáticas de habilidades y mantener actualizado al agente.

Ciberseguridad

El desarrollo se produce cuando las autoridades chinas han tomado medidas para restringir que las empresas estatales y las agencias gubernamentales ejecuten aplicaciones OpenClaw AI en computadoras de oficina en un intento por contener los riesgos de seguridad, Bloomberg. reportado. Se dice que la prohibición también se extiende a las familias del personal militar.

La popularidad viral de OpenClaw también ha llevado a los actores de amenazas a aprovechar el fenómeno para distribuir repositorios maliciosos de GitHub haciéndose pasar por instaladores de OpenClaw para implementar ladrones de información como Atomic y Vidar Stealer, y un malware proxy basado en Golang conocido como calcetines fantasma usando instrucciones estilo ClickFix.

«La campaña no estaba dirigida a una industria en particular, sino que estaba dirigida en general a usuarios que intentaban instalar OpenClaw con repositorios maliciosos que contenían instrucciones de descarga para entornos Windows y macOS», Huntress dicho. «Lo que hizo que esto fuera exitoso fue que el malware estaba alojado en GitHub, y el repositorio malicioso se convirtió en la sugerencia mejor calificada en los resultados de búsqueda de IA de Bing para OpenClaw Windows».

Las nuevas fallas de «LeakyLooker» en Google Looker Studio podrían permitir consultas SQL entre inquilinos – CYBERDEFENSA.MX

Los investigadores de ciberseguridad han revelado nueve vulnerabilidades entre inquilinos en Google Looker Studio que podrían haber permitido a los atacantes ejecutar consultas SQL arbitrarias en las bases de datos de las víctimas y filtrar datos confidenciales dentro de los entornos de Google Cloud de las organizaciones.

Las deficiencias han sido nombradas colectivamente. Looker con fugas por Tenable. No hay evidencia de que las vulnerabilidades hayan sido explotadas en la naturaleza. Tras la divulgación responsable en junio de 2025, Google solucionó los problemas.

La lista de fallas de seguridad es la siguiente:

Ciberseguridad

«Las vulnerabilidades rompieron supuestos de diseño fundamentales, revelaron una nueva clase de ataque y podrían haber permitido a los atacantes filtrar, insertar y eliminar datos en los servicios de las víctimas y en el entorno de Google Cloud», dijo la investigadora de seguridad Liv Matan. dicho en un informe compartido con The Hacker News.

«Estas vulnerabilidades expusieron datos confidenciales en los entornos de Google Cloud Platform (GCP), afectando potencialmente a cualquier organización que utilice Google Sheets, BigQuery, Spanner, PostgreSQL, MySQL, Cloud Storage y casi cualquier otro conector de datos de Looker Studio».

La explotación exitosa de las fallas entre inquilinos podría permitir a los actores de amenazas obtener acceso a conjuntos de datos y proyectos completos en diferentes inquilinos de la nube.

Los atacantes podrían buscar informes públicos de Looker Studio u obtener acceso a informes privados que utilicen estos conectores (por ejemplo, BigQuery) y tomar el control de las bases de datos, permitiéndoles ejecutar consultas SQL arbitrarias en todo el proyecto GCP del propietario.

Alternativamente, una víctima crea un informe como público o lo comparte con un destinatario específico y utiliza una fuente de datos conectada a JDBC, como PostgreSQL. En este escenario, el atacante puede aprovechar una falla lógica en la función de copia de informes que permite clonar informes conservando las credenciales del propietario original, lo que le permite eliminar o modificar tablas.

Otra ruta de alto impacto detallada por la compañía de ciberseguridad implicó la exfiltración de datos con un solo clic, donde compartir un informe especialmente diseñado obliga al navegador de la víctima a ejecutar código malicioso que contacta un proyecto controlado por un atacante para reconstruir bases de datos completas a partir de registros.

«Las vulnerabilidades rompieron la promesa fundamental de que un ‘espectador’ nunca debería poder controlar los datos que está viendo», dijo Matan, y agregó que «podrían haber permitido a los atacantes filtrar o modificar datos en los servicios de Google como BigQuery y Google Sheets».