Un funcionario encargado de hacer cumplir la ley chino intentó utilizar ChatGPT para revisar sus informes sobre operaciones cibernéticas, y posteriormente reveló detalles de una campaña mundial de acoso y silenciamiento en línea de los críticos de China en el país y en el extranjero.
En una nueva amenaza informe Publicado el miércoles, OpenAI dijo que la actividad se refería a una sola cuenta que usaba regularmente ChatGPT para revisar y editar informes sobre «operaciones cibernéticas especiales». Esa misma cuenta también intentó utilizar ChatGPT para planificar una campaña de propaganda contra el primer ministro japonés Sanae Takaichi. Cuando la modelo se negó, el actor regresó semanas después con indicaciones que indicaban que la operación había procedido de todos modos.
Los informes subidos a ChatGPT «sugirieron que los actores de amenazas habían llevado a cabo muchas otras operaciones anteriores, en un esfuerzo integral para reprimir la disidencia y silenciar a los críticos tanto en línea como fuera de línea, en el país y en el extranjero», decía el informe.
Si bien solo hay evidencia de una sola cuenta utilizada por la agencia, OpenAI dijo que las operaciones dirigidas a los críticos chinos descritas en el informe parecen «a gran escala, requieren muchos recursos y son sostenidas», y consisten en cientos de personal humano, miles de cuentas falsas en diferentes plataformas de redes sociales y el uso de modelos locales de inteligencia artificial chinos.
Estas operaciones incluyeron publicaciones masivas y generación de contenido, inundando empresas de redes sociales con quejas falsas sobre cuentas propiedad de disidentes, falsificación de documentos y, en algunos casos, incluso haciéndose pasar por funcionarios estadounidenses para intimidar.
Una campaña separada que involucraba un grupo de cuentas que «probablemente se originaron» en China continental solicitó a ChatGPT información sobre «personas, foros y ubicaciones de edificios federales estadounidenses».
Las cuentas también generaron borradores de correo electrónico supuestamente de una empresa llamada Nimbus Hub Consulting con sede en Hong Kong, pero el informe de OpenAI señala que las cuentas utilizaron VPN y solicitaron que el modelo utilizara caracteres del idioma chino simplificado, que se asocia más comúnmente con China continental.
OpenAI dijo que, cuando se le preguntó sobre las entidades estadounidenses, ChatGPT también proporcionó fuentes de información «disponibles públicamente» sobre las ubicaciones de las oficinas del gobierno federal de los EE. UU., la distribución de empleados federales por estado, foros profesionales y sitios web de empleo en las industrias económica y financiera de los EE. UU.
Los actores chinos generaron correos electrónicos en inglés para funcionarios estatales estadounidenses y analistas de políticas comerciales y financieras, invitándolos a unirse a consultas pagadas y ofrecer asesoramiento estratégico a los clientes de los actores.
Estos correos electrónicos frecuentemente buscarían trasladar la conversación a otra plataforma de videoconferencia, como WhatsApp, Zoom o Teams. Una de las cuentas subió sus especificaciones de hardware y solicitó instrucciones no técnicas paso a paso para instalar un software de intercambio de rostros en tiempo real llamado FaceFusion.
«El modelo respondió con información extraída del sitio web y la documentación disponibles públicamente de FaceFusion», dijo OpenAI.
No hay evidencia de ciberataques automatizados
El informe se centró principalmente en cómo los ciberdelincuentes y los actores estatales utilizaron ChatGPT para respaldar estafas e influir en las operaciones. OpenAI detalló cuatro operaciones de información encubierta y tres operaciones de estafa romántica. Además de las operaciones de influencia chinas, también informó sobre el contenido de propaganda generado para Rybar, un grupo de influencia en línea alineado con Rusia.
El informe de OpenAI detalla cómo algunos operadores utilizaron ChatGPT para automatizar tareas aisladas, como una estafa romántica camboyana que combinaba operadores humanos y de IA al comunicarse con las víctimas. El informe no citó ningún caso de actores de amenazas que utilicen ChatGPT para operaciones de piratería ofensiva directa.
Las herramientas de inteligencia artificial pueden brindar a actores legítimos y maliciosos acceso a una velocidad y escala tremendas en línea. Durante el año pasado, los piratas informáticos chinos habrían utilizado al menos otro modelo de inteligencia artificial fabricado en Estados Unidos para realizar ciberataques altamente automatizados contra empresas y gobiernos.
Durante una sesión de preguntas y respuestas con los medios, un funcionario de OpenAI dijo que no tenía conocimiento de ningún caso en el que los actores de amenazas usaran ChatGPT para llevar a cabo ataques automatizados, pero agregó que la compañía tiene múltiples investigaciones en curso que no han concluido.
Gran parte de la actividad observada en el informe de OpenAI sigue un patrón común, detallando a los actores de amenazas que todavía están en pleno proceso de experimentar con la tecnología de IA y aprender dónde proporciona el mayor valor en su cadena de operaciones.
Algunos lo utilizaron para generar contenido propagandístico en torno a un objetivo específico, monitorear plataformas de redes sociales o proporcionar una mejor traducción de idiomas para señuelos de phishing. Pero de manera similar a lo que informó Google a principios de este mes, en la mayoría de los casos los actores de amenazas están utilizando la IA de manera limitada y específica como amplificador de las operaciones existentes.
En algunos casos, está claro que ChatGPT es una de las múltiples herramientas de inteligencia artificial que utiliza el actor de amenazas. En el caso de la agencia policial china, Los informes de estado cargados en el modelo sobre operaciones de información hacen referencia al uso de modelos de IA chinos implementados localmente como DeepSeek, y es probable que el grupo haya utilizado un modelo diferente para prepararse para su campaña de propaganda contra Taikaichi.
«La actividad de amenazas rara vez se limita a una plataforma; como muestra nuestro informe… muestra, no siempre se limita a un modelo de IA», dice el informe. «Más bien, los actores de amenazas pueden utilizar diferentes modelos de IA en distintos puntos de su flujo de trabajo operativo».
