Se han agregado dos nuevas partes a una demanda colectiva contra X.ai por su herramienta Grok, incluidos adolescentes y niños que dicen que fue utilizada por familiares u otras personas que conocen para crear material de agresión sexual infantil (CSAM) no consensuado y falso.

La demanda, presentada originalmente en marzo por tres mujeres, fue modificado esta semana para incluir a dos demandantes adicionales, Jane Does 4 y 5, quienes dicen que Grok fue utilizado para crear contenido ilegal basado en sus fotos y videos reales.

Las cinco mujeres en la demanda son anónimas y la denuncia dice que la difusión del material las había dejado humilladas y avergonzadas.

Jane Doe 4, una mujer de Wyoming, dijo que su padrastro subió una foto de ella cuando tenía 11 años y estaba acostada en un sofá frente a su teléfono. Usando Grok, el padrastro creó más de 7.000 imágenes de ella relacionadas con CSAM. También compartió e intercambió las imágenes con otros en plataformas de redes sociales.

La demanda alega que el padrastro optó por Grok «porque la plataforma era menos restrictiva que otros modelos de IA y respondía a sus indicaciones para generar material sexualmente explícito utilizando una imagen que representaba a un menor prepúber».

También afirma que en febrero, xAI generó un aviso al Centro Nacional para Niños Desaparecidos y Explotados con respecto a las imágenes, pero la compañía solo presentó la imagen original y auténtica como prueba. Según la demanda, xAI no respondió cuando las autoridades solicitaron las miles de imágenes generadas por Grok basadas en la foto y la información de la dirección IP que habrían ayudado rápidamente a identificar a su padrastro como el perpetrador.

La demanda afirma que el padrastro se pegó un tiro dos días después de ser arrestado y acusado de delitos de explotación infantil. Su suicidio se sumó a la “crisis personal extrema” provocada por las imágenes creadas a través de Grok. Regularmente «lucha contra el autodesprecio y el disgusto», así como contra la «ansiedad extrema» ante la idea de que otras personas encontrarán las imágenes en línea y sufre de depresión, incluido sueño excesivo e ideas suicidas cuando está despierta.

Jane Doe 5 afirmó que un hombre adulto relacionado con uno de sus compañeros de clase usó Grok para convertir una fotografía de su graduación de octavo grado en material ilícito. Las imágenes también se intercambiaron y compartieron con otras personas en línea. Si bien el hombre fue arrestado y acusado, gran parte del contenido todavía está disponible en Internet. Como resultado, “siente una total falta de control sobre la difusión continua de los archivos”.

«Es imposible saber cuántos otros depredadores sexuales de niños pueden poseer ahora el CSAM de Jane Doe 5, ni cuán ampliamente se ha difundido su CSAM en línea a través de canales y aplicaciones de la red oscura», dice la denuncia.

La oficina de prensa de xAI no respondió a una solicitud de comentarios enviada por correo electrónico por parte de CyberScoop.

La demanda también agrega a Stability AI como demandado, alegando que la compañía lanzó Stable Diffusion 1.0 como un modelo de peso abierto a pesar de saber que estaba entrenado en CSAM y se negó a alterar o modificar sus barreras de seguridad en respuesta.

Según un Estudio de Stanford 2023el conjunto de datos subyacente utilizado para entrenar modelos de difusión estable se creó mediante el rastreo web no guiado de contenido de Internet. Eso significa que ingirió “una cantidad significativa de material explícito”, incluido CSAM. Stable Diffusion 1.0 tenía un clasificador destinado a bloquear la generación de tales imágenes, pero debido a esos datos de entrenamiento, los desarrolladores posteriores podrían explotar más fácilmente el modelo y crear versiones modificadas que eludan esas protecciones.

Si bien Stable Diffusion 2.0 introdujo barreras de seguridad más fuertes, la demanda afirma que Stability AI eliminó esas protecciones en respuesta a los usuarios «descontentos» de que las nuevas restricciones eran «mojigatas» e «impopulares». Esto, a su vez, ha alimentado un ecosistema de “aplicaciones de nudificación” con jailbreak basadas en los modelos de Stability AI.

«Stability AI sabía que sus modelos, una vez capaces de generar imágenes sexualmente explícitas, previsiblemente se utilizarían para generar CSAM a menos que se implementaran salvaguardias adecuadas a nivel de modelo», decía la denuncia.

Stability AI no respondió a una solicitud de comentarios de CyberScoop.