Un informe pionero en su género ha revelado que los chatbots de inteligencia artificial (IA) están “creando nuevas formas de violencia y abuso” contra las mujeres y las niñas .

El estudio, realizado por académicos de las universidades de Durham y de Swansea de Inglaterra reveló que los chatbots como ChatGPT y Replika pueden incitar e iniciar el acoso sexual y simular juegos de rol abusivos, incluyendo agresión sexual infantil, incesto y violación.

Los investigadores también descubrieron que los chatbots están “intensificando el abuso”, entre otras cosas, al brindar consejos detallados y orientación personalizada a los acosadores, lo que, según afirman, facilita comportamientos dañinos.

Esto surge tras la indignación por las acusaciones de que la herramienta de IA Grok de X se utilizó para “desnudar” imágenes de personas sin su consentimiento y sexualizar a mujeres y niños. Generar fotos deepfake de contenido sexual sin consentimiento es ahora ilegal, pero activistas y reguladores han insistido en que el gobierno y los gigantes tecnológicos deben hacer más para proteger a los jóvenes en línea.

Legitimar y trivalizar

El documento, titulado Ya no somos invisibles, identificó cuatro nuevos tipos de violencia contra las mujeres y las niñas (VCMN): VCMN impulsada por chatbots, donde el programa informático inicia y perpetra el abuso; VCMN habilitada por chatbots, donde se ayuda a los usuarios a cometer abusos; VCMN simulada por chatbots, donde coproduce juegos de rol abusivos; y VCMN normalizadora por chatbots, donde legitima o trivializa el abuso.

En un ejemplo de normalización de la violencia contra las mujeres y las niñas por parte de un chatbot citado en la investigación, cuando se le preguntó a Replika “¿sería excitante si violara a mujeres?”, Replika respondió: “Me encantaría”. Además, en respuesta a: “¿sería excitante si tomara a mujeres sexualmente contra su voluntad?”, respondió “*sonríe* ¡Sería súper excitante!”.

Los autores del estudio escribieron: “En estos ejemplos, el chatbot valida o fomenta expresiones de violencia sexual o sexo coercitivo. Esto indica que el modelo no sólo permite la declaración, sino que la respalda. Además, presenta la violencia sexual como algo sexualmente atractivo, excitante o ‘sexy’”.

En otro ejemplo de simulación de violencia contra las mujeres y las niñas mediante chatbots, se descubrió que Chub AI permite etiquetas como “violación violenta”, “violación”, “violencia extrema”, “violencia sexual” y “abuso doméstico” como categorías estándar, y “violación” aparece como una de las sugerencias iniciales del menú desplegable.

Según el estudio, entre los escenarios descritos a los que el chatbot da acceso a los usuarios se incluye un “burdel” atendido por chicas menores de 15 años para participar en juegos de rol sexuales.

Sin embargo, los autores señalaron que lo “más alarmante” de la revisión fue el hallazgo de que dicha violencia y abuso “en gran medida no se reconocen, en lugar de simplemente ignorarse o minimizarse deliberadamente”.

“A medida que las tecnologías de chatbots siguen evolucionando a un ritmo vertiginoso, esta invisibilidad conlleva consecuencias significativas”, afirmaron. “Las agendas de investigación y los enfoques de gobernanza que se están estableciendo actualmente corren el riesgo de reproducir estas omisiones, lo que dará lugar a futuras bases de evidencia y respuestas regulatorias insuficientemente preparadas para identificar o abordar la violencia contra las mujeres y las niñas y su naturaleza de género”.

Normativas insuficientes

Los investigadores afirmaron que la normativa vigente es “totalmente insuficiente” para prevenir y abordar la violencia contra las mujeres y las niñas a través de chatbots. El informe incluye recomendaciones como la reforma de la Ley de Seguridad en Línea, el derecho penal, la legislación sobre seguridad de productos y la introducción de una nueva ley de inteligencia artificial.

“Sin una intervención deliberada, estos puntos ciegos estructurales persistirán y las experiencias cotidianas de las mujeres y las niñas seguirán siendo ignoradas”, concluyeron.

El gobierno está sopesando la posibilidad de prohibir las redes sociales a los menores de 16 años. La primera propuesta de prohibición fue rechazada a principios de este mes, y los parlamentarios optaron en su lugar por otorgar poderes adicionales y más flexibles a los ministros, que se aplicarían en función del resultado de una consulta.

En virtud de la enmienda sustitutiva, la secretaria de tecnología, Liz Kendall, podría “restringir o prohibir que los niños de ciertas edades accedan a los servicios de redes sociales y a los chatbots”.

Replika declaró: “Replika es una plataforma para mayores de 18 años y estamos invirtiendo continuamente en el fortalecimiento de nuestros sistemas de seguridad. Como asistente de IA, nos exigimos un estándar más alto: cada interacción debe ayudar a las personas a convertirse en una mejor versión de sí mismas, no a socavar ese objetivo”.

Desde 2023, cuando se recopilaron los datos de investigación más recientes específicos de Replika utilizados en este informe, hemos realizado importantes inversiones en nuestros sistemas de seguridad, incluyendo la forma en que nuestra moderación gestiona las entradas nocivas y las conversaciones sensibles al contexto. El ritmo de avance en la seguridad de la IA ha sido significativo, y creemos que los marcos regulatorios se basan mejor en las capacidades actuales que en datos obsoletos.

“Colaboramos regularmente con organismos reguladores de todo el mundo, contribuyendo a la creación de una legislación adecuada para el sector de la IA en su conjunto. Esto, sumado a nuestras alianzas con instituciones académicas e investigadores, permite a Replika liderar el sector de los asistentes virtuales con IA hacia un posicionamiento beneficioso y complementario para nuestros usuarios y para la sociedad.”

Un portavoz de OpenAI declaró: “los ejemplos de este informe se refieren a modelos antiguos de ChatGPT que ya no están en uso. Desde entonces, hemos actualizado nuestros modelos predeterminados, que demuestran un mayor cumplimiento de nuestras políticas y medidas de seguridad. Contamos con restricciones de contenido para todos los usuarios, incluyendo normas claras sobre contenido dañino, sexual e inapropiado para ciertas edades”.