Los generadores de imagen por IA han sido entrenados con fotos explícitas de niños según un estudio
En el corazón de los populares generadores de imágenes de inteligencia artificial se esconden miles de imágenes de abuso sexual infantil, según un nuevo informe.
Estas mismas imágenes han facilitado a los sistemas de IA crear representaciones realistas y explícitas de niños ficticios, así como quitar la ropa a adolescentes reales que estaban vestidos en las fotos. Esto ha creado una gran alarma social.
Hasta hace poco, los investigadores contra el abuso creían que la única forma en que algunas herramientas de inteligencia artificial no controladas producían imágenes abusivas de niños era esencialmente combinando lo aprendido de dos grupos separados de imágenes en línea: la pornografía adulta y las fotos inofensivas de niños.
Pero el Observatorio de Internet de Stanford encontró más de 3,200 imágenes de presunto abuso sexual infantil en la gigantesca base de datos de inteligencia artificial LAION, un índice de imágenes en línea y subtítulos que se ha utilizado para entrenar a los principales creadores de imágenes de inteligencia artificial como Stable Diffusion.
El grupo de vigilancia trabajó con el Centro Canadiense de Protección Infantil y otras organizaciones benéficas contra el abuso para identificar el material ilegal e informar los enlaces originales de las fotos a las autoridades. La respuesta fue inmediata.
LAION, que significa la Red Abierta de Inteligencia Artificial a Gran Escala sin fines de lucro, dijo en un comunicado que «tiene una política de tolerancia cero hacia el contenido ilegal y, por precaución, hemos retirado los conjuntos de datos de LAION para asegurarnos de que sean seguros antes de volver a publicarlos».
Si bien las imágenes representan solo una fracción del índice de LAION de aproximadamente 5.800 millones de imágenes, el grupo de Stanford dice que probablemente está influyendo en la capacidad de las herramientas de inteligencia artificial para generar salidas perjudiciales y está reforzando el abuso previo de víctimas reales que aparecen múltiples veces.
Las nuevas versiones de Stable Diffusion han dificultado mucho la creación de contenido perjudicial, pero una versión anterior introducida el año pasado todavía está integrada en otras aplicaciones y herramientas y sigue siendo «el modelo más popular para generar imágenes explícitas», según el informe de Stanford.
OpenAI, fabricante de DALL-E y ChatGPT, dijo que no utiliza LAION y ha ajustado sus modelos para rechazar solicitudes de contenido sexual que involucre a menores. Google construyó su modelo de texto a imagen Imagen basado en un conjunto de datos de LAION pero decidió no hacerlo público en 2022 después de una auditoría de la base de datos «descubrió una amplia gama de contenido inapropiado, incluida pornografía, insultos racistas y estereotipos sociales dañinos».
