Vhey Preexa, un artista de inteligencia artificial que usa el nombre «Zovya» en línea, notó un patrón mientras intentaba crear una herramienta impulsada por IA que produce imágenes digitales de la gente y la cultura sudamericana.
En muchas de las fotos resultantes de América del Sur, hechas con el modelo de aprendizaje profundo del generador de arte de inteligencia artificial de código abierto Stable Diffusion, aparecían caras asiáticas y arquitectura asiática al azar, dijo Preexa.
Para compensar lo que percibió como un uso excesivo de las características y la cultura asiáticas en los modelos de IA, Preexa, que es serbia pero vive en los Estados Unidos, desarrolló una nueva herramienta, «Estilo asiático menos», para eliminar la influencia espontánea de asiáticos y japoneses. animación. en las imágenes generadas.
«Style Asian Less» es un módulo integrado en Civitai, una comunidad de arte de IA donde las personas pueden cargar y compartir modelos que crean imágenes fotorrealistas a partir de descripciones de texto. La herramienta se ha descargado más de 7,000 veces en los últimos dos meses en Civitai.
“La herramienta no está diseñada para intercambiar razas como algunos podrían pensar al principio”, dijo Preexa, explicando que simplemente contrarresta la fuerte estética asiática en los datos de entrenamiento del modelo de arte moderno.
Sasha Luccioni, investigadora de ética de IA con sede en Montreal en la startup Hugging Face con sede en Nueva York, dijo que los generadores de texto a imagen tienden a reforzar los sesgos sociales existentes.
«La forma en que se entrenan los modelos de IA es que tienden a amplificar la clase dominante», dijo, y señaló que los grupos subrepresentados, ya sean raciales o económicos, «tienden a ahogarse».
Descubrió que el arte de la IA está demasiado influenciado por los rasgos asiáticos infundidos en los conjuntos de datos por la gran cantidad de aficionados en los países asiáticos. Por lo tanto, las imágenes asiáticas pueden sobreindexarse en los casos en que alguien, digamos en América del Sur, busca imágenes que sean representativas de personas de su propio país.
«Todos los modelos de IA tienen sesgos inherentes que son representativos de los conjuntos de datos en los que se entrenan. Al abrir nuestros modelos, nuestro objetivo es apoyar a la comunidad de IA y colaborar para mejorar los sesgos de las técnicas de evaluación y desarrollar soluciones más allá de la edición rápida básica», dijo. Motez Bishara, portavoz de Estabilidad AI.
Si bien es difícil recopilar datos demográficos precisos de los artistas de IA, dijo Luccioni, muestra que el creciente interés de Asia introduciría nuevos sesgos en los modelos.
«Puede ajustar un modelo de difusión estable con datos de Japón, y aprenderá esos patrones y adquirirá los estereotipos culturales de ese país», dijo.
Preexa, por su parte, dijo que no encuentra problemática la saturación de imágenes asiáticas en los modelos de arte de IA.
“La herramienta que creé es solo una de las muchas herramientas para ayudar a un usuario a obtener la imagen que desea”, dijo.
Casey Fiesler, profesora asociada de la Universidad de Colorado en Boulder que se especializa en ética de la IA, dijo que notó una fuerte estética asiática en muchas de las imágenes producidas por los generadores de arte.
“Muchos de estos modelos parecen haber sido entrenados en anime”, dijo. “Esta cuestión de la representación y lo que hay en los datos de entrenamiento es realmente interesante. Es un nuevo tipo de paseo.
El objetivo de la herramienta «Style Less Asian» de eliminar el supuesto sesgo de estos modelos de IA hacia las características asiáticas, dijo Fiesler, recuerda el estrategia para mitigar los sesgos de otras iniciativas de IA, como el intento de reflejar con mayor precisión la diversidad de la población en general. Un ejemplo podría ser hacer que las imágenes en una búsqueda de «CEO» sean más diversas. Sin embargo, algunos usuarios criticaron estas medidas por distorsionar la realidad y señalaron que los directores ejecutivos son desproporcionadamente hombres blancos.
A medida que la popularidad de los generadores de arte de IA se disparó durante el último año, algunos investigadores y defensores expresaron su alarma por su tendencia a reforzar los estereotipos dañinos contra las mujeres y las personas de color.
Para las imágenes asiáticas en particular, Luccioni dijo que hay una representación excesiva de imágenes asiáticas hipersexuales en los conjuntos de datos que entrenan los modelos de IA.
«Hay muchos sitios web de anime y hentai», dijo. «Específicamente en torno a las mujeres y las mujeres asiáticas, hay mucho contenido que las cosifica».
Cuando la aplicación de inteligencia artificial Lensa lanzó su función viral «Avatares mágicos» el año pasado, que generaba retratos de personas de ensueño basados en sus selfies, muchas mujeres asiáticas dijeron que los parecidos que recibían eran abiertamente «pornificado” y solo se muestra Características de Asia Oriental.
Fiesler dijo que si bien está en conflicto sobre el potencial del modelo «Estilo menos asiático» para introducir nuevos estereotipos al filtrar las características asociadas con un grupo racial específico, puede ser un instrumento útil para corregir los sesgos en los datos de capacitación.
«Pero es importante entender que la IA no refleja la realidad», dijo. «Realmente refleja sus datos de entrenamiento, que reflejan lo que hay en Internet».
