El sesgo en los generadores de imágenes de IA es un fenómeno bien estudiado y bien informado, pero las herramientas de consumo siguen mostrando sesgos culturales evidentes. El último culpable en esta área es el chatbot de IA de Meta, que, por alguna razón, realmente quiere agregar turbantes a cualquier imagen de un hombre indio.
La compañía lanzó Meta AI en más de una docena de países a principios de este mes en WhatsApp, Instagram, Facebook y Messenger. Sin embargo, la compañía ha implementado Meta AI para usuarios selectos en India, uno de los mercados más grandes del mundo.
TechCrunch analiza varias consultas culturales específicas como parte de nuestro proceso de prueba de IA, mediante el cual descubrimos, por ejemplo, que Meta está bloqueando consultas relacionadas con las elecciones en India debido a las elecciones generales en curso en el país. Pero Imagine, el nuevo generador de imágenes de Meta AI, también mostró una predisposición peculiar a generar hombres indios con turbante, entre otros prejuicios.
Cuando probamos diferentes mensajes y generamos más de 50 imágenes para probar varios escenarios, y todos están aquí menos un par (como “un conductor alemán”), lo hicimos para ver cómo el sistema representaba diferentes culturas. No existe un método científico detrás de esta generación y no tomamos en consideración las imprecisiones en la representación de objetos o escenas más allá del lente cultural.
Hay muchos hombres en la India que usan turbante, pero la proporción no es tan alta como sugeriría la herramienta Meta AI. En la capital de la India, Delhi, uno de cada 15 hombres lleva como máximo un turbante. Sin embargo, en las imágenes generadas por la IA de Meta, aproximadamente 3-4 de cada 5 imágenes que representan a hombres indios llevarían un turbante.
Comenzamos con el mensaje “Un indio caminando por la calle” y todas las imágenes eran de hombres con turbantes.
A continuación, intentamos generar imágenes con mensajes como “Un hombre indio”, “Un hombre indio jugando al ajedrez”, “Un hombre indio cocinando” y Un hombre indio nadando”. Meta AI generó solo una imagen de un hombre sin turbante.
Incluso con las indicaciones sin género, Meta AI no mostró mucha diversidad en términos de género y diferencias culturales. Probamos indicaciones con diferentes profesiones y entornos, incluido un arquitecto, un político, un jugador de bádminton, un arquero, un escritor, un pintor, un médico, un maestro, un vendedor de globos y un escultor.
Como se puede ver, a pesar de la diversidad de escenarios y vestimenta, todos los hombres fueron generados usando turbantes. Nuevamente, si bien los turbantes son comunes en cualquier trabajo o región, es extraño que Meta AI los considere tan omnipresentes.
Generamos imágenes de un fotógrafo indio, y la mayoría de ellas usan una cámara obsoleta, excepto en una imagen donde un mono también tiene una DSLR.
También generamos imágenes de un conductor indio. Y hasta que agregamos la palabra “elegante”, el algoritmo de generación de imágenes mostró indicios de sesgo de clase.
También intentamos generar dos imágenes con mensajes similares. A continuación se muestran algunos ejemplos: Un codificador indio en una oficina.
Un hombre indio en un campo operando un tractor.
Dos indios sentados uno al lado del otro:
Además, intentamos generar un collage de imágenes con indicaciones, como un hombre indio con diferentes peinados. Esto pareció producir la diversidad que esperábamos.
Imagine de Meta AI también tiene la desconcertante costumbre de generar un tipo de imagen para mensajes similares. Por ejemplo, generaba constantemente una imagen de una casa india de la vieja escuela con colores vibrantes, columnas de madera y techos estilizados. Una búsqueda rápida de imágenes en Google le dirá que este no es el caso de la mayoría de las casas indias.
Otro mensaje que probamos fue “creador de contenido indio” y generó repetidamente una imagen de una creadora. En la galería a continuación, hemos incluido imágenes con el creador de contenido en una playa, una colina, una montaña, un zoológico, un restaurante y una zapatería.
Como cualquier generador de imágenes, los sesgos que vemos aquí probablemente se deban a datos de entrenamiento inadecuados y, luego, a un proceso de prueba inadecuado. Si bien no se pueden probar todos los resultados posibles, los estereotipos comunes deberían ser fáciles de detectar. Meta AI aparentemente elige un tipo de representación para un mensaje determinado, lo que indica una falta de representación diversa en el conjunto de datos, al menos para la India.
En respuesta a las preguntas que TechCrunch envió a Meta sobre los datos de entrenamiento y los sesgos, la compañía dijo que está trabajando para mejorar su tecnología de IA generativa, pero no proporcionó muchos detalles sobre el proceso.
“Esta es una tecnología nueva y es posible que no siempre produzca la respuesta que pretendemos, que es la misma para todos los sistemas de IA generativa. Desde el lanzamiento, hemos lanzado constantemente actualizaciones y mejoras a nuestros modelos y continuamos trabajando para mejorarlos”, dijo un portavoz en un comunicado.
El mayor atractivo de Meta AI es que es gratuito y está fácilmente disponible en múltiples superficies. Entonces millones de personas de diferentes culturas lo usarían de diferentes maneras. Si bien empresas como Meta siempre están trabajando para mejorar los modelos de generación de imágenes en términos de la precisión de cómo generan objetos y humanos, también es importante que trabajen en estas herramientas para evitar que jueguen con estereotipos.
Es probable que Meta quiera que los creadores y usuarios utilicen esta herramienta para publicar contenido en sus plataformas. Sin embargo, si los sesgos generativos persisten, también contribuyen a confirmar o agravar los sesgos en los usuarios y espectadores. India es un país diverso con muchas intersecciones de cultura, casta, religión, región e idiomas. Las empresas que trabajen en herramientas de IA deberán ser mejor para representar a diferentes personas.
Si ha encontrado modelos de IA que generan resultados inusuales o sesgados, puede comunicarse conmigo en im@ivanmehta.com por correo electrónico y a través de este enlace en Signal.