La Junta de Supervisión, el consejo político semiindependiente de Meta, está centrando su atención en cómo las plataformas sociales de la empresa están manejando imágenes explícitas generadas por IA. El martes, anunció investigaciones sobre dos casos separados sobre cómo Instagram en India y Facebook en Estados Unidos manejaron imágenes de figuras públicas generadas por IA después de que los sistemas de Meta no lograron detectar y responder al contenido explícito.
En ambos casos, los sitios ahora han eliminado a los medios. La junta no nombra a las personas a las que se dirigen las imágenes de IA “para evitar el acoso por motivos de género”, según un correo electrónico que Meta envió a TechCrunch.
La junta se ocupa de casos sobre las decisiones de moderación de Meta. Los usuarios primero deben apelar a Meta sobre una medida de moderación antes de acercarse a la Junta de Supervisión. La junta publicará sus hallazgos y conclusiones completos en el futuro.
Los casos
Al describir el primer caso, la junta dijo que un usuario denunció como pornografía un desnudo generado por IA de una figura pública de la India en Instagram. La imagen fue publicada por una cuenta que publica exclusivamente imágenes de mujeres indias creadas por IA, y la mayoría de los usuarios que reaccionan a estas imágenes residen en la India.
Meta no pudo eliminar la imagen después del primer informe y el ticket del informe se cerró automáticamente después de 48 horas después de que la empresa no revisó más el informe. Cuando el denunciante original apeló la decisión, el informe se cerró nuevamente automáticamente sin ninguna supervisión por parte de Meta. En otras palabras, después de dos informes, la imagen explícita generada por IA permaneció en Instagram.
Finalmente, el usuario apeló ante la junta. La empresa solo actuó en ese momento para eliminar el contenido objetable y eliminó la imagen por violar los estándares comunitarios sobre intimidación y acoso.
El segundo caso se relaciona con Facebook, donde un usuario publicó una imagen explícita generada por IA que se parecía a una figura pública estadounidense en un grupo centrado en creaciones de IA. En este caso, la red social eliminó la imagen tal como fue publicada anteriormente por otro usuario, y Meta la agregó a un banco de servicios de coincidencia de medios en la categoría “photoshop o dibujos sexualizados despectivos”.
Cuando TechCrunch preguntó por qué la junta seleccionó un caso en el que la compañía eliminó con éxito una imagen explícita generada por IA, la junta dijo que selecciona casos “que son emblemáticos de problemas más amplios en las plataformas de Meta”. Agregó que estos casos ayudan al consejo asesor a analizar la efectividad global de la política y los procesos de Meta para diversos temas.
“Sabemos que Meta es más rápido y eficaz a la hora de moderar contenido en algunos mercados e idiomas que en otros. Al tomar un caso de Estados Unidos y otro de India, queremos ver si Meta está protegiendo a todas las mujeres a nivel mundial de manera justa”, dijo en un comunicado la copresidenta de la Junta de Supervisión, Helle Thorning-Schmidt.
“La Junta cree que es importante explorar si las políticas y prácticas de cumplimiento de Meta son efectivas para abordar este problema”.
El problema de la pornografía profundamente falsa y la violencia de género en línea
Algunas herramientas de IA generativa (no todas) en los últimos años se han ampliado para permitir a los usuarios generar pornografía. Como informó TechCrunch anteriormente, grupos como Unstable Diffusion están tratando de monetizar la pornografía con IA con líneas éticas turbias y sesgos en los datos.
En regiones como India, los deepfakes también se han convertido en un motivo de preocupación. El año pasado, un informe del bbc señaló que la cantidad de videos deepfake de actrices indias se ha disparado en los últimos tiempos. Datos sugiere que las mujeres son más comúnmente objeto de videos deepfaked.
A principios de este año, el viceministro de TI, Rajeev Chandrasekhar, expresó su descontento con el enfoque de las empresas de tecnología para contrarrestar los deepfakes.
“Si una plataforma cree que puede salirse con la suya sin eliminar videos deepfake, o simplemente mantener un enfoque informal, tenemos el poder de proteger a nuestros ciudadanos bloqueando dichas plataformas”, dijo Chandrasekhar en una conferencia de prensa en ese momento.
Si bien India ha reflexionado sobre la posibilidad de incorporar a la ley normas específicas relacionadas con los deepfakes, todavía no hay nada escrito.
Si bien en el país existen disposiciones legales para denunciar la violencia de género en línea, los expertos señalan que el proceso podría ser tediosoy a menudo hay poco apoyo. En un estudio publicado el año pasado, el grupo de defensa indio TI para el cambio Señaló que los tribunales de la India deben contar con procesos sólidos para abordar la violencia de género en línea y no trivializar estos casos.
Aparajita Bharti, cofundadora de The Quantum Hub, una firma consultora de políticas públicas con sede en India, dijo que debería haber límites a los modelos de IA para evitar que creen contenido explícito que cause daño.
“El principal riesgo de la IA generativa es que el volumen de dicho contenido aumente porque es fácil de generar y con un alto grado de sofisticación. Por lo tanto, primero debemos evitar la creación de dicho contenido entrenando modelos de IA para limitar la producción en caso de que la intención de dañar a alguien ya esté clara. También deberíamos introducir etiquetas predeterminadas para una fácil detección”, dijo Bharti a TechCrunch por correo electrónico.
Actualmente, solo existen unas pocas leyes a nivel mundial que abordan la producción y distribución de pornografía generada mediante herramientas de inteligencia artificial. Un puñado de estados de EE. UU. Tienen leyes contra los deepfakes. El Reino Unido introdujo esta semana una ley para criminalizar la creación de imágenes sexualmente explícitas impulsadas por IA.
La respuesta de Meta y los próximos pasos.
En respuesta a los casos de la Junta de Supervisión, Meta dijo que eliminó ambos contenidos. Sin embargo, la compañía de redes sociales no abordó el hecho de que no pudo eliminar contenido en Instagram después de los informes iniciales de los usuarios o durante cuánto tiempo estuvo el contenido en la plataforma.
Meta dijo que utiliza una combinación de inteligencia artificial y revisión humana para detectar contenido sexualmente sugerente. El gigante de las redes sociales dijo que no recomienda este tipo de contenido en lugares como Instagram Explore o recomendaciones de Reels.
La Junta de Supervisión ha buscado comentarios públicos —con fecha límite el 30 de abril— sobre el asunto que aborda los daños causados por la pornografía ultrafalsa, información contextual sobre la proliferación de dicho contenido en regiones como Estados Unidos e India, y posibles dificultades del enfoque de Meta en la detección de imágenes explícitas generadas por IA.
La junta investigará los casos y los comentarios públicos y publicará la decisión en el sitio en unas semanas.
Estos casos indican que las grandes plataformas todavía están lidiando con procesos de moderación más antiguos, mientras que las herramientas impulsadas por IA han permitido a los usuarios crear y distribuir diferentes tipos de contenido de forma rápida y sencilla. Empresas como Meta están experimentando con herramientas que utilizan IA para la generación de contenido, con algunos esfuerzos para detectar dichas imágenes. Sin embargo, los perpetradores encuentran constantemente formas de escapar de estos sistemas de detección y publicar contenido problemático en las plataformas sociales.