Pero no es solo que los modelos no puedan reconocer acentos, idiomas, sintaxis o rostros menos comunes en los países occidentales. “Muchas de las herramientas iniciales de detección de deepfakes se entrenaron con medios de alta calidad”, dice Gregory. Pero en gran parte del mundo, incluida África, los modelos baratos Marcas de teléfonos inteligentes chinos Los teléfonos que ofrecen funciones simplificadas dominan el mercado. Las fotos y los vídeos que pueden producir estos teléfonos son de mucha menor calidad, lo que confunde aún más a los modelos de detección, afirma Ngamita.
Gregory dice que algunos modelos son tan sensibles que incluso el ruido de fondo en un fragmento de audio o la compresión de un video para las redes sociales pueden dar como resultado un falso positivo o negativo. “Pero esas son exactamente las circunstancias que uno encuentra en el mundo real, una detección irregular”, dice. Las herramientas gratuitas y públicas a las que probablemente tengan acceso la mayoría de periodistas, verificadores de datos y miembros de la sociedad civil también son “las que son extremadamente inexactas, en términos de lidiar tanto con la inequidad de quién está representado en los datos de entrenamiento como con los desafíos de lidiar con este material de menor calidad”.
La IA generativa no es la única forma de crear medios manipulados. Las llamadas falsificaciones baratas, o medios manipulados mediante la adición de etiquetas engañosas o simplemente reduciendo o editando el audio y el video, también son muy comunes en el Sur Global, pero pueden ser erróneamente marcadas como manipuladas por IA por modelos defectuosos o investigadores no capacitados.
A Diya le preocupa que los grupos que utilizan herramientas que tienen más probabilidades de marcar contenido de fuera de Estados Unidos y Europa como generado por IA puedan tener graves repercusiones a nivel de políticas, alentando a los legisladores a tomar medidas enérgicas contra problemas imaginarios. “Existe un riesgo enorme en términos de inflar ese tipo de números”, dice. Y desarrollar nuevas herramientas no es una cuestión de pulsar un botón.
Al igual que cualquier otra forma de IA, la construcción, prueba y ejecución de un modelo de detección requiere acceso a energía y centros de datos que simplemente no están disponibles en gran parte del mundo. “Si hablamos de IA y soluciones locales aquí, es casi imposible sin el lado computacional de las cosas que podamos ejecutar cualquiera de los modelos que estamos pensando en desarrollar”, dice Ngamita, quien vive en Ghana. Sin alternativas locales, los investigadores como Ngamita se quedan con pocas opciones: pagar por el acceso a una herramienta comercial como la que ofrece Reality Defender, cuyos costos pueden ser prohibitivos; usar herramientas gratuitas inexactas; o tratar de obtener acceso a través de una institución académica.
Por ahora, Ngamita dice que su equipo ha tenido que asociarse con una universidad europea a la que pueden enviar fragmentos de contenido para su verificación. El equipo de Ngamita ha estado compilando un conjunto de datos de posibles instancias de deepfake de todo el continente, lo que, según él, es valioso para académicos e investigadores que están tratando de diversificar los conjuntos de datos de sus modelos.
Pero enviar datos a otra persona también tiene sus inconvenientes. “El tiempo de espera es bastante significativo”, dice Diya. “Se necesitan al menos algunas semanas para que alguien pueda decir con seguridad que esto es generado por IA, y para entonces, ese contenido ya está hecho”.
Gregory dice que Witness, que tiene su propio programa de detección de respuesta rápida, recibe una “enorme cantidad” de casos. “Ya es un desafío manejarlos en el marco de tiempo que necesitan los periodistas de primera línea y en el volumen que están comenzando a encontrar”, dice.
Pero Diya dice que centrarse tanto en la detección podría desviar fondos y apoyo de las organizaciones e instituciones que contribuyen a un ecosistema de información más resistente en general. En cambio, dice, la financiación debe destinarse a los medios de comunicación y las organizaciones de la sociedad civil que pueden generar un sentido de confianza pública. “No creo que el dinero se esté destinando a eso”, dice. “Creo que se está destinando más a la detección”.
