El martes, la BBC informó que el mensajero de Uber Eats, Pa Edrissa Manjang, que es negro, había recibido un pago de Uber después de que controles de reconocimiento facial “racialmente discriminatorios” le impidieran acceder a la aplicación, que había estado usando desde noviembre de 2019 para conseguir trabajos como repartidor de comida en Uber. plataforma.
La noticia plantea dudas sobre qué tan adecuada es la legislación del Reino Unido para hacer frente al creciente uso de sistemas de inteligencia artificial. En particular, la falta de transparencia en torno a los sistemas automatizados lanzados al mercado, con la promesa de aumentar la seguridad del usuario y/o la eficiencia del servicio, puede correr el riesgo de causar daños individuales a gran escala, aun cuando lograr reparación para aquellos afectados por el sesgo impulsado por la IA puede requerir años.
La demanda se produjo tras una serie de quejas sobre controles fallidos de reconocimiento facial desde que Uber implementó el sistema Real Time ID Check en el Reino Unido en abril 2020. El sistema de reconocimiento facial de Uber, basado en la tecnología de reconocimiento facial de Microsoft, requiere que el titular de la cuenta envíe una selfie en vivo comparada con una foto suya archivada para verificar su identidad.
Comprobaciones de identidad fallidas
Según la queja de Manjang, Uber suspendió y luego canceló su cuenta luego de una verificación de identificación fallida y un proceso automatizado posterior, alegando encontrar “desconcordancias continuas” en las fotos de su rostro que había tomado con el fin de acceder a la plataforma. Manjang presentó demandas legales contra Uber en octubre de 2021, con el apoyo de la Comisión de Igualdad y Derechos Humanos (EHRC) y el App Drivers & Couriers Union (ADCU).
Siguieron años de litigio, y Uber no logró que se descartara el reclamo de Manjang ni se ordenara un depósito para continuar con el caso. La táctica parece haber contribuido a prolongar el litigio, con la CEDH Describiendo el caso como todavía en “etapas preliminares” en el otoño de 2023, y señalando que el caso muestra “la complejidad de un reclamo relacionado con la tecnología de inteligencia artificial”. Se había programado una audiencia final para 17 días en noviembre de 2024.
Esa audiencia ahora no se llevará a cabo después de que Uber ofreció, y Manjang aceptó, un pago para llegar a un acuerdo, lo que significa que no se harán públicos los detalles más completos de qué salió mal exactamente y por qué. Los términos del acuerdo financiero tampoco han sido revelados. Uber no proporcionó detalles cuando le preguntamos, ni ofreció comentarios sobre qué salió mal exactamente.
También contactamos a Microsoft para obtener una respuesta sobre el resultado del caso, pero la compañía declinó hacer comentarios.
A pesar de llegar a un acuerdo con Manjang, Uber no acepta públicamente que sus sistemas o procesos tuvieran fallas. Su declaración sobre el acuerdo niega que las cuentas de mensajería puedan cancelarse solo como resultado de pruebas de inteligencia artificial, ya que afirma que las comprobaciones de reconocimiento facial están respaldadas por una “sólida revisión humana”.
“Nuestra verificación de identificación en tiempo real está diseñada para ayudar a mantener seguros a todos los que usan nuestra aplicación e incluye una revisión humana sólida para garantizar que no estemos tomando decisiones sobre el sustento de alguien en el vacío, sin supervisión”, dijo la compañía en un comunicado. . “La verificación facial automatizada no fue el motivo de la pérdida temporal del acceso del señor Manjang a su cuenta de mensajería”.
Sin embargo, es evidente que algo salió muy mal con las comprobaciones de identidad de Uber en el caso de Manjang.
Intercambio de información de los trabajadores (WIE), una organización de defensa de los derechos digitales de los trabajadores de plataformas que también apoyó la denuncia de Manjang, logró obtener todos sus selfies de Uber, a través de una Solicitud de Acceso de Sujeto bajo la ley de protección de datos del Reino Unido, y pudo demostrar que todas las fotos que había enviado a su verificación de reconocimiento facial eran de hecho fotografías de él mismo.
“Tras su despido, Pa envió numerosos mensajes a Uber para rectificar el problema, pidiendo específicamente que un humano revisara sus envíos. Cada vez que a papá le decían ‘no pudimos confirmar que las fotos proporcionadas eran realmente tuyas y debido a las continuas discrepancias, hemos tomado la decisión final de poner fin a nuestra asociación contigo’”, relata WIE al discutir su caso en un informe más amplio analizando la “explotación basada en datos en la economía colaborativa”.
Según los detalles de la denuncia de Manjang que se han hecho públicos, parece claro que tanto las comprobaciones de reconocimiento facial de Uber y el sistema de revisión humana que había establecido como supuesta red de seguridad para decisiones automatizadas falló en este caso.
Ley de igualdad más protección de datos
El caso pone en duda qué tan adecuada es la legislación del Reino Unido cuando se trata de regular el uso de la IA.
Manjang finalmente pudo obtener un acuerdo con Uber a través de un proceso legal basado en la ley de igualdad, específicamente, un reclamo por discriminación bajo la Ley de Igualdad del Reino Unido de 2006, que enumera la raza como una característica protegida.
La baronesa Kishwer Falkner, presidenta de la EHRC, criticó el hecho de que el mensajero de Uber Eats tuviera que presentar una demanda legal “para comprender los procesos opacos que afectaron a su trabajo”, escribió en un comunicado.
“La IA es compleja y presenta desafíos únicos para empleadores, abogados y reguladores. Es importante comprender que a medida que aumenta el uso de la IA, la tecnología puede provocar discriminación y abusos contra los derechos humanos”, afirmó. escribió. “Nos preocupa especialmente que el señor Manjang no haya sido informado de que su cuenta estaba en proceso de desactivación, ni haya proporcionado ninguna ruta clara y efectiva para cuestionar la tecnología. Es necesario hacer más para garantizar que los empleadores sean transparentes y abiertos con sus fuerzas laborales sobre cuándo y cómo utilizan la IA”.
La ley de protección de datos del Reino Unido es la otra legislación relevante en este caso. Sobre el papel, debería proporcionar poderosas protecciones contra procesos opacos de IA.
Los datos de selfies relevantes para el reclamo de Manjang se obtuvieron utilizando los derechos de acceso a datos contenidos en el RGPD del Reino Unido. Si no hubiera podido obtener pruebas tan claras de que las comprobaciones de identidad de Uber habían fallado, la empresa podría no haber optado por llegar a ningún acuerdo. Demostrar que un sistema propietario tiene fallas sin permitir que las personas accedan a datos personales relevantes aumentaría aún más las probabilidades a favor de las plataformas con recursos mucho más ricos.
Brechas en la aplicación de la ley
Más allá de los derechos de acceso a los datos, se supone que los poderes del RGPD del Reino Unido brindan a las personas salvaguardias adicionales, incluso contra decisiones automatizadas con un efecto legal o igualmente significativo. La ley también exige una base legal para el procesamiento de datos personales y alienta a los implementadores de sistemas a ser proactivos en la evaluación de posibles daños mediante la realización de una evaluación del impacto de la protección de datos. Esto debería obligar a realizar más controles contra los sistemas de inteligencia artificial dañinos.
Sin embargo, es necesario hacer cumplir la ley para que estas protecciones surtan efecto, incluido un efecto disuasorio contra el despliegue de IA sesgadas.
En el caso del Reino Unido, el organismo encargado de hacer cumplir la ley, la Oficina del Comisionado de Información (ICO), no intervino e investigó las quejas contra Uber, a pesar de las quejas sobre sus controles de identificación fallidos que se remontan a 2021.
Jon Baines, especialista senior en protección de datos del bufete de abogados Mishcon de Reya, sugiere que “la falta de aplicación adecuada” por parte de la ICO ha socavado las protecciones legales para las personas.
“No deberíamos asumir que los marcos legales y regulatorios existentes son incapaces de abordar algunos de los daños potenciales de los sistemas de IA”, le dice a TechCrunch. “En este ejemplo, me sorprende… que el Comisionado de Información ciertamente tendría jurisdicción para considerar, tanto en el caso individual como en términos más generales, si el procesamiento que se estaba llevando a cabo era legal según el RGPD del Reino Unido.
“Cosas como: ¿es justo el procesamiento? ¿Existe una base legal? ¿Existe una condición del artículo 9 (dado que se procesan categorías especiales de datos personales)? Pero también, y de manera crucial, ¿hubo una evaluación sólida del impacto de la protección de datos antes de la implementación de la aplicación de verificación?
“Así que sí, la ICO debería ser absolutamente más proactiva”, añade, cuestionando la falta de intervención del regulador.
Nos comunicamos con la ICO sobre el caso de Manjang y le pedimos que confirme si está investigando o no el uso de IA por parte de Uber para verificaciones de identidad a la luz de las quejas. Un portavoz del organismo de control no respondió directamente a nuestras preguntas, pero envió una declaración general enfatizando la necesidad de que las organizaciones “sepan cómo utilizar la tecnología biométrica de una manera que no interfiera con los derechos de las personas”.
“Nuestro último guía biométrica “Está claro que las organizaciones deben mitigar los riesgos que conlleva el uso de datos biométricos, como errores al identificar a las personas con precisión y sesgos dentro del sistema”, decía también el comunicado, y agrega: “Si alguien tiene dudas sobre cómo se han manejado sus datos, puede informar estas preocupaciones a la ICO”.
Mientras tanto, el gobierno está en el proceso de diluir la ley de protección de datos a través de un proyecto de ley de reforma de datos posterior al Brexit.
Además, el gobierno también confirmó a principios de este año que no introducirá legislación específica sobre seguridad de la IA en este momento, a pesar de que el primer ministro Rishi Sunak hizo afirmaciones llamativas sobre que la seguridad de la IA es un área prioritaria para su administración.
En cambio, confirmó una propuesta, expuesta en su documento técnico de marzo de 2023 sobre IA, en la que pretende basarse en las leyes y organismos reguladores existentes que amplían la actividad de supervisión para cubrir los riesgos de IA que puedan surgir en su territorio. Un cambio en el enfoque que anunció en febrero fue una pequeña cantidad de financiación adicional (10 millones de libras esterlinas) para los reguladores, que el gobierno sugirió que podría utilizarse para investigar los riesgos de la IA y desarrollar herramientas que les ayuden a examinar los sistemas de IA.
No se proporcionó ningún cronograma para el desembolso de este pequeño fondo adicional. Múltiples reguladores están en el marco aquí, por lo que si hay una división equitativa del efectivo entre organismos como la ICO, la EHRC y la Agencia Reguladora de Medicamentos y Productos Sanitarios, por nombrar sólo tres de los 13 reguladores y departamentos, El secretario de Estado del Reino Unido le escribió el mes pasado. Al pedirles que publiquen una actualización sobre su “enfoque estratégico hacia la IA”, cada uno de ellos podría recibir menos de £1 millón para complementar los presupuestos y hacer frente a los riesgos de la IA que aumentan rápidamente.
Francamente, parece un nivel increíblemente bajo de recursos adicionales para los reguladores, que ya están sobrecargados, si la seguridad de la IA es realmente una prioridad del gobierno. También significa que todavía no hay efectivo ni supervisión activa para los daños causados por la IA que caen entre las grietas del mosaico regulatorio existente en el Reino Unido, como han señalado antes los críticos del enfoque del gobierno.
Una nueva ley de seguridad de la IA podría enviar una señal más fuerte de prioridad, similar al marco de daños de la IA basado en riesgos de la UE que se está acelerando hacia su adopción como ley estricta por parte del bloque. Pero también sería necesario que existiera la voluntad de hacerlo cumplir. Y esa señal debe venir desde arriba.