El Instituto Nacional de Estándares y Tecnología (NIST), la agencia del Departamento de Comercio de EE. UU. que desarrolla y prueba tecnología para el gobierno, las corporaciones y el público en general de EE. UU., anunció hoy el lanzamiento de NIST GenAI, un nuevo programa encabezado por el NIST para evaluar la IA generativa. tecnologías, incluida la IA que genera texto e imágenes.
NIST GenAI, una plataforma diseñada para evaluar diversas formas de tecnología de IA generativa, publicará puntos de referencia, ayudará a crear sistemas de detección de “autenticidad del contenido” (es decir, verificación de deepfake) y fomentará el desarrollo de software para detectar la fuente de información falsa o engañosa, explica el NIST. en sus Sitio NIST GenAI recientemente lanzado y en un presione soltar.
“El programa NIST GenAI publicará una serie de problemas de desafío diseñados para evaluar y medir las capacidades y limitaciones de las tecnologías de IA generativa”, se lee en el comunicado de prensa. “Estas evaluaciones se utilizarán para identificar estrategias para promover la integridad de la información y guiar el uso seguro y responsable del contenido digital”.
El primer proyecto de NIST GenAI es un estudio piloto para construir sistemas que puedan distinguir de manera confiable entre los medios creados por humanos y los generados por IA, comenzando con el texto. (Si bien muchos servicios pretenden detectar deepfakes, los estudios (y nuestras propias pruebas) han demostrado que no son confiables, particularmente cuando se trata de texto). NIST GenAI está invitando a equipos de la academia, la industria y los laboratorios de investigación a enviar cualquiera de los “generadores”: Sistemas de IA para generar contenido, o “discriminadores”, sistemas que intentan identificar contenido generado por IA.
Los generadores del estudio deben generar resúmenes proporcionados por un tema y un conjunto de documentos, mientras que los discriminadores deben detectar si un resumen determinado está escrito por IA o no. Para garantizar la equidad, NIST GenAI proporcionará los datos necesarios para capacitar a generadores y discriminadores; No se aceptarán sistemas entrenados con datos disponibles públicamente, incluidos, entre otros, modelos abiertos como Meta’s Llama 3.
La inscripción para el piloto comenzará el 1 de mayo y los resultados se publicarán en febrero de 2025.
El lanzamiento de NIST GenAI, y el estudio centrado en los deepfakes, se produce en un momento en que los deepfakes crecen exponencialmente.
Según datos de Clarity, una empresa de detección de deepfakes, este año se han creado un 900% más de deepfakes en comparación con el mismo período del año pasado. Está causando alarma, comprensiblemente. A reciente encuesta de YouGov encontró que el 85% de los estadounidenses dijeron que estaban preocupados por la difusión de deepfakes engañosos en línea.
El lanzamiento de NIST GenAI es parte de la respuesta del NIST a la orden ejecutiva del presidente Joe Biden sobre IA, que estableció reglas que exigen una mayor transparencia por parte de las empresas de IA sobre cómo funcionan sus modelos y estableció una serie de nuevos estándares, incluso para etiquetar el contenido generado por IA. .
También es el primer anuncio del NIST relacionado con la IA después del nombramiento de Paul Christiano, un ex investigador de OpenAI, para el Instituto de Seguridad de IA de la agencia.
Christiano fue una elección controvertida por sus opiniones “doomeristas”; él una vez predicho que “hay un 50% de posibilidades de que el desarrollo de la IA termine en [humanity’s destruction]” Críticos (incluidos científicos del NIST, según se informa) temen que Cristiano pueda alentar al AI Safety Institute a centrarse en “escenarios de fantasía” en lugar de riesgos realistas y más inmediatos de la IA.
NIST dice que NIST GenAI informará el trabajo del AI Safety Institute.