OpenAI dice que quiere implementar ideas del público sobre cómo garantizar que sus futuros modelos de IA “se alineen con los valores de la humanidad”.
Con ese fin, la startup de IA está formando un nuevo equipo de investigadores e ingenieros de Collective Alignment para crear un sistema para recopilar y “codificar” la información pública sobre el comportamiento de sus modelos en productos y servicios OpenAI, la empresa Anunciado hoy.
“Seguiremos trabajando con asesores externos y equipos de subvenciones, incluida la ejecución de pilotos para incorporar… prototipos en la dirección de nuestros modelos”, escribe OpenAI enuna publicación de blog. “Eran reclutar… ingenieros de investigación de diversos orígenes técnicos para ayudar a construir este trabajo con nosotros”.
El equipo de Alineación Colectiva es una consecuencia del público de OpenAI programa, lanzado en mayo pasado, para otorgar subvenciones para financiar experimentos destinados a establecer un “proceso democrático” para decidir qué reglas deben seguir los sistemas de IA. El objetivo del programa, dijo OpenAI en su debut, era financiar a personas, equipos y organizaciones para desarrollar pruebas de conceptos que pudieran responder preguntas sobre barreras de seguridad y gobernanza para la IA.
En su publicación de blog de hoy, OpenAI resumió el trabajo de los beneficiarios de la subvención, que abarcó desde interfaces de video chat hasta plataformas para auditorías colaborativas de modelos de IA y “enfoques para mapear creencias en dimensiones que pueden usarse para afinar el comportamiento del modelo. ” Todo el código utilizado en el trabajo de los beneficiarios fue creado público esta mañana, junto con breves resúmenes de cada propuesta y conclusiones de alto nivel.
OpenAI ha intentado presentar el programa como divorciado de sus intereses comerciales. Pero es un trago un poco difícil de tragar, dadas las críticas del CEO de OpenAI, Sam Altman, a la regulación en la UE y en otros lugares. Altman, junto con el presidente de OpenAI, Greg Brockman, y el científico jefe, Ilya Sutskever, han argumentado repetidamente que el ritmo de la innovación en IA es tan rápido que no podemos esperar que las autoridades existentes controlen adecuadamente la tecnología; de ahí la necesidad de colaborar en el trabajo.
Algunos rivales de OpenAI, incluido Meta, han acusado a OpenAI (entre otros) de intentar asegurar la “captura regulatoria de la industria de la IA” presionando contra la I+D abierta en IA. Como era de esperar, OpenAI lo niega y probablemente señalaría el programa de subvenciones (y el equipo de Alineación Colectiva) como un ejemplo de su “apertura”.
En cualquier caso, OpenAI está bajo un creciente escrutinio por parte de los responsables políticos, enfrentando una investigación en el Reino Unido sobre su relación con su socio e inversor cercano Microsoft. La startup recientemente buscó reducir su riesgo regulatorio en la UE en torno a la privacidad de los datos, aprovechando una subsidiaria con sede en Dublín para reducir la capacidad de ciertos organismos de control de la privacidad en el bloque para actuar unilateralmente ante las preocupaciones.
Ayer, en parte para calmar a los reguladores, sin duda, OpenAI Anunciado que está trabajando con organizaciones para intentar limitar las formas en que su tecnología podría usarse para influir o influir en las elecciones a través de medios maliciosos. Los esfuerzos de la startup incluyen hacer más obvio cuándo las imágenes se generan con IA utilizando sus herramientas y desarrollar enfoques para identificar el contenido generado incluso después de que las imágenes hayan sido modificadas.