AWS, el negocio de computación en la nube de Amazon, quiere ser el lugar al que acuden las empresas para alojar y ajustar sus modelos de IA generativa personalizados.
Hoy, AWS anunció el lanzamiento de Custom Model Import (en versión preliminar), una nueva característica en Bedrock, el conjunto de servicios de IA generativa centrados en la empresa de AWS, que permite a las organizaciones importar y acceder a sus modelos internos de IA generativa como API totalmente administradas. .
Los modelos propietarios de las empresas, una vez importados, se benefician de la misma infraestructura que otros modelos de IA generativa en la biblioteca de Bedrock (por ejemplo, Llama 3 de Meta, Claude 3 de Anthropic), incluidas herramientas para ampliar su conocimiento, perfeccionarlo e implementar salvaguardas para mitigar sus sesgos. .
“Ha habido clientes de AWS que han estado ajustando o construyendo sus propios modelos fuera de Bedrock utilizando otras herramientas”, dijo a TechCrunch Vasi Philomin, vicepresidente de IA generativa de AWS, en una entrevista. “Esta capacidad de importación de modelos personalizados les permite traer sus propios modelos patentados a Bedrock y verlos junto a todos los demás modelos que ya están en Bedrock, y usarlos con todos los flujos de trabajo que también ya están en Bedrock. .”
Importar modelos personalizados
Según un reciente encuesta Desde Cnvrg, la filial de Intel centrada en la IA, la mayoría de las empresas se están acercando a la IA generativa construyendo sus propios modelos y refinándolos para sus aplicaciones. Según la encuesta, esas mismas empresas dicen que ven la infraestructura, incluida la infraestructura informática en la nube, como su mayor barrera para la implementación.
Con Custom Model Import, AWS pretende apresurarse a satisfacer la necesidad manteniendo el ritmo de sus rivales en la nube. (El director ejecutivo de Amazon, Andy Jassy presagiado tanto en su reciente carta anual a los accionistas.)
Durante algún tiempo, Vertex AI, el análogo de Bedrock de Google, ha permitido a los clientes cargar modelos de IA generativos, adaptarlos y servirlos a través de API. Databricks también ha proporcionado durante mucho tiempo conjuntos de herramientas para alojar y modificar modelos personalizados, incluido su propio DBRX lanzado recientemente.
Cuando se le preguntó qué distingue a Custom Model Import, Philomin afirmó que, y por extensión, Bedrock, ofrece una mayor amplitud y profundidad de opciones de personalización de modelos que la competencia, y agregó que “decenas de miles” de clientes hoy en día utilizan Bedrock.
“En primer lugar, Bedrock ofrece a los clientes varias formas de lidiar con los modelos de servicio”, dijo Philomin. “Número dos, tenemos una gran cantidad de flujos de trabajo en torno a estos modelos, y ahora lata de los clientes párese justo al lado de todos los demás modelos que ya tenemos disponibles. Una cosa clave que a la mayoría de la gente le gusta de esto es la capacidad de poder experimentar con múltiples modelos diferentes usando los mismos flujos de trabajo y luego llevarlos a producción desde el mismo lugar”.
Entonces, ¿cuáles son las opciones de personalización del modelo mencionadas?
Philomin señala Guardrails, que permite a los usuarios de Bedrock configurar umbrales para filtrar (o al menos intentar filtrar) los resultados de los modelos en busca de cosas como discursos de odio, violencia e información personal o corporativa privada. (Los modelos de IA generativa son conocidos por descarrilarse de maneras problemáticas, incluida la filtración de información confidencial; AWS ha sido sin excepción.) También destacó la Evaluación de modelos, una herramienta de Bedrock que los clientes pueden utilizar para probar qué tan bien se desempeña un modelo, o varios, en un conjunto determinado de criterios.
Tanto Guardrails como Model Assessment ya están disponibles de forma generalizada tras una vista previa de varios meses de duración.
Me siento obligado a señalar aquí que Custom Model Import solo admite tres arquitecturas de modelos en este momento: Flan-T5 de Hugging Face, Llama de Meta y modelos Mistral, y que Vertex AI y otros servicios rivales de Bedrock, incluidas las herramientas de desarrollo de AI de Microsoft en Azure, ofrecen características de seguridad y evaluación más o menos comparables (consulte Seguridad del contenido de Azure AI, evaluación de modelos en Vertex etcétera).
Qué es Sin embargo, lo único de Bedrock es la familia Titan de modelos de IA generativa de AWS. Y, coincidiendo con el lanzamiento de Custom Model Import, hay varios desarrollos notables en ese frente.
Modelos Titan mejorados
Titan Image Generator, el modelo de texto a imagen de AWS, ahora está disponible de forma general después de su lanzamiento en versión preliminar en noviembre pasado. Como antes, Titan Image Generator puede crear nuevas imágenes con una descripción de texto o personalizar imágenes existentes, por ejemplo, cambiando el fondo de la imagen y conservando los sujetos en la imagen.
En comparación con la versión preliminar, Titan Image Generator en GA puede generar imágenes con más “creatividad”, dijo Philomin, sin entrar en detalles. (Tu suposición sobre lo que eso significa es tan buena como la mía).
Le pregunté a Philomin si tenía más detalles que compartir sobre cómo se entrenó Titan Image Generator.
En el debut del modelo en noviembre pasado, AWS fue vago sobre qué datos exactamente utilizó en el entrenamiento de Titan Image Generator. Pocos proveedores revelan fácilmente dicha información; Ven los datos de entrenamiento como una ventaja competitiva y, por lo tanto, los mantienen junto con la información relacionada cerca del cofre.
Los detalles de los datos de capacitación también son una fuente potencial de demandas relacionadas con la propiedad intelectual, otro desincentivo para revelar mucho. Varios casos que se están abriendo paso en los tribunales rechazan las defensas de uso legítimo de los proveedores, argumentando que las herramientas de conversión de texto a imagen replican los estilos de los artistas sin el permiso explícito de los artistas y permiten a los usuarios generar nuevas obras que se asemejan a las originales de los artistas por las cuales los artistas no reciben ningún pago. .
Philomin solo me dijo que AWS utiliza una combinación de datos propios y con licencia.
“Tenemos una combinación de fuentes de datos patentadas, pero también otorgamos licencias para muchos datos”, dijo. “De hecho, pagamos a los propietarios de derechos de autor derechos de licencia para poder utilizar sus datos, y tenemos contratos con varios de ellos”.
Es más detallado que a partir de noviembre. Pero tengo la sensación de que la respuesta de Philomin no satisfará a todos, en particular a los creadores de contenido y a los especialistas en ética de la IA que abogan por una mayor transparencia en lo que respecta al entrenamiento del modelo de IA generativa.
En lugar de transparencia, AWS dice que continuará ofreciendo una política de indemnización que cubra a los clientes en caso de que un modelo Titan como Titan Image Generator regurgite (es decir, escupe una copia reflejada de) un ejemplo de capacitación potencialmente protegido por derechos de autor. (Varios rivales, incluidos Microsoft y Google, ofrecen políticas similares que cubren sus modelos de generación de imágenes).
Para abordar otra amenaza ética apremiante, los deepfakes, AWS dice que las imágenes creadas con Titan Image Generator vendrán, como en la vista previa, con una marca de agua invisible “resistente a manipulaciones”. Philomin dice que la marca de agua se ha hecho más resistente en la versión GA a la compresión y otras ediciones y manipulaciones de imágenes.
Pasando a un territorio menos controvertido, le pregunté a Philomin si AWS (al igual que Google, OpenAI y otros) está explorando la generación de videos dado el entusiasmo (y la inversión) en torno a esta tecnología. Philomin no dijo que AWS no era… pero no quiso insinuar nada más que eso.
“Obviamente, buscamos constantemente qué nuevas capacidades quieren tener los clientes, y la generación de video definitivamente surge en las conversaciones con los clientes”, dijo Philomin. “Les pediría que estén atentos”.
En una última noticia relacionada con Titan, AWS lanzó la segunda generación de su modelo Titan Embeddings, Titan Text Embeddings V2. Titan Text Embeddings V2 convierte texto en representaciones numéricas llamadas incrustaciones para impulsar aplicaciones de búsqueda y personalización. Lo mismo hizo el modelo Embeddings de primera generación, pero AWS afirma que Titan Text Embeddings V2 es en general más eficiente, rentable y preciso.
“Lo que hace el modelo Embeddings V2 es reducir el almacenamiento general [necessary to use the model] hasta cuatro veces manteniendo el 97% de la precisión”, afirmó Philomin, “superando a otros modelos comparables”.
Veremos si las pruebas en el mundo real lo confirman.