El apetito por nubes alternativas nunca ha sido tan grande.
Un ejemplo: CoreWeave, el proveedor de infraestructura de GPU que comenzó su vida como una operación de minería de criptomonedas, recaudó esta semana 1.100 millones de dólares en nuevos fondos de inversores como Coatue, Fidelity y Altimeter Capital. La ronda eleva su valoración a 19 mil millones de dólares después del dinero, y su total se eleva a 5 mil millones de dólares en deuda y capital, una cifra notable para una empresa que tiene menos de diez años.
No se trata sólo de CoreWeave.
Lambda Labs, que también ofrece una variedad de instancias de GPU alojadas en la nube, aseguró a principios de abril un “vehículo de financiación de propósito especial” de hasta 500 millones de dólares, meses después de cerrar una ronda Serie C de 320 millones de dólares. La organización sin fines de lucro Voltage Park, respaldada por el cripto multimillonario Jed McCaleb, anunció en octubre pasado que está invirtiendo 500 millones de dólares en centros de datos respaldados por GPU. Y Together AI, un host de GPU en la nube que también realiza investigaciones de IA generativa, obtuvo en marzo 106 millones de dólares en una ronda liderada por Salesforce.
Entonces, ¿a qué se debe tanto entusiasmo (y tanto dinero invertido) por el espacio alternativo en la nube?
La respuesta, como era de esperar, es la IA generativa.
A medida que continúan los tiempos de auge de la IA generativa, también aumenta la demanda de hardware para ejecutar y entrenar modelos de IA generativa a escala. Las GPU, desde el punto de vista arquitectónico, son la opción lógica para entrenar, ajustar y ejecutar modelos porque contienen miles de núcleos que pueden trabajar en paralelo para realizar las ecuaciones de álgebra lineal que componen los modelos generativos.
Pero instalar GPU es caro. Por eso, la mayoría de los desarrolladores y organizaciones recurren a la nube.
Los operadores tradicionales en el espacio de la computación en la nube (Amazon Web Services (AWS), Google Cloud y Microsoft Azure) no ofrecen escasez de instancias de GPU y hardware especializado optimizadas para cargas de trabajo de IA generativa. Pero al menos para algunos modelos y proyectos, las nubes alternativas pueden terminar siendo más baratas y ofreciendo una mejor disponibilidad.
En CoreWeave, alquilar una Nvidia A100 de 40 GB, una opción popular para el entrenamiento y la inferencia de modelos, cuesta 2,39 dólares por hora, lo que equivale a 1.200 dólares al mes. En Azure, la misma GPU cuesta $3,40 por hora, o $2482 por mes; en Google Cloud, cuesta $ 3,67 por hora, o $ 2682 por mes.
Dado que las cargas de trabajo de IA generativa generalmente se realizan en grupos de GPU, los deltas de costos crecen rápidamente.
“Empresas como CoreWeave participan en un mercado que llamamos proveedores especializados en la nube ‘GPU como servicio'”, dijo a TechCrunch Sid Nag, vicepresidente de servicios y tecnologías en la nube de Gartner. “Dada la gran demanda de GPU, ofrecen una alternativa a los hiperescaladores, donde tomaron las GPU de Nvidia y proporcionaron otra ruta de comercialización y acceso a esas GPU”.
Nag señala que incluso algunas grandes empresas tecnológicas han comenzado a recurrir a proveedores de nube alternativos a medida que enfrentan desafíos de capacidad informática.
En junio pasado, CNBC reportado que Microsoft había firmado un acuerdo multimillonario con CoreWeave para garantizar que OpenAI, el fabricante de ChatGPT y socio cercano de Microsoft, tuviera la potencia informática adecuada para entrenar sus modelos de IA generativa. Nvidia, proveedor de la mayor parte de los chips de CoreWeave, ve esto como una tendencia deseable, tal vez por razones de apalancamiento; se dice que ha proporcionado algunos proveedores de nube alternativos acceso preferencial a sus GPU.
Lee Sustar, analista principal de Forrester, considera que los proveedores de nube como CoreWeave tienen éxito en parte porque no tienen el “equipaje” de infraestructura con el que tienen que lidiar los proveedores tradicionales.
“Dado el dominio del hiperescalador en el mercado general de la nube pública, que exige grandes inversiones en infraestructura y una gama de servicios que generan pocos o ningún ingreso, los retadores como CoreWeave tienen la oportunidad de tener éxito con un enfoque en servicios premium de IA sin la carga del nivel de hiperescalador. inversiones en general”, dijo.
¿Pero es este crecimiento sostenible?
Sustar tiene sus dudas. Él cree que la expansión de los proveedores de nube alternativos estará condicionada por si pueden continuar ofreciendo GPU en línea en un gran volumen y ofrecerlas a precios competitivamente bajos.
Competir en precios podría convertirse en un desafío en el futuro a medida que empresas tradicionales como Google, Microsoft y AWS aumenten sus inversiones en hardware personalizado para ejecutar y entrenar modelos. Google ofrece sus TPU; Microsoft presentó recientemente dos chips personalizados, Azure Maia y Azure Cobalt; y AWS tiene Trainium, Inferentia y Graviton.
“Los hipercalers aprovecharán su silicio personalizado para mitigar su dependencia de Nvidia, mientras que Nvidia buscará CoreWeave y otras nubes de IA centradas en GPU”, dijo Sustar.
Luego está el hecho de que, si bien muchas cargas de trabajo de IA generativa funcionan mejor en GPU, no todas las cargas de trabajo las necesitan, especialmente si no son urgentes. Las CPU pueden ejecutar los cálculos necesarios, pero normalmente son más lentas que las GPU y el hardware personalizado.
Más existencialmente, existe la amenaza de que la burbuja generativa de la IA explote, lo que dejaría a los proveedores con montones de GPU y no suficientes clientes que las demanden. Pero el futuro parece prometedor a corto plazo, dicen Sustar y Nag, quienes esperan un flujo constante de nuevas nubes.
“Las nuevas empresas en la nube orientadas a GPU darán [incumbents] Hay mucha competencia, especialmente entre clientes que ya son multinube y pueden manejar la complejidad de la gestión, la seguridad, el riesgo y el cumplimiento en múltiples nubes”, dijo Sustar. “Ese tipo de clientes de la nube se sienten cómodos probando una nueva nube de IA si tiene un liderazgo creíble, un respaldo financiero sólido y GPU sin tiempos de espera”.