La inteligencia artificial es la tecnología que ha avanzado más rápidamente de todas y hoy en día hay un entusiasmo increíble en torno a este tema. Numerosas empresas ya la han adoptado o están planeando integrarla en sus operaciones. También son muchos los usuarios domésticos que utilizan servicios como ChatGPT o Bing Chat. Sin embargo, hay un lado negativo: implementar sistemas de IA requiere un considerable gasto de recursos, tanto para el procesamiento de datos como para el almacenamiento. Ya abordamos el tema desde el punto de vista de los sistemas de enfriamiento para centros de datos, que pronto deberán actualizarse para controlar las temperaturas de procesadores que consumen cada vez más energía. Ahora abordamos el tema desde la perspectiva de las necesidades de almacenamiento.
Los nuevos LLM requieren conjuntos de datos cada vez más grandes
La IA, cabe destacar, no es una tecnología completamente nueva. Lo que está teniendo un impacto enorme es un área específica de aplicación, la IA generativa. «En los últimos años, la IA ha estado aumentando constantemente el tamaño de estos conjuntos de datos, pero la introducción de LLM (Large Language Model) como los que sustentan ChatGPT y otras plataformas de IA generativa ha provocado un aumento de un orden completo de magnitud en el tamaño y complejidad», explica Umberto Galtarossa, Partner Technical Manager de Pure Storage. «Esto sucede porque los patrones de conocimiento aprendidos que emergen durante el proceso de entrenamiento de los modelos de IA deben ser almacenados, lo cual puede volverse realmente difícil con modelos de mayor tamaño. Incluso el checkpointing de modelos extensos y complejos ejerce una enorme presión sobre la infraestructura de almacenamiento y la red subyacente, ya que el modelo no puede avanzar hasta que todos los datos internos hayan sido guardados en el checkpoint, un punto de reinicio al cual se recurre en caso de que la tarea falle o el gradiente de error no mejore».
Sintetizando el discurso técnico de Galtarossa, el punto es que cuanto mayor sea el volumen de datos considerado, mejor será la calidad de las respuestas generadas por los algoritmos de IA. De hecho, el uso de datos para este tipo de aplicaciones está creciendo de forma exponencial. Un hecho que conlleva dos problemas: en primer lugar, las empresas tendrán que mejorar las infraestructuras de almacenamiento para gestionar los LLM, lo que implicará un aumento de los costos. Además, aumentarán las emisiones de CO2. Y, en este momento histórico en el que las empresas de cualquier sector están comprometidas con la descarbonización, es un aspecto que no se puede pasar por alto si se quiere alcanzar la neutralidad de carbono.
La receta de Pure Storage: memorias flash en lugar de discos duros
Según Galtarossa, la solución ideal a estos problemas es adoptar discos flash. «Algunos fabricantes tecnológicos ya están abordando los aspectos relacionados con la sostenibilidad en el diseño de sus productos», explica el gerente. «Por ejemplo, las soluciones de almacenamiento all-flash son considerablemente más eficientes que sus contrapartes HDD con discos rotativos. Algunos fabricantes incluso van más allá de los SSD comerciales creando sus propios módulos flash que permiten a los arrays all-flash comunicarse directamente con el almacenamiento en bruto, una medida que maximiza la capacidad flash y ofrece mejores niveles de rendimiento, consumo de energía y eficiencia».
Los SSD y las memorias flash, de hecho, requieren mucho menos energía y disipan menos calor que los discos magnéticos tradicionales, que necesitan sistemas de enfriamiento especiales.
Para Galtarossa, sin embargo, la sostenibilidad ambiental es solo uno de los beneficios que conlleva la adopción de discos flash, que son más adecuados para este tipo de cargas de trabajo, ya que la clave del éxito en este ámbito radica en la conexión de los modelos de IA o las aplicaciones de IA con los datos. «Para hacer esto bien se necesitan tipos de datos variados y de gran tamaño, ancho de banda disponible para el streaming en los procesos de aprendizaje, rendimiento de escritura para el checkpointing (y para las restauraciones de los checkpoints) y rendimiento de lectura aleatoria para la inferencia; todo esto, además, debe ser fiable y fácilmente accesible las 24 horas del día, los 7 días de la semana a través de diferentes silos y aplicaciones. Esta combinación de características no es posible si las operaciones se basan en almacenamiento HDD: se necesita la tecnología all-flash».
