Microsoft presenta SLMs multimodales entrenados en GPUs NVIDIA

James Ding

26 de febrero de 2025 15:38

Microsoft presenta nuevos SLM Phi, incluido el Phi-4 multimodal, entrenado en GPU NVIDIA, mejorando las capacidades de IA con un uso eficiente de recursos.

Microsoft ha anunciado las últimas incorporaciones a su familia Phi de pequeños modelos de lenguaje (SLMs), con los nuevos modelos Phi-4-multimodal y Phi-4-mini, ambos entrenados utilizando GPUs de NVIDIA. Este desarrollo marca un paso significativo en la evolución de los modelos de lenguaje, centrándose en la eficiencia y versatilidad, según NVIDIA.

###Avances en modelos de lenguaje pequeños

Los SLM han surgido como una solución práctica a los desafíos planteados por los grandes modelos de lenguaje (LLMs), que, a pesar de sus capacidades, requieren recursos computacionales sustanciales. Los SLM están diseñados para operar de manera eficiente en entornos restringidos, lo que los hace adecuados para su implementación en dispositivos con memoria limitada y potencia computacional.

El nuevo modelo multimodal Phi-4 de Microsoft es particularmente notable por su capacidad para procesar múltiples tipos de datos, incluyendo texto, audio e imágenes. Esta capacidad abre nuevas posibilidades para aplicaciones como reconocimiento de voz automatizado, traducción y razonamiento visual. El entrenamiento del modelo involucró 512 GPU NVIDIA A100-80GB durante 21 días, subrayando los intensos esfuerzos computacionales requeridos para lograr sus capacidades.

###Phi-4-multimodal y Phi-4-mini

El modelo multimodal Phi-4 cuenta con 5.600 millones de parámetros y ha demostrado un rendimiento superior en el reconocimiento automatizado de voz, ocupando el primer lugar en la tabla de clasificación de Huggingface OpenASR con una tasa de error de palabras del 6,14%. Este logro pone de manifiesto el potencial del modelo para mejorar las tecnologías de reconocimiento de voz.

Junto con Phi-4-multimodal, Microsoft también presentó Phi-4-mini, un modelo de solo texto optimizado para aplicaciones de chat. Con 3.800 millones de parámetros, Phi-4-mini está diseñado para manejar contenido de formato largo de manera eficiente, ofreciendo una ventana de contexto de 128K tokens. Su entrenamiento involucró 1024 GPU NVIDIA A100 de 80 GB durante 14 días, lo que refleja el enfoque del modelo en datos y código educativos de alta calidad.

###Implementación y accesibilidad

Ambos modelos están disponibles en Azure AI Foundry de Microsoft, que proporciona una plataforma para diseñar, personalizar y administrar aplicaciones de inteligencia artificial. Los usuarios también pueden explorar estos modelos a través del Catálogo de API de NVIDIA, que ofrece un entorno de pruebas y de integración de estos modelos en diversas aplicaciones.

La colaboración de NVIDIA con Microsoft se extiende más allá de simplemente entrenar estos modelos. La asociación incluye la optimización de software y modelos como Phi para promover la transparencia de la IA y apoyar proyectos de código abierto. Esta colaboración tiene como objetivo avanzar en la tecnología de IA en diversas industrias, desde la atención médica hasta las ciencias de la vida.

Para obtener información más detallada, visite el blog de NVIDIA.

Fuente de la imagen: Shutterstock