Microsoft представляет мультимодальные SLM, обученные на GPU NVIDIA

Джеймс Динг

26 февраля 2025 г. 15:38

Microsoft представляет новые Phi SLM, в том числе мультимодальный Phi-4, обученный на графических процессорах NVIDIA, расширяющий возможности искусственного интеллекта и эффективно использующий ресурсы.

! Microsoft представляет мультимодальные SLM, обученные на графических процессорах NVIDIA

Компания Microsoft объявила о последних дополнениях к своей семье небольших языковых моделей (SLMs), включая новые модели Phi-4-multimodal и Phi-4-mini, обе обученные с использованием графических процессоров NVIDIA. Это событие является значительным шагом в развитии языковых моделей, с акцентом на эффективность и универсальность, согласно NVIDIA.

###Улучшения в маленьких языковых моделях

SLMы стали практическим решением для преодоления вызовов, стоящих перед крупными языковыми моделями (LLMs), требующими значительных вычислительных ресурсов, несмотря на их возможности. SLMы разработаны для эффективной работы в ограниченных средах, что делает их подходящими для развертывания на устройствах с ограниченной памятью и вычислительной мощностью.

Новая многофункциональная модель Phi-4 компании Microsoft заслуживает особого внимания благодаря способности обрабатывать несколько типов данных, включая текст, аудио и изображения. Эта возможность открывает новые перспективы для приложений, таких как автоматическое распознавание речи, перевод и визуальное мышление. Обучение модели включало 512 графических процессоров NVIDIA A100-80GB в течение 21 дня, подчеркивая интенсивные вычислительные усилия, необходимые для достижения ее возможностей.

###Phi-4-мультимодальный и Phi-4-мини

Модель Phi-4-многомодального вида имеет 5,6 миллиарда параметров и продемонстрировала превосходные характеристики в автоматическом распознавании речи, заняв первое место в рейтинге Huggingface OpenASR с уровнем ошибок слов в 6,14%. Это достижение подчеркивает потенциал модели в улучшении технологий распознавания речи.

Наряду с Phi-4-multimodal, Microsoft также представила Phi-4-mini, модель только для текста, оптимизированную для чат-приложений. С 3,8 миллиардами параметров Phi-4-mini разработана для эффективной работы с длинным контентом, предлагая контекстное окно из 128 тыс. токенов. Ее обучение включало 1024 графических процессора NVIDIA A100 80 ГБ в течение 14 дней, отражая фокус модели на высококачественных образовательных данных и коде.

###Развертывание и доступность

Обе модели доступны на Azure AI Foundry от Microsoft, предоставляя платформу для проектирования, настройки и управления приложениями искусственного интеллекта. Пользователи также могут исследовать эти модели через каталог API NVIDIA, который предлагает среду песочницы для тестирования и интеграции этих моделей в различные приложения.

Сотрудничество NVIDIA с Microsoft простирается далеко за пределы простого обучения этих моделей. Партнерство включает оптимизацию программного обеспечения и моделей, таких как Phi, для продвижения прозрачности и поддержки проектов с открытым исходным кодом. Это сотрудничество направлено на продвижение технологий искусственного интеллекта в различных отраслях, от здравоохранения до наук о жизни.

Для получения более подробной информации посетите блог NVIDIA.

Источник изображения: Shutterstock