Сбер выложил в открытый доступ модели для распознавания и анализа речи

Разработчики из Сбера выложили в открытый доступ технологический стек для распознавания и анализа речи. Релиз включает мультиязычную модель GigaAM Multilingual и «audio-native» большую языковую модель GigaChat Audio. Представленные решения превосходят популярные зарубежные аналоги от OpenAI, Microsoft и Alibaba по точности распознавания и эффективности работы с длинным аудиоконтекстом.

GigaAM Multilingual представляет собой стек для распознавания русского, казахского, киргизского, узбекского и английского языков. Архитектура состоит из двух ключевых компонентов:

• Аудио-энкодер: обучен на массивном датасете объемом более 2 миллионов часов речевых данных на 70+ языках. Он демонстрирует высокую скорость адаптации к новым доменным областям. Например, при дообучении на башкирском и грузинском языках с использованием одного лишь датасета Common Voice модель показала уровень ошибок (WER) около 4%. Для сравнения, аналогичный энкодер Whisper при тех же условиях выдает WER более 11%.
• Модель распознавания CTC ASR: версия на 240 миллионов параметров обходит по качеству работы признанных гигантов вроде Whisper Large v3 и Omnilingual 1B, несмотря на то что весит в разы меньше конкурентов.

Технические детали архитектуры и методология обучения описаны в научной статье на arXiv: GigaAM Multilingual

GigaChat Audio — это полноценная мультимодальная LLM, построенная на базе GigaAM Multilingual и текстовой модели GigaChat3.1-10B-A1.8B. Ее ключевое преимущество — способность обрабатывать до 2 часов аудиоконтекста и поддержка функции temporal grounding (динамическая привязка событий во времени, расстановка таймстемпов и суммаризация отдельных временных интервалов).

В тестах на длинных записях (от 20 до 60 минут) точность локализации событий по метрике IoU у GigaChat Audio составила 48.3. Популярные модели Voxtral, Phi-4 и Qwen3-Omni на этих задачах показывают результат, близкий к нулю.

Кроме того:

• На бенчмарке RuBQ-Audio модель Сбера набрала 60.0 баллов (для сравнения, у Qwen3-Omni — 43.7).
• Вместе с моделью разработчики опубликовали открытый датасет TimeGround-1M, предназначенный для обучения языковых моделей привязке событий к точным временным интервалам на аудиозаписи.

Подробный разбор архитектуры доступен в публикации: GigaChat Audio.

Где протестировать новые технологии?

Сбер уже интегрировал новые разработки в свои продукты:

1. Полноразмерная модель GigaChat-Max-Audio встроена в стандартный ИИ-помощник и доступна на официальном сайте giga.chat.
2. Быстрое распознавание голосовых сообщений на базе новых технологий можно протестировать в Telegram-боте @smartspeechsberbot.

Веса открытых моделей, датасет TimeGround-1M и сопутствующие материалы полностью открыты для академического и коммерческого использования исследовательским сообществом.