Исследовательская лаборатория Kyutai (известная своей real-time голосовой технологией Moshi) совместно с MireloAI представила MuScriptor — открытую ИИ-модель для высокоточной транскрипции музыки. Инструмент решает одну из самых сложных задач в музыкальном продакшене: он разделяет готовый, сведенный аудиомикс на индивидуальные MIDI-дорожки для каждого инструмента (бас, барабаны, клавишные, вокал и другие) без необходимости доступа к исходным мультитрекам.
Модель уже доступна для тестирования и интеграции в рабочие процессы музыкантов и разработчиков.
- Официальное демо: muscriptor.kyutai.org
- Исходный код: GitHub-репозиторий MuScriptor
- Быстрая установка: Пакет для Pinokio
Главная ценность MuScriptor — возможность работать с коммерческими релизами или треками, сгенерированными нейросетями (например, Suno или Udio). Музыканты и аранжировщики могут взять готовый аудиофайл, пропустить его через модель, получить точные MIDI-партии каждого инструмента, а затем импортировать их в DAW (цифровую звуковую рабочую станцию). Это позволяет переназначать синтезаторы, изменять структуру композиции, делать ремиксы и детально изучать чужие аранжировки.
Создание качественных моделей для полифонической транскрипции всегда упиралось в дефицит размеченных данных: в мире практически нет крупных датасетов, где реальные студийные треки были бы идеально синхронизированы с нотной MIDI-партитурой для каждого инструмента. Разработчики решили эту проблему в три этапа.
На первом этапе авторы использовали базу из 1,45 миллиона MIDI-файлов. Чтобы научить модель распознавать музыку в реальных условиях, из каждого MIDI-файла автоматически синтезировали десятки различных аудиовариантов. В процессе меняли темп, тональность, громкость и виртуальные инструменты. Для рендеринга звука использовалось более 250 различных виртуальных инструментальных библиотек (VST). Это помогло модели развить устойчивость к разным стилям исполнения и тембрам.
Поскольку синтетический звук отличается от коммерческих записей, на втором этапе модель дообучали на 170 тысячах реальных музыкальных треков (суммарно более 11 000 часов аудио). Перед обучением исходные MIDI-файлы автоматически выравнивали во времени с живыми записями, чтобы ноты точно совпадали с реальной сеткой воспроизведения.
Финальный этап оптимизации проходил с использованием обучения с подкреплением (Reinforcement Learning) на базе из 300 тщательно выверенных композиций. Вместо стандартного понотного сравнения алгоритм оценивал качество всей транскрипции глобально. Это позволило минимизировать фальшивые ноты и некорректное распределение инструментов в сложных звуковых сценах.
В основе MuScriptor лежит архитектура Transformer, которая принимает на вход спектрограмму аудиофайла и последовательно генерирует наборы MIDI-событий (нота, время начала, длительность, тип инструмента).
Дополнительно модель поддерживает кондиционирование (указание контекста): если пользователь заранее передает список инструментов, присутствующих в треке, точность распознавания и разделения партий существенно возрастает.
Пока нет комментариев. Будьте первым!