ElevenLabs открыла корпоративный файн-тюнинг голосовых моделей и LLM

На мероприятии ElevenLabs Summit NYC компания ElevenLabs представила новые инструменты для разработки диалоговых агентов, об этом сообщает официальный аккаунт разработчиков. Главным направлением развития платформы станет запуск программы заказного дообучения моделей для корпоративных клиентов.

В ближайшие месяцы компании смогут работать совместно с инженерами ElevenLabs над непрерывной тонкой настройкой (continual fine-tuning) фирменных алгоритмов синтеза речи (Text to Speech, TTS) и распознавания голоса (Speech to Text, STT). Кроме собственных речевых разработок, процедура адаптации распространяется на открытые большие языковые модели (open-source LLM), которые enterprise-клиенты применяют в качестве ядра логики голосовых помощников.

Классический пайплайн автономного голосового агента объединяет три последовательных этапа: распознавание входящего аудиопотока, генерацию текстового ответа языковой моделью и озвучивание результата синтезатором. Использование базовых публичных весов часто приводит к ошибкам при обработке отраслевой терминологии, названий брендов, профессионального сленга или нестандартных акустических акцентов. Совместный файн-тюнинг всех трех звеньев цепи на проприетарных данных заказчика призван устранить подобные сбои.

Процесс непрерывного дообучения STT оптимизирует точность транскрипции в шумных средах и снижает вероятность фонетических искажений редких терминов. Одновременная настройка открытых LLM адаптирует модель под жесткие корпоративные регламенты и сценарии обслуживания клиентов, а калибровка TTS обеспечивает корректные ударения, естественную просодию и выдержанный тон диалога без ухода в синтетические интонации.

Создавать треки и озвучивать текст с помощью ИИ без VPN можно в ИИ-студии Нейро.PRO.

Программу тонкой настройки моделей ElevenLabs планирует масштабировать в течение следующих месяцев через прямую работу инженерной команды с корпоративным сектором.