Как разделить трек на дорожки нейросетью

Коротко. Нейросеть делит готовую песню на отдельные дорожки: вокал, ударные, бас и всё остальное. Так удобно готовить караоке, сводить ремикс и разбирать аранжировку. Качество зависит от исходной записи, поэтому результат всегда проверяйте на слух.

Что такое разделение на дорожки

Готовая песня записана как один звуковой файл: голос, барабаны, бас, гитара и клавишные слиты в одну волну. Разделение на дорожки (стемы) — это задача, в которой нейросеть пытается восстановить каждый источник звука отдельно. На выходе получаются несколько файлов, которые можно слушать и обрабатывать по отдельности.

Чаще всего трек делят на четыре группы: вокал, ударные, бас и всё остальное. Некоторые модели дают больше дорожек, например отдельно гитару и клавишные. Чем больше групп, тем выше риск перепутать инструменты с похожим тембром, поэтому для большинства задач четырёх дорожек хватает.

Как нейросеть отделяет инструменты

Модель обучена на большом наборе записей, где есть и готовая смесь, и отдельные дорожки того же фрагмента. Она работает со спектрограммой, то есть с картинкой звука, на которой видно, в каких частотах и в какие моменты звучит каждый инструмент. Для каждой дорожки модель строит маску: какая часть энергии в каждой точке спектра принадлежит именно ей.

Нейросеть не вырезает инструмент из записи, а оценивает, какие части смеси похожи на голос, на ударные или на бас. Там, где звуки совпадают по частоте и времени, оценка становится грубой. Поэтому в таких местах появляются призвуки, а в паузах между фразами иногда слышен «булькающий» оттенок.

Зачем нужны отдельные дорожки

Чаще всего разделение нужно для трёх задач. Первая — караоке и минусовка: голос убирается, остаются инструменты, и можно записать свою партию. Вторая — сведение и ремикс: можно поднять бас, приглушить барабаны или заменить вокал. Третья — разбор аранжировки: удобно слушать, как построена партия гитары или ритм-секции, не отвлекаясь на вокал.

Музыканту полезно и для учёбы. Если сложная партия звучит в миксе вполголоса, отдельная дорожка делает её слышимой. Важно лишь не смешивать учебный разбор с публикацией чужой записи: что можно делать с материалом, решают права на него.

Дорожку с вокалом можно замедлить для разбора партии, и в большинстве редакторов высота звука при этом не меняется. Так удобнее подбирать слова или ноты по слуху.

Пошагово: как разделить трек

Процесс почти одинаков для любого сервиса, поэтому его можно повторить с любой моделью разделения.

1. Подготовьте файл. Лучше взять исходник в хорошем качестве, например WAV или MP3 с битрейтом от 192 кбит/с. Сильно сжатая запись даст более грязные дорожки.
2. Выберите количество дорожек. Если нужен только голос, хватит двух дорожек: вокал и всё остальное. Для ремикса берите четыре.
3. Сделайте пробу. Длинные песни обрабатываются дольше, поэтому для первого теста возьмите фрагмент на 30–60 секунд.
4. Прослушайте каждую дорожку. Проверьте, нет ли в вокале ударных, а в барабанах голоса. Небольшая утечка допустима, сильная — повод поменять модель или исходник.
5. Сохраните результат. Назовите файлы понятно, например «vokal», «drums», «bass», и скачайте их в одном формате.

В Умке собраны несколько моделей, поэтому можно прогнать один и тот же фрагмент через разные варианты и выбрать лучший. Все инструменты для работы с музыкой собраны на странице музыки с нейросетью.

Простой тест качества: сложите все дорожки обратно в один файл и сравните с оригиналом. Если разницы почти не слышно, модель не потеряла инструменты. Если в сумме появляются провалы или лишние звуки, часть звука попала не в ту дорожку или потерялась.

Что влияет на качество

Первый фактор — исходная запись. Если в миксе много реверберации, искажений и наложенных голосов, модели сложнее разделить вокал. Второй — жанр. В акустике и фолке, где инструменты звучат раздельно, результат обычно чище. В плотном роке или электронике с сильной обработкой барабанов дорожки чаще «протекают» друг в друга.

Третий фактор — перегруз. Клиппинг, то есть обрезанные пики звука, мешает оценке спектра. Если на осциллограмме видны плоские полки у пиков, найдите версию без перегруза.

Стерео помогает. Вокал и бас обычно стоят по центру стереокартины, а инструменты разнесены влево и вправо. Многие модели используют эту разницу как подсказку. Моно-запись лишает их такого ориентира, поэтому результат на ней часто хуже.

Ограничения и права на материал

Разделение не делает звук студийным. Артефакты неизбежны: вокал может звучать глухо, а в барабанах иногда слышны призраки голоса. Для публикации дорожки стоит доработать вручную: эквалайзером, шумодавом и выравниванием громкости.

Личный разбор и репетиция — одно дело, публикация ремикса или минусовки с чужой песней — другое. Для публикации и коммерческого использования нужно разрешение правообладателя или лицензия на трек.

Если дорожки используются в видео или подкасте, проверьте, нет ли в них узнаваемой мелодии, текста или чужой речи, которые вы не вправе использовать. Разделение не отменяет вопросов к исходному материалу.

Если задача только одна — убрать голос, посмотрите статью как убрать вокал из песни. Для смены тональности готового трека подойдёт изменение тональности песни, а обзор возможностей нейросетей для музыки — в статье нейросеть для музыки.

Вывод

Разделение на дорожки — рабочий инструмент для караоке, ремикса и разбора аранжировки. Оно хорошо справляется с вокалом и ударными и хуже с плотными миксами. Начните с короткого фрагмента, прослушайте каждую дорожку и только потом обрабатывайте весь трек.

Частые вопросы