NeuralNote v2 научился распознавать несколько инструментов в аудиомиксе

DamRsn выпустил NeuralNote v2.0.0 — бесплатный плагин для преобразования аудио в MIDI с помощью нейросетевых моделей. Главное обновление версии 2.0 — переход на MuScriptor, более мощную модель от Kyutai и Mirelo, которая умеет распознавать ноты сразу нескольких инструментов. Теперь NeuralNote может анализировать не только отдельные партии, но и полноценные музыкальные миксы, распределяя найденные ноты по соответствующим инструментам.

Преобразование аудио в MIDI пригодится, когда нужно перенести мелодию из готового сэмпла в синтезатор, восстановить партию из аудиозаписи или использовать фрагмент существующей композиции как основу для новой аранжировки. Вместо того чтобы подбирать ноты вручную, можно загрузить аудио в NeuralNote, запустить анализ и получить MIDI-последовательность, которую затем получится редактировать в своей DAW.

Плагин принимает аудио несколькими способами: можно записать сигнал непосредственно во время воспроизведения проекта или перетащить готовый файл в окно NeuralNote. Поддерживаются WAV, AIFF, FLAC, MP3 и OGG. Перед анализом пользователь выбирает инструменты, которые нужно распознать, либо включает автоматическое определение. Разработчик отмечает, что результат обычно получается точнее, если указать правильный набор инструментов, а не полностью полагаться на автоматический режим.

После запуска транскрипции ноты постепенно появляются в piano roll по мере обработки аудио. Необязательно ждать завершения всего анализа: уже распознанный фрагмент можно прослушать через встроенный синтезатор. В версии 2.0 он поддерживает несколько инструментов, для каждого из которых доступны регулировка громкости, отключение звука (Mute) и прослушивание в одиночку (Solo). Также можно менять соотношение исходного аудио и синтезированного результата, чтобы сравнивать оригинал с тем, что удалось восстановить.

Когда MIDI готов, его можно перетащить из NeuralNote на MIDI-трек в основной DAW или сохранить отдельным файлом. Это позволяет использовать распознанную партию с любым подходящим виртуальным инструментом: например, заменить звук баса на синтезатор, перенести мелодию на другой тембр или разобрать аккордовую последовательность для дальнейшей аранжировки. Однако автоматическая транскрипция не гарантирует идеального результата — сложные миксы, перекрывающиеся партии и неоднозначные ноты всё равно могут потребовать ручной проверки.

В основе NeuralNote v2 лежит MuScriptor — трансформерная модель, заменившая использовавшуюся в первой версии Spotify Basic Pitch. Разработчик указывает, что MuScriptor включает от 103 миллионов до 1,4 миллиарда параметров в зависимости от варианта модели, тогда как Basic Pitch использовала менее 17 тысяч. Само по себе количество параметров не гарантирует безошибочного распознавания, но переход на новую модель сопровождается главным функциональным изменением версии — поддержкой многоголосной транскрипции с разделением нот по инструментам.

MuScriptor доступна в трёх вариантах: Small, Medium и Large. Они различаются соотношением скорости и качества: компактная модель быстрее обрабатывает аудио и предъявляет меньшие требования к компьютеру, а более крупные рассчитаны на более ресурсоёмкую обработку. При первом запуске NeuralNote предложит скачать модель отдельно. Размеры загрузок составляют примерно 210 МБ для Small, 620 МБ для Medium и 2,7 ГБ для Large. Переключаться между установленными моделями и загружать другие варианты можно через меню Model.

Скорость зависит от выбранной модели и оборудования. NeuralNote использует GPU, если он доступен: на macOS — через Metal, на Windows и Linux — через Vulkan. В качестве ориентира разработчик приводит результаты на Apple M1 Pro. Модель Small обрабатывала аудио примерно в 3,5 раза быстрее реального времени при использовании GPU и в два раза быстрее на CPU. Medium показывала около 1,5× на GPU, но на процессоре работала медленнее реального времени — примерно 0,7×. Large на GPU обрабатывала материал со скоростью около половины реального времени, а использование CPU для неё не рекомендуется. Это результаты конкретного теста, поэтому на другом компьютере показатели могут отличаться.

NeuralNote v2.0.0 доступен для Windows и macOS в виде отдельного приложения и плагина. Установщик Windows x64 включает Standalone-версию и VST3. На macOS для компьютеров с Apple Silicon доступны Standalone, VST3 и Audio Unit. Установщик для Intel Mac разработчик пока готовит; сборка из исходного кода остаётся альтернативой. Готовые сборки для Linux также находятся в планах, хотя проект можно собрать самостоятельно. Установщик Windows не имеет цифровой подписи, поэтому система может показать предупреждение при первом запуске.

Код NeuralNote распространяется под лицензией Apache-2.0, но веса модели MuScriptor имеют отдельную лицензию CC BY-NC 4.0, допускающую только некоммерческое использование. Это важное уточнение для тех, кто собирается применять инструмент в коммерческих музыкальных проектах: открытая лицензия исходного кода не означает, что модель можно использовать на тех же условиях.

NeuralNote v2 предлагает более универсальный способ извлекать MIDI из готового аудио: распознавать несколько инструментов, прослушивать результат прямо в плагине и переносить ноты в проект для дальнейшей работы. Особенно полезным он может оказаться при разборе сэмплов, восстановлении мелодий и подготовке материала для новых аранжировок. При этом качество результата зависит от сложности исходного аудио, выбранной модели и производительности компьютера, а найденные ноты лучше воспринимать как основу для редактирования, а не как гарантированно точную копию оригинала.

Ссылка: https://github.com/DamRsn/NeuralNote

Читайте другие статьи из серии «Бесплатные VST плагины»

■□■□■□■□■□■□■□

🤩 Risha Manis - музыкант, композитор, музыкальный педагог

Об авторе 👉 https://www.rishamanis.com/

Мои музыкальные курсы 👉 https://musatlas.ru/courses

Услуги 👉 https://musatlas.ru/uslugi

■□■□■□■□■□■□■□

Способы связи со мной:

Телеграм 👉 https://t.me/rishamanis_mus

ВК 👉 https://vk.com/rishamanismus

Рутуб 👉 https://rutube.ru/u/rishamanis/

Ютуб 👉 https://www.youtube.com/c/RishaManis

Почта 👉 rishamanis@yahoo.com

Сайт 👉 https://www.rishamanis.com/

■□■□■□■□■□■□■□

#neuralnote #muscriptor #audio2midi #musicproduction #miditranscription #vst3