gesture.live превращает обычную веб-камеру в музыкальный инструмент

Разработчик Robin van Soelen выпустил gesture.live — бесплатный браузерный инструмент, которым можно управлять жестами рук. Для работы достаточно открыть сайт в браузере, дать ему доступ к веб-камере и держать обе руки в кадре.

Никаких плагинов или установки здесь нет. Камера отслеживает положение пальцев и рук, а gesture.live переводит движения в музыкальные действия. В Chrome инструмент работает хорошо, хотя привыкнуть к управлению с первого раза вряд ли получится.

На главной странице есть небольшие анимации, показывающие основные жесты. Их стоит посмотреть перед началом работы: система использует разные положения пальцев и рук для управления звуком, и сначала приходится буквально запоминать, какое движение за что отвечает.

Когда логика управления становится понятнее, процесс уже ощущается гораздо естественнее. Левая рука отвечает за аккорды, а правая может переключаться между мелодией, басом, ударными и эффектами. Интерфейс при этом реагирует на движения в реальном времени, поэтому работа больше напоминает игру на необычном инструменте, чем обычное программирование MIDI-нот.

Лучше всего gesture.live использовать в альбомной ориентации. Обе руки должны помещаться в широкую область 16:9 перед камерой, а панель управления проходит по экрану горизонтально.

Идея gesture.live выросла из проекта gesture synth от Indecisive Eric, где аккорды также управлялись жестами пальцев. В новой версии логика аккордов рассчитана на одну руку, поэтому вторая остаётся свободной для других элементов исполнения.

В версии 1.2 разработчик добавил режим Sculpt для изменения характера аккордов, переработал выбор паттернов баса и ударных и упростил расположение интерфейса. Благодаря этому исполнитель меньше перекрывается элементами управления во время игры.

Если посмотреть на техническую сторону проекта, gesture.live построен как веб-приложение на Next.js. Для распознавания жестов используется Google MediaPipe, а генерацией звука занимается Tone.js. То есть всё необходимое для работы находится непосредственно в браузере.

Полноценной инструкции пока нет — проект продолжает развиваться. Основные жесты разработчик показывает прямо на главной странице, а дальнейшие обновления должны сделать управление понятнее и упростить распространение собственных музыкальных идей.

По своим возможностям gesture.live вряд ли заменит привычный MIDI-контроллер или клавиатуру. Да и с первого раза сыграть что-то действительно музыкальное у меня не получилось. Но в качестве необычного способа набросать идею или просто поэкспериментировать с управлением звуком это довольно занятная штука.

И главное — попробовать её можно бесплатно, прямо в браузере.

https://www.youtube.com/watch?v=khu00az6CP0

Ссылка: https://gesture.live/

Читайте другие статьи из серии «Онлайн инструменты, программы, генераторы звуков»

■□■□■□■□■□■□■□

🤩 Risha Manis - музыкант, композитор, музыкальный педагог

Об авторе 👉 https://www.rishamanis.com/

Мои музыкальные курсы 👉 https://musatlas.ru/courses

Услуги 👉 https://musatlas.ru/uslugi

■□■□■□■□■□■□■□

Способы связи со мной:

Телеграм 👉 https://t.me/rishamanis_mus

ВК 👉 https://vk.com/rishamanismus

Рутуб 👉 https://rutube.ru/u/rishamanis/

Ютуб 👉 https://www.youtube.com/c/RishaManis

Почта 👉 rishamanis@yahoo.com

Сайт 👉 https://www.rishamanis.com/

■□■□■□■□■□■□■□

#gesturelive #musicproduction #webinstrument #browserinstrument #musictech #gesturecontrol #webmusic #musician #electronicmusic #experimentalmusic