Учёные научились восстанавливать мысленно представляемые мелодии по активности мозга
A — расположение электродов, активность которых заметно возрастала во время мысленного воспроизведения мелодии. B — пример изменения активности мозга во времени во время эксперимента: от фонового состояния и прослушивания до мысленного представления мелодии и последующего напевания. Красным выделен период, когда участник представлял музыку мысленно. C — сравнение активности мозга в состоянии покоя и во время музыкального воображения по данным всех активных электродов.
Что происходит в мозге, когда мы слышим знакомую мелодию, а затем продолжаем её уже мысленно? Исследователи из Сеульского национального университета показали, что активность мозга в этот момент содержит достаточно информации, чтобы восстановить один из ключевых элементов мелодии — относительную высоту нот.
Работой руководили Джи Квон и Чун Ки Чунг. Результаты исследования опубликованы в журнале eNeuro.
В эксперименте участвовали 10 пациентов с эпилепсией, которым в рамках клинического мониторинга установили электроды непосредственно на поверхности коры головного мозга. Это позволило исследователям наблюдать активность мозга с высокой точностью во время выполнения музыкального задания.
Участникам включали несколько тактов знакомых детских мелодий. Затем музыка останавливалась, а человек должен был мысленно представить продолжение песни. После этого участник напевал то, что представлял.
Именно промежуток между прослушиванием и последующим напеванием оказался особенно интересен для исследователей. Мозг продолжал обрабатывать музыкальную информацию даже тогда, когда внешнего звука уже не было.
Что удалось «услышать» в активности мозга
Исследователи обнаружили, что мозговая активность содержит информацию об относительной высоте нот в воображаемой мелодии.
Здесь важно различать абсолютную и относительную высоту. Модель не пытается определить, что человек мысленно услышал именно ноту «до» определённой октавы. Вместо этого она анализирует отношения между соседними ступенями — например, движение от до к ре, затем к ми и обратно.
Это принципиальный момент, поскольку узнаваемость мелодии во многом определяется именно её контуром. Одна и та же песня может быть сыграна или спета в другой тональности, но последовательность интервалов между нотами останется узнаваемой.
Поэтому вместо попытки восстановить каждую ноту в абсолютном виде исследователи фактически получили возможность определить направление и структуру движения мелодии.
Например, условная последовательность «до — ре — ми — соль — ми» важна не только как набор конкретных частот. В ней есть определённый рисунок: нота повышается, затем ещё повышается, перескакивает выше и возвращается вниз. Именно такой мелодический контур модель и старалась восстановить.
Как из сигналов мозга получается мелодия
A — расположение имплантированных электродов ECoG у всех участников исследования, показанное на индивидуальных моделях коры головного мозга. Каждая точка соответствует отдельному контакту субдурального электрода. B — общее распределение расположения электродов у всех участников, перенесённое на стандартизированную модель коры. Цветовая разметка поверхности мозга показывает различные функциональные области коры.
Задача здесь сложнее, чем просто найти участок мозга, отвечающий за определённую ноту.
Во время мысленного воспроизведения мелодии активность мозга меняется во времени. Поэтому исследователи анализировали мозговые сигналы последовательно и прогнозировали относительную высоту отдельных нот.
Затем эти прогнозы объединяли во временную последовательность.
В результате получался мелодический контур — своего рода схема движения мелодии, отражающая структуру песни, которую человек представлял в голове.
Это ещё не полноценная аудиозапись воображаемого исполнения. Исследование не показывает, что из мозга можно напрямую получить готовый WAV-файл с голосом или инструментом. Речь идёт о восстановлении определённой музыкальной характеристики — относительной высоты нот.
И это как раз делает результат особенно интересным: исследователи смогли получить из мозговой активности не просто общую информацию о том, что человек думает о музыке, а достаточно конкретную структуру, которую можно представить в виде последовательности нот.
Почему относительная высота может быть важнее конкретных нот
A — общая структура эксперимента. После этапа обучения участники проходили основную часть исследования, состоявшую из восьми сессий. В каждой сессии они слушали музыку, мысленно продолжали знакомые мелодии, а затем напевали их. Для эксперимента использовались пять заранее разученных песен, представленных в трёх разных тональностях.
B — подробная последовательность эксперимента. Перед сменой тональности участникам сначала проигрывали соответствующую гамму, чтобы они привыкли к новой тональности. В начале каждой песни следовал короткий период фиксации, после которого начиналось чередование прослушивания и мысленного представления музыки: участники слушали первые два такта, а затем мысленно представляли следующие два. После короткой подготовки они напевали только что представленные в воображении такты. Затем цикл повторялся для следующих фрагментов песни. Все музыкальные стимулы и визуальные подсказки воспроизводились в темпе 120 BPM.
Джи Квон отмечает, что разработанная модель декодирует именно относительные ступени, а не точную абсолютную высоту.
Для музыки это вполне логичный подход. Если мелодию «До — Ре — Ми — Соль» сыграть на несколько полутонов выше, она останется той же мелодией. Изменится тональность, но музыкальные отношения между нотами сохранятся.
Поэтому подобная система потенциально может быть более устойчивой к изменениям исполнения.
Для человека, который мысленно вспоминает песню, это также естественно: далеко не всегда мы представляем конкретную частоту каждой ноты. Скорее мозг воспроизводит знакомый музыкальный рисунок — последовательность подъёмов, спусков и интервалов.
Пока это не «чтение музыки из головы»
Несмотря на впечатляющее название исследования, здесь важно не переоценивать результат.
Учёные не получили универсальный способ взять мозговой сигнал любого человека и восстановить любую песню, которую тот представляет. В эксперименте участвовали 10 пациентов с установленными на поверхности коры электродами, а исследование проводилось на знакомых мелодиях.
Кроме того, система пока ориентирована только на определённую музыкальную характеристику — относительную высоту нот. Такие параметры, как темп, динамика и другие особенности музыкального исполнения, в этой работе не декодировались.
То есть между нынешним результатом и полноценным «переводчиком музыки из мозга» ещё очень большая дистанция.
Но сама идея уже выглядит достаточно убедительно: если мозговая активность позволяет восстановить мелодический контур во время музыкального воображения, значит, в ней действительно присутствует гораздо больше структурированной музыкальной информации, чем можно было предположить по внешнему поведению человека.
Что может быть дальше
На графике показано восстановление последовательности относительной высоты нот для пяти знакомых мелодий у одного из участников исследования. Чёрная пунктирная линия соответствует исходной последовательности нот, полученной из нотной записи, а красная — последовательности, восстановленной по активности мозга путём объединения результатов декодирования отдельных нот во времени. Заштрихованные области показывают стандартное отклонение восстановленных значений между отдельными испытаниями. Вертикальные пунктирные линии разделяют пять мелодий. Несмотря на отдельные ошибки при восстановлении конкретных нот, полученные последовательности в целом сохраняют общий мелодический контур оригинала.
Авторы рассматривают это исследование как отправную точку для дальнейшей работы. Следующий шаг — попытаться декодировать другие характеристики воображаемой музыки, включая темп и динамику.
Не менее важный вопрос — насколько хорошо такой подход будет работать за пределами простых и хорошо знакомых детских песен. Музыка становится значительно сложнее, когда в ней появляются полифония, сложная ритмика, нестандартная гармония и быстро меняющаяся структура.
Если подобные системы научатся надёжно извлекать больше музыкальной информации, область применения может оказаться гораздо шире академического исследования.
Особенно интересен здесь медицинский сценарий. Джи Квон предполагает, что в перспективе подобные технологии могут помочь людям без музыкальной подготовки воспроизводить то, что они слышат или представляют мысленно. Ещё важнее потенциальное применение для пациентов, которые физически не способны выразить свои мысли обычным способом, например при амиотрофическом латеральном склерозе.
В таком случае система должна будет не просто анализировать музыку, а становиться своеобразным интерфейсом между внутренним музыкальным представлением человека и внешним миром.
Пока до такого применения далеко. Но само направление показывает интересную вещь: мозг не просто «слышит» музыку — он сохраняет её структуру настолько детально, что часть этой структуры уже удаётся извлечь из его активности и превратить обратно в последовательность музыкальных событий.
Для музыкальных технологий это особенно любопытная перспектива. Ведь если сегодня исследователи восстанавливают мелодический контур, то следующим вопросом становится уже не только «что человек представляет?», но и «сколько информации о целой музыкальной композиции можно извлечь из мозга?».
Читайте другие статьи из серии «Про звук, его свойства и характеристики».
■□■□■□■□■□■□■□
🤩 Risha Manis - музыкант, композитор, музыкальный педагог
Об авторе 👉 https://www.rishamanis.com/
Мои музыкальные курсы 👉 https://musatlas.ru/courses
Услуги 👉 https://musatlas.ru/uslugi
■□■□■□■□■□■□■□
Способы связи со мной:
Телеграм 👉 https://t.me/rishamanis_mus
ВК 👉 https://vk.com/rishamanismus
Рутуб 👉 https://rutube.ru/u/rishamanis/
Ютуб 👉 https://www.youtube.com/c/RishaManis
Почта 👉 rishamanis@yahoo.com
Сайт 👉 https://www.rishamanis.com/
■□■□■□■□■□■□■□
#neuroscience #brainmusic #musicimagery #brainactivity #neurotechnology #musictechnology #neuraldecoding #ecog #braincomputerinterface #musicresearch #deeplearning #musiccognition #neuroengineering #eNeuro