То, как мы слышим объект, зависит от нашего расположения по отношению к нему. Даже незначительный поворот головы способен изменить звучание. Ученые решили сделать так, чтобы озвучка видеоигр и виртуальной реальности работала похожим, реалистичным образом.
На конференции Acoustics 2017, прошедшей в Бостоне, команда Ивана Дж. Ташева (Ivan J. Tashev) и Ханнеса Гэмпера (Hannes Gamper) совместно с исследовательской группой Microsoft, специализирующейся на аудио и акустике, объяснила, как они используют передаточные функции (Head-related transfer functions — HRTF) для создания пространственного звучания. Эти функции описывают диаграмму направленности человеческого уха, а поскольку уши у всех разные, то и диаграммы соответственно тоже. По уникальности их можно сравнить с отпечатками пальцев, и снять точно также, как отпечатки.
«Звук взаимодействует не только со средой, но и с самим слушателем», — сказал Гэмпер. Звук не попадает по прямой сразу в ушной канал, а изменяется за счет формы головы, ушей: как известно, не один физический параметр влияет на наше восприятие звука.
В своем исследовании ученые использовали базу функций HRTF (приняли участие 350 человек): в базе данных были 3D-модели высокого разрешения, особо детализированные в районе ушей, головы и корпуса. Также в базе содержалась информация о форме головы, ее размере и других параметрах, по которым можно подобрать максимально подходящий для слушателя шаблон.
По словам Гэмпера, чтобы создать иллюзию объемного звука в виртуальной реальности, необходимо «обмануть мозг». В итоге для максимального эффекта погружения важны три составляющие: пространственное звучание, отслеживание движений головы и персонализация пространственного слуха. Пространственное звучание «фильтрует» аудио, которое распространяется из определенного направления. Движения головы влияют на восприятие звука. А пространственный слух позволяет определить местоположение источника звука в пространстве, и у каждого он уникальный.
Персонализация, по словам ученых, позволит создать «более убедительное и точное звучание, а со временем и улучшить его качество». В будущем, вероятно, будет достаточно «слепка», который снимет камера XBox Kinect, чтобы создать трехмерную модель. Уже на ее основе ученые спроектируют индивидуальные алгоритмы обработки объемного звучания.