Microsoft разрабатывает новую систему объемного звучания. Она рассчитывает изменения положения слушателя от каждого источника звука и производит подстройку звуковой панорамы по мере движений слушателя, выполнения им поворотов и наклонов головы.
Сначала пользователь в наушниках калибрует систему при помощи датчика движения Kinect. Программа строит трехмерную модель его головы, основываясь на которой вносит постоянные поправки в звуковую картину для соответствия с положением игрока.
Новая технология Microsoft может использоваться для систем виртуальной и дополненной реальности, а также для использования в аудиосистемах общего назначения. Для демонстрации в исследовательском центре Microsoft была построена испытательная комната, наполненная физическими моделями различных объектов.
На демонстрации присутствовал редактор издания MIT Technology Review, Том Саймонайт (Tom Simonite): «Я надел пару беспроводных наушников, и демонстрационные объекты вокруг меня буквально ожили. Казалось, что голос действительно исходит из картонной модели рации, имитация музыкального центра Hi-Fi звучала также убедительно. Даже чучело птицы щебетало реалистично. Когда я стал ходить по комнате, звуки изменялись настолько естественно, что иллюзия ни на секунду не покидала меня. Положение объектов передавалось предельно точно».
Технология объемного звучания от Microsoft использует реализацию эффекта под названием HRTF (head related transfer function): характер воспринимаемого человеком звука зависит от формы его ушей и того, как расположена голова. Для лучшей слышимости человек рефлекторно поворачивает голову, направляя ухо в сторону источника. Обычные аудиосистемы не способны использовать этот эффект, они не могут вносить корректировки в режиме реального времени — перед звуковыми проекторами приходится сидеть неподвижно.
Новинка от Microsoft — единственная на данный момент 3D-аудиосистема для виртуальной реальности. «По сути, мы можем предсказывать то, как вы услышите звук, анализируя вашу пространственную модель, — поясняет Иван Ташев. — Мы моделируем физический процесс распространения звука вокруг вашей головы и знаем, что именно достигнет ваших ушей».
В настоящее время, пока проходит расширенное тестирование системы, коллектив работает над совершенствованием алгоритмов захвата движения с целью сделать их достаточно точными и быстрыми. Это позволит в определенной степени предсказывать поведение слушателя, чтобы рассчитывать корректировку быстрее.