Разное

Microsoft и Kinect: звук с поправкой на ветер

Теги: #Microsoft#Kinect
53999bcb53544544410e0000 avmsv

Microsoft разрабатывает новую систему объемного звучания. Она рассчитывает изменения положения слушателя от каждого источника звука и производит подстройку звуковой панорамы по мере движений слушателя, выполнения им поворотов и наклонов головы.

Сначала пользователь в наушниках калибрует систему при помощи датчика движения Kinect. Программа строит трехмерную модель его головы, основываясь на которой вносит постоянные поправки в звуковую картину для соответствия с положением игрока.

Новая технология Microsoft может использоваться для систем виртуальной и дополненной реальности, а также для использования в аудиосистемах общего назначения. Для демонстрации в исследовательском центре Microsoft была построена испытательная комната, наполненная физическими моделями различных объектов.

На демонстрации присутствовал редактор издания MIT Technology Review, Том Саймонайт (Tom Simonite): «Я надел пару беспроводных наушников, и демонстрационные объекты вокруг меня буквально ожили. Казалось, что голос действительно исходит из картонной модели рации, имитация музыкального центра Hi-Fi звучала также убедительно. Даже чучело птицы щебетало реалистично. Когда я стал ходить по комнате, звуки изменялись настолько естественно, что иллюзия ни на секунду не покидала меня. Положение объектов передавалось предельно точно».

Технология объемного звучания от Microsoft использует реализацию эффекта под названием HRTF (head related transfer function): характер воспринимаемого человеком звука зависит от формы его ушей и того, как расположена голова. Для лучшей слышимости человек рефлекторно поворачивает голову, направляя ухо в сторону источника. Обычные аудиосистемы не способны использовать этот эффект, они не могут вносить корректировки в режиме реального времени — перед звуковыми проекторами приходится сидеть неподвижно.

Упрощённая оценка эффектов HRTF (по материалам www.theheadphonelist.com).

Новинка от Microsoft — единственная на данный момент 3D-аудиосистема для виртуальной реальности. «По сути, мы можем предсказывать то, как вы услышите звук, анализируя вашу пространственную модель, — поясняет Иван Ташев. — Мы моделируем физический процесс распространения звука вокруг вашей головы и знаем, что именно достигнет ваших ушей».

В настоящее время, пока проходит расширенное тестирование системы, коллектив работает над совершенствованием алгоритмов захвата движения с целью сделать их достаточно точными и быстрыми. Это позволит в определенной степени предсказывать поведение слушателя, чтобы рассчитывать корректировку быстрее.

Комментарии

#

Интересная технология но ее лучше использовать с окулус рифт в этом случае было бы полное погружения в виртуальный мир .А если совместить все три технологи (окулус рифт, кинект,и hrtf) и поставить разумную цену то мне кажется это была бы революция в игровой (и не только) индустрии .

- 50 дБ +
Чтобы оставить комментарий, войдите, пожалуйста.