Впервые о технологии объемного звучания Apple заговорила еще в начале лета на конференции WWDC-20. Однако идея эмулировать объемный звук в небольших наушниках зародилась у компании еще раньше — в 2017 году.
Это проект Томлинсона Холмана — инженера, который до сотрудничества с Apple работал в Lucas Films, был инженером Audyssey Laboratories и основал TMH Corporation. Вместе с ним над этой системой работали и другие инженеры Apple. С момента начала работы над проектом компания получила несколько патентов, связанных с объемным звучанием — в том числе те, что отслеживают положение головы и корректируют звуковую картину в соответствии с ним. Теперь же компания подала заявку на еще один патент, в этот раз описывающий техническую часть процесса обработки объемного звука.
В компании предупредили, что создание эффекта трехмерного звука в наушниках — задача непростая, поскольку современные реализации в первую очередь ориентируются на многоканальные сетапы с акустикой, установленной в конкретном месте, а не на наушники, воткнутые в уши на постоянно двигающейся голове.
В патенте сказано: «Одной из альтернатив трехмерным звуковым эффектам в симулированной реальности (этим термином Apple объединяет виртуальную, дополненную и смешанную реальности — прим. ред.) является манипуляция отдельными дискретными звуками, заключенными в аудиообъектах, которые можно разместить где угодно на трехмерном пространстве. Создавать звук для симулированной реальности с использованием современных аудиоформатов сложно, поскольку не существует единой схемы доступа к различным источникам звука и пути внедрения их в динамичную среду симуляции.
Особенности файлового формата, используемого для объемного звучания, описанные здесь, позволяют разработчикам аудиочасти симулированных реальностей создавать звуки в формате, в котором аудиоданные, кодирующие звук, сохранены в виде ассетов с метаданными — а метаданные включают в себя не только информацию о том, как был закодирован звук, но и о том, как слушатель взаимодействует с симулированной реальностью, поддерживающей рендеринг объемного звука».
Метаданные можно корректировать в процессе разработки после тестирования и проверок. Ассеты хранятся в библиотеке, из которой потом вызываются по мере необходимости.
Также в патенте отмечена разница в использовании разных типов аудиосистем для создания трехмерного звучания: акустики, наушников (поддерживающих бинауральные форматы) или смешанных вариантов. Ознакомиться с полным текстом патента можно на сайте патентного бюро США.