Oculus Rift обсуждаются везде и всеми: люди говорят о том, что никогда не испытывали подобного, что «ты в самом деле там», что в очках можно поворачиваться и оглядываться, забывая о реальности. В основном речь идёт об изображении, и это не удивительно, ведь зрительный канал является основным в человеческом восприятии мира. Но вместе с тем мы упускаем ещё одну важную часть виртуальной реальности — звук. Последняя, предрелизная версия Rift под кодовым названием Crescent Bay даже получила встроенные высококачественные наушники. Сегодня мы поразмыслим, почему аудио в VR-очках имеет такое большое значение.
VR Audio — последняя инициатива Oculus для глубокого погружения
Цели, преследуемые Oculus VR на CES 2015, были ясны: 1) дать попробовать Rift Crescent Bay максимально возможному количеству людей и 2) вывести из тени VR Audio — канал передачи 3D-звука собственной разработки. Последняя цель точно была достигнута, ведь о трёхмерном позиционном звуке и его невероятном эффекте с новейшим устройством компании тут же заговорили журналисты, энтузиасты и пользователи. Однако даже не смотря на то, что установка наушников в Crescent Bay привлекла некоторое внимание общественности, для многих осталась незамеченной вся серьёзность, с которой Oculus подходит к тому, что именно игрок слышит в виртуальной реальности. Более того, даже если вы уже пробовали играть с высококачесвтвенным аудиопотоком, в котором можно распознать положение игровых объектов, вы всё равно далеки от понимания того, насколько «присутствие» (термин, обозначающий психологическое погружение) зависит от звука.
Железо
Поход Oculus за первоклассным аудио начался с объявления на Oculus Connect о том, что компания лицензирует движок Realspace 3D Audio от стартапа Visisonics из Университета Мэриленда для его включения в SDK. Это значило, что каждый разработчик приложений под Oculus Rift получит непосредственный доступ к набору API, позволяющему работать с трёхмерным аудио без необходимости выискивать собственные решения. Другими словами, снизился барьер перед отличным 3D-звуком в играх.
Набор демок для Crescent Bay на CES включал обновлённый софт для тестирования нового объёмного звука. Сама технология VR Audio, вероятно, появится в бета-релизе SDK в следующие несколько месяцев и займёт своё место перед потребительским релизом Rift. Демо, включающее RealSpace3D, лежит здесь.
Новейший публично анонсированный функциональный прототип Oculus VR — Crescent Bay — также был анонсирован на Oculus Connect в сентябре, и в нём разработка VR Audio превратилась в пару встроенных наушников, дизайн которых поначалу показался нелепым. Как выяснилось, наушники как финальный шаг на пути к передаче звука пользователю оказались настроены на максимально возможную чистоту и точность аудиопотока.
Комплектующие этих специально спроектированных интегрированных наушников подобраны в стремлении сократить электрические помехи и сохранить аудиопоток как можно более похожим на первозданный. Для этого звуковые карты компьютеров снабжаются внешним цифро-аналоговым преобразователем, который принимает цифровой сигнал с компьютера и преобразует его в аналоговый, готовый для амплификации. Затем он посылается через специальный каскадный усилитель, который подаёт сигнал на наушники нашего HMD.
Описанный способ хорошо известен тем, кто требует от электронного оборудования звука наилучшего качества. На деле он может дать впечатляющие результаты.
Oculus утверждает, что её цель — обеспечить как можно более чистую и ровную отдачу от звукового оборудования. Аудиожелезо очков становится чистым листом, который разработчик раскрашивает как считает нужным. В то же время сценарии передачи аудио предсказуемы, так что алгоритмы, используемые для вычисления позиции звукового сигнала в виртуальном пространстве, также должны вести себя определённым ожидаемым образом. По сути Oculus создала референсный дизайн, стандарт, от которого должны отталкиваться разработчики.
Применённый Oculus способ передачи звука также позволяет избежать головной боли, вызванной отдельными драйверами звуковой карты, многие из которых включают проблемное выравнивание по умолчанию («расширенные» низкие или высокие частоты), не говоря о нежелательной цифровой обработке сигналов, такой как добавление эха, что часто встречается в потоке при использовании бюджетных звуковых карт. Во многом этот подход аналогичен direct mode, с помощью которого Rift врезаются в стек графических драйверов Windows, чтобы добиться минимальной задержки картинки.
Всё это означает, что если Oculus использует данный дизайн в потребительском продукте, каждый пользователь будет иметь наилучший шанс на высокое качество звука и позиционирования прямо из коробки.
Пара слов об HRTF
Как происходит с большинством невероятных вещей, которые делает наш мозг, восприятие нами мира через звуковые колебания считается чем-то само собой разумеющимся. Тем не менее точное определение отражений и искажений, которые претерпевает звук на пути к нашим ушам, предоставляет нам критически важную пространственную информацию.
HRTF (head-related transfer function — функция перемещения относительно головы) — это акроним, обозначающий способ, который ваш мозг использует для определения задержки окружающего звука и его изменений, чтобы установить относительное расстояние до его источника. Интерауральная задержка (время между улавливанием звука каждым ухом) и HRTF используются нашим мозгом для создания удивительно точной звуковой картины мира. Не удивительно, что подражание естественным сигналам может чрезвычайно эффективно обмануть мозг.
HRTF для каждого своя. Форма головы каждого человека индивидуальна, и мозг настроен под неё. Из этого следует интересный вопрос: будет ли в рамках калибровки VR Audio создаваться 3D-модель головы, чтобы обеспечить точность? Вероятно, сразу — нет, но в будущем настройка HRTF может быть внедрена по мере роста реалистичности других аспектов виртуальной реальности.
По материалам Road to VR
