Флоридский стартап Magic Leap (англ. — «волшебная палочка») сообщил, что несколько венчурных фондов в сотрудничестве с Google предоставляют ему инвестиции в размере $542 миллионов на разработку некоего проекта, имеющего отношение к виртуальной и дополненной реальности, хотя он, по словам основателя новой компании, не может быть описан этими принятыми на текущий момент технологическим сообществом терминами. Не было проведено ни одной публичной демонстрации продукта, в Сети не оказалось ни одного «шпионского» видео, Magic Leap в полном составе отказывается от прямых заявлений о природе разработки. Тем не менее уйти от зоркого ока пришедшего в замешательство журналистского и научного сообщества не так-то просто, и один из стэнфордских экспертов помог разобрать по полочкам данные о патентах, которые Magic Leap может использовать для создания того, что её CEO Рони Эбоувиц (Rony Abovitz) называет «наиболее естественным и дружественным человеку интерфейсом нательного компьютера в мире».
В доступных патентных документах говорится о сложной технологии визуализации, которая может обмануть зрительный аппарат человека лучше, чем существующие системы виртуальной реальности (например, Oculus Rift), в том, что касается восприятия виртуальных объектов как реальных. Технология, используемая в большинстве устройств, может показать только плоское, двухмерное изображение: Rift способны дать восприятие глубины через стереокартинку, но глаза всё равно сосредоточены на плоском дисплее.
Когда вы смотрите на реальную трёхмерную сцену (то есть, в реальной жизни), удалённость точек, на которых сосредоточены ваши глаза, постоянно меняется — меняется расстояние до объектов относительно каждого глаза. «Если мы не учитываем эти сигналы фокусировки, то не получаем максимальной реалистичности», — говорит Гордон Вайцштайн (Gordon Wetzstein), руководитель Отдела исследований вычислительной визуализации (Computational Imaging Research Group) Стэнфордского университета.
Патенты Magic Leap предлагают альтернативный подход. Они описывают дисплеи, которые могут создавать такие же трёхмерные паттерны световых лучей, называемые «световыми полями», которые наши глаза принимают от реальных объектов. Вайцштайн и другие учёные доказывают, что благодаря этому зритель сосредотачивается на виртуальных объёмных объектах, будто они реальны, и это, извините за повторения, гораздо более реалистично, чем в VR-очках. Уточним: при использовании световых полей в трёхмерной визуализации оговорённым образом человек воспринимает виртуальные объекты как часть реальности.
Чуть ранее в 2014 году Вайцштайн с коллегами использовал эту технику для визуализации текста, который будет одинаково легко читаться как людьми с хорошим зрением, так и теми, кому обычно нужны корректирующие линзы. До этого он работал над 3D-дисплеями, выполненными по аналогичной технологии, для которых не нужны специальные очки. Также относительно недавно очки с использованием технологии светового поля показала компания Nvidia.
Изображение из патентной заявки Magic Leap на тему очков дополненной реальности
Описание торговой марки «Динамический оцифрованный сигнал светового поля» от Magic Leap, поданное в регулирующие органы США, характеризует её технологию как «нательное компьютерное оборудование, а именно оптическая система отображения, включающая дисплей динамического светового поля».
Один из патентов Magic Leap описывает подобное устройство. Оно называется аббревиатурой WRAP (waveguide reflector array projector — проектор массива волноводных отражателей) и представляет собой массив из множества мелких изогнутых зеркал; свет будет доставляться к нему по оптоволокну, и каждый крошечный элемент будет отражать его часть в целях создания светового поля для каждой конкретной точки в 3D-пространстве. Массив может быть полупрозрачным, чтобы пользователь видел реальность сквозь проекцию.
Несколько слоёв таких зеркал создадут дисплей для визуализации виртуальных объектов на разных расстояниях. Тем не менее в документе утверждается, что достаточно одного зеркального слоя, если он состоит из ферромагнитной жидкости. Это позволит менять структуру поверхности с помощью магнитного поля на такой скорости, чтобы обмануть глаза зрителя, подобно смене кадров в анимации.
Одной из наиболее важных проблем Magic Leap может оказаться поиск способа простой интеграции виртуальных трёхмерных объектов, созданных таким дисплеем, в реальный мир, видимый пользователем. По словам Вайцштайна, это потребует реализации системы, которая сама способна воспринимать трёхмерное окружение и то, с какого именно точного положения и угла пользователь смотрит на изображение.
Следующий патент стартапа описывает использование датчиков движения пользователя и камер для отслеживания глаз в очках, чтобы держать систему в курсе зрительной фокусировки. Вайцштайн утверждает, что ему случаи создания нательной электроники с подобными возможностями не известны. Далее в патентах упоминается система из камер, инфракрасных и ультразвуковых датчиков, которая могла бы распознавать окружающую среду и управляющие жесты. Камеры глубинного зондирования успели стать относительно дешёвыми и достаточно компактными для смартфонов и планшетов, но, по мнению учёного, Magic Leap нужно, скорее, работать над прорывом в области программного обеспечения компьютерного зрения для нательных устройств, чтобы дать электронике лучшее представление об окружающем мире для улучшения качества дополненной реальности:
Им требуется очень мощное распознавание трёхмерных образов, работающее на ваших очках.
В настоящее время Magic Leap объявила набор специалистов по проектированию и производству микросхем — по видимому, с целью создания чипов для обработки изображения. Выделенные чипы, такие как AREngine от metaio, могли бы сделать для нательных устройств важный шаг в сторону энергоэффективности. Magic Leap уже наняла Гэри Брэдски (Gary Bradski) — пионера исследований компьютерного зрения и создания специального софта, отмечает Вайцштайн. Также компания набирает специалистов по лазерам, мобильной и беспроводной электронике, камерам, созданию и управлению цепочек поставок, 3D-зондированию, искусственному интеллекту и разработке компьютерных игр.
В целом, по мнению Вайцштайна, многое из технологической базы Magic Leap необходимо именно для реализации высококачественной дополненной реальности. Но она собирается совершенствовать и объединять технологии так, как этого не смог сделать никто:
Я думаю, люди приходят к пониманию того, что это будущее создания потребительских устройств. Но оно предполагает постановку больших задач на пересечении оптики, электроники, алгоритмизации и понимании зрительной системы человека.
По материалам MIT Technology Review
