Эта статья была написана будущим основателем и руководителем проекта Google Glass доцентом кафедры электротехники Вашингтонского университета Бабаком Парвизом в 2009 году. В ней специалист по бионическим контактным линзам рассказывает о своём опыте их разработки в одной из самых передовых в данной области команд учёных. То, что материалу уже стукнуло полные три года, вовсе не значит, что он потерял актуальность. Напротив, обговариваемые в нём вещи и сегодня кажутся большинству людей научной фантастикой, и через призму знания о разработках, проводившихся несколько лет назад человеком, ответственным за сегодняшнюю революцию нательных компьютеров, мы все можем по-новому взглянуть на появляющийся рынок потребительских устройств дополненной реальности. Пока Google даёт нам привыкнуть к нательным компьютерам с камерой как классу электроники, в лабораториях уже многие годы ведутся разработки гораздо более миниатюрных и незаметных устройств, которые в будущем смогут стать ещё одной ступенькой к имплантации компьютеров непосредственно в органы нашего тела и, возможно, появлению нового вида человеческого существа благодаря технологическим достижениям самого человека. Вполне вероятно, что уже нынешнее поколение людей застанет новую эпоху в истории высших приматов — киборгизацию. А дорога к этому вымощена постоянно теряющимися одноразовыми прозрачными кружочками.
Алексей Лисовицкий, главный редактор ARNext.ru
Человеческий глаз — генератор восприятия. С его помощью можно видеть миллионы цветов, он легко настраивается на изменяющиеся условия освещения и передаёт информацию в мозг со скоростью, превышающей возможности высокоскоростного интернет-соединения.
Но зачем на этом останавливаться?
В фильмах о Терминаторе персонаж Арнольда Шварцнегера видит мир вместе с данными, которые накладываются на его поле зрения — виртуальными комментариями, улучшающими сканирование сцены роботом. В научно-фантастических рассказах Вернора Винджа (Vernor Vinge) персонажи полагаются на электронные контактные линзы, а не на смартфоны или мозговые имплантанты, для беспрепятственного доступа к информации, которая появляется прямо перед их глазами.
Эти взгляды (если позволите) могут показаться надуманными, но контактные линзы с простой встроенной электроникой уже на самом деле находятся в пределах нашей досягаемости — мои студенты и я уже производим такие устройства в небольшом количестве в моей лаборатории Вашингтонского университета Сиэттла. Эти линзы ещё не дают нам орлиное зрение и не приносят пользу через субтитры на нашем окружении. Но мы создали линзу с одним светодиодом, питающимся без проводов по радиосвязи. То, что мы делали до сих пор, служит лишь скромным намёком на будущие возможности этой технологии.
Обычные контактные линзы являются полимерами, обличёнными в конкретную форму для компенсации нарушений зрения. Чтобы включить такую линзу в функциональную систему, мы интегрируем цепи управления, коммуникационные цепи и миниатюрные антенны в линзу с использованием сделанных на заказ оптоэлектронных компонентов. В конечном счёте эти компоненты будут включать сотни светодиодов, формирующих изображения со словами, диаграммами и фотография, перед глазом. Большая часть аппаратного обеспечения полупрозрачна, так что пользователи могут перемещаться, не врезаясь и не испытывая дезориентацию. По всей вероятности отдельное портативное устройство будет отправлять информацию для отображения на управляющую цепь линзы, которая, в свою очередь, будет оперировать оптоэлектроникой.
Этим линзам не нужно быть очень сложными, чтобы приносить пользу. Даже линза с одним пикселем может помочь людям с нарушениями слуха или работать в качестве индикатора в компьютерных играх. С большим количеством цветов и увеличенным разрешением область применения может быть расширена за счёт включения отображения текста, перевода речи в виде титров в реальном времени или визуальных сигналов от навигационной системы. C базовой обработкой изображений и доступом в интернет дисплей-контактная линза может открыть целый мир визуальной информации, свободной от ограничений физического дисплея.
В проведённых на момент публикации статьи исследованиях кролик носил линзы с металлическими цепями в течение 20 минут за один раз без каких-либо побочных эффектов.
Помимо визуального усиления, в будущем огромный рынок может сформировать неинвазивный мониторинг биологических маркеров и показателей здоровья пользователя. Мы создали несколько простых датчиков, которые могут обнаруживать повышенную концентрацию молекул, таких как молекулы глюкозы. Встроенные в линзы сенсоры позволили бы владельцам-диабетикам следить за уровнем сахара в крови без необходимости укола пальца. По нашим оценкам нынешние детекторы глюкозы являются лишь проблеском того, что будет возможно в ближайшие 5-10 лет. Ежедневно контактные линзы носит более сотни миллионов человек, и они являются одним из немногих одноразовых массовых продуктов, который через слизистые соприкасается с внутренней поверхностью тела в течение длительного времени. Когда вы получаете анализ крови, ваш врач, вероятно, исследует многие из тех же биомаркеров, которые находятся в живых клетках на поверхности глаза — и в концентрациях, которые тесно коррелируют с уровнем в крови. Правильно настроенные контактные линзы могли бы контролировать уровень холестерина, натрия и калия в крови, чтобы назвать несколько потенциальных необходимостей. В сочетании с беспроводным передатчиком данных линза может передавать информацию медикам мгновенно без игл и анализов с гораздо меньшим шансом на путаницу.
На пути создания многоцелевых контактных линз есть три фундаментальные проблемы. Во-первых, способы изготовления многих частей линзы и подсистем несовместимы друг с другом и хрупким линзовым полимером. Чтобы обойти эту проблему, мы с коллегами создаём все устройства с нуля. Для изготовления компонентов для кремниевых схем и светодиодов мы используем высокие температуры и агрессивные химические вещества, что подразумевает невозможность их размещения непосредственно на линзе. Это приводит ко второй проблеме — к тому, что все ключевые компоненты должны быть миниатюрными и интегрированными в приблизительно полтора квадратных сантиметра гибкого прозрачного полимера. Пока мы не решили эту проблему, но уже далеко зашли в разработке собственного специализированного сборочного процесса, что позволяет нам объединить несколько различных видов компонентов на линзе. Последней по порядку, но не по важности, является проблема того, что вся эта штуковина должна быть полностью безопасной для глаз. Для примера возьмём светодиод. Большинство красных светодиодов выполнены из токсичного арсенида алюминия-галлия. Поэтому прежде чем светодиод сможет оказаться в глазе, он должен быть укутан в биосовместимое вещество.
До сих пор, помимо нашего глюкозного монитора, мы смогли изготовить несколько других наноразмерных биосенсоров, которые реагируют на молекулы-мишени с электрическим сигналом; мы также сделали несколько компонентов микроскопического масштаба, включая монокристаллические кремниевые транзисторы, радиочипы, антенны, диффузионные резисторы, светодиоды и кремниевые фотодетекторы. Мы сконструировали все микрометровые металлические соединения для формирования схемы на контактной линзе. Мы также продемонстрировали, что эти микрокомпоненты могут быть интегрированы посредством процесса самосборки на другие нетрадиционные субстраты, такие как тонкие гибкие прозрачные пластмассы или стекло. Мы изготовили прототипы линз со светодиодом, миниатюрным радиочипом и антенной, и передавали энергию, подсвечивающую светодиод, линзе, по беспроводной связи. Чтобы продемонстрировать, что линзы могут быть безопасны, мы поместили их в биосовместимый полимер и успешно испытали в эксперименте с живыми кроликами.
Возможность видеть свет от светодиода является разумным достижением. Но конечная цель в том, чтобы видеть через линзу нечто полезное. К счастью, человеческий глаз является очень чувствительным фотодетектором. В полдень безоблачного дня через ваш зрачок проходит масса света, и мир плещет красками. Но глазу не нужна вся эта оптическая мощь — он может воспринимать изображение всего от нескольких микроватт мощности оптического излучения, проходящего через линзу. Жидкокристаллический экран компьютера аналогично расточителен. Он посылает множество фотонов, но только небольшая их часть попадает в ваш глаз и доходит до сетчатки для формирования изображения. Но когда дисплей находится прямо над вашей роговицей, каждый порождённый им фотон помогает формировать картинку.
Изящность этого подхода очевидна: если свет идёт к зрачку от линзы, а не от внешнего источника, необходимо гораздо меньше энергии для формирования изображения. Но как получить свет от линзы? Мы рассмотрели два основных подхода. Один из вариантов заключается в создании на линзе дисплея на основе массива светодиодных пикселей; мы называем его активным дисплеем. Альтернативой является использование пассивных пикселей, которые просто модулируют входящий свет, а не производят его самостоятельно. Суть в том, что они формируют изображение, изменяя свои цвет и прозрачность в качестве реакции на источник света (это похоже на жидкокристаллические дисплеи, в которых крошечные ЖК-«жалюзи» блокируют или пропускают белый свет через красные, зелёные или синие фильтры). Для пассивных пикселей на функциональной контактной линзе источником света может быть среда. Цвета не будут такими сочными, как у дисплеев с белой подсветкой, но изображения могут быть весьма резкими и высокоточными. В первую очередь мы использовали «активный» подход и произвели линзы, на которых может поместиться массив светодиодов 8×8. На данный момент активные пиксели легче соединить с линзами. Однако с использованием пассивных пикселей значительно снизились бы общие потребности линз в энергии, при условии, что мы сможем понять, как сделать пиксели меньше, более высококонтрастными и способными быстро реагировать на внешние сигналы.
К этому моменту вам, наверное, стало интересно, как носящий одну из наших контактных линз человек сможет сосредоточиться на изображении, формируемом на поверхности глаза. В конце концов нормальные и здоровые глаза не могут фокусироваться на объектах, находящихся на расстоянии менее десяти сантиметров от поверхности роговицы. Сами по себе светодиоды производят нечёткое световое пятно в поле зрения пользователя. Так или иначе изображение должно быть уведено от роговицы. Одним из способов сделать это является использование массива из ещё более миниатюрных линз, размещённого на поверхности контактной линзы. В прошлом такие массивы использовались для фокусировки лазеров, а также в фотолитографии для размещения световых паттернов на фоторезисте. На контактной линзе каждый пиксель или небольшая группа пикселей назначались бы на микролинзы, расположенные между глазом и пикселями. Расстояния между пикселем и микролинзой в 360 микрометров было бы достаточно, чтобы «отодвинуть» виртуальный образ и позволить глазам легко на нём сосредоточиться. Пользователю изображение будет казаться висящим в пространстве на расстоянии примерно полуметра, в зависимости от микролинз.
Ещё одним способом создания чёткого изображения является использование сканирующего микролазера или массива микролазеров. Лазерные лучи рассеиваются значительно меньше, чем свет от светодиодов, так что они будут производить более чёткую картинку. Определённый тип подвижного зеркала будет разлагать лучи белого, красного и синего лазеров для формирования изображения. Его разрешение будет ограничено главным образом узостью лучей, и лазеры, очевидно, должны быть очень небольшими, что было бы существенной проблемой. Тем не менее использование лазеров позволило бы убедиться, что изображение постоянно находится в фокусе, и устранило необходимость в микролинзах.
Будем ли мы использовать для нашего дисплея лазеры или светодиоды, площадь для оптоэлектроники на поверхности линзы очень небольшая — около 1,2 мм в диаметре. Дисплей также должен быть полупрозрачным, чтобы его владельцы могли видеть окружающий мир. Это жёсткие, но не неудовлетворимые требования. Созданные нами до сих пор светодиодные чипы составляют 300 микрометров в диаметре, и светоизлучающая зона на каждом чипе находится в кольце шириной 60 микрометров с радиусом 112 микрометров. Мы пытаемся уменьшить её величину на порядок. Целью является массив из 3600 пикселей с шириной 10 микрометров на расстоянии 10 микрометров друг от друга.
Прототип линзы с верхнего изображения имеет несколько соединений, монокристаллические кремниевые и встроенные полупроводниковые компоненты. Нижняя линза содержит радиочип, антенну и красный светодиод.
Ещё одной трудностью в расположении дисплея на глазе стало его движение относительно зрачка. Обычные контактные линзы, корректирующие астигматизм, более тяжёлые в основании для поддерживания определённой ориентации плюс/минус несколько градусов. Я полагаю, что та же самая техника может уберечь от наклона дисплей (если владелец не моргает слишком часто!).
Как и любая другая мобильная электроника, эти линзы должны иметь подходящие источники энергии, однако среди всех вариантов ни один не является особенно привлекательным. Ситуацию обостряют пространственные ограничения. Например, уменьшенные до такого размера аккумуляторы требуют подзарядки и означают опасность попадания в глаз, скажем, ионов лития при неполадках. Лучшей стратегией является сбор инерциальной энергии из окружающей среды путём преобразования колебаний в электричество, его преобразования из солнечного или радиоизлучения. Большая часть приборов для сбора инерциальной энергии имеет неприемлемо низкую выходную мощность, поэтому мы сосредоточились на питании наших линз от энергии солнца или радиоколебаний.
Давайте предположим, что 1 квадратный сантиметр линзы задействован в генерировании электричества, и, скажем, мы употребили это место под солнечные батареи. Почти 300 микроватт входящей энергии будет доступно в помещении с потенциально гораздо большим количеством на открытом воздухе. При эффективности преобразования в 10% эти цифры превратились бы в 30 микроватт доступной электрической мощности, если бы все подсистемы контактной линзы работали в помещении.
Сбор радиочастотной энергии из источника в кармане пользователя улучшает показатели незначительно. В таких условиях площадь линзы занята антеннами, а не фотоэлементами. «Выхлоп» антенн будет ограничен напряжённостью поля, разрешённой на различных частотах. В микроволновом диапазоне от 1,5 гигагерца до 100 гигагерц считающийся безопасным для человека уровень воздействия составляет 1 милливатт на квадратный сантиметр. Для наших прототипов мы изготовили первое поколение антенн, которые могут осуществлять передачу в диапазоне от 900 мегагерц до 6 гигагерц, и продолжаем работать над более эффективными версиями. Таким образом с одного квадратного сантиметра линзы мы должны извлечь по крайней мере 100 микроватт, в зависимости от эффективности антенны и конверсионной схемы.
После завершения работы над подсистемами финальным испытанием является их размещение на всё том же крошечном полимерном диске. Напомню, что нам нужно для этого: металлические микроструктуры для формирования антенн, сложные полупроводники для создания оптоэлектронных приборов, дополнительные передовые металлооксидные полупроводниковые кремниевые схемы для управления и радиочастотной связи при низком энергопотреблении, микроэлектромеханическая система (MEMS) преобразователей и резонаторов для настройки радиочастотной коммуникации и поверхностные датчики, взаимодействующие с биохимической средой.
Используемые нами обычно для создания большинства из этих компонентов производственные процессы для полупроводников не будут работать, поскольку они химически и температурно несовместимы с гибким полимерным основанием контактной линзы. Чтобы обойти эту проблему, мы независимо изготавливаем большую часть микрокомпонентов на подложке из кремния на изоляторе, также производя светодиоды и некоторые биосенсоры на другом субстрате. Каждый продукт имеет металлические соединения и травится в уникальной форме. На выходе они представляют собой части размером с крупицы пыли, которые мы затем интегрируем в линзу.
Начинаем с подготовки субстрата для микрокомпонентов — 100-нанометрового куска полиэтилентерефталата. Подложка фотолитографическим способом поделена линиями металлических соединений со связывающими участками. Эти участки — крошечные скважины около 100 микрометров глубиной, в которых будут проведены электрические соединения между компонентами и шаблоном. В нижней части каждой располагается крошечная ёмкость с низкотемпературным сплавом, который объединяет два соединения микронной спайкой.
Затем мы погружаем пластиковую подложку линзы в жидкий агент и собираем над ней микрокомпоненты. Участки связывания режутся под геометрию отдельных комплектующих таким образом, чтобы треугольный компонент получил треугольную пазу, круглый — круглую, и так далее. Когда компонент попадает в свою скважину, небольшой слой металла на его поверхности вступает в контакт со сплавом на дне скважины, в результате чего капиллярная сила укладывает компоненты в нужное место. После того как все части нашли свое слоты, мы понижаем температуру для закрепления сплава. На этом шаге устанавливается механическая и электрическая связь между компонентами, соединениями и подложкой.
Следующим шагом является обеспечение того, чтобы все потенциально опасные части, которые мы только что собрали, были безопасны и удобны при ношении. Разрабатываемые нами линзы напоминают существующие газопроницаемые с небольшими участками «дышащего» чуть хуже материала, который оборачивается вокруг электроники. Мы инкапсулировали функциональные части в полиметилметакрилат (оргстекло — прим. ред.) — полимер, использовавшийся при создании контактных линз ранних поколений. Теперь появился вопрос о взаимодействии тепла и света с глазом. Необходимо не только сделать энергопотребление системы очень низким для соблюдения энергобаланса, но и избежать выделения такого количества тепла, которое может повредить глаз, так что температура должна оставаться ниже 45° С. Нам ещё предстоит всесторонне исследовать эту проблему, но наш предварительный анализ показывает, что тепло не должно быть большой проблемой.
Все основные технологии, необходимые для создания функциональных контактных линз, уже есть. Мы протестировали несколько собственных первых прототипов на животных, доказав, что платформа может быть безопасна. Сейчас нам нужно продемонстрировать взаимодействие всех подсистем, дополнительно уменьшить некоторые компоненты и расширить возможности радиочастотного забора энергии с упором на эффективность и увеличение дистанции с нынешних нескольких сантиметров. Мы также нуждаемся в создании устройства-компаньона, которое проводило бы все необходимые вычисления и обрабатывало изображения, чтобы доказать, что система может формировать картинку по требованию. Мы начинаем с простого продукта — контактной линзы с одним источником света и намерены разработать более сложные линзы, которые могут наложить генерируемую компьютером цветную графику высокого разрешения на реальное видимое пользователем пространство.
Истинными плодами этого исследования является не просто реальная система, над которой мы в конечном итоге работаем, будь то дисплей, биосенсор или и то, и другое. Мы уже видим будущее, в котором скромная контактная линза становится платформой, вроде iPhone сегодня, с большим количеством разработчиков, делящихся идеями и изобретениями. Нам известно, что возможности растут насколько хватает глаз и за этими пределами.
Автор хотел бы поблагодарить своих бывших и нынешних учеников и сотрудников, в особенности Брайена Отиса (Brian Otis), Дисней Тана (Desney Tan) и Тенг Шена (Tueng Shen), за их вклад в это исследование.
Перевод статьи Бабака Парвиза «Augmented Reality in a Contact Lens» для IEEE Spectrum
