SketchSynth: музыкальный AR-микшер на листке бумаги

Сфера дополненной реальности бездонна, как сами высокие технологии, и ограничена лишь воображением. Перед нами пример ...

Сфера дополненной реальности бездонна, как сами высокие технологии, и ограничена лишь воображением. Перед нами пример того, как с её помощью можно организовать управление звуковой аппаратурой с помощью… листочка бумаги. Проект получил название SketchSynth, он требует обычной веб-камеры и проектора.

На листке бумаги в произвольных местах рисуются органы управления трёх типов: простая кнопка, двухпозиционный переключатель и ползунок. По мнению автора, которого зовут Билли Кис (Billy Keyes), эти типы покрывают практически все необходимые манипуляции. Их количество и расположение на бумаге могут быть любыми. Затем в программе каждому органу управления задаётся своя функция, и всё — можно работать.

Управление производится пальцами. Проектор проецирует на бумагу шкалы и состояния кнопок, а веб-камера считывает положение пальцев. В результате мы получаем пусть не архипрофессиональный, но вполне самодостаточный микшер для диджея или звукорежиссёра. При этом, в отличие от микшера настоящего, можно нарисовать любые нужные органы управления в любом порядке и любом месте. Хотя программа распознаёт только три типа регуляторов, теоретически можно создать любые другие варианты.

Немного технических подробностей. SketchSynth реализован на базе протокола Open Sound Control (OSC) с помощью среды openFrameworks и библиотеки OpenCV, а звуковой синтезатор работает на Pure Data. Камера и проектор синхронизируются по углам бумаги. Чтобы избежать интерференции пальца и регуляторов, палец считывается в зелёном цвете, а регуляторы проецируются в синем и красном.

Несложно догадаться, что таким способом можно реализовать управление и чем-то другим помимо звука. Как насчёт самолёта?

По материалам Golan Courses

Раздел
Новости

Другие статьи

  • AR/VR конференция и хакатон AVRA MINSK DAYS

    Минск на 3 дня станет центром AR/VR-технологий, объединив лучших экспертов и профессионалов отрасли. AVRA MINSK DAYS подарит сотням разработчиков, предпринимателей, маркетологов, инвесторов и всем интересующимся уникальную атмосферу для приобщения...
  • Цифровая конференция «Experiential Technology Conference & Expo 2017»

    «Experiential Technology Conference & Expo 2017» — это цифровая конференция, главной задачей которой является показать, как новые цифровые технологии влияют на здравоохранение, образование, культуру, спорт, развлечения и многие другие области, создавая...
  • «Как зарабатывать на дополненной и виртуальной реальности?» — репортаж VRToday №5

    Как будет развиваться рынок виртуальных технологий в российских реалиях? Возможно ли заработать на AR/VR проектах? Какие тренды ждут нас в новом году? Ответе на эти и многие другие вопросы можно...
  • Хакатон NEUROMEDIA

    Хакатон NEUROMEDIA — зрелищный коктейль науки технологий и творчества, от создателей фестиваля ВКонтакте и хакатонов Neurohack. Самый яркий и необычный meet’up от ILoveHack (Science Guide). Встреча, на которой произойдет открытый...