Сфера дополненной реальности бездонна, как сами высокие технологии, и ограничена лишь воображением. Перед нами пример того, как с её помощью можно организовать управление звуковой аппаратурой с помощью… листочка бумаги. Проект получил название SketchSynth, он требует обычной веб-камеры и проектора.
На листке бумаги в произвольных местах рисуются органы управления трёх типов: простая кнопка, двухпозиционный переключатель и ползунок. По мнению автора, которого зовут Билли Кис (Billy Keyes), эти типы покрывают практически все необходимые манипуляции. Их количество и расположение на бумаге могут быть любыми. Затем в программе каждому органу управления задаётся своя функция, и всё — можно работать.
Управление производится пальцами. Проектор проецирует на бумагу шкалы и состояния кнопок, а веб-камера считывает положение пальцев. В результате мы получаем пусть не архипрофессиональный, но вполне самодостаточный микшер для диджея или звукорежиссёра. При этом, в отличие от микшера настоящего, можно нарисовать любые нужные органы управления в любом порядке и любом месте. Хотя программа распознаёт только три типа регуляторов, теоретически можно создать любые другие варианты.
Немного технических подробностей. SketchSynth реализован на базе протокола Open Sound Control (OSC) с помощью среды openFrameworks и библиотеки OpenCV, а звуковой синтезатор работает на Pure Data. Камера и проектор синхронизируются по углам бумаги. Чтобы избежать интерференции пальца и регуляторов, палец считывается в зелёном цвете, а регуляторы проецируются в синем и красном.
Несложно догадаться, что таким способом можно реализовать управление и чем-то другим помимо звука. Как насчёт самолёта?
По материалам Golan Courses
