Жестовые интерфейсы

Разговор о жестовых интерфейсах обычно начинается с яркого примера — фильма «Особое мнение». В нем главный герой водит руками в воздухе, управляя футуристичным интерфейсом: объекты парят вокруг, и пользователю достаточно протянуть руку к любому из них, сделать определенный жест — картинки будут увеличиваться, перемещаться и изменяться. Сегодня все это вызывает уже куда меньшее восхищение — многие не только видели, но и пробовали подобные интерфейсы в деле.

Все необходимые для их создания технологии уже доступны, требуемые устройства можно купить в магазине, и дело, по сути, остается лишь за массовым внедрением и разработкой приложений. Можно ли ждать прорывов в этой области в ближайшее время, и с какой стороны они могут появиться? Новаторский интерфейс появился в «Особом мнении» не случайно — перед съемками Стивен Спилберг собрал группу ученых, которые пытались по кусочкам собрать мир будущего, где происходит действие фильма.

Одним из этих кусочков и был жестовый интерфейс компьютера. И он оказался куда ближе к реальности, чем ракетные ранцы, роботы-насекомые и прочие чудеса. И неудивительно — Джон Ундеркоффлер. человек, подавший эту идею Спилбергу, на тот момент уже работал над подобным интерфейсом в медиалаборатории Массачусетского технологического института. В своей речи на конференции TED 2010 Ундеркоффлер рассказал, что технология в «Особом мнении» неслучайно выглядит столь реалистичной. Спилберг позволил его группе не просто разработать идею и декорацию для фильма, но подойти к этому вопросу, как к настоящему исследованию.

В результате был создан набор жестов, который действительно позволяет общаться с компьютером, не используя традиционные манипуляторы: на конференции демонстрировалась настоящая реализация, практически не уступающая той, что мы видели в фильме. Алексу МакДауэллу. продюсеру кинокартины. оставалось лишь придумать, как сделать технологию зрелищной. Это у него получилось на славу: сцены расследования вышли настолько живыми и естественными, что до сих пор всплывают у многих в памяти, когда речь заходит о жестовых интерфейсах.

Эти разработки опираются на еще более ранее исследование: профессор Хироси Исии, нынешний руководитель группы Tangible Media Group и директор вышеупомянутой MIT Media Lab, еще в 1997 году представил научную работу «Материальные биты: на пути к бесшовным интерфейсам между человеком, информацией и материей» (Tangible Bits: Towards Seamless Interfaces between People, Bits and Atom). «Люди обрели сложнейшие умения в восприятии и манипуляции в физическом мире. Однако большинство этих умений не используются традиционными графическими пользовательскими интерфейсами». — пишет Исии.

Его проекты нацелены на сближение виртуального и реального миров, для чего используются дополненная реальность, тачскрины, «умные» объекты и жестовые интерфейсы. Исследования не ограничиваются одним изучением жестов — сотрудники Media Lab старались охватить весь спектр восприятия; в работе помимо физических объектов, проекций и тачскринов используются свет, потоки воздуха и даже интерфейс на основе воды.

Жесты и поверхности

Новые технологии иногда подолгу маринуются в исследовательских лабораториях, и единственный для них шанс добраться до реального мира — воплотиться в каком- нибудь популярном продукте. Так, к примеру, было стачскринами: первая поверхность с поддержкой мультитач появилась еще в 1985 году, а первым популярным продуктом, в котором она применялась, стал Apple iPhone — таким образом, от момента ее создания до мирового признания прошло почти 22 года.

Интересно, что тема тачскри- нов непосредственно связана с тестовыми интерфейсами, ведь именно iOS (операционная система, на которой работают iPhone. iPad и iPod touch) заставила разработчиков карманных гаджетов навсегда изменить курс, перестав пытаться пользоваться интерфейсными метафорами, привычными по настольным компьютерам (окна и курсоры), и обратить свое внимание на так называемое «прямое взаимодействие». Логично, что прямое взаимодействие с объектами на тачскринах сродни взаимодействию с реальными объектами.

Простейший пример — переключатель. Чтобы изменить состояние переключателя на экране компьютера в традиционном графическом пользовательском интерфейсе, человек должен подвести курсор мыши к изображению на экране и нажать на кнопку. При этом используется объект-посредник (мышь) и метафора курсора. Чтобы изменить состояние переключателя на тачскрине, достаточно потянуть за рычажок — примерно так же, как мы делаем это с настоящим осязаемым тумблером. В случае с тачскрином исчезает целый промежуточный слой в виде мыши и курсора. Несложно убедиться, что без них взаимодействовать с виртуальными объектами куда легче.

Экраны с поддержкой мультитача и интерфейсы, ориентированные на прямое взаимодействие, открывают целый ряд новых возможностей, и жесты здесь играют не последнюю роль. В Apple разработали ряд жестов для тачскринов: «щипок», при помощи которого можно приближать и удалять объекты; «поворот», позволяющий вращать объекты на экране двумя пальцами, итак далее. Примечательно, что эти жесты, найдя применение в iPhone и iPad. вернулись и к компьютерам, благодаря новым тачпа- дам и манипулятору Apple Magic Mouse.
Игра Wii Sports Resort пошла еще дальше, чем Wii Sports — в коробке с ней лежит аксессуар к Wii Remote с гироскопом. Он позволяет еще точнее позиционировать контроллер в пространстве, и это активно используется в прилагаемых играх.

 

Жесты и игры

Если тачскрины добрались до конечных пользователей вместе с волной современных смартфонов, то жестовые интерфейсы, похоже, войдут в нашу жизнь через игровые приставки. Первой компанией, решившей, что управление на основе кнопок пора оставить в прошлом, стала Nintendo, в конце 2006 года начавшая продавать приставку Wii. За ней последовали Sony с контроллерами Sony Move и Microsoft с Microsoft Kinect.

Компьютерные игры, правда, обычно не требуют разработки сложного жестового языка для взаимодействия с программой. Поскольку они не содержат абстрактных данных и стараются по возможности моделировать реальный мир, жесты тоже получаются простыми и естественными. Взять, к примеру бокс из игры Wii Sports — в нем используется всего три простейших жеста: удар, блок и уворот.

Это, впрочем, не означает, что Wii Sports не выжимает из игрока нужные дозы пота и адреналина — с этим здесь все порядке. Принципиальная разница между Wii, Kinect и Move сводится к разным технологиям захвата движения (киношники называют их motion capture или просто «мокап»). В контроллер Wii remote встроены акселерометр и инфракрасная камера, а планка Wii sense bar. подключаемая к приставке, содержит два источника инфракрасного сигнала.

Долгожданная эра жестового управления в играх началась в 2006 году с выходом Nintendo Wii. Сегодня подобные контроллеры существуют и у других производителей консолей — Sony Move и Microsoft Kinect.

Камера в Wii remote, «видя» инфракрасные огоньки, определяет свое положение в пространстве. В Sony Move все наоборот: игрок держит в руках контроллеры со светящимися лампочками, а камера, подключаемая к приставке, наблюдает за их положением. И то, и другое можно считать реализациями «маркерного» мокапа — когда объект, чьи движения захватывает система (в данном случае — человек), снабжен специальными метками, позволяющими компьютеру определить их местоположение.

Kinect в этом плане будет намного интереснее. Его создатели сразу замахнулись на безмаркерный мокап: в Kinect встроен проектор, усеивающий пространство перед собой матрицей из инфракрасных точек, одна из камер, настроенная на нужный диапазон, улавливает их расположение, и еще одна камера передает приставке обычное цветное изображение. Также Kinect снабжен стереомикрофоном и сервоприводом, корректирующим угол наклона камер. Все вместе это позволяет по-настоящему распознавать образы, а не просто улавливать расположение маркеров.

В Microsoft не спешат делиться подробной информацией о работе алгоритмов, однако известно, что при их создании было отснято множество поз, на основе которых систему научили распознавать положение скелета человека, стоящего перед камерой. Таким образом, Kinect может считать практически любой жест — его разрешения, возможно, не хватит для того, чтобы точно распознать движение пальцами, но любой взмах руки может быть в точности передан приставке и переложен на персонажа на экране. Но самое интересное в случае с Kinect — это даже не новые игры (их пока что, к тому же, не так много).
Фирма Microsoft не собиралась давать возможность подключать Kinect к компьютеру и писать для него программы. Однако после того как хакеры создали свой драйвер и он стал популярным, в компании решили сдаться и выпустили официальный набор для разработки приложений.

Стоило этому устройству поступить в магазины, как хакеры нашли способ подключать его к компьютеру и написали драйверы. Это породило не просто волну, а настоящее цунами из самодельных приложений и прочих изобретений на основе Kinect. Чего только не придумали скучающие умельцы! Программы-сканеры, превращающие реальные объекты в трехмерные модели, голографические чаты, жестовые трехмерные редакторы, «воздушные» музыкальные инструменты, системы машинного зрения и так далее, и так далее. Конечно же, Kinect приспособили и для управления существующими компьютерными играми — от Quake 3 до World of Warcraft.
Microsoft Kfnect — тестовый контроллер, подключаемый к приставке ХЬох 360. Был анонсирован летом 2009 года под кодовым названием Project Natal, вышел осенью 2010. На выставке ЕЗ 2011 было показано больше десятка игр для Kinect, которые выйдут в ближайший год.

 

Жесты и роботы

Одно из самых интересных нестандартных применений Kinect — жестовое управление роботами. С недавних пор создать робота, слушающегося жестов, стало возможно в домашних условиях, не притрагиваясь к паяльнику и потратив не больше тысячи долларов.

Весь потенциал Kinect помогли раскрыть хакеры: написанные ими драйвера позволяют использовать контроллер хоть для управления в компьютерных играх, хоть для выдачи команд своему домашнему роботу.

Все. что для этого нужно — пылесос Roomba производства компании iRobot. Kinect и любой миниатюрный компьютер, способный запускать Linux. Также придется разобраться с наборами библиотек ROS и ARToolKIT. Этажерка из робопылесоса, компьютера и Kinect способна на восхитительные вещи: есть, к примеру, программа, позволяющая роботу изучить квартиру и находить путь из одной комнаты в другую. Это может быть полезно для транспортировки напитков от холодильника к дивану — сидящие на нем друзья просто обязаны терять дар речи, а обретя его, начинать наперебой обсуждать, до чего дошел прогресс. Если же это их не впечатлит (вдруг уже видели ролики на YouTube?), можно активировать другую программу, под управлением которой робот едет туда, куда укажешь ему рукой. Да что там. при желании можно запрограммировать его так, чтобы он танцевал в такт с хозяином! Как оказалось, научить робота жестам куда проще чем заставить понимать голосовые команды (ситуация до смешного напоминает дрессировку собак), впрочем, никто не мешает совмещать одно с другим: жестовые и голосовые интерфейсы вообще очень органично дополняют друг друга — недаром же в Kinect устанавливаются столь качественные микрофоны.

Чтобы получать информацию о трехмерном представлении пространства, Kinect проецирует перед собой сетку из инфракрасных точек. Увидеть их можно лишь через специальный светофильтр.

 

Жесты и предметы

 

Может сложиться впечатление, что жестовые интерфейсы — это в основном о размахивании руками или хитроумных пасах на экране планшета. Но по-настоящему огромный потенциал кроется в жестах, задействующих различные реальные предметы. За современными примерами далеко ходить не нужно: некоторые телефоны умеют сбрасывать звонок, если перевернуть их экраном к столу (для некоторых моделей нужна программа Flipsilent и телефон с гироскопом), Apple iPad 2 входит и выходит из режима сна в зависимости от положения снабженной магнитами обложки. И то и другое отлично иллюстрирует, как можно взаимодействовать с программой, выполняя натуральные жесты вместо нажатия на кнопки.

Однако в финальные продукты, как всегда, попадает лишь малая часть того, что было в исследовательских лабораториях двадцать лет назад. Дюрел Бишоп, коллега Хироси Исии, в 1992 году разработал автоответчик, записи в котором были представлены в виде разноцветных шариков (здесь снова можно вспомнить фильм «Особое мнение» — эта технология тоже туда перекочевала). Каждый раз, когда кто-то оставляет запись на этом автоответчике, из него по желобку выкатывается цветной шарик. Его затем можно положить в специальную лунку, чтобы воспроизвести запись, либо на подключенный совместимый телефон — чтобы перезвонить.

По мнению Бишопа, такой способ взаимодействия с информацией куда проще для восприятия, чем перематывающаяся пленка, и позволяет работать с виртуальными объектами как с настоящими вещами: к примеру, шарики можно разложить по нескольким блюдцам в том случае, если адресатов посланий несколько.

В MIT Media Lab за два десятилетия успели разработать множество концептов, каждый из которых так или иначе смешивает реальное пространство с виртуальными объектами. Взять, к примеру, настенную доску, к которой можно поднести определенный предмет, и проектор окружит его соответствующими образами. Крепим шахматную доску, и на ней будут расставлены фигуры; убираем доску, и фигуры разбегутся в разные стороны и исчезнут. Учеными была построена целая комната под названием Luminous Room, физические объекты в которой становились представлениями привязанных к ним наборов данных.

Простой пример — игрушечная машинка, за которой закреплен адрес веб-сайта. Когда машинку подносят к динамику, компьютер благодаря сенсорам замечает ее присутствие и начинает воспроизводить через динамик звук падающих капель — каждая капля означает посещение сайта; если посещений много, слышится шум дождя. (Именно этот эксперимент впоследствии был подменен водным интерфейсом: вместо шума, который может быть и неприятен, сделали подсвеченный сосуд с водой, где с ростом посещаемости по поверхности расходилось больше кругов.)

Жесты и будущее

Когда в дело вступают тач-поверхности, камеры. сенсоры, проекторы, роботы того или иного вида, а также современные гаджеты, в свою очередь снабженные сенсорами и тачскринами, на пересечении их возможностей рождается поистине несчетное множество идей и схем применения. Не все из этого воплотимо в продуктах, которые можно было бы продавать в магазине, но не приходится сомневаться в том, что в будущем мы увидим все больше естественных интерфейсов. Не исключено, что жесты и, в частности, интерфейсы вроде тех, что были показаны в «Особом мнении», уже на подходе к общедоступной реализации. В подтверждение тому можно привести сразу несколько современных трендов, и появление игровых приставок с жестовым управлением — лишь один из них.

Немаловажно и то, что подобные продукты становятся все дешевле — концепция персонального компьютера постепенно отходит на второй план, люди пользуются все большим числом гаджетов. Это открывает дорогу для узкоспециализированных устройств.

Пока что в их список входят электронные книги, планшеты и подключенные к Сети телевизоры, но их спектр будет расширяться, а заодно начнет вырисовываться и домашняя экосистема умных устройств. Взаимодействовать же с ними можно будет, используя привычные представления о поведении предметов и их расположении в пространстве. Можно спорить о том, насколько ценен для кинематографа недавний бум стереодисплеев, но он может стать очень значимым для трехмерных интерфейсов (особенно если удастся избавиться от надоевших всем очков) — как и жестовое управление. Уже сегодня много говорят об «умных телевизорах» (Smart TV), но эта концепция вовсе не ограничивается доступной сейчас возможностью перебирать кнопками пульта ролики с YouTube.

Информацией, выводимой на экран телевизора будущего, можно будет управлять жестами, и, скорее всего, представлена она будет в стерео. Не исключено, что такие телевизоры станут тем же для бесконтактного жестового управления, чем для тачскринов стали смартфоны и планшеты. Вопрос, по сути, лишь в том. когда производители сочтут технологии готовыми для массового внедрения. и кто из них возьмет на себя роль первопроходца. Нам же останется лишь следить за предложениями и учиться разговаривать с компьютерами на языке жестов.

По материалам журнала “Железо”