Как сообщили “МК” в МФТИ, система распознавания жестов основана на построении геометрического скелета руки, что позволяет компьютеру быстро и точно различать комбинации пальцев. Для идентификации движений кисти никакой специализированной техники не требуется, с этой работой справляется стандартная веб-камера и обычный персональный компьютер. Пока в “мозге” программы имеется информация о пяти жестах, которые она классифицирует по количеству пальцев, а также по их движению относительно друг друга. К примеру, чтобы кликнуть на экране, надо просто сцепить большой и средний пальцы, а чтобы увеличить картинку, надо развести в стороны большой и указательный. Сегодня программа адаптирована под графический редактор и позволяет работать с изображениями: перемещать, поворачивать картинки, изменять их размер.
Кроме того, пока система воспринимает кисть как плоский объект, но в дальнейшем исследователи хотят адаптировать ее для работы с трехмерной моделью руки. В этом случае она научится распознавать сотни жестов, а также манипулировать трехмерными виртуальными объектами и, может быть, реальными.