Как рассказал «МК» соавтор исследования, доцент Виктор Лемпицкий, для того, чтобы создать алгоритм, искусственно меняющий направление взгляда говорящего, ученым пришлось собрать довольно обширную базу изображений глаз разных людей. Они фиксировались камерой, установленной посередине экрана, отправлялись в память компьютера, а потом обрабатывались компьютером в рамках процесса машинного обучения . Далее надо было решить задачу по унификации искажений взгляда, то есть обучить компьютер менять изображение глаз любого пользователя, а не только тех, которые занесены в базу данных. Оказалось, что несмотря на индивидуальность наших глаз, изменения ракурсов (направления влево, вправо, вниз, вверх) выглядят на видео примерно одинаково. В итоге рисовать с нуля глаз не пришлось. Для того, чтобы «повернуть» взгляд пользователя, уставившегося не туда, куда надо, компьютер использует его собственное изображение. А искажение, то есть нужный поворот, переносит от глаз другого индивидуума, имеющегося в памяти компьютера.
Аналогов такой системы пока нет нигде в мире. Между тем, технология может помочь фотографам, режиссерам, которым надо быстро добиться нужного взгляда от героя, телевизионщикам, которым надо смотреть на зрителей, читая одновременно текст. В октябре результаты исследования будут представлены в Амстердаме на 14-й Европейской конференции по компьютерному зрению.