Как узнал «МК», эксперимент проводится в доме-музее Марины Цветаевой в Борисоглебском переулке. Гости музея смогут знакомиться с экспонатами не только в рамках уже существующих экскурсий на русском жестовом языке, но и самостоятельно. Музейщики впервые реализовали уникальное решение - для работы видеогида использованы технологии распознавания объектов с помощью нейросетей. В анимированном меню можно выбрать интересующий экспонат либо воспользоваться подсказкой системы: она предложит истории о предметах, находящихся в комнате. Наведя планшет на предмет, слабослышащий посетитель увидит на экране короткие видео на русском жестовом языке, при помощи которых сможет погрузиться в историю экспонатов.
Планшеты с предустановленным гидом предоставляются бесплатно. А для глухих и слабослышащих людей, которые пока не могут прийти в музей, команда экспертов проекта сняла более 12 часов видео в черновом варианте и подготовила отдельную экскурсию на русском жестовом языке. При этом видеогид и экскурсия не повторяют, а дополняют друг друга.