Тяжело парализованная женщина смогла говорить через аватар, используя технологию, которая преобразовала сигналы ее мозга в речь и мимику, пишет The Guardian.
Это достижение вселяет надежду на то, что нейрокомпьютерные интерфейсы (BCI) могут оказаться на пороге преобразования жизни людей, потерявших способность говорить из-за таких заболеваний, как инсульты и боковой амиотрофический склероз (БАС).
До сих пор пациентам приходилось полагаться на удручающе медленные синтезаторы речи, которые предполагают произнесение слов с помощью отслеживания взгляда или небольших движений лица, что делает невозможным естественный разговор.
Новейшая технология использует крошечные электроды, имплантированные на поверхность мозга, для обнаружения электрической активности в той части мозга, которая контролирует речь и движения лица. Эти сигналы преобразуются непосредственно в речь и выражения лица цифрового аватара, включая улыбку, хмурый взгляд или удивление.
“Наша цель - восстановить полноценный, воплощенный способ общения, который на самом деле является для нас наиболее естественным способом общения с другими”, - сказал профессор Эдвард Чанг, руководивший работой в Калифорнийском университете в Сан-Франциско (UCSF). “Эти достижения значительно приближают нас к тому, чтобы сделать это реальным решением для пациентов”.
Как рассказывает The Guardian, 47-летняя пациентка по имени Энн была серьезно парализована после перенесенного более 18 лет назад инсульта ствола головного мозга. Она не может говорить или печатать на машинке и обычно общается с помощью технологии отслеживания движений, которая позволяет ей медленно подбирать буквы со скоростью до 14 слов в минуту. Она надеется, что технология "аватар" позволит ей в будущем работать консультантом.
Команда имплантировала прямоугольник толщиной с бумагу из 253 электродов на поверхность мозга Энн в области, критически важной для речи. Электроды перехватывали сигналы мозга, которые, если бы не инсульт, контролировали бы мышцы ее языка, челюсти, гортани и лица.
После имплантации Энн работала с командой над обучением алгоритма искусственного интеллекта системы распознавать уникальные сигналы ее мозга для различных звуков речи, многократно повторяя разные фразы.
Компьютер выучил 39 отличительных звуков, и для перевода сигналов в понятные предложения была использована языковая модель в стиле GPT-чата. Затем это было использовано для управления аватаром с голосом, настроенным так, чтобы он звучал как голос Энн до травмы, основанный на записи ее выступления на своей свадьбе.
Технология была несовершенна, в тестовом режиме, включавшем более 500 фраз, слова расшифровывались неправильно в 28% случаев, и она генерировала "мозг-текст" со скоростью 78 слов в минуту, по сравнению со 110-150 словами, обычно произносимыми в естественном разговоре, отмечает The Guardian.
Однако ученые заявили, что последние достижения в области точности, скорости и изощренности свидетельствуют о том, что технология в настоящее время находится на стадии практической полезности для пациентов.
Профессор Ник Рэмси, нейробиолог из Утрехтского университета в Нидерландах, который не принимал участия в исследовании, сказал: “Это значительный скачок по сравнению с предыдущими результатами. Мы находимся на переломном этапе”.
Следующим важным шагом является создание беспроводной версии нейрокомпьютерных интерфейсов, которую можно было бы имплантировать под череп. “Предоставление людям возможности свободно управлять своими собственными компьютерами и телефонами с помощью этой технологии оказало бы глубокое влияние на их независимость и социальные взаимодействия”, - сказал доктор Дэвид Мозес, доцент кафедры неврологической хирургии Калифорнийского университета и соавтор исследования. Результаты исследования опубликованы в журнале Nature.