Со слов авторов, новое исследование показало, что, используя правильные методы и лучшие модели, ИИ действительно способен декодировать (расшифровывать) то, о чем думает человек. Об этом заявил специалист по вычислительной нейробиологии из Массачусетского технологического института Мартин Шримпф.
Попытки переводить мысли в слова при помощи интерфейса мозг-компьютер (нейроинтерфейс) предпринимаются давно. Исследования в этом направлении ведутся уже несколько лет. Например, другие исследовательские группы уже создали интерфейсы «мозг-компьютер» , которые, например, переводят мозговую активность парализованного пациента в слова. Однако большинство этих подходов основаны на использовании электродов, вживляемых в мозг пациента. Неинвазивные методы, основанные на таких методах, как электроэнцефалограмма, которая измеряет активность мозга с помощью электродов, прикрепленных к коже головы, оказались менее успешными. Методы, основанные на электроэнцефалограмме (ЭЭГ), пока способны расшифровывать только фразы и не могут восстановить связную речь. Кроме того, предыдущие интерфейсы также обычно фокусировались на людях, пытающихся говорить или думающих о речи, поэтому они опирались на участки мозга, участвующие в производстве движений, связанных с речью, и работали только тогда, когда человек двигался или пытался двигаться.
И вот нейробиологи из Техасского университета в Остине разработали методику на основе функциональной магнитно-резонансной томографии, которая позволяет напрямую обращаться к языковым областям мозга для расшифровки воображаемой речи. Этот неинвазивный метод, широко используемый в неврологических исследованиях, отслеживает изменения кровотока в мозге для измерения нейронной активности. Цель исследований состояла в том, чтобы связать каждое слово, фразу или предложение с определенной моделью мозговой активности, которую оно вызывает. Чтобы собрать необходимые данные, исследователи просканировали мозг трех участников, каждый из которых прослушал около 16 часов подкастов с рассказами. На основе этих данных исследователи составили набор карт для каждого испытуемого, в которых было указано, как реагирует его мозг, когда он слышит определенное слово, фразу или значение. Поскольку МРТ занимает несколько секунд для записи активности мозга, она фиксирует не каждое конкретное слово, а скорее общую идею каждой фразы и предложения. Ученые использовали данные МРТ, чтобы обучить ИИ предсказывать, как мозг определенного человека будет реагировать на язык.
Первоначально система с трудом преобразовывала результаты сканирования мозга в язык. Но затем исследователи включили в систему модель естественного языка GPT, чтобы предсказать, какое слово может следовать за другим. Используя карты, полученные в результате сканирования, и языковую модель, они проанализировали различные возможные фразы и предложения, чтобы проверить, совпадает ли предсказанная активность мозга с фактической. Если совпадало, они сохраняли эту фразу и переходили к следующей. После этого испытуемые слушали подкасты, которые не использовались в тренинге. Постепенно система создавала слова, фразы и предложения, в итоге выдавая идеи, которые точно соответствовали тому, что человек слышал. Особенно хорошо технология улавливала суть истории, даже если не всегда правильно понимала каждое слово. Она также работала, когда испытуемый рассказывал историю или смотрел видео. В одном из экспериментов участники смотрели фильм без звука, а система пыталась расшифровать их мысли. Когда испытуемый смотрел анимационный фильм, в котором дракон сбивает кого-то с ног, система произнесла: "Он сбивает меня на землю". Все это происходило без просьбы участников говорить. "Это действительно показывает, что мы имеем дело с чем-то более глубоким, чем просто язык", - отметили авторы исследования.
Ученые надеются, что в будущем эта система может помочь людям, которые потеряли способность общаться из-за черепно-мозговой травмы, инсульта или «синдрома блокировки» - вида паралича, при котором человек находится в сознании, но парализован. Однако для этого необходимо не только усовершенствовать технологию, используя больше данных для обучения, но и сделать ее более доступной. Поскольку система основана на МРТ, она является дорогой и сложной в использовании, поэтому идут поиски более простых и портативных методов визуализации, например, таких как ЭЭГ.
Несмотря на то, что эта технология еще не способна расшифровать спонтанные мысли в реальном мире, есть серьезные опасения, что при усовершенствовании технология может имитировать чтение мыслей. "Когда у нас это заработало, мы подумали: "Боже мой, это просто ужасно", - признаются сами авторы исследования.
Чтобы устранить эти опасения, авторы проверили, будет ли дешифратор, натренированный на одном человеке, работать на другом — оказалось, нет. Согласие и сотрудничество также имели решающее значение, поскольку, если человек сопротивлялся, выполняя какую-либо задачу, например, считая, вместо того, чтобы обращать внимание на подкаст, система не могла расшифровать значение его мозговой активности. «Насколько это всё будет применимо на практике - покажет время, но эксперты уже сейчас опасаются, что подобные технологии могут быть использованы как во благо, например, для общения с людьми, которые потеряли способность говорить, так и во зло, скажем, для вынимания информации из людей, которые не хотят ею делиться», - говорит военный врач, терапевт Алексей Водовозов.