Многие западные эксперты в области безопасности выражают мнение, что люди могут служить защитой от неправильного использования и потенциальных ошибок искусственного интеллекта (ИИ). Это может включать, например, проверку человеком контента, создаваемого ИИ. Однако растущие количество исследований и реальные примеры использования ИИ в военных целях показывают, что идея о том, что люди могут эффективно контролировать компьютерные системы, сталкивается с определенными трудностями.
Несмотря на усилия по разработке правил для ИИ, многие из них уже содержат положения, поддерживающие контроль и участие человека. Например, закон ЕС об искусственном интеллекте требует, чтобы системы с высокой степенью риска — такие как те, которые автоматически идентифицируют людей с использованием биометрических технологий, включая сканеры сетчатки — проходили проверку и подтверждение как минимум двумя квалифицированными специалистами.
В военной сфере правительство Великобритании признало важность человеческого контроля в своем ответе на парламентский отчет об ИИ в системах вооружения в феврале 2024 года. В отчете отмечается необходимость «значимого контроля со стороны человека», что подразумевает надлежащую подготовку персонала. В настоящее время военные дроны управляются операторами, которые несут ответственность за действия беспилотников. Однако внедрение ИИ может сделать дроны и используемые ими компьютерные системы более функциональными и автономными.
Палестино-израильский конфликт продемонстрировал использование такой технологии. Сообщается, что Израиль использует систему на основе ИИ, которая работает в сочетании с другими автоматизированными системами, отслеживая местоположение выявленных объектов. Ранее в 2017 году американские военные запустили проект под названием Maven, целью которого было внедрение искусственного интеллекта в системы вооружения.
Согласно рекомендациям академических исследований в области этики ИИ, в проекте нужно предусматривать специального сотрудника, который будет следить за результатами работы механизмов поиска целей, что является важным элементом процесса принятия решений.
Американский психолог Мэри Каммингс отметила, что люди могут начать чрезмерно доверять машинным системам и их выводам — это явление называется предвзятым отношением к автоматизации.
«Такое доверие может повлиять на роль человека как контролера автоматизированного процесса принятия решений, так как операторы могут реже ставить под сомнение выводы системы», — поясняет специалист.
В другом исследовании, опубликованном ещё в 1992 году, исследователи Батя Фридман и Питер Кан утверждали, что у людей может ослабевать чувство моральной ответственности при работе с компьютерными системами, до такой степени, что они начинают считать себя не ответственными за последствия и даже приписывать самостоятельность самим компьютерным системам.