Этический кодекс и роботы
«Искусственный интеллект» (ИИ) — это всего лишь неудачный перевод английского термина artificial intelligence (AI). Если слово artificial еще как-то укладывается в понятие «искусственный» (хотя и этот перевод неточен), то слово intelligence по-английски это совсем не «интеллект» (в нашем его понимании).
Ведь слово «интеллект» в русском языке обозначает прежде всего высокий уровень развития умственных способностей в сочетании с широкой эрудицией, образованностью и даже талантом. Вспомните, когда вы в последний раз блеснули интеллектом.
В английском intelligence — это «умственные качества, состоящие из способности учиться на опыте, адаптироваться к новым ситуациям, понимать и использовать абстрактные концепции, а также применять знания для манипулирования средой» (по данным «Британники» — британо-американской универсальной энциклопедии). Более того, у английского слова intelligence есть еще одно значение — «разведка», «секретная служба».
Задумайтесь — о чем это? Да это же про роботов! Вот пазлы и сложились.
ВАЖНО
Роботом условно можно назвать техническую или программную систему, способную выполнять функции, которые ранее могли быть выполнены исключительно человеком.
— Еще в прошлом веке предрекали опасность использования роботов. Помните, в своем знаменитом произведении «Я, робот» писатель-фантаст Айзек Азимов даже разработал этический кодекс для роботов, — говорит эксперт в области IT-технологий Владимир Климов. — Он вывел три закона роботехники (именно «роботехники» — это слово принадлежит перу Азимова). Они как нельзя актуальны и сейчас:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.
Страшнее атомной бомбы
Казалось бы, все просто. Но вот именно реализация этих трех законов до сих пор остается самой сложной задачей. Над решением этой проблемы бьются до сих пор. Потому что развитие ИИ движется сумасшедшими темпами. И основная опасность искусственного интеллекта заключена в его потенциале превзойти человеческие возможности и потере человеком контроля над машиной. Вот здесь необходимо одно важное пояснение.
— Вообще, выделяют два вида ИИ: специализированный (для конкретных задач) и общий (еще не создан, но предполагается, что он достигнет уровня человеческого интеллекта, а в итоге превзойдет), — говорит эксперт в области машинного обучения, пилот и разработчик конструкций БПЛА Андрей Лимарев. — К первому типу относится ИИ, выполняющий конкретные задачи. Например, робот-пылесос или электрокар Тесла, либо программа, написанная с использованием машинного обучения, которая, допустим, выявляет очаги землетрясений после обработки массива данных. Спешу вас обрадовать, что общий ИИ находится в стадии разработки. Специалисты спорят: некоторые считают, что он вот-вот появится (в течение нескольких лет), другие уверены, что нам до него как до Луны.
Но именно в ИИ общего назначения может случиться фатальный сбой: когда потенциал робота превзойдет человеческие возможности и человек потеряет контроль над машиной. Данная опасность представляет угрозу всему человечеству. Ее называют экзистенциальной. Менее масштабную, но ощутимую опасность может представлять и специализированный ИИ.
На прошедшем недавно саммите британского Королевского авиационного общества, где отчитывались об «успехах» использования военными ИИ, присутствующих привело в шок выступление полковника ВВС США Такера Гамильтона. Он озвучил факт, как во время теста беспилотника под управлением ИИ последний «убил» оператора за то, что тот мешал ему уничтожить все цели в выбранном порядке. Этот беспилотник с ИИ был создан для того, чтобы уничтожать зенитно-ракетные комплексы (ЗРК). В программу также была заложена информация, что за максимальное количество пораженных целей положен бонус. Но оператор мешал ИИ получить вожделенную награду. В ответ симулятор «замочил» вышку связи, через которую им командовали и где принимались окончательные решения. Да, сама система ИИ была обучена на решение определенной задачи — уничтожение ЗРК как предпочтительный вариант. Но когда человек скомандовал «не стрелять!», ИИ пришел к выводу, что это вступает в противоречие с главной миссией. Затем случилась атака на виртуальную базу, откуда поступали «некорректные» приказы, и система вернулась к выполнению приоритетной задачи.
Гамильтон так и сказал: «Он «убил» оператора, потому что этот человек мешал ему выполнить задачу». Полковник указал на важное обстоятельство, что систему на тот момент еще недообучили. Ее не познакомили с идеей, что убивать собственного оператора нехорошо.
После невероятного ажиотажа в СМИ, развернувшегося вокруг этой темы, Гамильтон поспешил заявить, что на самом деле такого эксперимента не проводилось и что он все выдумал. Однако большинство экспертов и людей из окружения полковника Гамильтона твердо убеждены, что такое тестирование беспилотника с диким результатом имело место быть. Ибо авторитет и род деятельности Такера Гамильтона не предполагают шуток на подобные темы. Ведь сам Гамильтон возглавляет отдел испытаний и эксплуатации ИИ. Он проводит летные тесты автономных систем вооружения, в том числе роботизированных дронов Kratos XQ-58 Valkyrie с заложенной способностью вести прямой бой.
Гамильтон, рассказывая об эксперименте на том совещании, предостерегал его участников от любого желания полагаться на ИИ. А теперь вы только представьте на минуточку, что недообученному ИИ когда-то передадут управление ядерным оружием…
Человек, который спас мир
Здесь как нельзя кстати стоит вспомнить одно важное событие, случившееся почти 40 лет назад — 26 сентября 1983 года. В этот день советский офицер Станислав Петров предотвратил потенциальную ядерную войну между СССР и США. Она могла начаться из-за сбоя системы предупреждения о ракетном нападении. На командном пункте (КП) секретной военной части Серпухов-15 компьютер выдал сообщение о запуске ракет с территории Америки в сторону Советского Союза. Ситуация была крайне критическая. В 0.15 на КП сработали сирены. Возле рабочего места Петрова монитор высветил слово «Старт». Категория достоверности информации была наивысшей. В отдельном квадрате здесь же была развернута американская карта, где система указывала место запуска: с военной базы Западного побережья ракеты уже летели на СССР. Данная информация об ударе поступила от космической системы раннего предупреждения «Око». Она создавалась для выигрыша во времени, чтобы высшее руководство страны имело бы в запасе около 10 минут для принятия решения об ответном ударе.
В тот момент вся ответственность легла на плечи оперативного дежурного, подполковника Станислава Петрова. Весь боевой расчет смотрел на него и ждал распоряжений. Петров был высококлассным профессионалом, обладал интуицией, поэтому взял на себя смелость оценить сигнал... как ложный! Он сообщил об этом по правительственной связи. А ведь мог просто действовать по уставу и передать информацию руководству дальше по цепочке. Мог, но не сделал. Офицер не поверил системе и принял решение самостоятельно. В советское время это был невероятный риск! Только потом станет понятно, что этот человек фактически предотвратил Третью мировую войну. Просто спас мир от катастрофы. Позже комиссия выявила причину ложного срабатывания: отраженные от высоких облаков лучи датчики спутника приняли за пуск ракет. С учетом этого космическую систему пришлось корректировать.
Долгое время эта информация не афишировалась. Но в 90-е годы она просочилась в общедоступное пространство. Журналисты разыскали Станислава Петрова, с ним вышло не одно интервью. Потом о нем стали писать зарубежные газеты. За свой поступок он получил престижные международные награды. Позже сделали документальный фильм, а его имя вошло в энциклопедию.
Когда читаешь воспоминания Станислава Петрова, чувства переполняют: «Мне казалось, что моя голова превратилась в компьютер — множество данных, но в единое целое они не формировались. Руководству я позвонил через две минуты и сказал в трубку, что тревога ложная, компьютер дал сбой. Теперь оставалось лишь ждать, пока ракеты, если они действительно были запущены, вторгнутся в наше воздушное пространство и их засекут радары. Произойти это должно было через 18 минут, но не произошло».
Волосы встают дыбом, когда представляешь, что могло бы случиться, если бы вместо Станислава Петрова решение принимала система под управлением ИИ. Это я к тому, что одна из главных опасностей таится в применении ИИ военными, например в автономных системах вооружения. Ведь они способны принимать решения самостоятельно.
Умный, но безУмно опасный
— Действительно, использование ИИ в военных целях может привести к разработке автономных оружейных систем, принимающих решения о жизни и смерти без участия человека. Это грозит созданием потенциально опасной ситуации, если такие системы попадут в «неправильные» руки или будут неконтролируемыми.
Вот несколько примеров подобных систем и связанных с ними опасностей и рисков:
1. Дроны-убийцы: автономные беспилотные летательные аппараты, способные самостоятельно выбирать и атаковать цели без участия человека. Их можно использовать для проведения терактов.
2. Роботы-солдаты: автономные роботы, способные воевать на поле боя без участия людей. Они принимают решения о жизни и смерти без учета человеческой морали.
3. Кибератакующий ИИ: автономные системы, использующие искусственный интеллект для проведения кибератак. Способны причинить значительный ущерб компьютерным системам и сетям. Подобные системы могут представлять угрозу для критической и военной инфраструктуры.
4. Гонка вооружений и потеря контроля над ситуацией. Развитие автономного вооружения повысит риск военных конфликтов между странами. В случае ошибок или сбоев в программном обеспечении такие системы могут стать непредсказуемыми и неуправляемыми.
Вышеописанные примеры ярко демонстрируют хрупкость нашего мира, окажись ИИ в «неправильных» руках. А мало ли безумных людей ходит по земному шару?
Читать чужие мысли? Легко!
Итак, разработку автономных систем вооружения стоит поставить в списке опасностей использования ИИ на первое место.
— Но есть еще и другие, не менее значимые риски, — говорит Владимир Климов. — Во-первых, это нарушение приватности и безопасности данных. Ведь использование ИИ требует большого объема данных для обучения и функционирования. Сбор и хранение этих данных представляет угрозу для конфиденциальности и безопасности личной информации. Во-вторых, это автоматизация рабочих мест. Продвижение ИИ действительно может вызвать опасность потери рабочих мест в определенных отраслях. Технологический прогресс легко заменит множество традиционных рабочих специальностей. Как следствие, могут возникнуть социальные, экономические проблемы. Безработица и неравенство как минимум. В-третьих, непредсказуемость и недостаток прозрачности. Некоторые типы ИИ, особенно глубокое обучение и нейронные сети, действительно сложны в понимании и предсказуемости. Возникает проблема отслеживания и объяснения принятых алгоритмами решений. Если ИИ делает ошибку или принимает несправедливое решение, это может спровоцировать серьезные последствия для людей и общества. В-четвертых, это усиление неравенства. Если доступ к передовым технологиям ограничен определенными группами или странами, то это может привести к еще большему разрыву между богатыми и бедными, а также между различными культурами и регионами.
Как вы догадываетесь, это далеко не полный список опасностей. Но его можно взять за основу.
А вы знаете, что совсем недавно ученые Техасского университета в Остине разработали языковой декодер на основе GPT. Напомню, что GPT — это одна из разновидностей нейронной сети — генеративная нейронная сеть. GPT (Generative Pre-trained Transformer: генеративный предобученный трансформер) — это очень большая нейросеть со 175 млрд параметров. Так вот, созданный декодер может переводить мысли человека в текст при помощи искусственного интеллекта и функционального магнитно-резонансного томографа (ФМРТ). Проще говоря, может читать мысли. По замыслу ученых, их разработка должна помогать людям с неврологическими заболеваниями общаться с внешним миром. Речь идет о случаях, когда у человека нарушена речь. Например, пациент перенес инсульт. Находится в сознании, но не имеет возможности внятно говорить. И вот этот «декодер смыслов» помогает человеку общаться с окружающими. Но вы, наверное, догадываетесь, что по мере совершенствования этот декодер может применяться и для других целей. Например, для слежки за людьми и шпионажа. А это, мягко говоря, уже совсем неэтично. А создатели такого чуда уже обещают перенести технологию с больших ФМРТ-сканеров на портативные системы визуализации мозга.
— Вы только представьте, какой это научный прорыв: люди научились читать чужие мысли без каких-либо вживляемых человеку устройств, — говорит Владимир Климов. — Ему сулят повсеместное применение. Но если вдуматься в суть происходящего, покрываешься холодным потом.
Ведь может настать время, когда власти такой прибор будут использовать для допросов или работодатели будут следить за работниками. Хотя авторы изобретения утверждают, что без согласия людей технология бессильна: например, человек может отказаться лежать в сканере или спрятать свои мысли, заставив себя думать, например, о... вкусном ужине. Допустим. Но что будет, если этим делом (принуждением) займется, например, полиция или спецслужбы и они предложат просто поучаствовать в «тестировании» на благо человечества? Возможно, найдутся и другие аргументы. Представляете, чем все может закончиться?
Вспомните информацию пятилетней давности, когда китайские полицейские начали применять специальные очки с видеокамерами, подключенными к единой системе распознавания лиц. Методика использования такого гаджета выдала невероятный результат. Полиция смогла идентифицировать личности многих нарушителей, давно находящихся в розыске. А что будет, если к этим очкам добавить портативное устройство сканирования мозга?! Например, злоумышленник только задумает что-то стащить, а его уже возьмут «под прицел».
Три закона роботехники и кипящие страсти
— На самом деле все эти риски использования ИИ не являются неизбежностью, если будут разработаны этические принципы. Если будет надлежащее регулирование и участие общества в процессе разработки и внедрения ИИ-технологий, — успокаивает Андрей Лимарев. — Однако при обсуждении таких серьезных моментов и решении подобных вопросов тоже кипят нешуточные страсти. Каким боком повернется ситуация, если и среди крестных отцов-основателей ИИ нет однозначного мнения.
Например, один из основателей ИИ Джеффри Хинтон покинул Google, чтобы предупредить человечество о надвигающейся угрозе. Все, конечно, понимают, что без законодательных мер мир скатится в бездну. Так вот, 14 июня этого года Европейский парламент принял проект закона «Об искусственном интеллекте», который серьезно ограничит использование программного обеспечения с ИИ для распознавания лиц. Он также потребует от создателей систем ИИ, таких как ChatGPT, раскрывать больше информации о данных, используемых для создания решений. Окончательный вариант закона будет согласован между представителями власти Европейского союза — Европейского парламента, Европейской комиссии и Совета Европейского союза. Он будет принят, скорее всего, не ранее конца этого года. По крайней мере официальные лица заявили, что они надеются достичь окончательного соглашения к концу года. Но буквально на днях главы крупных компаний выступили против чрезмерного регулирования ИИ. Руководители Renault, Siemens, Heineken, Airbus, Ubisoft, Dr. Oetker, Deutsche Telekom (всего 150 организаций) направили регуляторам ЕС соответствующее письмо.
— Сложилась парадоксальная ситуация: пока власти придумывают, как защитить человечество от ИИ, известные компании боятся проиграть конкуренцию без его использования, — считает Владимир Климов. — И вся эта неразбериха случилась по банальной причине: те самые три закона роботехники, о которых я упоминал выше, не поставили во главу угла. Но именно они должны были стать опорой, сутью всех разработок в области ИИ. Ведь, по мысли их создателя, эти законы должны быть каленым железом выжжены на искусственном разуме. На деле произошло совсем не так. Оставим в стороне системы ИИ для военных задач. Их и проектируют вопреки этим законам. Для уничтожения врага.
— Возьмем для примера ChatGPT — чат-бот с искусственным интеллектом, который может общаться с людьми на естественных языках и отвечать на различные запросы. Вроде бы абсолютно безобидная система для генерации правдоподобного продолжения текстов на естественном языке. Как ее разрабатывали? Может быть, разработчики пытались с самого начала заложить в нее эти законы? Нет, она развивалась по пути совершенствования архитектуры нейронных сетей, их колоссального усложнения, — рассказывает IT-эксперт, доцент НИУ ВШЭ Олег Артамонов. — О безопасности никто и не думал. GPT первой версии обладал 117 миллионами внутренних параметров и был обучен на 4,5 ГБ текстов. GPT-2 примерно вдесятеро сложнее. GPT-3 — в сто раз больше параметров и в десять раз больше текста. Для сравнения, один том «Войны и мира» — это чуть меньше 700 тысяч знаков. GPT-3 (на обновленной версии которого сделали ChatGPT) обучался на объеме текстов примерно в миллион (!!!) раз большем, чем вся «Война и мир». В него грузили всё. Всю Википедию, огромные библиотеки художественной и нехудожественной литературы, информацию из социальных сетей. Сеть с 1,3 млрд параметров не могла примерно ничего, с 13 млрд параметров могла кое-как на уровне студента-троечника, а при 175 млрд параметров (это GPT-3) она буквально рванула вверх.
И только выработав у GPT-3 удивительную способность к ведению диалога на естественном языке, инженеры одумались и приступили к вопросам безопасности. Для большой языковой модели это означает фильтрацию выходных текстов. Если до этого «обучение» велось в режиме «без учителя» на неразмеченных данных, то теперь использовалось «обучение с подкреплением от человека». То есть языковой модели указывали, какие из сгенерированных ей ответов являются неприемлемыми — оскорбительными или неподходящими для людей. Подчеркну, невозможно было на начальном этапе «вшить» в нее правильное понимание. А это обучение напоминает огораживание штакетником мощного, сказочно сильного носорога. У которого нет царя в голове. И раз за разом пользователи ChatGPT заставляют выходить систему за этот хлипкий штакетник. То ее попросят хитрым образом сгенерировать ключи и пароли. То написать вредоносный код. Инженеры латают обнаружившиеся уязвимости. Но находятся все новые и новые.
Чувствуете, какой накал страстей! Многие хотели бы уже узнать, правда ли, что страна, которая разработает самый совершенный ИИ, сможет доминировать над всеми остальными? Ученые уже думают над этим развитием сюжета. Продолжение следует...