Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер
- Дата:20.09.2024
- Категория: Компьютеры и Интернет / Программирование
- Название: Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах
- Автор: Брюс Шнайер
- Просмотров:0
- Комментариев:0
Шрифт:
Интервал:
Закладка:
Определение
Искусственный интеллект, ИИ (англ. artificial intelligence, AI).
1. Компьютер, который (как правило) может воспринимать, думать и действовать.
2. Общий термин, охватывающий широкий спектр технологий принятия решений, которые имитируют человеческое мышление.
Это определение, как и предыдущие, не претендует на канонизацию, но справедливости ради должен заметить, что кратко определить ИИ сложно. В 1968 г. пионер компьютерной науки Марвин Мински описал ИИ следующим образом{215}: «Наука о том, как заставить машины делать то, что потребовало бы интеллекта, если бы это делали люди». Патрик Уинстон, еще один пионер ИИ, определил его как{216} «вычисления, которые делают возможным восприятие, рассуждение и действие». Стандартная интерпретация теста Тьюринга 1950 г., придуманная им по аналогии с игрой в имитацию[30], ставила задачу определить по текстовым ответам на вопросы, является ваш собеседник человеком или компьютерной программой.
Здесь необходимо провести различие между специализированным, или узким, и общим ИИ. Общий ИИ мы часто видим в фильмах: он может чувствовать, думать и действовать схожим с человеком образом по широкому спектру задач. Если по сюжету он умнее людей, то обычно говорят об «искусственном сверхинтеллекте». Соедините его с робототехникой и получите андроида, более или менее похожего на человека. Роботы, которые пытаются уничтожить человечество в фильмах, – это тоже общий ИИ.
Мы уже провели и проводим множество прикладных исследований по созданию общего ИИ. У нас есть теоретические разработки о том, как спроектировать эти системы, чтобы они вели себя хорошо, например не уничтожали человечество. Это очень увлекательная работа, охватывающая огромную область от компьютерных наук до социологии и философии, но прежде, чем мы увидим ее результаты в действии, вероятно, пройдут еще десятилетия{217}. Я же хочу сосредоточиться на узком ИИ, поскольку именно он сейчас находится в стадии активной разработки.
Узкий ИИ предназначен для выполнения конкретной задачи, как в случае беспилотного автомобиля. Он знает, как управлять транспортным средством, соблюдать правила дорожного движения, избегать аварий и что нужно делать в непредвиденных ситуациях, например когда мячик вылетает на дорогу. Узкий ИИ знает многое и может принимать на основе этих знаний решения, но только в сфере, ограниченной вождением.
Среди исследователей ИИ бытует шутка: если что-то начинает работать, оно перестает быть ИИ. Теперь это просто программное обеспечение. Логический вывод из этой шутки состоит в том, что, вероятно, единственными достижениями исследователей ИИ могут быть неудачи. И в этом есть доля правды. Термин «искусственный интеллект» является по своей сути чем-то загадочным, научно-фантастическим, а как только он становится реальностью, то теряет свое обаяние и загадку. Раньше мы считали, что для чтения рентгеновских снимков грудной клетки требуется рентгенолог, то есть умный человек с соответствующей подготовкой и профессиональными полномочиями. Сегодня мы знаем, что это рутинная задача, которую может выполнить и компьютер.
Чтобы лучше понять, что такое ИИ, подумайте вот о чем. Существует множество технологий и систем принятия решений, начиная от простого электромеханического термостата, который управляет печью в ответ на изменения температуры, и заканчивая каким-нибудь андроидом из научно-фантастического фильма. То, что делает ИИ таковым, зависит от сложности выполняемых им задач и среды, в условиях которой эти задачи решаются. Электромеханический термостат выполняет очень простую задачу, учитывающую только один аспект окружающей среды – температуру. Для этого даже не нужен компьютер. Современный цифровой термостат может определять, кто находится в помещении, и делать расчет будущих потребностей в тепле на основе прогноза погоды, данных об использовании обогревателя или кондиционера, общегородском энергопотреблении и посекундных расходах на электроэнергию. Футуристический ИИ-термостат, вероятно, сможет действовать как заботливый и внимательный дворецкий, что бы это ни значило в контексте регулирования температуры окружающей среды.
Я бы предпочел не зацикливаться на определениях, поскольку для целей нашего обсуждения они не имеют особого значения. В дополнение к принятию решений, важными качествами систем ИИ, которые я буду обсуждать, являются автономность (способность действовать независимо), автоматизация (способность реагировать на конкретные триггеры заданным образом) и физическая активность (способность изменять физическую среду). Термостат имеет ограниченную автоматизацию и физическую активность, но не обладает автономностью. Система, предсказывающая рецидив преступлений, не обладает физической активностью: она просто дает рекомендации судье. Беспилотный автомобиль обладает всеми тремя качествами, но строго в рамках заданных функций. Робот R2-D2 обладает всеми тремя в большом объеме, хотя по какой-то неясной причине его разработчики забыли о синтезе человеческой речи.
Определение
Робот{218} (англ. robot) – физически воплощенный объект, который может ощущать окружающую среду, думать и воздействовать на нее посредством физической активности.
Робототехника тоже обросла популярной мифологией, но ее реальность менее причудлива. Как и в случае с ИИ, существует множество определений этого термина. В кино и на телевидении роботов часто подают как неких искусственных людей, или андроидов. Подобно ИИ, робототехника охватывает целый спектр логических и физических способностей. Я предпочитаю и в этом вопросе сосредоточиться на технологиях более прозаических и близких к нам по времени. Для наших целей робототехника – это автономия, автоматизация и физическая активность, развитая до максимума. Это киберфизическая автономия: технология ИИ внутри объектов, которые могут взаимодействовать с физическим миром напрямую.
51
Хакинг систем искусственного интеллекта
Системы ИИ представляют собой программы, работающие на компьютерах, как правило, в крупномасштабных компьютерных сетях. Это означает, что они уязвимы для всех типов хакерских атак, которым подвергаются обычные компьютерные системы. Но помимо этого существуют специальные хаки, направленные исключительно на системы ИИ и, в частности, на системы машинного обучения (МО). МО – это подобласть ИИ, которая в прикладных системах вышла сегодня на первый план. Системы МО базируются на моделях, которые обрабатывают огромное количество данных и самостоятельно ищут решения согласно инструкциям. Атаки на системы MО бывают двух типов: одни нацелены на кражу данных, используемых для обучения, или кражу модели, на которой основана система, другие связаны с обходом настроек системы МО и подталкивают ее к принятию ошибочных решений.
Последний тип атак известен как враждебное машинное обучение и, по сути, представляет собой набор хаков. Часто процесс начинается с детального изучения конкретной системы МО, чтобы получить максимальное представление о ее функционировании и слепых зонах. Затем хакеры разрабатывают тщательно продуманные входные данные и направляют их в эти слепые зоны, чтобы обмануть систему МО. В 2017 г. исследователи из MIT напечатали на 3D-принтере черепаху, которую классификатор изображений на базе ИИ всякий раз опознавал как винтовку. Казалось бы, безобидные наклейки на знаке «Стоп», размещенные определенным образом, обманывают ИИ-классификатор, заставляя его думать, что перед ним знак ограничения скорости. Точно так же небольшие наклейки, размещенные на дороге, вводят в заблуждение беспилотный автомобиль, заставляя его свернуть на встречную полосу. Все это примеры, полученные в ходе исследований, и, насколько мне известно, никто еще не разбивал беспилотный автомобиль с помощью враждебного МО.
За враждебным МО, несмотря на название, совсем не обязательно должны стоять чьи-то злые намерения, и оно не ограничивается лабораторными условиями. В настоящее время существуют проекты, целью которых является хакинг систем распознавания лиц, чтобы протестующие граждане да и любые другие люди могли собираться в общественных местах, не опасаясь быть опознанными полицией. Аналогичным образом можно представить себе будущее, в котором страховые компании будут использовать системы ИИ для принятия решений по претензиям. В этом случае врач может хакнуть такую систему методом враждебного МО, чтобы гарантировать одобрение страховки для пациента, который нуждается в определенном лекарстве или процедуре.
Другие успешные хаки подразумевают подачу в систему ИИ определенных входных данных, предназначенных ее изменить. В 2016 г.
- Сломанный код. Внутри Facebook и борьба за раскрытие его вредных секретов - Джефф Хорвиц - Деловая литература / Прочая документальная литература
- Даниэль Деронда (С иллюстрациями) - Джордж Элиот - Остросюжетные любовные романы
- Конституция Российской Федерации. Гимн, герб, флаг - Законодательство России - Юриспруденция
- Комментарий к Федеральному закону «Об инвестировании средств для финансирования накопительной части трудовой пенсии в Российской Федерации» (постатейный) - Андрей Кирилловых - Юриспруденция
- Секреты и ложь. Безопасность данных в цифровом мире - Брюс Шнайер - Прочая околокомпьтерная литература