Есть кое-что пострашнее существования разума AI

Забудьте про искусственный интеллект. Реальный риск куда коварнее. Учёных больше всего беспокоит зло, что исходит из непреднамеренных действий самообучаемых машин при выполнении наших заказов, формирующих сознание, утверждают в только что открытом Центре для Человеко-Совместимого Искусственного Интеллекта (Center for Human-Compatible Artificial Intelligence). Последние несколько лет на эту тему высказывались самые разные деятели высокотехнологичной отрасли. Вспомнить только открытое письмо 2015-го года от Стивена Хокинга, IBM, Google и других именитых представителей мира IT, в котором они предупреждают о прямой угрозе искусственного интеллекта всему человечеству. Вот, что там говорится вкратце.

Потенциальные преимущества [AI] невероятны. Ведь всё, что цивилизация может предложить — это продукт человеческого разума. Мы не можем предсказать, чего могли бы достичь в будущем. Но когда человеческий интеллект усиливается инструментами искусственного интеллекта, то можно понять это и добиться искоренения болезней, нищеты и других проблем, являющихся до сих пор непостижимыми. Из-за огромного потенциала AI важно исследовать то, как воспользоваться его преимуществами, избегая возможных ошибок.

Автор сего письма — пионер искусственного разума Стюарт Рассел (Stuart Russell). Он-то как раз и основал упомянутый Центр, чтобы не позволить новым технологиями совершать те самые ошибки.

Риск исходит не от машин, внезапно развивающих спонтанное злорадное сознание, нет. Очень важно, что мы никак не пытаемся понять это сознание вообще, дабы не допустить негативного развития событий.

В основе нового Центра лежит именно такое мышление, которое по сути граничит с научной фантастикой. Стоимость организации нового учреждения немаленькая — инвестиции составляют 5.5 миллионов долларов. Стюарт Рассел обязуется обеспечить нашей цивилизации возможность делегирования человеческих функций искусственному интеллекту, что является огромной ответственностью с очень высокими ставками — ведь роботы будут выполнять работу от нашего лица.

Даже если вы думаете, что ставите заборы вокруг искусственного интеллекта, система кремниевого разума может найти лазейки также, как мы это делаем с нашими налоговыми законами. Если вы не хотите такого сценария, то искусственный интеллект не должен быть мотивирован искать такие лазейки. И главная проблема здесь кроется не в сознании, как можно было бы подумать, а в компетентности. Вы делаете машины, которые невероятно компетентны в достижении целей. И этот фактор может привести к несчастным случаям в попытке достижения этих целей.

Избежать ошибок практически невозможно в таком деле. Рассел и его коллеги из Центра предлагают создать такую систему искусственного разума, которая сможет учиться на человеческом поведении, перенимать человеческие цели и помыслы, чтобы соответствующим образом себя вести в обществе среди людей и не доставлять людям неудобств. Вроде бы простой постулат. Но последние 50 лет ничего подобного инженерам так и не удалось добиться.

Люди иррациональны, противоречивы, безвольны, вычислительно ограничены, неоднородны, а иногда даже прямо-таки настоящее зло.

А если искусственный разум будет обладать способностью изучать людей? Тогда нет никакой гарантии, что он останется под контролем человека, когда разовьёт способности, превосходящие наши собственные. Самопознание робота сможет не только наблюдать за нами через камеру и другие сенсоры, но и невероятно быстро исследовать нашу историю, юридические документы, газеты, романы, смотреть в ускоренном режиме фильмы и видео…