Искусственный интеллект захватит мир?

Искусственный интеллект надо держать под контролем! Письмо с таким призывом подписали в том числе Илон Маск, Стивен Хокинг и Макс Тегмарк. Что нужно сделать, чтобы уйти от мира, в котором нами завладеют машины? Предстанет ли человечество перед такой проблемой? Этот вопрос прозвучал от одного из журналистов во время последней научной конференции. Она должна была разрекламировать величайшую на свете электронную выставку в Лас-Вегас.

Искусственный интеллект захватит мир?

— Речь идет о том, что роботы взбунтуются и сделают что-то плохо? — Спросил Гэри Шапиро, шеф общества американских продуцентов электроники. Его ответ был краток: «Нет».

Не все, однако, в этом так уверены. К лидерам сомневающихся принадлежат в том числе Макс Тегмарк, профессор МИТ и икона космологии, а также Яана Таллинн, соучредитель Скайпа. Оба в прошлом году заложили Future of Life Insitute, исследовательскую организацию, занимающуюся крупнейшими проблемами, возникшими перед человечеством.

В составе советников оказались такие фигуры как Илон Маск и Стивен Хокинг. Собственно на сайте FLI в прошлое воскресенье размещено письмо, под которым подписались специалисты по электронному мозгу из Гугла, Майкрософт и многих признанных научных учреждений.

Авторами документа являются Даниэль Дьюи, специалист интеллектуальных машин из Беркли, его коллега по специальности и по вузу Стюарт Дж. Рассел, а также, очевидно, сам Тегмарк. Откуда же берутся их тревоги?

Перспектива Тегмарка

Шапиро не видит проблемы в искусственном интеллекте, потому что большую часть жизни провел, работая как менеджер. В ближайшие годы съедят ли нас наши собственные телефоны? Нет. Или компьютеры проснутся вдруг, приобретая зловещее сознание? Нет. Дело закрыто.

Тегмарк смотрит на это с другой перспективы. Перспективы космологической, объемом в миллионы, даже миллиарды лет. Изложил он ее еще 15 октября 2011 года, произнося речь на посвященной теме искусственного интеллекта конференции в Нью-Йорке.

— Я рад, когда в очередном месте мы не находим следов жизни. Это означает, что его возникновение является очень редким феноменом, а нам все-таки удалось — доказывал он.

— Поскольку никакие космиты до сих пор с нами не сконтактировались, в каком-то месте должно существовать непреодолимое препятствие. Только где оно? — Спрашивал он.

Указал на несколько возможностей. Проблема может быть в возникновении жизни в целом, в прыжке от любой жизни до появления интеллекта или в коммуникациях и межзвездных путешествиях. — Последний вариант пессимистический.

Принимая его, мы верим во вселенную, полную разумных цивилизаций, из которых все законами физики заключены на своих собственных планетах и не могут даже с собой договориться. Я, однако, оптимист, считаю, что это гигантское препятствие мы уже имеем позади — утверждал он.

По его мнению, человечество является единственной разумной цивилизацией во вселенной. Свой тезис обосновывает предпосылкой, что возникновение разумной жизни является событием настолько невероятным, что с ближайшим умом статистически нас разделяет дистанция, больше чем размеры вселенной.

Поэтому мы сами, и вселенная стоит перед нами открытая, обещая большое будущее. — Если мы сами ничего не натворим — подчеркивал он. Под «натворим чего-нибудь» Тегмарк понимает между прочим и создание машин, которые нами завладеют. Поэтому создал FLI, а также документ, который перечисляет, что делать, чтобы электронный разум в определенный день не бросился нам к горлу.

Проверь два раза

Письмо имеет два основных раздела, охватывающих проблемы кратко- и долгосрочные. Каждая из них делится на четыре части, касающиеся соответственно:

1. верификации строения системы,
2. вопроса, соответствует ли данная система целям, заложенным нами,
3. безопасности,
4. а также контроля над электронным мозгом.

Под верификацией строения системы авторы документа понимают, имеет ли система конструктивные ошибки, которые искажают ее функционирование. Проектируя программное обеспечение, это можно довольно легко проверить, потому что компьютерные программы функционируют в ограниченных, прогнозированных средах, известных своим создателям (например, операционных системах).

С искусственным разумом есть однако проблема, потому что условия, в которых придется этому разуму работать, в полной мере людям-создателям этого разума не известны. Особенно, когда речь идет о роботах, которые передвигаются в реальном мире, как все более популярные автономные машины.

Чаще всего в машинах этого типа используют так называемые алгоритмы самообучения. Как предсказать, чему они научатся в будущем? В длительной перспективе вместе с ростом возможностей искусственного интеллекта дело станет еще острее. Чем больше разнообразных данных будет попадать к этому типу систем, тем труднее будет предсказать, какие выводы они из этих данных вытянут.

Поэтому уже на этом этапе авторы рекомендуют размещать в них ясные запреты, которые делают невозможным определенную деятельность или определенные соображения. По их мнению, прежде всего надо обработать методы, позволяющие иметь уверенность, что машина после обучения будет делать то, что ожидаем от нее. И только это.

Определяют это в утверждении: «Если среда соответствует суждению А, то поведение искусственного интеллекта должно соответствовать суждению B». К сожалению, даже если мы об этом будем помнить, все равно все может пойти плохо.

Цифровая нравственность

Может случиться одна из нескольких вещей. Наши суждения относительно среды могут оказаться ложными, поэтому поведение системы может не соответствовать ожиданиям. Система может также вести себя вразрез с ожиданиями в ситуации, когда изменились условия.

И третья опция — это ошибочные формулировки своих ожиданий от нашего электронного разума. Стюарт Рассел дает пример в работе «Artificial Intelligence: A Modem Approach».

Представим себе умный пылесос. Устройство умеет самостоятельно убирать и опустошать мешок. Если, однако, мы скажем ему набрать столько пыли, сколько только можно, то будем крайне разочарованы. Почему? Потому что самым простым путем к цели для пылесоса окажется непрерывное опорожнение мешка и заполнение его снова точно той же самой пылью. Лучше связать свои требования с чистотой пола.

Дело можно обобщить до вопроса, что на самом деле является по-нашему добрым и хорошим, а это означает учет в проектировании синтезированного разума мнения специалистов по этике. Лишенный нравственности пылесос еще никого не ужасает, но лишенный таких правил автономный автомобиль уже будет проблемой.

Или в ситуации угрозы автомобиль должен рискнуть нашим здоровьем во избежание колоссальных материальных потерь? Как должен вести себя в выборе между нашей жизнью и наездом на группу детей, которые выходят из сада? Живой водитель принимает решение инстинктивно. Машина будет должна приписывать таким ситуациям математические ценности.

Жизнь ребенка будет стоить, например, 10 пунктов, жизнь взрослого — 7, а жизнь старушки — 5. Только на этом основании алгоритм сможет что-то решить. Но кто осмелится установить такие ценности? По мнению авторов письма в перспективе этим должны заняться этики в сотрудничестве с инженерами.

В дальнейшей перспективе, когда алгоритмы, которые «учатся», будут лучше развиты, можно будет сделать, чтобы машина училась нравственности, так как это делают люди.

Воля существования

А как обеспечить искусственный интеллект от захвата его нежелательными лицами? Эта проблема уже много раз появлялась в различных контекстах. В свое время США возмутила авантюра подростка, который получил контроль над камерой в ноутбуке своей подруги из класса (случайно это была бывшая девушка подростка), чтобы подглядывать за ней.

Дела, однако, могут принять гораздо худший поворот, когда мы представим себе автономное оружие, например, дроны, которые могут принимать самостоятельные решения по открытию огня на поле боя. Это, на удивление, по мнению Тегмарка и его сотрудников, является самой маленькой из всех проблем. «С криптологической точки зрения время стоит на стороне защитников, а не атакующих», читаем в письме.

Будущие меры предосторожности станут еще лучше, и хорошо использованный искусственный разум поможет их еще больше усовершенствовать. Очевиден и пункт, когда он столкнется с другим искусственным интеллектом. К этому тоже нужно его подготовить и ввести в систему возможность предоставлять своим цифровым коллегам разные уровни доверия. Так как это делают люди, общаясь с другими людьми.

Важнейшей мерой предосторожности останется, однако, возможность человека перенимать контроль над работой искусственного интеллекта. В любой момент. Сейчас дело представляется очевидным. Автономный автомобиль, нажав кнопку, мы можем остановить сами — так как можно выключить автопилот в самолете.

Будущее принесет здесь больше осложнений. Когда мы определим какую-либо цель будущим очень мощным системам искусственного интеллекта, они сделают все, чтобы ее достичь. Это означает и уход от препятствий, которые им это будут делать невозможным.

Одной из очевидных препятствий является перепрограммирование или выключение людьми. «Будет возможно введение ограничений, запрещающих таким системам воевать с пробами их дезактивации», утверждают авторы. Разве что те системы станут более мудрыми, чем они.

По материалам The Guardian.