Искусственный интеллект

человек — промежуточное звено, необходимое природе для создания венца творения

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовле­творение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства — вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Перед лицом перспективы взрывного развития интеллекта мы похожи на детей, играющих с бомбой. Именно таков разрыв между мощностью нашей игрушки и незрелостью нашего поведения. Сверхразум — это вызов, ответить на который мы не готовы сегодня, и не будем готовы еще долгое время. Мы понятия не имеем, когда произойдет детонация, хотя если поднести устройство к уху, уже можно услышать тихое тиканье.

Ни одна этическая теория не получила признания большинства философов, таким образом, можно считать, что большинство неправо1. Об этом свидетельствует и постоянное изменение этических норм — изменение, связанное с ходом времени, что мы традиционно воспринимаем как свидетельство прогресса. Например, в средневековой Европе считалось вполне респектабельным развлечением наблюдать за пытками и казнями противников власти. В Париже XVI века популярным действом было сжигание кошек2. Всего сто пятьдесят лет назад на американском Юге широко практиковалось рабство, причем при полной поддержке закона и в полном согласии с моральными нормами поведения. Оглядываясь назад, видишь вопиющие нарушения не только в поступках, но и в этических воззрениях людей, живших в прежние времена.

Похоже, имитировать процесс формирования ценностей, характерный для людей, непросто. Соответствующий человеческий генетический механизм стал результатом колоссальной работы, проделанной эволюцией, и повторить ее работу будет трудно. Более того, механизм, вероятно, рассчитан на нейрокогнитивную систему человека и поэтому неприменим к машинному интеллекту за исключением имитационных моделей. Но даже если полная эмуляция головного мозга окажется возможной, лучше будет начать с загрузки разума взрослого человека — разума, уже содержащего полное представление о некоторой совокупности человеческих ценностей10.

Контроль над возможностями — в лучшем случае мера временная и вспомогательная. Если не планируется держать ИИ в заточении вечно, придется разрабатывать принципы выбора мотивации. Но как быть с ценностями? Сможем ли мы внедрить их в систему искусственного агента таким образом, чтобы он начал руководствоваться ими как своими конечными целями? Пока агент не стал разумным, у него, скорее всего, отсутствуют способности к пониманию или даже представлению, что такое система человеческих ценностей. Однако если откладывать процедуру обучения, дожидаясь, когда ИИ станет сверхразумным, то, вполне вероятно, он начнет сопротивляться такому вмешательству в свою систему мотивации и, как мы видели в седьмой главе, у него на то будут конвергентные инструментальные причины. Загрузка системы ценностей проблема не из легких, но отступать нельзя.

Самым близким аналогом системы правил, регулирующих действия сверхразума, — аналогом, с которым мы сталкиваемся довольно часто, — является правовая система. Но системы правосудия, во-первых, создавались в течение долгого времени методом проб и ошибок, во-вторых, они регулируют жизнь человеческого общества, меняющегося сравнительно медленно, в-третьих, при необходимости какой-то законодательный акт всегда можно подправить или радикально пересмотреть. Но важнее всего другое: когда суду — инстанция, которой единственной принадлежит право осуществлять правосудие, — приходится иметь дело с логически возможными интерпретациями законов, явно непредусмотренными законодателями, то и судьи, и присяжные призывают свой здравый смысл и начинают руководствоваться моральными нормами. Что касается нашей проблемы, то, вероятно, человек просто не в состоянии вразумительно и скрупулезно прописать правила — правила, которые должны быть организованы в весьма сложную систему; правила, которыми сам человек мог бы уверенно оперировать буквально с первого раза; правила, на которые можно было бы опереться при любых обстоятельствах

В конечном счете, сколько бы мы ни подсчитывали преимущества и недостатки метода приумножения, сколько бы ни размышляли, полагаться на него или нет, — выбора у нас, пожалуй, не остается. Если сверхразум получен в результате создания ИИ, использовать метод приумножения нельзя. И напротив, если удалось выйти на уровень сверхразума, двигаясь по иному пути, многие методы выбора мотивации оказываются неприемлемыми. Но даже с учетом всего вышесказанного вопрос о вероятной эффективности применения метода приумножения имеет стратегическое значение, если благодаря ему у нас появляется возможность повлиять на выбор технологии, с помощью которой удастся впервые получить сверхразум.

Мы увидели, что многополярность, даже если она будет стабильной, не гарантирует, что выход из ситуации окажется благоприятным. Исходная проблема отношений «принципал–агент» останется нерешенной и будет погребена под горой новых проблем, связанных с неудачей постпереходных усилий по глобальной координации, что только ухудшит общую атмосферу. Поэтому предлагаю вернуться к вопросу, каким образом можно обеспечить безопасность человечества в случае прихода в мир единственного вырвавшегося вперед сверхразума.