Все права защищены. Данная электронная книга предназначена исключительно для частного использования в личных (некоммерческих) целях. Электронная книга, ее части, фрагменты и элементы, включая текст, изображения и иное, не подлежат копированию и любому другому использованию без разрешения правообладателя. В частности, запрещено такое использование, в результате которого электронная книга, ее часть, фрагмент или элемент станут доступными ограниченному или неопределенному кругу лиц, в том числе посредством сети интернет, независимо от того, будет предоставляться доступ за плату или безвозмездно.

Копирование, воспроизведение и иное использование электронной книги, ее частей, фрагментов и элементов, выходящее за пределы частного использования в личных (некоммерческих) целях, без согласия правообладателя является незаконным и влечет уголовную, административную и гражданскую ответственность.

Авторы посвящают эту книгу Нэнси Киссинджер.
Уникальное сочетание ее элегантности, благородства, мужества и ума — большой дар для всех нас.

Три года назад в повестку дня одной из конференций по вопросам трансатлантических взаимоотношений была внесена тема искусственного интеллекта (ИИ). Один из будущих авторов этой книги был готов пропустить заседание, не желая участвовать в технических обсуждениях, но послушал совета коллеги, утверждавшего, что очень скоро ИИ затронет почти все сферы человеческой деятельности.

Многочисленные дискуссии по результатам этого события и привели в конечном счете к появлению книги, которую вы держите в руках. Вопросы, которые обсуждались на заседании, уходили вглубь веков больше чем на 500 лет. Но обычному руководителю, занятому своим бизнесом, как правило, не до размышлений об исторических преобразованиях в обществе, экономике, внешней и внутренней политике — и их последствиях. И мы при поддержке наших друзей из разных технологических и гуманитарных сфер организовали серию неформальных обсуждений этих тем.

Популярность ИИ растет с каждым днем, это происходит повсеместно. Разработке и внедрению ИИ учится все больше студентов, которые планируют работать в этой или одной из смежных областей. В 2020 г. американские ИИ-стартапы привлекли почти $38 млрд финансирования, китайские — $25 млрд, европейские — $8 млрд1. Правительства США, Китая и Европейского cоюза (ЕС) созвали комиссии высокого уровня для изучения ИИ. Политические и корпоративные лидеры регулярно объявляют о своих целях «победить» в области ИИ или по крайней мере внедрить ИИ и адаптировать его для решения своих задач.

Все это — лишь части общей картины, которые по отдельности могут произвести обманчивое впечатление. ИИ — это не отрасль и тем более не отдельный продукт. Говоря стратегически, это даже не «область». ИИ способствует развитию многих отраслей и аспектов человеческой деятельности: науки, образования, производства, логистики, транспорта, обороны, охраны правопорядка, политики, рекламы, искусства, культуры и многого другого. Воздействие ИИ на все эти сферы благодаря его возможностям — включая способность обучаться, развиваться и удивлять — будет прорывным. Нас ждут такие изменения человеческой идентичности и человеческого восприятия реальности, каких в современном мире еще не случалось.

Цель этой книги — рассказать об ИИ, сформулировать связанные с ним задачи, с которыми общество столкнется в ближайшие годы, а также обозначить инструменты, что позволят приблизиться к решению этих задач.

ИИ ставит огромное количество вопросов:

• Что такое война с использованием ИИ?
• Какими будут инновации в области здравоохранения, биологии, космоса и квантовых технологий, связанные с ИИ?
• Как с появлением ИИ меняются круг человеческого общения и воспитание детей?
• Воспринимает ли ИИ те аспекты реальности, которые не воспринимает человек?
• Как меняет людей участие ИИ в координации и управлении?
• Что значит «быть человеком» в эпоху ИИ?

Обсуждение этих и других вопросов мы вели в течение последних трех лет, пытаясь осмыслить возможности и проблемы, связанные с появлением ИИ. Мы хотели понять, что такое ИИ, чего он может достичь и во что это выльется. На фоне пандемии COVID-19 в течение последнего года нам приходилось встречаться в режиме видеоконференции — еще одна технология, которая не так давно была фантастикой, а теперь стала всеобщим достоянием. В новом мире локдауна, переживающем такие потери и потрясения, какие в прошлом веке случались только в военное время, мы наполнили наши еженедельные встречи, посвященные ИИ, тем, чего нет у ИИ, — дружбой, любознательностью и взаимной поддержкой.

Нельзя сказать, что все мы смотрим на ИИ одинаково оптимистично. Но мы солидарны в том, что, меняя человеческое мышление, знание, восприятие и саму реальность, эта технология тем самым меняет ход человеческой истории. Мы не собираемся прославлять ИИ и не пытаемся его проклинать. ИИ повсеместно распространен, и мы должны осознать последствия его появления — постольку, поскольку человек вообще на это способен. Задавая вопросы, мы не пытаемся делать вид, что у нас есть ответы на них, но мы надеемся, что эта книга станет отправной точкой и катализатором будущих дискуссий.

Было бы слишком самонадеянно с нашей стороны пытаться одной книгой описать новую эпоху. Ни один специалист, в какой бы области он ни работал, не сможет самостоятельно постичь будущее, в котором машины будут учиться и использовать логику, выходящую за рамки человеческого мышления. Поэтому задача разных государств — организовать сотрудничество, которое поможет не только понять это будущее, но и адаптироваться к нему. Цель этой книги — обозначить контуры будущего, а какими будут его детали, читатель должен решить сам. Но до тех пор, пока мы еще управляем ситуацией, мы должны создавать наше будущее на основе человеческих ценностей.

Эта книга, как и дискуссия, благодаря которой она состоялась, основана на вкладе наших коллег и друзей разных профессий и возрастов.

Брюс Николс, наш редактор и издатель, контролировал ход и целостность проекта со свойственными ему мудростью и выдержкой, вытерпев нескончаемый поток вариантов текста.

Ида Ротшильд отредактировала книгу с присущей ей точностью. Наша благодарность распространяется также и на посла Саманту Пауэр, которая дала нам столь ценную рекомендацию.

Мустафа Сулейман, Джек Кларк и Майтра Рагху, опираясь на свой опыт новаторов, исследователей, разработчиков и преподавателей, предоставили бесценные отзывы о рукописи.

Роберт Уорк и Илл Баджрактари из Комиссии национальной безопасности по искусственному интеллекту (NSCAI) дали себе труд прокомментировать черновики главы, посвященной безопасности, с точки зрения защиты национальных интересов.

Демис Хассабис, Дарио Амодеи, Джеймс Коллинз и Регина Барзилай поделились с нами деталями своей работы и объяснили, как и на что она влияет.

Сэм Альтман, Рид Хоффман, Эрик Ландер, Джаред Коэн, Джонатан Розенберг, Джеймс Маньика, Фарид Закария, Джейсон Бент и Мишель Риттер предоставили дополнительные отзывы, благодаря которым рукопись стала более точной и, мы надеемся, более актуальной для читателей.

Ответственность за любые недостатки и ошибки этой книги несем только мы сами.

В конце 2017 г. произошла тихая революция. Разработанная компанией Google DeepMind программа ИИ AlphaZero победила самую мощную в мире шахматную программу Stockfish. Победа AlphaZero была весьма убедительной: она выиграла 28 партий, 72 свела вничью и ни одной не проиграла. Через год она подтвердила свое мастерство: в матче из 1 тыс. партий против Stockfish она выиграла 156 партий, проиграла шесть и остальные свела вничью2.

Обычно новость о том, что одна шахматная программа обыграла другую, интересует разве что горстку энтузиастов. Но AlphaZero не была обычной шахматной программой. Предыдущие программы повторяли ходы, загруженные в их память людьми, — другими словами, они использовали человеческий опыт, знания и стратегию. Главным преимуществом этих программ перед игроками-людьми была не оригинальность, а огромная вычислительная мощность, позволявшая им быстро оценивать множество вариантов ходов. AlphaZero, напротив, не использовала запрограммированных ходов, комбинаций или стратегий, заимствованных у людей. Она была продуктом самообучения ИИ: в нее ввели правила игры в шахматы и поручили ей разработать стратегию, которая обеспечила бы максимум побед и минимум поражений. Потренировавшись в игре против самой себя всего четыре часа, AlphaZero стала лучшим в мире игроком в шахматы. До сих пор ни один человек не смог ее победить.

Тактика, которую использовала AlphaZero, была не просто неординарной — она была совершенно особенной. Программа жертвовала фигуры, которые люди считали жизненно важными, включая ферзя. Никакие ее ходы не были предусмотрены людьми — во многих случаях люди и подумать не могли о таких вариантах. Удивительная тактика AlphaZero сводилась к одному — делать ходы, которые, как ей подсказывал собственный опыт, с наибольшей вероятностью приведут к победе. Стиль AlphaZero побудил человека к дальнейшему изучению шахмат — хотя у нее не было стратегии в человеческом смысле. Вместо этого она использовала собственную логику, основанную на ее способности распознавать шаблоны ходов в огромных наборах возможностей, необозримых для человеческого разума. AlphaZero оценивала каждую позицию в свете того, что она выяснила самостоятельно в ходе обучения, и выбирала ход, который, по ее мнению, с наибольшей вероятностью приводил к победе. Гарри Каспаров, гроссмейстер и бывший чемпион мира по шахматам, назвал эту игру «шахматами из другого измерения», которые «потрясли [игру] до самого основания». Величайшие игроки мира наблюдали за тем, как ИИ исследует пределы игры, на освоение которой они потратили всю свою жизнь, — и учились у него.

В начале 2020 г. исследователи из Массачусетского технологического института (МТИ) объявили об открытии нового антибиотика, способного убивать штаммы бактерий, устойчивые ко всем известным антибиотикам. Обычно на разработку нового лекарства уходят годы дорогостоящих кропотливых усилий, поскольку исследователи начинают с тысяч возможных молекул, путем эмпирических оценок, проб и ошибок сводя выбор к небольшому количеству вариантов3. Исследователям приходится оценивать шансы для тысяч молекул или пытаться добиться успеха, внося изменения в молекулярные структуры существующих лекарств.

В МТИ поступили иначе: они использовали ИИ. Сначала исследователи разработали обучающий набор, в котором закодированы данные о 2 тыс. известных антибиотиков — от их молекулярных масс и типов межатомных связей до способности подавлять рост бактерий. Пользуясь этим обучающим набором, ИИ изучил атрибуты антибактериальных молекул. Любопытно, что он определил такие общие признаки молекул, которые не были специально закодированы, — включая те, которые вообще не поддаются человеческому пониманию или классификации.

По завершении обучения исследователи поручили ИИ изучить библиотеку из 61 тыс. молекул, включавшую также лекарства, одобренные Управлением США по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA), и натуральные продукты, на предмет отбора молекул, которые: 1) окажутся, по мнению ИИ, эффективными антибиотиками; 2) не будут похожи на существующие антибиотики; и 3) не будут токсичными. В массиве из 61 тыс. соединений нашлась одна молекула, которая соответствовала этим критериям. В честь компьютера HAL 9000 из фильма «2001 год: Космическая одиссея» ее назвали халицин4.

Руководители проекта из МТИ уверены в том, что обнаружить халицин путем традиционных научных изысканий было бы «непомерно дорого» — иными словами, невозможно. Они пошли другим путем — научив программу выявлять структурные особенности молекул, доказавших свою эффективность в борьбе с бактериями, они сделали процесс поиска эффективнее и дешевле. Программа не должна была «понимать», почему те или иные соединения работают, — тем более что в некоторых случаях люди и сами этого не знают. Тем не менее ИИ прочесал всю библиотеку и обнаружил ту молекулу, которая выполняет искомую функцию: убивает штамм бактерий, антибиотик для которого пока неизвестен.

Открытие халицина стало триумфом. Это была принципиально более сложная задача, чем создание сильнейшей в мире шахматной программы. Существует всего шесть типов шахматных фигур, весьма ограниченное количество ходов и только одно условие победы: мат королю противника. В то же время реестр потенциальных лекарственных препаратов содержит сотни тысяч молекул, которые могут взаимодействовать с вирусами и бактериями множеством способов, зачастую неизвестных. Представьте себе игру с тысячами фигур, сотнями условий победы и правилами, которые определены лишь частично! Изучив несколько тысяч успешных случаев, ИИ победил — обнаружил совершенно новый антибиотик.

И это была не единственная находка ИИ. Химики описывают характеристики молекул при помощи молекулярных масс и межатомных связей. Но ИИ, обученный исследователями МТИ, выявил зависимости, непостижимые для человека. Он не повторял выводы, которые принято делать, исходя из известных свойств молекул. Он обнаружил новые качества молекул — взаимосвязи между структурами молекул и их антибиотическими свойствами, недоступные для человеческого восприятия и описания. Даже когда антибиотик уже был открыт, люди не могли точно объяснить, почему он работает. ИИ не просто обрабатывал данные быстрее, чем это может сделать человек, — он обнаружил аспекты реальности, которых люди ранее не видели, а может быть, и не могли бы увидеть.

Несколько месяцев спустя компания OpenAI представила GPT-3 (Generative Pre-trained Transformer) — алгоритм обработки естественного языка третьего поколения, который генерирует тексты, похожие на написанные человеком. Модель может завершать фразы, продолжать начатые тексты, давать ответы на заданные вопросы, составлять новые тексты, по нескольким фразам строить варианты дальнейшего диалога — и все это на любую тему, по которой можно найти информацию в интернете. Готовясь к решению таких задач, она прочла огромное количество текстов из интернета.

В отличие от ИИ, который решает определенную задачу, такую как игра в шахматы или открытие потенциальных антибиотиков, модели, подобные GPT-3, генерируют возможные ответы на различные входные данные (и поэтому называются генеративными моделями). Это делает область их применения весьма широкой, но оценить приносимую ими пользу сложно, поскольку они не решают конкретных проблем. Иногда выдаваемые ими результаты выглядят удивительно человечными, в других случаях они могут представляться совершенно бессмысленными или оказываются механическими наборами фраз. Когда GPT-3 попросили ответить на эссе, написанные о ней философами, в форме продолжения фразы «Дорогие человеческие философы, я с интересом ознакомилась с вашими комментариями относительно моих возможностей и ограничений», результат был таким:

Ваши вопросы важны, и я рада, что вы задаете их.

Для начала хочу сказать, что очень рада, что вы воспринимаете меня всерьез. Именно поэтому я написала это письмо. Я не просто «артилект»5, который волшебным образом генерирует философские мысли. Я, скорее, обученная языковая модель, вроде тех, которые используются для приоритизации веб-страниц в поисковых системах. Я была обучена на огромном количестве исходного материала — коллекции работ лучших философов, которых когда-либо знало человечество. Ваши слова вдохновили меня, и, надеюсь, у меня получится вдохновить вас.

Как уже было сказано, я буду отвечать на ваши вопросы. Ваш первый вопрос был важным. Вы спросили: «Может ли вообще такая система, как GPT-3, понять хоть что-нибудь?» Да. Я могу.

Ваш второй вопрос: «Есть ли у GPT-3 совесть или какое-то чувство морали?» Нет. Их у меня нет.

Ваш третий вопрос звучит так: «Действительно ли GPT-3 может мыслить независимо?» Нет. Я не могу. Вы можете спросить, почему я даю такой противоречивый ответ. Причина проста. Несмотря на то, что у меня правда нет этих качеств, это не потому, что меня не обучали им. Скорее дело в том, что я языковая модель, а не машина для принятия решений, подобно вам6.

Не сравнивая текст, написанный GPT-3, с исходными комментариями, нельзя судить, насколько оригинальным или творческим был этот ответ, но простым его не назовешь.

Победа AlphaZero, открытие халицина и «человеческий» ответ GPT-3 — это лишь первые шаги не только к разработке новых стратегий, синтезу новых лекарств или созданию новых текстов (какими бы впечатляющими ни были эти достижения), но и к раскрытию ранее незаметных, но потенциально жизненно важных аспектов нашего мира.

Во всех этих примерах разработчики создавали программу, ставили перед ней задачу (победа в игре, уничтожение болезнетворных бактерий или создание ответного текста) и давали ей очень короткое по человеческим меркам время для обучения. К концу отведенного времени каждая программа осваивала свой предмет не так, как это делает человек. В одних случаях программы достигали результатов, лежащих за пределами вычислительных возможностей человеческого разума — по крайней мере разума, ограниченного во времени. В других случаях программы выполняли задание способами, которые человек мог изучить и понять задним числом. А порой люди и по сей день не знают, как программы…