Все права защищены. Произведение предназначено исключительно для частного использования. Никакая часть электронного экземпляра данной книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами, включая размещение в сети Интернет и в корпоративных сетях, для публичного или коллективного использования без письменного разрешения владельца авторских прав. За нарушение авторских прав законодательством предусмотрена выплата компенсации правообладателя в размере до 5 млн. рублей (ст. 49 ЗОАП), а также уголовная ответственность в виде лишения свободы на срок до 6 лет (ст. 146 УК РФ).

«Просчитать будущее» предлагает массу замечательных примеров того, как организации в разных сферах деятельности извлекают ценные практические знания из данных. И новичок, и эксперт найдут эту книгу интересной и узнают что-то новое.

Крис Пулиот, директор по аналитике и разработке алгоритмов в Netflix

Четкое и убедительное объяснение могущества прогнозной аналитики и того, как она может трансформировать компании и даже целые отрасли.

Энтони Голдблум, основатель и генеральный директор Kaggle.com

Обязательная к прочтению, эта книга открывает нам глаза на технологии прогнозного моделирования, предсказывающие наше поведение и ежедневно влияющие на наши жизни.

Чжоу Ю, аналитик сервиса Online-to-Store в компании Google

Наконец-то появилась полноценная книга об этой отрасли. Доктору Сигелю удалось сделать то, чего до него никто даже не пытался сделать, — написать доступную и увлекательную книгу о прогнозной аналитике, которую должны прочитать все, кого интересует связанный с ней потенциал — и риски.

Марк Берри, вице-президент People Insights, подразделения ConAgra Foods

Эрик Сигель предлагает нам глубокое понимание этого нового мира больших данных, машинного обучения и интеллектуального анализа данных.

Марк Перриш, вице-президент по работе с подписчиками в Barnes & Noble

Захватывающе и увлекательно — читается как триллер! Прогнозная аналитика все больше проникает в повседневную жизнь людей и незаметно оказывает влияние на то, что мы делаем. Эрик Сигель рассказывает не только о возможностях, но и об угрозах, которые прогнозная аналитика несет с собой в реальный мир.

Марианна Дизик, статистик в Google

Подробный рассказ о том, как можно справиться с непредсказуемостью этого мира. Эрик четко объясняет, почему одни варианты действий более прибыльны, чем другие, — и я полностью с ним согласен!

Деннис Мортенсен, генеральный директор Visual Revenue, бывший директор по анализу данных в Yahoo!

Эта книга посвящается, с огромной любовью, моей матери, Лайзе Шамберг, и моему отцу, Эндрю Сигелю

Предисловие

Эта книга рассказывает о количественных методах прогнозирования человеческого поведения. Первые попытки в этом направлении были предприняты еще во время Второй мировой войны. В 1940 году отец кибернетики Норберт Винер занялся предсказанием поведения немецких летчиков с вполне конкретной целью — сбивать в небе их самолеты. Его метод использовал в качестве входного параметра наблюдаемую траекторию движения самолета, учитывал наиболее вероятные маневры уклонения и выдавал прогноз, где скорее всего окажется самолет, чтобы его можно было поразить выпущенным снарядом. К сожалению, Винер мог предсказать траекторию движения самолета только на одну секунду вперед, тогда как, чтобы сбить его, требовалось предугадать его положение в небе через 20 секунд.

Из книги Эрика Сигеля вы узнаете о множестве куда более успешных попыток подобного прогнозирования. Со времен Винера несравнимо выросла как производительность компьютеров, так и массивы накопленных данных. В результате банки, розничные торговцы, организаторы политических кампаний, медицинские учреждения и многие другие организации научились весьма успешно прогнозировать поведение конкретных людей. Цель этих усилий — привлечение новых клиентов, победа на выборах, борьба с заболеваниями и т.д.

По моему убеждению — которое, судя по всему, разделяет и Сигель, — эта интеллектуальная деятельность в целом полезна для человечества. В таких сферах, как здравоохранение, борьба с преступностью и терроризмом, она позволяет спасти жизни. Использование прогнозной аналитики в рекламе повышает эффективность последней, позволяет экономить время и внимание ее получателей и даже способствует защите окружающей среды, сохраняя деревья благодаря уменьшению объемов почтовых рассылок и издаваемых каталогов. В политике успех также, кажется, сопутствует кандидатам, следующим этому научному подходу (хотя некоторые могут не согласиться, я вижу в этом определенный положительный момент).

Однако, как отмечает Сигель в самом начале своей замечательной книги, эти методы могут быть использованы и с неблаговидными целями. «С большей силой приходит бóльшая ответственность», — цитирует он Человека-паука, подразумевая, что как общество мы должны быть осторожны при использовании таких прогнозных моделей — или придется ограничивать их применение, а значит, и выгоды от них. Как и другие мощные технологии или разрушительные инновации, прогнозная аналитика по своей сути находится вне морали и может быть использована как во благо, так и во зло. Но, чтобы избежать последнего, вам необходимо понимать, на что в принципе способен этот научный подход, и вы узнаете об этом, если продолжите читать книгу.

Прогнозная, или предиктивная, аналитика — не единственный вид аналитики, но, безусловно, наиболее интересный и важный из всех. Не думаю, что нам нужны новые книги, посвященные чисто описательной аналитике, которая показывает прошлое, но не дает понимания того, почему это произошло. В своих работах я также часто ссылаюсь на третий тип — «предписывающую» аналитику, которая объясняет, что делать, с помощью контролируемого эксперимента или оптимизации. Однако эти количественные методы намного менее популярны, чем прогнозный подход.

Книга и лежащие в ее основе идеи служат хорошим противовесом теории Нассима Николаса Талеба. В своих книгах, включая знаменитый труд «Черный лебедь», Талеб утверждает, что многие попытки прогнозирования обречены на неудачу вследствие случайной и непредсказуемой природы сложных событий. Без сомнения, он прав в том, что некоторые события действительно относятся к разряду «черных лебедей» и не поддаются прогнозированию, но дело в том, что во многих случаях человеческое поведение вполне стандартно и предсказуемо. Многочисленные примеры успешного прогнозирования, приводимые Сигелем, напоминают нам о том, что большинство лебедей — белые.

Сигель не входит в число приверженцев идеи «больших данных». Разумеется, некоторые из приведенных им примеров попадают в эту категорию, описывая ситуации с наличием слишком большого или неструктурированного объема данных, которым невозможно легко управлять при помощи обычных реляционных баз данных. Но качество прогнозной аналитики зависит не от относительного размера имеющихся у вас данных, а от того, что вы с ними делаете. Я обнаружил, что зачастую «чем больше данных, тем ничтожнее результаты», и многие приверженцы больших данных довольствуются их использованием для создания какого-нибудь визуально привлекательного аналитического продукта. Но это далеко не так ценно, как создание прогнозной модели.

Из-под пера Сигеля вышла книга одновременно сложная и доступная для понимания даже неискушенного читателя. В ней вы найдете множество увлекательных историй, красочных иллюстраций и занимательное повествование. Я бы рекомендовал ее к прочтению даже далеким от этой темы людям, поскольку вряд ли можно сомневаться в том, что на протяжении жизни их поведение подвергалось и еще не раз будет подвергаться внимательному анализу и прогнозированию. Кроме того, в своей профессиональной деятельности большинство людей будет все чаще сталкиваться с использованием прогнозных моделей, поэтому будет нелишним научиться их учитывать и оценивать и действовать в соответствии с ними.

Короче говоря, мы живем в «прогнозируемом» обществе. И лучший способ преуспеть в нем — понимать цели, методы и ограничения предиктивных моделей. А лучший способ понять их — прочитать эту книгу.

Томас Дэвенпорт,

профессор Гарвардской школы бизнеса, заслуженный профессор Колледжа Бабсон, один из основателей Международного института аналитики, соавтор книги «Аналитика как конкурентное преимущество» и нескольких других книг из этой области

Вступление

Прошлое — забыто. Будущее — закрыто. Настоящее — даровано, потому его и зовут настоящим.

Приписывается Алану Александру Милну, Биллу Кину и мастеру Угвею, мудрой черепахе из мультипликационного фильма «Кунг-фу панда»

Когда я говорю людям, чем занимаюсь, они порой удивленно пожимают плечами. Что ж, таковы издержки моей профессиональной деятельности.

Информационный век страдает от одного вопиющего пробела в информации. Это заявление может удивить многих, учитывая, сколь скрупулезно мы записываем «все, что происходит в этом мире». Не довольствуясь тщательным документированием всех важных исторических событий, мы разработали системы, которые регистрируют каждый клик, платеж, звонок, аварию, преступление или случай заболевания. Кажется, любители данных должны быть удовлетворены, если не избалованы до крайности таким объемом информации.

Но эта кажущаяся бесконечность информации исключает события, знания о которых наиболее ценны для нас, — а именно события, которые еще не произошли.

Способность предугадать будущее — заветная мечта любого человека, и мы, каждый в отдельности и как общество в целом, буквально одержимы предсказаниями. Мы поклоняемся божествам ясновидения. Мы охотно платим хиромантам, внимательно изучаем гороскопы, обожаем астрологию и печенья с предсказаниями.

К сожалению, многие из тех, кто слепо верит экстрасенсам и иже с ними, напрочь отвергают науку. Как правило, они считают научный подход либо слишком трудным для понимания, либо слишком скучным. Или, быть может, они уверены в том, что предсказания по своей природе невозможны без содействия сверхъестественных сил.

В связи с этим мне нравится приводить в пример один телесериал — комедийный детектив «Ясновидец» (Psych), где главный герой — молодой консультант полиции, современная реинкарнация Шерлока Холмса — обладает настолько развитой наблюдательностью и неординарными дедуктивными способностями, что ему удается убедить полицейских в том, что он ясновидящий. Используя свои уникальные навыки, он помогает полиции расследовать самые сложные уголовные дела, при этом делая вид, что руководствуется не реальными уликами, которые находит, а неким наитием и голосами из потустороннего мира.

Я испытываю аналогичный порыв, когда у меня спрашивают мнение по поводу астрологических знаков. Но, как правило, я отделываюсь шуткой, заявляя, что «я — Скорпион, а Скорпионы не верят в астрологию».

Самый распространенный вопрос, который мне задают на вечеринках, — чем я зарабатываю на жизнь. И, честно говоря, я уже готов встретить удивленный взгляд, как только произнесу два слова — прогнозная аналитика. Большинство людей могут позволить себе роскошь описать свою работу одним словом: врач, юрист, официант, бухгалтер или актер. Но мое заявление всякий раз выливается в пространную беседу. Любая попытка быть краткими терпит провал:

Я консультант в области одной из бизнес-технологий. Как правило, за этим следует вопрос: «Какой именно из технологий?»

Я разрабатываю компьютерные модели, позволяющие предсказать, что люди будут делать в тех или иных ситуациях. Недоумение вкупе с полным недоверием и отчасти страхом.

Я учу компьютеры анализировать данные, чтобы прогнозировать индивидуальное человеческое поведение. Недоумение плюс нежелание продолжать разговор о том, что именно это за данные.

Я анализирую данные с целью поиска закономерностей. Еще более непонимающие взгляды, неловкие паузы, перемежающиеся с вопросами невпопад.

Я помогаю маркетологам определить, какие клиенты будут покупать, а какие нет. Кажется, на этот раз меня поняли, но такое объяснение существенно упрощает и сужает сущность того, чем я занимаюсь.

Я предсказываю поведение клиентов так же, как экспресс-тест на беременность позволяет определить, беременны вы или нет. Все делают шаг назад.

Потому я и написал эту книгу, чтобы объяснить вам суть прогнозной аналитики и продемонстрировать, почему она является интуитивным, мощным и порой внушающим благоговение инструментом.

У меня есть хорошая новость: в деле прогнозирования многое достигается малым. Я называю это «эффектом прогнозирования», и эта тема красной нитью проходит через всю книгу. Ценность прогнозов очевидна — разумеется, если они не сводятся к простым догадкам. От нас не требуется делать невозможное и заниматься сомнительным ясновидением. Суть прогнозной аналитики не менее захватывающая, но куда более внушающая доверие: умение даже совсем немного приподнять завесу тумана над завтрашним днем приносит щедрое вознаграждение. Другими словами, прогнозная аналитика помогает нам противодействовать финансовым рискам, укрепить сферу здравоохранения, избавиться от спама, эффективнее бороться с преступностью и увеличить продажи.

Кто вы по духу — ученый или бизнесмен? Вас воодушевляет сама идея прогнозирования или та польза, которую это умение может принести миру?

Что касается лично меня, то меня поразила сама возможность познать непознаваемое. Прогнозная аналитика, кажется, бросает вызов фундаментальному закону природы, согласно которому вы не можете увидеть будущее, потому что оно еще не настало. Однако мы нашли обходной путь, создав машины, способные учиться на прошлом опыте. Эта регламентированная дисциплина использует то, что мы уже знаем — в виде данных, — для составления все более точных сценариев того, что произойдет дальше. Соединяя передовые математические подходы и технологии, мы, ученые, проводим бесчисленные тесты и вносим корректировки, пока в конце концов не получаем систему, способную проникнуть через ранее считавшийся непроницаемым барьер между сегодняшним и завтрашним днем. Мы смело шагаем туда, где раньше не ступала нога человека!

Кто-то занимается продажами, кто-то политикой. Я занимаюсь предсказаниями, и это потрясающе.

Введение
Эффект прогнозирования

Как и любому другому человеку, порой мне сопутствует удача, порой нет. Черные и белые полосы в моей жизни чередуются точно так же, как и в вашей. Но мне всегда хочется узнать — не могло ли все произойти иначе? Для начала позвольте мне рассказать вам шесть коротких историй.

1. В 2009 году я почти уничтожил свое правое колено, катаясь на горных лыжах в Юте. Прыгнул я хорошо, а вот приземлился плохо. Для операции на колене мне нужно было выбрать место, откуда будет взята ткань для восстановления моей порванной передней крестообразной связки (главной связки коленного сустава). Выбор был сложным, поскольку от него могло зависеть, как я буду жить дальше — с хорошим коленным суставом или плохим. Я выбрал мышцы задней поверхности бедра. Не могли ли врачи в больнице сделать лучший с медицинской точки зрения выбор?
2. Несмотря на все мои страдания, дороже всего это обошлось моей страховой компании — операции на колене стоят дорого. Могла ли компания лучше предвидеть этот риск, заключая договор страхования с сумасшедшим любителем горных лыж, и назначить соответствующую страховую премию?
3. В далеком 1995 году я стал жертвой еще одного инцидента, хотя тот и причинил мне гораздо меньше страданий. У меня украли персональные данные, что в итоге стоило мне десятков часов, потраченных на бюрократические формальности и оформление различных документов, чтобы восстановить мой испорченный кредитный рейтинг. Не могли ли кредиторы предотвратить эти неприятности, каким-либо образом определив, что заявки на новые кредиты на мое имя поступают от мошенников?
4. Очистив свое доброе имя, я взял ипотечный кредит для покупки квартиры. Было ли это хорошим решением или же мой финансовый консультант должен был предупредить меня, что в скором времени размер моей задолженности может превысить стоимость приобретенной недвижимости?
5. Моя профессиональная жизнь также не отличается стабильностью. Хотя сам бизнес процветает, моя компания всегда сталкивается с риском изменения экономических условий и растущей конкуренцией. Можем ли мы защитить рентабельность, спрогнозировав, какие маркетинговые мероприятия и другие инвестиции принесут отдачу, а какие будут пустой тратой денег?
6. Каждый день я, как и вы, переживаю множество мелких событий, которые определяют мою жизнь. Хороший спам-фильтр оказывает существенное влияние почти на каждый рабочий час. Мы сильно зависим от эффективного поиска в Интернете при решении вопросов, связанных с работой, здоровьем (например, чтобы разобраться со спецификой операций на коленном суставе), домашним ремонтом и т.д. Мы полагаемся на персонализированные рекомендации музыки и фильмов от Pandora и Netflix. Мне интересно, почему после стольких лет все эти компании не изучили меня достаточно хорошо, чтобы посылать мне меньше рекламной макулатуры (и таким образом спасти от вырубки немало деревьев)?

Все эти ситуации важны. От них может зависеть, будет ли успешным или неудачным ваш день, год или вся жизнь. Но что между ними общего?

Все эти проблемы — и многие другие, им подобные, — лучше всего решаются через прогнозирование. Будет ли результат хирургической операции положительным для пациента? Не может ли обращающийся за кредитом человек оказаться мошенником? Не может ли ипотечный кредит стать непосильным бременем для домовладельца? Отреагирует ли клиент на отправленный ему рекламный буклет? Через прогнозирование подобных вещей можно существенно улучшить качество медицинского обслуживания, снизить финансовые риски, свести на нет спам, повысить эффективность борьбы с преступностью и сократить расходы.

Прогнозирование в большом бизнесе — судьба активов

Есть и другой аспект. Помимо очевидной выгоды для нас с вами как для потребителей прогнозирование полезно и для организаций, давая им в руки совершенно новый вид оружия в конкурентной борьбе. Компании набрасываются на прогнозы, как коршуны, — в положительном смысле.

В середине 1990-х годов ученый-предприниматель по имени Дэн Стейнберг пришел в штаб-квартиру крупнейшего американского банка Chase, чтобы предложить свою систему прогнозирования для управления миллионами ипотечных кредитов. Этот банковский колосс поверил в технологию прогнозирования, предложенную Стейнбергом, и взял ее за основу для принятия решений, касающихся операций со своим гигантским ипотечным портфелем. Что написал этот парень в своем резюме?

Прогнозирование — это сила. Крупный бизнес обеспечивает себе непоколебимое конкурентное преимущество, прогнозируя будущую судьбу и стоимость отдельных активов. В вышеупомянутом случае это означало, что, принимая решения по ипотечным кредитам на основе прогнозирования будущей платежеспособности домовладельцев, Chase уменьшал риск и получал дополнительную прибыль, которой в противном случае у него не было бы.

Позвольте вам представить… ясновидящий компьютер

Стремительно развиваясь и проникая во все новые сферы, сегодня предиктивные технологии стали обыденным явлением и затрагивают каждого из нас каждый день. Они влияют на ваш опыт незаметным образом — когда вы ведете машину, покупаете, учитесь, голосуете, обращаетесь к врачу, общаетесь, смотрите телевизор, зарабатываете деньги, берете в долг или даже крадете.

Эта книга рассказывает о наиболее значимых достижениях в области компьютерного прогнозирования и о двух силах, стоящих за ними: об увлеченных людях и увлекательнейшей науке, двигающих этот прогресс.

Прогнозирование — в высшей степени непростая задача. Каждый прогноз зависит от множества факторов: широкого разнообразия известных параметров, характеризующих каждого пациента, домовладельца или сообщение по электронной почте, которое может оказаться спамом. Как справиться с этой сложнейшей задачей — соединить вместе все части головоломки для составления конкретного прогноза?

Идея проста, хотя воплотить ее на практике не так просто. Проблема решается путем применения систематического научного подхода для развития и постоянного совершенствования наших умений в области прогнозирования. Другими словами, нам необходимо в буквальном смысле научиться прогнозировать.

Решение кроется в машинном обучении — компьютеры автоматически приобретают новые знания и способности, жадно поглощая самый ценный и самый мощный неприродный ресурс современного общества: данные.

«Накормите меня!» — пища для размышлений для компьютеров

Данные — это новая нефть.

Меглена Кунева, еврокомиссар по защите прав потребителей

Единственным источником знаний является опыт.

Альберт Эйнштейн

Богу мы верим, все остальные должны предоставлять данные.

Уильям Эдвардс Деминг (американский ученый, известный своей теорией управления качеством)

Большинство людей не испытывают никакого интереса к данным. Что может быть скучнее, чем эти бесконечные массивы сухих цифр и фактов, порой столь банальных, как пост в Twitter типа «Я купил себе новые кроссовки!». Это бесполезный побочный продукт, который в огромных количествах образуется в процессе ведения любого бизнеса.

Вы ошибаетесь! Правда в том, что данные представляют собой бесценное собрание опыта, на котором можно учиться. Каждая медицинская процедура, кредитная заявка, публикация на Facebook, рекомендация фильма, акт мошенничества, спам-сообщение или покупка — каждый положительный или отрицательный результат, каждая успешная или неудачная попытка продажи, каждый инцидент, событие и транзакция — кодируются как данные и сохраняется в базе данных. По оценкам, объемы данных увеличиваются на 2,5 квинтиллиона байтов в день (это единица с 18 нулями). Вот где произошел настоящий Большой взрыв, породив безграничные потоки сырых, необработанных данных, с которыми могут справиться только компьютеры. При правильном использовании компьютеры жадно поглощают этот океан данных — и учатся на них.

Иногда погоня за данными превращается в настоящую золотую лихорадку. Но данные — это не золото. Повторяю, необработанные данные — это сырье. Золото — то, что можно из них добыть.

Процесс машинного обучения на основе данных раскрывает всю мощь этого все возрастающего ресурса. Он позволяет выявить, что движет людьми и их поступками, что цепляет нас за душу и как устроен мир. Получение таких знаний и делает прогнозирование возможным.

Например, благодаря машинному обучению мы получили такие ценные сведения, как[1]:

• ранний выход на пенсию уменьшает ожидаемую продолжительность жизни;
• люди, которых на сайтах знакомств чаще отмечают как привлекательных, вызывают меньше интереса;
• большинство фанатов Рианны по своим политическим убеждениям — демократы;
• вегетарианцы реже пропускают авиарейсы;
• количество преступлений на местном уровне увеличивается после публичных спортивных мероприятий.

Машинное обучение опирается на подобные знания, чтобы совершенствовать прогнозные возможности систем через процесс обработки больших объемов данных по методу проб и ошибок, уходящий корнями в статистику и компьютерную науку.

Я знал, что вы это сделаете

Располагая такими возможностями, что мы хотели бы спрогнозировать? Фактически все, что делает человек, стоит того, чтобы стать предметом прогнозирования, — а именно то, как мы потребляем, думаем, работаем, уходим, голосуем, любим, воспроизводим потомство, разводимся, создаем проблемы, обманываем, воруем, убиваем или умираем. Давайте рассмотрим некоторые примеры[2].