Алгоритмы усиливают власть над нашей жизнью, но они не столь объективны, как можно подумать.
Такие термины как «большие данные» и «машинное обучение» уже прочно вошли в наш обиход, а зачастую их нам преподносят и в качестве варианта решения острых экономических и социальных проблем. При этом гораздо меньше внимания уделяется их негативному воздействию, а также тому, как математические алгоритмы влияют на жизнь обычных людей. Однако математик, а в прошлом — специалист по количественному анализу («квант») с Уолл-стрит Кэти О’Нил (Cathy O’Neil) считает, что на эти аспекты следует обратить внимание.
В своей новой книге «Оружие математического поражения: как «большие данные» усугубляют неравенство и угрожают демократии» она рассказывает, как популярные алгоритмы, используемые разными компаниями и учреждениями, вредят беднякам и рабочим, действуя на благо элит. «Якобинец» (Jacobin) решил обсудить с О’Нил вопрос о деструктивных алгоритмах и вариантах решения проблемы.
— Как вы пришли к мысли написать научно-популярную книгу о математике?
— Как ни странно, я на самом деле не считаю «Оружие математического поражения» книгой о математике. Это, скорее, книга об инструментах социального контроля и том, как они маскируются под математические инструменты.
Я решила написать её, так как считаю, что деструктивные алгоритмы несут немало вреда, а у меня, как у математика, есть уникальная возможность объяснить людям, в чём заключается этот вред. Я была аналитиком хедж-фонда во время финансового кризиса 2008-го, и, как учёный, занимающийся анализом данных, оказалась на вершине революции «больших данных». Я как бы была за кулисами и поэтому знаю, как это всё работает.
В то же время, я активистка движения Occupy — я присоединилась к нему в октябре 2011-го. Я занималась организацией деятельности альтернативной банковской группы, собиравшейся еженедельно в Колумбийском университете. Наши еженедельные дебаты помогли мне начать по-иному изучать наш мир (в частности, вопросы власти и денег).
Так что теперь, когда я сталкиваюсь с автоматизированной системой принятия решений, меня интересует в первую очередь, кто наживается на этой системе, а кто от неё страдает. И при анализе систем, основывающихся на алгоритмах, я прихожу к выводу, что именно бедных, черных, цветных или психически нездоровых алгоритмические «чёрные ящики» систематически блокируют.
Машинное обучение, как нам говорили, достойно доверия, потому что оно математически совершенное, а также, потому что алгоритмам не свойственна какая-либо заинтересованность. Тем не менее, данные сами по себе невозможно вырвать из исторического контекста, не говоря уже о том, что определённый контекст влияет на выбор тех, кто выстраивает модели и выбирает целевые функции.
Иными словами, используя алгоритмы, мы все равно не можем избежать дискриминации. Алгоритмы лишь скрывают или приукрашивают наши культурно-исторические традиции и стереотипы. Кроме того, таким образом, мы можем даже усилить и усугубить эти стереотипы.
Я хотела рассказать об этом людям, поэтому и бросила летом 2012-го работу в сфере изучения данных и занялась написанием книги о деструктивных алгоритмах и о том, как они формируют наше общество.
— Можете вкратце объяснить, что вы подразумеваете под «оружием математического поражения»? Чем это оружие отличается от хороших и даже полезных математических моделей?
— В своей книге я в первую очередь стараюсь рассортировать алгоритмы — найти им такое определение, которое позволит сосредоточить внимание на тех алгоритмах, которые более всего вызывают опасения.
Дебаты о потенциальном вреде слежки и сбора данных зачастую лишены конкретики — как правило, они заканчиваются абстрактными предположениями, что, дескать, когда-нибудь, наверное, случится что-нибудь плохое. Однако деструктивные алгоритмы — «оружие математического поражения» — уже существуют и наносят нам вред.
Я считаю «оружием математического поражения» алгоритмы с тремя основными характерными чертами: они распространены, таинственны и деструктивны. «Распространены», потому что меня интересуют алгоритмы, затрагивающие большое количество людей и оказывающие на их жизнь существенное влияние. Алгоритм, например, может решать, получит ли кто-то работу или сядет в тюрьму, получит кредит или голоса избирателей — а это уже серьёзное дело.
Я считаю «оружие математического поражения» «таинственным», потому что алгоритмы, вызывающие моё беспокойство, секретны. Они исходят из скрытых формул, принадлежащих частным компаниям, которые хранят в тайне свои «рецепты». И это означает, что люди не знают, как скоринговые системы компаний подсчитывают баллы — они даже не знают, что такой подсчёт идёт.
Такая секретность предполагает отсутствие подотчётности институций, внедряющих скоринговые системы, и, конечно, отсутствие возможности обжалования в суде. Как можно обжаловать результат, если вы даже не знаете, на основании чего он высчитывался? И как вы можете оспаривать результат, если у вас нет даже доступа к формуле, на основании которой он высчитывался?
И, в конце концов, эти алгоритмы чрезвычайно деструктивны. Построенные на их основе скоринговые системы разрушают человеческие жизни. Кроме того, они генерируют цепь обратной связи, которая нивелирует их изначальную цель, хотя цель эта могла быть и благой. Это и есть характерный признак плохой скоринговой системы, которой, тем не менее, всецело доверяют. Такая система порождает свою собственную реальность, искажая при этом окружающую нас реальность.
— Можете привести некоторые примеры «оружия математического поражения»?
— Например, «модель коэффициента увеличения знаний и успеваемости учеников» (value-added model) — это первое «оружие математического поражения», с которым я столкнулась вне финансовой сферы. Это непрозрачная скоринговая система, использующая результаты тестов ученика для оценки способностей педагога. «Модель увеличения знаний» статистически недостоверна, она практически ничего не объясняет и не даёт рекомендаций, как преподавателю улучшить свой результат.
Тем не менее, эта модель применяется для принятия важных решений. Я брала интервью у преподавательницы Сары Высоцкой, которую уволили с занимаемой должности в округе Вашингтон из-за низкого балла, который, по её мнению, стал следствием мошенничества предыдущего преподавателя.
Разные вариации «модели добавленной ценности» используются по всей стране, прежде всего в городских школьных округах. И хотя её предполагаемая цель — выявить и убрать плохих преподавателей, эффект получается обратный — некоторых замечательных преподавателей несправедливо увольняют, некоторые из них предпочитают раньше выйти на пенсию или переехать на работу в другие округа — туда, где не применяется эта необъективная карательная система. Всё больше хороших преподавателей (а отнюдь не плохих) уезжают из беднейших районов. Иными словами, в целом применение данной модели контрпродуктивно.
Ещё один пример «оружия математического поражения» можно найти в уголовном судопроизводстве — в форме алгоритмов «прогнозирования преступлений» (predictive policing). В данном случае алгоритмы изучают модели прошлых преступлений, чтобы спрогнозировать, где произойдёт преступление в будущем. Затем в эти районы посылают полицию с целью предотвращения преступлений.
Основная проблема этой концепции заключается в том, что она усиливает изначально несправедливое и расистское отношение полиции. Здесь опять же мы наблюдаем пример негативной цепи обратной связи. Алгоритмы совершенствуются на основе данных, которые им были предоставлены, а в данном случае эти данные уже являются следствием исторически сложившихся взаимоотношений между полицией и гражданским населением.
Было бы здорово, если бы наша полиция была совершенной, и можно было бы её просто автоматизировать. Однако она у нас далека от совершенства, о чём мы можем судить на основе недавних новостей из Фергюсона, Балтимора и других городов. Наша система охраны правопорядка основывается на теории «разбитых окон» (Broken windows), и данные, с помощью которых «обучают» алгоритмы, отражают эту систему.
Если бы, например, после финансового кризиса полицию послали на Уолл-стрит, чтобы арестовать организаторов этой катастрофы, то и полицейские данные у нас отличались бы от нынешних. В таком случае алгоритм «прогнозирования преступлений» продолжал бы посылать полицию на Уолл-стрит, чтобы та искала и находила там следы преступной деятельности. Однако этого не произошло.
— В своей книге вы достаточно пространно рассказываете о том, что алгоритмы обладают скрытой необъективностью (как умышленно встроенной, так и неумышленно). Почему их необъективность настолько распространена? И как соотносятся между собой необъективность этих алгоритмов и неравенство в современном капитализме?
— Думаю, что одной из причин, по которой необъективное отношение остаётся незамеченным, является огромный разрыв между процессом сбора данных и людьми, которые затем занимаются построением алгоритмов. Учёные, занимающиеся наукой о данных, — это специалисты с хорошим образованием, которых никогда не останавливали и не обыскивали на улице. Их учат быть специалистами в таких областях как математика, вычислительная наука и статистика, но при этом держаться на расстоянии от последствий своей деятельности.
К тому же они работают в компаниях и организациях, получающих непосредственную прибыль благодаря такому маркетинговому ходу, как претензии на научную объективность и честность. Следовательно, им нет дела до того, что их работа, по сути, отнюдь не беспристрастна. Во многих стартап-компаниях распространено такое негласное предположение: всё, что приносит прибыль, является благом для всего мира. «Оружие математического поражения» усугубляет неравенство, и это одна из первоочередных причин его существования.
Возьмём, например, человека, работу которого контролирует программное обеспечение по планированию рабочего графика (shift-scheduling software). Ему сообщают, в какие часы он должен выйти на работу, но зачастую сообщают об этом в последний момент. Нестабильный и непредсказуемый график работы не позволяет этому человеку планировать другие виды деятельности: уход за ребёнком, другую работу или обучение. Такого рода «оружие математического поражения» существует потому, что оно приносит прибыль компании, при этом оно совершено не учитывает такие факторы, как качество жизни сотрудника, а график работы оно контролирует, исходя из того, что у работников нет никакой власти. В этом и проявляется предвзятое отношение: алгоритм ставит прибыль выше счастья работника. В своё время сильный профсоюз мог требовать регулярности рабочих часов, полной занятости и графика работы, составленного на недели вперёд, однако те времена уже прошли в нашей стране.
— Одно из наиболее интересных замечаний в вашей книге — о том, что персонализированный характер многих из этих моделей означает, что один и тот же алгоритм по-разному воздействует на разные сегменты общества. Например, один и тот же рекламный алгоритм, может быть рассчитан на бедных и предлагать им кредиты до зарплаты под грабительские проценты, рекламировать сомнительные конторы или колледжи, в которых главное вытащить побольше денег из студента, а может быть «нацелен на состоятельные классы, рекламируя для них отпуск на Арубе и престижную Уортонскую школу бизнеса». Не могли бы вы рассказать о том, как проявляются классовые отношения в эпоху «больших данных»?
— Переломный момент для меня (когда я бросила работу, чтобы написать эту книгу) наступил, когда я услышала, как один капиталист описывал свой идеал таргетированной рекламы мира будущего. Для него это мир, где он будет видеть только рекламу гидроциклов и поездок на Арубу, но ему не будет попадаться на глаза реклама университета Феникса, потому что она не для людей его типа. Тогда я поняла, что суть одной из самых прибыльных технологий капитализма заключается в способности сегментировать и разделять людей, чтобы богатым предоставлялись возможности, а на бедных можно было просто охотиться.
Таргетированная реклама — это аукцион: кто платит больше, получает возможность разместить перед вами свою рекламу в Google, Facebook или в другом месте. И это значит, что компании, у которых имеется продукция, которую я хотела бы купить (например, дорогую пряжу), будут рекламировать её мне потому, что у меня есть лишние деньги, и я весьма падка на сверкающую изумрудным цветом пряжу из шерсти альпака.
Однако это также означает, что бедная и малообразованная мать-одиночка, которая пытается свести концы с концами и как-то прокормить своих детей, вряд ли сможет устоять перед целенаправленной рекламой, предлагающей ей кредиты до зарплаты или коммерческие колледжи, утверждая, что это, якобы, сможет решить её проблемы.
Таргетированная реклама помогает хищникам быстрее отыскать свою жертву и действует она чрезвычайно эффективно.
— Считаете ли вы, что математические модели используются, чтобы скрыть политические цели? Если так, то как широко распространена подобная практика, по вашему мнению? Является ли стремление принять на вооружение «оружие математического поражения» попыткой придать объективность политическим задачам, а политическим вопросам придать вид сугубо технических вопросов?
— Когда я начала писать эту книгу, я смогла оглянуться назад и исследовать различные примеры применения «оружия математического поражения». И я заметила определённую закономерность: оно применяется тогда, когда никто не хочет брать на себя ответственность.
Иногда необходимость брать ответственность проистекает из реальных проблем, например, связанных с расизмом в системе правосудия. В других случаях это может быть связано с надуманной или плохо понимаемой проблемой, как, например, в случае с паникой, вызванной докладом о системе образования «Нация в опасности», который, как потом оказалось, был основан на неверной интерпретации статистических данных. Тем не менее, это послужило поводом для многолетних атак на преподавателей.
Когда речь заходит о трудной и неприятной социальной проблеме (образование, правосудие, занятость и т. д.), люди хотят, чтобы за них всё решал некий алгоритмический «чёрный ящик», а сами они хотели бы дистанцироваться от проблемы и не задавать вопросов по поводу того, как на самом деле функционирует этот «чёрный ящик». Иногда они даже не признают, что этот «чёрный ящик» принимает решения (как, например, недавно в ходе споров о действии Facebook-алгоритма по выбору трендовых новостей).
На самом деле мы не подменяем человеческие суждения и мораль этими алгоритмами. «Оружие математического поражения» лишь скрывает их присутствие. Аналогичным образом евангелисты стараются цензурировать историю при помощи определённых моделей, которые они называют беспристрастными и не продиктованными их моралью.
Конечно, это просто говорит о том, что мораль уже встроена в данный алгоритм — она определяется целью создания этого алгоритма и затратами на него. Она проявляется в том, как именно данный алгоритм определяет успех и наказывает за ошибки. В случае алгоритмов, созданных коммерческими компаниями, их цель — постоянно максимизировать прибыль, поэтому их мораль можно условно свести всё к той же формуле: «Всё, что увеличивает прибыль компании, владеющей данным алгоритмом, является благом и для всего мира».
— Как можно бороться с «оружием математического поражения»? Можно ли его уничтожить, не изменяя при этом основы императивов неолиберализма? В нашем обществе существует огромная диспропорция в распределении власти, следовательно, математику будут использовать в качестве оружия богатых против бедных, не так ли?
— У меня, всё-таки, ещё теплится какая-то надежда, иначе я бы не утруждала себя написанием этой книги. Я думаю, что большинство людей считают себя объективными, и надеюсь, что мы сможем разработать определённые критерии для алгоритмов, чтобы, когда они достигают определённого уровня воздействия на людей, у нас были уже разработанные правила, регулирующие их прозрачность, подотчётность и соответствие поставленным целям. Не думаю, что это вопрос одного дня и прекрасно сознаю, что этот вопрос не решить апелляциями к компаниям с призывом действовать честно.
Борьба с «оружием математического поражения» потребует организации движения тех, кто отказывается склонять голову перед алгоритмическими богами; движения тех, кто, собравшись воедино и собрав сведения о вреде этого оружия, сможет требовать от наших политиков усовершенствования законов. Можно взять за основу, например, антидискриминационные законы 1970-х, не говоря уже о европейских законах о конфиденциальности. Я всё же думаю, что изменения произойдут, и надеюсь, что смогу этому способствовать.
Полагаю, алгоритмы всегда будут превращать в оружие, учитывая, что компании собирают и продают всё больше информации о каждом человеке. Они действительно могут использовать свои постоянно совершенствующиеся технологии, чтобы чётко сегментировать людей. В этом плане у компаний всегда будет возможность наживаться на разных группах людей, используя любую доступную тактику.
— Считаете ли вы, что наука о данных и математика могут сыграть для общества освободительную роль? И если да, то как?
Есть группа учёных, занимающихся наукой о данных (и эта группа увеличивается), которые сознают, какую власть имеют плохие алгоритмы. И мы намерены разрабатывать инструменты, позволяющие нам заглянуть в «чёрный ящик». Я пытаюсь организовать компанию, которая будет именно этим заниматься, а также планирую разработать методологию и технические инструменты, чтобы предоставить их в своё время в распоряжение регулирующих органов.
Конечно, нелегко будет навязать богатым свои алгоритмы, как они навязывают бедным свои. Богатые могут позволить себе конфиденциальность. Алгоритмы «чёрного ящика» оценивают всё-таки простых преподавателей, а не членов школьного совета или губернаторов.
В краткосрочной перспективе мы должны сосредоточиться на формировании политических альянсов, которые смогут вести борьбу с «оружием математического поражения» при помощи закона и морали. Мы должны требовать прозрачности и подотчётности. Я надеюсь, что моя книга придаст людям смелости и поможет им осознать, что речь идёт не о математике как таковой, а о вопросах власти.
И самое главное: есть алгоритмы, которые больше помогают людям, чем вредят. По сути, одни и те же модели могут быть использованы во благо и во зло. Модель, способная предсказывать проблемы со здоровьем, была бы просто замечательной, если бы её использовал ваш лечащий врач, чтобы сохранить вам здоровье, однако она же становится просто ужасной, если попадает в руки работодателей, которые постараются заранее не брать на работу тех, за кого придётся больше платить по медицинской страховке. Одна и та же модель может определить отстающего студента, чтобы помочь и подтянуть его, а может и указать на него, как на потенциального кандидата на отчисление.
