В Китае выводят из использования антикоррупционную систему на основе ИИ — чиновники ей не рады

Что бы вы сделали с системой автоматической антикоррупционной проверки, если бы были нечестным чиновником? Наверное, приложили бы все усилия к тому, чтобы её не использовали на практике. Именно этого и добились китайские государственные служащие.

Согласно китайским государственным медиа, в стране насчитывается порядка 50 миллионов чиновников. И чтобы всеми ими эффективнее управлять, Китай пытается активно применять авангардные компьютерные технологии. Си Цзиньпин (習近平), президент страны, постоянно подчёркивает важность внедрения технологий ИИ в практики государственного аппарата. Но реализовать пожелания Цзиньпина иногда не так-то просто. Взять, например, антикоррупционное ПО Zero Trust (англ. «ноль доверия»).

Этот пакет был разработан Китайской академией наук в сотрудничестве с институтом проверки и контроля Китайской коммунистической партии и предназначался для мониторинга и оценки рабочей и частной жизни государственных служащих. У системы есть доступ к 150 защищённым базам данных. Она способна делать важные выводы о поведении чиновников, например, выявлять подозрительные переоформления недвижимости и земель, отслеживать резкие повышения количества средств на банковском счету чиновника или покупку дорогой машины; может распознавать ситуации, когда государственный тендер выигрывает фирма чиновника или родственника чиновника. Если кто-то будет подделывать значения в отчётах, то ИИ сопоставит информацию в различных БД, проверит её на расхождения и таким образом поймает мошенников с поличным. Программа даже может проверить по спутниковым изображениям, был ли построен тот или иной объект или нет. Как только система выявляет подозрительное поведение, она подсчитывает, какова вероятность, что действие было коррумпированным. Если вероятность высока, ПО оповещает соответствующие органы.

Как с любой ИИ-системой, объяснить её решения — сложно, поэтому необходимо, чтобы каждое решение системы было впоследствии оценено человеком. Хотя один из её проектировщиков уверяет, что система создана не чтобы всех сразу посадить, а чтобы предостеречь людей, встающих на скользкий путь, пока они не совершили более серьёзных правонарушений.

ПО Zero Trust использовалось только в 30 уездах и городах — это примерно 1% всех административных территориальных единиц соответствующего уровня. Некоторые из них — довольно бедны и удалены от центров власти Китая.

Начиная с 2012 года, программа заподозрила в коррупционной деятельности — растрате государственных средств, непотизме и злоупотреблении властью — 8721 чиновника. Некоторые из них были приговорены к тюремному заключению, но большинству было вынесено предупреждение.

Несмотря на эффективность системы, некоторые местные администрации — Маян-Мяоского автономного уезда (麻阳苗族自治县), города Хуайхуа (怀化) и округа Ли в Хунань (湖南) — решили прекратить использование ПО из-за того, что им оказалось «неудобно пользоваться новой технологией» (may not feel quite comfortable with the new technology).

Партийный чиновник из Сюшуйского уезда (修水县), принимавший участие в создании системы, говорит, что было нелегко заставить чиновников предоставить данные для тренировки систем машинного обучения, «но они обычно соглашались после оказания небольшого давления». Чиновники из дисциплинарного отдела потом размечали эти данные, подчёркивая в них подозрительные моменты, чтобы посредством обучения с учителем натренировать нейронные сети распознавать такие места.

Система всё ещё работает в уезде Сюшуй провинции Цзюцзян, но её судьба пока остаётся неясной. Некоторые чиновники подвергли сомнению право программных систем на доступ к закрытым базам данных — до сих пор нет закона, который бы этот вопрос оговаривал. В других областях государственного функционирования Китая ИИ встречает меньше сопротивления — например, применение ИИ-помощников в судах, которые зачитывают содержания дел и помогают судьям их обрабатывать, не встречают сопротивления.

Что можно сказать по итогу произошедшего? Одних новых технологий, сколь совершенны они бы ни были, не достаточно для воплощения инноваций в жизнь. Необходимо также, чтобы общество было подготовлено с этой технологией работать, — чтобы не возникало казусов и недоразумений.

Александра «Renoire» Алексеева :