Давно слышны предостережения, что ИИ необходимо обучать на выборке, тщательно проверенной на наличие предвзятостей, чтобы избежать нежелательных последствий работы ИИ. И это не просто слова — компании Amazon пришлось уничтожить свой инструмент по сортировке резюме из-за того, что его обучали на сексистском опыте трудоустройства последних десяти лет.
Многие инструменты Amazon стали успешными благодаря удачной автоматизации, например — сервис e-commerce. Однако в случае с сортировкой резюме и выделением наиболее талантливых и подходящих кандидатов автоматизация пока не очень — инструмент, который втайне разрабатывал с этой целью Amazon, уничтожили, когда обнаружили его предвзятость по отношению к женщинам, сообщает Reuters.
Инструмент был в работе с 2014-го года, над ним трудилась команда ИИ-разработчиков. Предполагалось, что программа сможет сортировать резюме, давая им оценку от 1 до 5, наподобие того, как мы оцениваем товары в интернете. «Все хотели получить этот Святой Грааль. Они реально хотели, чтобы эта программа получала на вход 100 резюме и имела на выходе пять лучших, которых бы они наняли» — рассказал Reuters один из членов проектной команды.
В 2015-м году разработчики выяснили, что их инструмент — сексистский, он автоматически снижает позиции женщин в рейтинге просто потому, что они — женщины. Так получилось из-за того, что он был обучен на выборке карьерных продвижений за последние 10 лет, а у людей есть доказанная предвзятость в этой области.
Amazon стал искать решение проблемы, но, как оказалось, это не так просто — ИИ находил новые способы и корреляции между полом и успешностью в выборке. Поэтому в начале года работу над проектом решили остановить. Сейчас же и весь проект решили уничтожить — чтобы никому в руки не попал несовершенный инструмент, способный навредить. Ведь если бы проект попал в третьи руки, его могли бы распространить среди «кадровиков». А согласно опросу, проведённому в 2017-м году CareerBuilder, в США 55 процентов «кадровиков» с нетерпением ожидали выхода на рынок подобного ПО, и, возможно, они бы не побрезговали им из-за одного «небольшого» недостатка.
Напомним, что в прошлом июле было обнаружено, что другой инструмент Amazon — по распознаванию лиц — мог неправильно идентифицировать человека, если он был не европеоидной расы. Предвзятость ИИ такого типа потенциально может присутствовать в любых ИИ-программах, обученных на паттернах поведения людей, поэтому качество и безопасность таких программ требует особой оценки.
