«Проблема вагонетки» — это интересная философская конструкция, придуманная для того, чтобы исследовать реакции людей на различные этические вопросы. Её даже можно рассмотреть в рамках кантианской этики или этики утилитаризма, если немного изменить характеристики приведённых в задаче участников — машиниста и людей, которые находятся в опасности. В недавних статьях про беспилотные автомобили, «проблема вагонетки» описывается следующим образом:
Вагонетка движется в сторону пяти рабочих, которые ремонтируют пути и ничего не знают про неё. Вагонетку нельзя остановить, как и нельзя предупредить рабочих об опасности. Они точно погибнут. У машиниста есть вариант перевести стрелки и поехать по другому пути, на котором всего лишь один рабочий. Что вы сделаете на месте машиниста?
По какому пути вы бы ни решили поехать, вы всё равно будете виновником смерти людей. Что вы чувствуете по поводу этого? Есть несколько вариантов этой философской задачи. Например, представьте, что один из рабочих — член вашей семьи или президент; или что вам нужно столкнуть кого-то на пути, чтобы спасти жизнь пятерых. Конечно, это всё — лишь теоретические конструкции, которые используют философы-этики в своих научных спорах, чтобы показать, каким образом мораль задействована в человеческом взаимодействии. В отношении беспилотных автомобилей, «проблема вагонетки» говорит лишь о том, что эти машины будут сталкиваться с подобными ситуациями в будущем, и что эти ситуации порой неразрешимы, или моральный выбор между возможными вариантами очень сложен.
«Проблема вагонетки» была разработана, чтобы исследовать этические подходы людей, но она не подходит для разработки универсального алгоритма по принятию решений. Я думаю, описанная дилемма слишком широко используется в связи с вопросами этики беспилотных автомобилей. Она не только вводит в заблуждение, но и негативно влияет на то, как люди думают о технологии. И, что более важно, эта дилемма определяет, как законодатели говорят и пишут о технологии.
Вот мои аргументы:
- В «проблеме вагонетки» есть только два варианта — поехать прямо или свернуть на ответвление (зависит от конкретной формулировки задачи). Машины и другие транспортные средства, которые мы видим на дорогах сейчас, могут двигаться независимо от направления рельс, у них есть свобода ехать в любую сторону в двумерном пространстве. В целом, у машин гораздо больше возможностей движения, чем у поезда.
- Задача обычно рассматривается в вакууме, рабочие на пути всё время остаются неподвижными, поезд не может замедлиться, и никаких других событий не происходит. В реальном мире у нас нет такой роскоши, условия меняются каждую секунду.
- Люди (и беспилотные машины) имеют свои собственные намерения и могут действовать независимо друг от друга. Например, представьте машину, которая движется в сторону пяти велосипедистов, едущих ей навстречу — через несколько мгновений произойдёт автокатастрофа. Это, конечно, кошмарная ситуация. Если её вообразить в «вакууме», по аналогии с задачей о вагонетке, то будет сказано, что машина едет по прямой линии, велосипедисты едут ей навстречу, и времени достаточно только на то, чтобы решить, повернуть направо или налево. Теперь представим такую ситуацию в реальной жизни. Если вы знаете про игру «Цыплёнок» (игроки получают наибольший выигрыш, если действуют согласованно), то знаете, что велосипедисты скорее всего в панике будут сворачивать куда попало или просто будут падать на обочину. Бортовые компьютеры беспилотных автомобилей просто не смогут каждую секунду изменять трактовку ситуации и предсказывать наилучший выход из положения. Эта задача сродни пересчёту песчинок на пляже. Каждое действие будет считаться как новые входные данные, и нужно будет симулировать сценарий действий повторно раз за разом, получать новый набор возможных реакций машины, сравнивать их, пытаться (если возможно) рассчитать, как велосипедисты будут реагировать на такое поведение. Потом нужно будет посчитать следующее оптимальное действие. Это — непозволительная трата времени. Скорее всего, время, необходимое на подсчёты, будет превышать доступное время для принятия решения.
- Существующие на данный момент беспилотные транспортные средства разбираются в мире не очень хорошо. По крайней мере, их способностей недостаточно, чтобы делать какие-то предсказания о том, что случится в следующую секунду. Сейчас «навыков» машин хватает только на то, чтобы следить за дорогой или идентифицировать человека среди других объектов.
- И, наконец, каким образом мы собираемся прописать в алгоритме реакции на различные ситуации, или гарантировать, что наиболее этичное решение среди множества вариантов будет принято? Давайте представим, что каким-то чудом бортовому компьютеру удалось обработать набор исходов ситуации, что теперь? Есть ли у него встроенная функция поиска похожей ситуации в базе данных, или, может, он отправляет данные на обработку в облако, чтобы там нашёлся ответ, как действовать наилучшим образом, одобренным всем человечеством? После того, как ответ будет найден, останется ли время, чтобы действовать согласно инструкциям? А будут ли события развиваться именно так, как было рассчитано изначально?
Надеюсь, из сказанного видно, что ситуация может запросто выйти из-под контроля. Уровня развития технологии ещё недостаточно, чтобы предвидеть всё, не говоря уж о симуляции и о том, что нам придётся принимать решения относительно миллионов ситуаций, которые требуют моральной экспертизы.
Как описать наше текущее положение, учитывая всё это?
Наверно, нам придётся перестать использовать дилемму вагонетки применительно к беспилотным автомобилям, так как это всего лишь мысленный эксперимент. Нужно исследовать миллионы ситуаций из реальной жизни, в которых могут оказаться беспилотные автомобили, и провести симуляции с учётом постоянно изменяющегося контекста. Только тогда мы сможем увидеть, как работают наши сценарии, и после этого изменить автомобили и технологию, по которой они функционируют, изменить сами системы движения, изменить среду (например, дороги), а также и информировать широкую публику.
Давайте вернёмся к моему примеру с пятью велосипедистами. Может быть после того, как мы проведём несколько симуляций этой ситуации (может быть даже и в жизни), мы сможем понять, как нужно изменить дизайн устройств и программ. Предположу, что будет лучше, если автомобиль сможет предупреждать об опасности с помощью громкоговорителя и огней, оповещая о своём намерении свернуть вправо или влево от человека. Это сделает ситуацию однозначной для человека и для машины. Возможно, придётся заранее обучить всех вовлечённых лиц, — рассказать людям, что транспортные средства теперь обладают этими новыми способностями.
Конечно, это лишь беглый взгляд на решения для конкретного случая. Чтобы действительно найти правильные выходы из положения, потребуется больше времени и усилий. Тем не менее, я верю, что прямолинейные и непродуманные этические выводы, запрограммированные в виде схемы (hard coded rules) не подойдут для беспилотных машин. Только вдумчивое проектирование, наблюдение, а также информирование людей действительно помогут нам.