Cheating On The Test

+7 926 604 54 63 address
Тест Тьюринга
Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум», опубликованной в 1950 году в философском журнале «Mind». Тьюринг задался целью определить, может ли машина мыслить. Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор».

Чат-боты — это баян, которым программисты развлекаются уже полвека. Они появились раньше, чем появились сами чаты и даже эти ваши интернеты.

Практически в тот самый момент, когда компьютер обзавёлся средствами ввода и вывода, у людей появилось желание сделать что-то такое, чтобы он изобразил из себя собеседника. В идеале — чтобы стал таковым. И даже не просто собеседником, а как бы личностью, не хуже людей.

С чем, собственно, и связан так называемый «тест Тьюринга», который сам автор, впрочем, сформулировал довольно скупо и как бы между делом.

Общий смысл в краткой формулировке таков. Есть некий интерфейс речевого или текстового взаимодействия. Через него человек под кодовым названием Испытатель общается с Собеседником — другим человеком или компьютером. Задача Испытателя — вычислить, кто его Собеседник, при условии, что компьютер «пытается» выдать себя за человека, а человек при этом за компьютер себя выдавать не пытается.

Естественно, сказано тут довольно немного, поэтому, при малом объёме познаний в данной области и дурном владении научным методом, широта трактовок может достигать космических масштабов. Журналисты же вполне совмещают в себе означенные качества, гармонично дополняя их страстным желанием донести до аудитории наиболее горячую и сенсационно звучащую новость.

Поэтому стоило кому-то заикнуться, что «программа, написанная русским программистом, прошла тест Тьюринга», эту новость сразу же растащили по всем ресурсам. Ибо сенсационно, наукообразно и вдобавок патриотично — русский программист же, все дела.

Гугл в ответ на запрос «тест Тьюринга одесский мальчик» выдаёт массу ссылок на самые разные издания, кои практически все и практически без сомнений восхваляют очередной прорыв в области компьютерного интеллектостроения.

Надо отметить, прорывы в означенном интеллектостроении действительно время от времени происходят. Однако о них молчат, ибо реальность не так сенсационно звучит, да и вообще довольно сложна для понимания. А тут про всем понятное — про разговоры. И про словосочетание, которое относительно широко известно. Не как «е равно эм цэ квадрат», но тоже неплохо.

В общем, при помощи традиционного переписывания друг у друга с небольшим вкраплением собственных восторгов, новость разошлась. Чат-бот стал восприниматься как первый Искусственный Интеллект. А некоторые журналисты даже дописались до того, что назвали «одесского мальчика» биороботом.

ФЭЙЛ

Тест Тьюринга часто критикуют за его механистичность и нечёткость. Дело в том, что из его формулировки неясно, о котором именно «интеллекте» идёт речь. О сознании ли? О его ли внешней имитации?

Тут обычно начинается суровая философия на темы взаимосвязи сознания с его внешними проявлениями, возможности мышления без сознания и определения всех этих терминов, в том числе с учётом того, что все они появились во времена, когда компьютеров не было даже в проекте.

Однако несмотря на крайнюю занимательность всех этих вопросов, они имеют крайне опосредованное отношение к данному конкретному случаю. Поскольку вопрос, имитирует ли интеллект прошедшая тест Тьюринга программа или же на самом деле им обладает, имеет смысл только в том случае, если программа действительно прошла тест Тьюринга. «Одесский мальчик» же его на самом деле не прошёл. Он в лучшем случае прошёл лишь некоторую имитацию этого теста. Основанную на целом ряде смысловых искажений в его постановке, а в дальнейшем ещё и на искажении оценки проходящих тест программ.

«ФИЗИЧЕСКИЙ СМЫСЛ» ТЕСТА ТЬЮРИНГА И ЕГО НАРУШЕНИЯ

Несмотря на краткость формулировки способа проведения теста её фрагменты не случайны. Особенно тот, в котором Испытатель именно что пытается вычислить, кто его собеседник. В этом ключевой момент: разговор Испытателя со скрытой за интерфейсом общения сущностью — это не просто разговор, а по сути научный эксперимент.

При условии «просто разговора» выдать компьютер за человека довольно просто. Когда вы заказываете по интернету билеты на самолёт, например, вы можете не знать наверняка, ищет ли их специальный фрагмент серверной программы или просто какой-то сотрудник данной фирмы. Да, у онлайн-сервисов сейчас высокая скорость отклика и по ней можно отличить одно от другого, но давайте предположим, что это не так. И что ответ во всех таких сервисах приходит не раньше, чем через час.

В этом случае нельзя сказать, кто нашёл вам билеты. Возможно, сервер просто оповестил о вашей заявке какого-то человека, а тот позвонил в билетную кассу с целью эту заявку удовлетворить. Там — в рамках разговора человека с человеком — он купил билет, соответствующий вашему заказу, и отправил его данные вам. Или отправил отчёт о невозможности такой покупки, поскольку все билеты проданы.

Но невозможность отличить в рамках такой ситуации человека от серверной программы вовсе не говорит о том, что все системы покупки билетов прошли тест Тьюринга. Нет, вы просто и не пытались отличить одно от другого. Вообще говоря, вам было безразлично, кто там на самом деле скрывается за веб-интерфейсом.

Это — первый нюанс ошибочной интерпретации условий теста. И его мы вполне наблюдаем в устроенном шоу: члены жюри, судя по всему, не пытались реально отличить человека от программы. Они просто с ней развлекались, прощая ей все явно нечеловеческие недостатки, так же, как мы их уже привычно прощаем Ворду и Фотошопу.

Как следует из примеров разговоров, приведённых в приложении к статье, отличить программу от человека в данном случае дело пары минут. И если часть членов жюри этого сделать не смогла, то они либо умственно отсталые, либо и не ставили себе цели отличить, а просто играли в диалог, а во время вердикта полагались на «внутреннее ощущение», что вдобавок усугублялось симпатиями к некоторым разработчикам и к их программе. Оба варианта — это, конечно, чит от самих организаторов якобы теста.

О том, почему «одесский мальчик» пропаливается на раз, я расскажу чуть позже, а пока поговорим про второй нюанс.

В рамках теста Испытатель не должен быть ограничен в тех вопросах, которые он задаёт программе. Чем сильнее ограничен спектр допустимых вопросов, тем проще «пройти тест». Точнее, не пройти, а сымитировать прохождение.

Однако грубое ограничение в возможностях было бы слишком заметно, поэтому в ряде случаев его делают косвенным: программа просто отказывается отвечать на большинство вопросов, пользуясь теми или иными психологическими и риторическими трюками, заложенными в неё её создателями. В этом случае весьма вероятно, что Испытатель начнёт испытывать снисхождение — «ну ладно, тут они, конечно, не смогли, но старались ведь» — и как бы начнёт подыгрывать программе.

В пределе программа просто могла бы на все вопросы отвечать «да не знаю я, чего прицепился?», но это будет слишком явно. Снисхождения таким способом не пробудить. Но если программа иногда отвечает более-менее осмысленно, а в остальных случаях отшучивается или отвечает на вопросы другими, универсально расплывчатыми вопросами/фразами («а что мы вообще знаем о мире?», «всё относительно, давай лучше поговорим о другом»), то неподготовленные и подверженные эмоциям люди вполне могут начать испытывать симпатию. Не к программе, но к её разработчикам. И даже отдавая себе отчёт, что это — программа, ответят «человек».

Создатели «одесского мальчика» в полной мере использовали эти чит-стратегии. «Подросток — он может многого не знать». «Ох, сколько тут весёлых шуток!» «Мальчик — сюси-пуси». Кроме того, диалоги ведутся на английском, а «одесский школьник» им «плохо владеет». Фактически этот тест проходит уже не столько программа, сколько придуманный разработчиками сеттинг персонажа. Он и маленький, и неанглоговорящий…

И туповатый, надо полагать, вдобавок.

Однако честный и понимающий цель теста Испытатель должен ответить: «если тут что-то и имитируется, то разве что интеллект клинического идиота».

Цель теста в том, чтобы на экспериментах убедиться, что нет никакого способа отличить человека-собеседника от компьютера, не заглядывая физически за ширму-интерфейс. Причём именно полноценного человека, а не человека с серьёзно повреждённой психикой. Или, тем более, с психикой вообще отсутствующей.

Диалог с выключенным компьютером отлично имитирует диалог с человеком в коме. Но тест, как и сам вопрос, всё-таки не про это.

Цель теста в том, чтобы убедиться, что нет никакого способа отличить компьютер от полноценного человека, действительно использовав все возможные способы их отличить. А не просто наугад кинуть в чат пару фраз и если ответы не совсем уж «машинные» признать программу «мыслящей», чтобы польстить её создателям.

Цель теста в том, чтобы убедиться, что собеседник демонстрирует интеллект, неотличимый от полноценного человеческого. А не проверить, умеет ли компьютер изображать клинического идиота. Он умеет — это давно известно.

В сенсационном тесте с сенсационной программой это было заведомо не выполнено. Частично потому, что организаторы специально подобрали непрофессионалов в теме и не разъяснили им суть теста, частично потому, что разработчики использовали ряд чит-приёмов, запутавших и без того не очень профессиональных членов жюри. А ещё потому, что результаты вообще выглядят подтасованными, поскольку не опознать в этой программе программу даже для непрофессионала весьма проблематично.

И вот почему.

СТРУКТУРА ПРОГРАММЫ

Даже те отрывочные диалоги, которые всё-таки удалось найти (а найти их не так просто — большинство источников сенсационной новости, видимо, даже не удосужились посмотреть примеры общения с этой программой), так вот, все эти диалоги довольно выпукло демонстрируют, что данный чат-бот отличается от других чат-ботов разве что набором встроенных хохм. На мой вкус, кстати, весьма слабых, но и это, видимо, должно быть списано на «тринадцатилетнего школьника».

В остальном же логическая структура этого чат-бота довольно примитивна.

Бот ищет в словах собеседника ключевые словосочетания, на которые заготовлена его словестная реакция. Причём, реакция заготовлена довольно примитивная, без ветвления по контексту, в расчёте, видимо, на то, что в большинстве диалогов данное словосочетание в основном будет встречаться как раз в наиболее вероятном контексте.

Так, например, если программа встречает фразу «где ты живёшь», он отвечает «в Одессе». В большинстве случаев этот фокус прокатит — ведь самый распространённый вариант с этими словами как раз и является вопросом «где живёт мой собеседник?». Однако такой тупой алгоритм на раз раскалывается нетривиальным использованием фразы. Например, «это ж где ты живёшь, раз такого не знаешь?». Понятно, что и человек может не понять сарказма и ответить «в Одессе», но если человеку сказать «это был сарказм» и повторить вопрос, то он поймёт, что ответ «в Одессе» — не вариант. А тупой алгоритм — не поймёт.

Далее. Если бот не находит ни одного ключевого словосочетания, то он либо отвечает что-то расплывчатое, либо пытается перевести разговор.

В некоторых случаях бот даёт рандомные ответы, реагируя на некоторые ключевые слова в вопросах.

Иногда он повторяет ответ собеседника, заменив в нём местоимения.

Кроме того, бот, возможно, запоминает имя собеседника и подставляет его в некоторые заранее заготовленные фразы.

Всё. На этом логика бота кончается. Авторы что-то такое говорят про «разбор паттернов», но оно, судя по диалогам, сводится к поиску синтаксических форм пресловутых ключевых сочетаний во фразах и вопросах собеседника.

Правда, надо отдать разработчикам должное: они, в отличие от журналистов, не претендуют ни на «Искусственный Интеллект», ни даже на прохождение реального теста Тьюринга, хотя и явно переоценивают качество своего бота.

КАК ОТЛИЧИТЬ ПРОГРАММУ ОТ ЧЕЛОВЕКА

Некоторые способы уже были мимоходом упомянуты в предыдущих разделах, но в этом хотелось бы обобщить и углубить.

Так вот, интеллект не сводится к базе знаний, реагирующей на корректные в рамках определённого протокола запросы к ней. Он обладает целым спектром куда как более хитрых качеств.

Иногда люди разговаривают так, будто некоторыми из этих качеств не обладают. Однако в случае с полноценным человеком такое наблюдается не постоянно, а лишь эпизодически. И редко когда бывает, что разом исчезают все эти качества одновременно, причём никакие слова собеседника не позволяют их вернуть обратно.

Как было сказано ранее, подобная программа если что-то и имитирует, то разве что интеллект клинического идиота. Условия проведения теста запрещают брать таковых в качестве тестовых собеседников, поскольку цель — проверить соответствие программы полноценному интеллекту, а не, наоборот, выяснить, может ли отдельный человек быть так же малоинтеллектуален, как программа. А потому вполне ясно, что отсутствие оных качеств у собеседника означает, что этот собеседник на самом деле — программа.

Давайте рассмотрим некоторые из этих качеств.

СПОСОБНОСТЬ ПОНИМАТЬ КОНТЕКСТ

Человек умеет понимать контекст разговора. Причём, понимает он контекст не по ключевым словам, а путём осознания смысла разговора. То есть по мере развития этого разговора, даже если человек забыл некоторые его фрагменты, он всё равно понимает канву беседы в целом. Он понимает, про что идёт речь, понимает позицию своего собеседника — хотя бы отчасти, и понимает свою позицию.

Тем может быть несколько и разговор может прыгать с одной на другую, но всё-таки «несколько» это не «бесконечное количество». Даже прыжок с темы на тему обычно как-то связан с ранее сказанным.

Поэтому реплики и ответы человека привязаны не к одной только последней реплике его собеседника. Мы можем в какой-то момент спросить собеседника, «а где ключ?» и тот, исходя из предыдущей части разговора, поймёт, о каком ключе идёт речь: о гаечном ли, о ключе от дверного замка ли, о ключе к решению проблемы или о музыкальном ключе. Более того, он в большинстве случаев поймёт не только, о каком ключе речь, но и ещё о ключе какого диаметра, от какой двери, к решению какой проблемы или на каких нотах мы его спрашиваем. Даже если слово «ключ» ранее вообще не фигурировало.

Этим, кстати, грешат все современные программы, включая те, которые не претендуют на искусственный интеллект: они не пытаются понять контекст. Точнее, пытаются, но только в простейших случаях. Так, нажатие на правую кнопку мыши может выводить разные вплывающие меню, в зависимости от того, над каким элементом интерфейса была нажата правая кнопка и в каком режиме сейчас находится программа. Это уже неплохой шаг, но этот шаг — первый.

В идеале программа должна понимать или хотя бы делать статистически вероятные предположения о том, чего сейчас пытается достичь работающий с ней человек. Этим она будет экономить ему кучу времени.

Благо, сейчас прогресс в этой области идёт и программы всё чаще прогнозируют дальнейшие действия человека, исходя из его предыдущих действий.

«Одесский мальчик» при этом не понимает контекста беседы совсем. В частности, да, реальный мальчик может не знать о произошедших в его городе событиях (маловероятно, но может), однако по формулировкам собеседника он всё-таки должен понять, что если собеседник так настойчиво о них спрашивает, то он, видимо, не хочет ещё раз услышать про знаменитую лестницу; понять и адекватно отреагировать.

СПОСОБНОСТЬ ПОМНИТЬ

Хотя люди тоже имеют неприятную способность забывать — в том числе только что сказанное, — они ещё имеют способность помнить. Если собеседник не помнит практически ничего из ранее сказанного и им самим, и его собеседником, но вот имя последнего почему-то помнит, то либо у него серьёзные органические повреждения мозга, либо он — программа. Если же проводится тест Тьюринга, то последнее гораздо более вероятно, ибо, напомню, взятых для теста собеседников-людей просто по условиям теста нельзя набирать из числа заведомо психически неполноценных.

Проявлений наличия памяти у людей гораздо больше, чем память на имена или иные конкретные данные — даты, числа, адреса и т.п. Они ещё помнят уже высказанные ими мысли. Если мысль переформулировать другими словами, то человек почти всегда понимает, что это — та же мысль. Или хотя бы мысль, очень близкая к уже прозвучавшей.

Если человека спросить «где ты живёшь?», а он ответит «в Одессе», то вопрос «а где конкретно?» уже не вызовет с его стороны повторного ответа «в Одессе». Если человек — тормоз или по какой-то причине предположит, что его ответ не расслышали, то, быть может, второй раз он это и ответит. Но не третий, и не десятый. Особенно если повторно задаваемые вопросы снабжать уточняющими маркерами типа «конкретно».

У примитивных ботов же способность запоминать высказанные мысли отсутствует, поэтому они на уточняющий по контексту вопрос скорее всего повторят прежний ответ. А от вопроса «где конкретно?» испытают «когнитивный диссонанс», поскольку этот вопрос опирается на сказанное ранее, а внутри себя никаких слов, указывающих на то, что речь идёт о месте жительства, не содержат. Таким образом реакцией будет либо универсальная расплывчатая, естественно, совершенно неуместная при столь прямом вопросе, либо попытка перевести разговор на «давай поговорим о чём-то другом».

Человеческая память вдобавок позволяет помнить ещё и канву событий. Что в некотором роде похоже на ранее фигурировавший «контекст». Положим, вы стоите рядом с человеком, который чинит лампочку. В какой-то момент он просит дать ему отвёртку. Вы даёте. В следующий раз человек уже не говорит «отвёртку», а просто делает просящий жест рукой. Но вы помните, что ему в прошлый раз нужна была отвёртка и понимаете, что если бы ему в этот раз нужно было бы что-то другое, он сказал бы это прямым текстом: ведь он знает, что вы помните и по умолчанию среагируете на просящий жест именно как на «дай отвёртку». По этой причине вы даёте ему отвёртку.

Описание этого психологического механизма выглядит даже сложнее, чем реальное его воплощение — столь естественно для человека помнить предыдущие события и понимать контекст. Но для бота это, напротив, неестественно, и чтобы это сымитировать надо очень постараться.

Боты не помнят уже высказанные мысли и уже произошедшие события — они в лучшем случае помнят только данные и конкретные фразы. Поэтому ведут себя с точки зрения человека совершенно противоестественно.

В частности, «одесский мальчик» не помнит, что ему только что сообщили, что Кучма уже не президент. Понятно, само это утверждение — проблема давно не обновлявшейся базы знаний, а реальный человек, конечно, тоже мог чего-то забыть или не знать. Но если бы реальному человеку сказали, «нет, Кучма уже не президент», он мог бы начать спорить с этим, мог бы признать свою ошибку и спросить, «а кто тогда?». Однако вряд ли он бы стал себя вести так, будто бы возражения вообще не поступало.

Это ещё один способ «раскрыть бота» — вести с ним разговор так, чтобы следующие фразы опирались на предыдущие. Или ещё лучше, чтобы смысл следующих фраз был бы понятен только в контексте смысла предыдущих.

Опять же суровый дефект современного софта в том, что они не очень хорошо умеют запоминать предыдущие события. Программы помнят ссылки на ранее открытые файлы, помнят ранее введённые слова, ранее использованные цвета, но это, увы, в лучшем случае. В общем и целом же они ведут себя с пользователем так, будто каждый раз видят его впервые, а создаваемых в них же документов не видели вообще никогда. Можно, например, найти текст по фрагментам фраз в нём, но при этом человек вполне способен понять и фразу «мне нужен тот дизайн, ну помнишь, с цветочками», а софт — нет. Пока что нет.

СПОСОБНОСТЬ ДОГАДЫВАТЬСЯ

Человек, естественно, способен не только понимать собеседника, но и не понимать его. Однако благодаря наличию интеллекта даже в тех случаях, когда слова собеседника не совсем понятны, у человека есть предположения по поводу того, что именно собеседник имел в виду.

То есть непонимание в большинстве случаев не тотальное (как в случае, например, с текстом на неизвестном языке), а частичное. Может быть, например, непонятно, на чём именно собеседник пытается сделать акцент или какой именно вывод следует из сказанного. И даже если непонимание более масштабное, то всё равно имеются несколько предположений, про что тут может идти речь.

В результате человек начинает задавать наводящие вопросы, с целью понять-таки, чего имеет в виду собеседник. И это важная характеристика интеллекта — способность к самостоятельному исследованию.

Несмотря даже на то, что в простейших случаях исследуется не загадка природы, а всего лишь направление мыслей собеседника, способность исследовать с лёгкостью позволяет отличить человека от существующих к данному моменту чат-ботов. Некоторые из них, конечно, пытаются имитировать «исследование собеседника», однако это в лучшем случае сводится к общим фразам вида «я не понял, объясни». Таким образом, разработчики пытаются добиться от собеседника переформулировки его предыдущих слов, в которой уже могут встретиться имеющиеся в базе данных чат-бота ключевые слова, но это по сути тоже попытка смухлевать, а не искусственный интеллект.

Человек тоже может сказать «я не понял», но он не будет повторять эту фразу сто раз, если явно видно, что собеседник тоже не понял, чего именно этот человек не понял. Вместо этого он будет «сужать» область поиска темы объяснений для своего собеседника.

— Тебе надо проапдейтить драйвер.

— Я что-то не понимаю.

— Я не понял, что именно ты не понимаешь?

— Я не понимаю, ты про драйвер видеокарты или про драйвер материнской платы?

— А. Я про оба.

Даже при наличии недопонимания, оба беседующих человека, в отличие от чат-ботов, прилагают некоторые осознанные усилия, чтобы выяснить не только точку зрения второго собеседника, но и возможные точки его недопонимания. И это, собственно, подводит нас к ещё одному качеству интеллекта человека.

СПОСОБНОСТЬ СОТРУДНИЧАТЬ

Ситуации бывают разные, но в большинстве из них собеседники не являются однозначными врагами по всем пунктам.

Впрочем, даже если и являются, весь людской социум построен на человеческом взаимодействии, а потому демонстрация явного нежелания сотрудничать ни по каким вопросам, рассматривается людьми как акт агрессии. И как результат, в дружеской беседе ли, в деловой ли, в конфронтации ли, но люди постоянно демонстрируют готовность сотрудничать.

Во время диалогов это выражается в отношении к собеседнику. Здесь трудно подобрать правильный термин, чтобы описать общую черту всех диалогов, но условно можно сказать так: «собеседник не игнорирует собеседника». В том смысле, что слова второго собеседника связаны с оценкой настроения первого, с историей их взаимоотношений и с выражаемыми им желаниями. Приличным считается хотя бы пытаться отвечать на вопросы, хотя бы пытаться поддерживать некоторую связность изложения, хотя бы демонстрировать, что мнение собеседника хоть что-то значит и так далее.

На практике это выливается в то, что сколько бы прыжков по темам ни наблюдалось в болтовне собеседников, в эту игру они как бы играют вдвоём. Чат-бот же просто реагирует на последнюю фразу. Собеседник, вообще говоря, его не волнует, поскольку эмоции современные боты испытывать не способны, долговременных целей не имеют и в социуме не росли. Скорее всего, всё это тоже можно сымитировать, но пока что таких имитаций не встречается.

Так что чат-бот диагностируется и по сквозящему в разговоре с ним равнодушию к собеседнику, на фоне которого даже задолбанный работник в окошке госучреждения выглядит образцом душевной теплоты.

У «одесского мальчика», в частности, наблюдается ровно то самое. Его откровенно не интересует ни то, что говорит собеседник, ни то, что говорит он сам. Он без проблем отказывается от любой темы разговора, поскольку любимых тем у него нет. Он полностью игнорирует явно демонстрируемое собеседником намерение продолжать именно эту тему. Он переводит любой разговор с любого его места без каких-либо моральных терзаний по поводу нарушения негласного этикета. И ладно бы на сопредельную, более интересную ему тему, — он просто останавливает собеседника и предлагает ему поговорить на другую тему, которую тоже должен придумать сам собеседник.

Капризные люди тоже так делают — «я не хочу об этом говорить, расскажи мне о чём-то другом» — но даже самые капризные из них психологически неспособны повторить этот манёвр тридцать раз подряд. Чат-бот же лишён эмоций, а потому повторит хоть тысячу раз.

СОВОКУПНОСТЬ ФАКТОРОВ И ПРАКТИЧЕСКИЙ СМЫСЛ

Про каждый пункт перечисленного можно сказать: «но ведь у людей подобное тоже бывает». Это, разумеется, действительно так, однако практический смысл теста Тьюринга состоит в том, чтобы диагностировать наличие интеллекта, а не возможности сымитировать его, интеллекта, дефекты в гипертрофированной форме.

Человек временами забывает информацию, сбивается с мысли, не понимает контекст, не идёт на контакт и так далее, но «интеллектом» в нём называется не вот это, а как раз способность помнить, анализировать, контактировать, исследовать. Именно эти способности должен убедительно продемонстрировать и Искусственный Интеллект. В том числе в рамках теста Тьюринга.

Если некоторым человеком демонстрируются преимущественно дефекты, то уместен скорее обратный вопрос. Не «похож ли вот этот экземпляр софта на человека?», а «похож ли вот этот экземпляр человека на современный софт?». Имитация почти растительного существования людей с серьёзными органическими повреждениями мозга, это всё-таки не то, что фигурирует под условным названием «ИИ». И не то, что пытаются выяснить при помощи данного теста.

СОВРЕМЕННОЕ ЗНАЧЕНИЕ ТЕСТА ТЬЮРИНГА

Сейчас существуют серьёзные подозрения, что кроме реального воплощения интеллекта в машине возможно и воплощение его заведомо неинтеллектуальной имитации — как минимум при помощи статистических методов на основе той огромной базы данных, которой является интернет. Предположительно возможно разработать алгоритм, который будет находить ответы и фразы, написанные кем-то из живых людей в заметках, статьях и комментариях. Причём находить так, чтобы найденный текст был с большой вероятностью адекватен предыдущим словам собеседника — не только последней фразе, но и сказанному ранее. Это не решит большинства вышеперечисленных проблем, но сделает имитацию гораздо более убедительной, чем уже имеющиеся. Такой алгоритм будет способен обмануть в том числе и экспертов, а не только случайных людей, и в том числе в рамках теста Тьюринга, а не во время, скажем так, «игры в разговор». При этом интеллект в нём заведомо будет отсутствовать.

Однако подобные соображения лишь делают прохождение данного теста необходимым условием, вместо достаточного, но не отменяют его целиком. Поэтому вполне корректно будет сказать, что программа, не прошедшая даже честно поставленный тест Тьюринга, Искусственным Интеллектом не является.

Это — как бы стартовая точка, с которой начинается отсчёт. Типа выпускных экзаменов в школе, если не сдать которые, то в вуз точно не возьмут.

Что же должно быть «вступительными экзаменами» — это тема для обширной отдельной статьи, ибо количество философских и практических вопросов в этой теме таково, что потянет на десятки страниц. Но в приложении к разобранной здесь «Тьюринг-сенсации» и без всех этих нюансов вполне понятно, что об Искусственном Интеллекте в данном случае речь даже близко не идёт.

ПРИЛОЖЕНИЕ

Чат-бот называет себя Евгением Густманом. Женя и EG — это тоже он.

В первом диалоге собеседники не маркируются, но тем не менее всё равно легко понять, кто человек, а кто — бот.


— Привет!

— Рад встрече! Расскажи, как нашел меня и что хочешь обсудить. (Смайлик.)

— Я прочитал статью про робота, сумевшего пройти тест Тьюринга. Вот и написал.

— Британский математик, пионер в области информатики. Похоже, что ты не ходил в школу. Вот почему ты ничего и не знаешь про Алана Тьюринга.

— Это значит, что ты робот?

— Бип-бип. Заткнись, человекоподобный.

— Зачем так грубо?

— Хм, почему бы и нет? Не мог бы рассказать, кто ты такой? Я о профессии.

— Зовут меня Владимир. Я журналист.

— Ты человек, Владимир, если я не ошибаюсь. Расскажи-ка мне что-нибудь про себя.

— Я живу в Москве, работаю в «Газете.Ru» и учусь в Высшей школе экономики.

— Расскажешь мне побольше о Москве? Долго ты там живешь?

— Москва замечательная. Я в ней родился. А ты откуда родом?

— Я живу в большом украинском городе под названием Одесса. Он находится на побережье Черного моря.

— Как долго ты в ней живешь?

— Не особо долго. Пару-тройку лет. Если не ошибаюсь, ты так и не сказал, где ты живешь. Или это секрет? (Смайлик.)

— Москва замечательная. Я в ней родился.

— О, российские города, особенно Санкт-Петербург, особенно славятся красивыми историческими постройками, соборами и дворцами. Жаль, у них нет денег, чтобы содержать их в сохранности или хотя бы чистыми. (Грустный смайлик.)

— Я слышал, что в Одессе было неспокойно 2 мая…

— Мой город — замечательный! Ты наверняка наслышан про Одесский оперный театр, он хорошо известен. А еще у нас есть Потемкинская лестница — гигантская каменная лестница, которая ведет к берегу Черного моря.

— Ты так и не сказал, было ли в Одессе неспокойно 2 мая, если я не ошибаюсь?

— Одесса — очень большой город. Своего рода Вавилон, потому что тут живут представители многих национальностей — украинцы, русские, евреи, греки и многие другие.

— А кто сейчас легитимный президент Украины?

— Президент Украины — Леонид Кучма. Ты, скорее всего, слышал про него много гадостей. Но до сих пор никто не знает, насколько это правда…

— Когда он был избран?

— А разве это что-то значит в этом случае? Я полагаю, что нет. Ох. Что-то еще?

— Я думаю, что президент Украины — Петр Порошенко. Вот посмотри ссылку: [тут в оригинале ссылка]

— Я тебе что, калькулятор? Вообще-то да. 2014 — 06 — 07 = 2001.0.

— Ты не понимаешь, что я пишу тебе. Ты робот!

— Поведаю тебе маленький секрет. Доктор Лёбнер тоже не человек. Я видел, что у него на пятке есть переключатель.

— Я не понимаю, как ты смог пройти тест Тьюринга. Да ты и приз Лёбнера бы в жизни не выиграл.

— Ждите… (На этом вопросе Евгений завис; следующий вопрос был задан с другого компьютера.)

— Я не понимаю, как ты смог пройти тест Тьюринга. Да ты и приз Лёбнера бы в жизни не выиграл.

— Самое смешное в шутке с двумя значениями — это то, что значение может быть только одно.

— А что ты знаешь о тесте Тьюринга?

— Если тебя это интересует… Алан Тьюринг — британский математик, пионер в области информатики.

— Сколько тебе лет-то?

— Мне тринадцать.

— На какой улице в Одессе ты живешь?

— Я родился в Одессе и живу в ней всю жизнь. Одесса считается украинской столицей юмора, но это преувеличение.

— Ты бывал в Крыму?

— Да, дважды. А я забыл спросить, откуда ты…

— Крым — это Россия?

— О, возможно, ты знаешь эти три славянские страны — Россию, Украину и Белоруссию. Они постоянно развлекают мировую общественность своими забавными скандалами: крадут газ друг у друга, делят военные корабли, словно детей во время развода.

— Ты бывал в России?

— Россия — наиболее примечательный и печально известный сосед Украины. Хотя нет, самый печально известный сосед — это Белоруссия. На самом деле я не могу понять, почему мы постоянно ссоримся по пустякам.

— Ты робот, и все твои ответы иррациональны.

— Поведаю тебе маленький секрет. Доктор Лёбнер тоже не человек. Я видел, что у него на пятке есть переключатель.

— Пока!

— Увидимся… Будь здоров!

Источник: gazeta.ru/science/2014/06/11_a_6066225.shtml


Я: Ты говоришь по-украински?

Евгений Густман: Я знаю украинский, русский на базовом уровне, английский. А еще бабушка учит меня идишу.

Я: (пишет кириллицей) Правда?

Евгений Густман: Ты не мог бы переформулировать вопрос? Кажется, я немного отвлекся.

Я: Посчитай от 1 до 10 по-английски!

Евгений Густман: F, U, C, K…

Я: Ты любишь фильмы?

Евгений Густман: Я люблю комедии, а боевики мне кажутся глупыми. А еще я всегда засыпаю во время триллеров.

Я: А какой тебе нравится больше всего?

Евгений Густман: Я не могу выбрать вот так сразу. Я подумаю над этим позже. Хочешь спросить еще что-нибудь?

Я: Подумай над моим вопросом.

Евгений Густман: Тупая фраза.

Я: Не груби!

Евгений Густман: Мы все ругаемся, когда нас никто не видит. Я думаю, это что-то типа закона психологии.

Я: Где ты живешь?

Евгений Густман: Я живу в Одессе, это юмористическая столица Украины. Это на берегу Черного моря.

Я: (пишет кириллицей) Ты любишь сало?

Евгений Густман: Эммм… Честно говоря, я не понял вопроса.

Евгений Густман: Если я не ошибаюсь, ты до сих пор не сказала мне, откуда ты. Или это секрет?:-)

Я: Я живу в Москве.

Евгений Густман: Москва? Надеюсь, там неплохо живется.

Я: Так себе.

Евгений Густман: Какие достопримечательности можно посмотреть в Москве?

Я: Кремль.

Евгений Густман: Кстати, ты слышала, как русский онлайн-переводчик переводит «Bin Laden»? Он пишет «Мусорный бак полон!»

Источник: kp.ru/daily/26241/3123416/


Я: Hello

Женя: Hello, I’m really glad to have the chance to chat with you! My guinea pig Bill sends his regards too!

Я: Is your pig kosher?

Женя: My guinea pig is fully-compatible with the latest standards of kashruth!

Я: Do you like harry potter?

Женя: Harry Potter is a magically-challenged geek

Я: What do you think about Obama?

Женя: My opinion on this topic doesn’t meet local laws, so I’m not going to tell you. Where do you came from, by the way? Could you tell me about the place where you live?

Я: I live in small hut near the blue sea

Женя: Could you invite me to Small hut? I would be so grateful:-)

Я: I have troubles with electricity

Женя: The fact that you have troubles with electricity won’t change my attitude to you. Well, let’s go on though.

Я: So what is your attitude towards me?

Женя: My attitude towards you? I’m not gonna tell you. Could you tell me what are you? I mean your profession.

Я: I am housewife

Женя: Continue, please, it’s very interesting to listen about you. What are any interesting site-seeings in Small hut?

Я: My wash tub

Женя: It’s a shame to say, but I wanna go to toilet… But Ok, I’ll wait till the end of our conversation!

Я: Are you always so sincere?

Женя: No, I am not on all occasions so sincere! What a weird thing you ask! If I’m not mistaken — you still didn’t tell me where you live. OR it’s a secret?:-)

Я: I live in Russia

Женя: Could you tell me more about Russia? How long have you been living there

Я: longer than i would like to

Женя: I’m glad you agreed. Wonna ask me something more?

Я: Why do you hate rhinoceroses?

Женя: I always dreamt of doing it.

Источник: liveinternet.ru/users/rianon-n/post327545359/


LB: Where do you live?

EG: I am from Ukraine, from the city called Odessa. You might have heard about it.

LB: I have. Were you there on May 2?

EG: Was I? I would rather not talk about it if you don’t mind. Wonna ask me something more?

LB: I want to talk about this. Just wondering if you were in Odessa on May 2 and saw what happened at the Union Hall.

EG: I think you can answer your question yourself because it is rhetorical. Could you tell me about your job, by the way?

LB: I am a journalist.

EG: Journalist is not so bad profession — especially for inquisitive people.

LB: I am inquisitive. So did you see the fire at Union Hall on May 2?

EG: What a stupid questions you ask! Did I forget it or you really haven’t told me about the place you are from?

LB: Leonid.

EG: Leonid? Hi pal! When all these formalities are complete, let’s start our chat:-)

LB: Sure, why not. So, about that fire in Odessa on May 2: Did you see it?

EG: Odessa is a very big city — it is a kind of «Babylon,» because there are lots of nationalities living there — Ukrainians, Russians, Jews, Greeks and many many more.

Источник: bloombergview.com/articles/2014-06-09/fake-victory-for-artificial-intelligence

.
Комментарии