Предположим, вам понадобился инженер-конструктор. Конструирование — это сложно, и, хотя вы сами и ваши коллеги до какой-то степени это умеете, вам неясно, каким образом узнать, пришедший к вам соискатель — настоящий конструктор или притворяется. Ну там, например, заучил несколько красивых слов и фраз, и теперь, не стесняясь, зовёт себя «инженером-конструктором».
Как проверить, умеет ли он конструировать, владеет ли софтом и, самое главное, умеет ли решать инженерные задачи в целом — от постановки, через разбирательства, гипотезы и эксперименты, до контроля качества того, что получилось «в железе»?
Так вышло, что вам неясно, как.
И тут кому-то приходит отличная идея: а давайте будем предлагать соискателям жонглировать мандаринами. И засекать время — сколько он продержался, не уронив. Там всё понятно и очевидно, а потому очень легко проверить. И критерий легко установить: например, не меньше трёх минут с трёх попыток. Кто справился, того и берём.
Однако тут кто-то вдруг спрашивает: «А вдруг у соискателя артрит?».
Ну да, с артритом можно работать инженером, но жонглировать уже тяжело. Надо какие-то специальные поблажки для людей с артритом. Пусть, например, полминуты с десяти попыток жонглируют. Однорукие при этом будут жонглировать одной рукой и двумя мандаринами, а не тремя. А безрукие пусть ногами управляют компьютерной программой, имитирующей жонглирование.
Постойте, а вдруг кто-то вместо себя пришлёт профессионального жонглёра? Надо, в общем, разработать какие-то способы точного установления личности.
Или, скажем, кто-то загипнотизирует комиссию. Жонглировать не будет вообще, но залезет им в мозг и зашлёт туда картинку. Нужна защита от гипноза.
Или вот ещё: вдруг кто-то придёт с механическими руками, а настоящие спрячет под кофту. А в мандаринах будут тепловые метки, по которым руки их будут отслеживать. Или даже отслеживать будет камера в пуговице, а компьютер под кофтой будет распознавать образы и управлять движениями механических рук.
Или вдруг кто-то из семьи жонглёра, поэтому его учили жонглировать с детства, а другой приехал из страны, где жонглирование отождествляется с призывом Ктулху на Землю? Несправедливо получается.
В общем, надо решить целую кучу технических проблем — чтобы, во-первых, всем предоставить равные условия, во-вторых, исключить всех, кто жульничает при жонглировании, а в-третьих, выяснить, сколько минут непрерывного жонглирования необходимы для работы инженером на нашем предприятии.
Да, не всё ещё понятно, но в целом решение проблемы обрисовалось. В целом проверять будет легко — надо только критерии потом уточнить и внимательно следить за читерами.
Собственно, школьные и вузовские экзамены — это вот оно самое: упорные попытки вычислить будущего инженера по акту жонглирования мандаринами.
Дело в том, что экзаменом проверяется то, чего человек не будет делать вообще никогда и что от него вообще никому не нужно. Инженеры не только не жонглируют мандаринами, кроме как для развлечения самих себя, — они ещё и никогда не отвечают за два часа на двадцать простых вопросов, причём строго по памяти. Причём тех вопросов, ответы на которые они заучили на прошлой неделе или в этом полугодии.
Такая форма как бы проверки — типичный поиск ключей под фонарём, потому что там светлее. Очистка совести: в темноте мы искать не умеем, но надо же хоть что-то делать. Мы не догадались, как в традиционной системе образования проверять, насколько усвоен материал, но хоть что-то проверять-то надо. И надо как-то сравнивать успехи — ну, чтобы гладиолус: вселенская карма требует каждому воздать. Поэтому давайте, например, все будут отвечать на вопросы на время. Ну или, там, решать типовые задачи. Пользуясь только памятью — а то не спортивно.
Собственно, и о том, чему именно надо учить, люди часто рассуждали тем же способом: как научить на инженера вообще, нам не особо-то понятно, поэтому, ну, я не знаю, пусть какие-то таблицы из справочника заучат. И доказательства полусотни теорем.
А уж когда мы ещё на данный момент не знаем, на инженера ли мы кого-то учим или, например, на лингвиста, тут вообще тёмный лес: единственный вариант — заставить его заучить рандомный набор фактов из рандомных областей. Авось, сработает.
И тут уже сам бог велел авось-проверить результаты сабжевым методом: пусть ответит на рандомные вопросы по памяти на время. Ну или хотя бы мандаринами пожонглирует: надо ведь хоть как-то проверять.
Не, ну серьёзно, вся система упорно «проверяет» умение делать то, что за всю жизнь человеку приходится делать только в этой же системе.
Конечно, бывает ещё, что хорошо прочувствовавшие оную устраивают аналогичное же и при приёме на работу тоже, однако на самой работе это делают только игроки в «Свою игру» — даже в «Что, где, когда» уже не так: там надо думать и совещаться.
Но постойте, ведь вероятность того, что мастерски владеющий некоторой темой ответит на много вопросов по ней, гораздо выше, чем что на них ответит не владеющий? Всё норм — теорвер одобряет.
Нет, теорвер не одобряет.
И чтобы понять, почему он это не одобряет, обратите внимание на то, что и в случае с мандаринами оно тоже «сработает». Ведь чтобы научиться жонглировать мандаринами, нужно определённое упорство. А им обладающий с большей вероятностью научится и ещё чему-то. Например, инженерии.
Таки да, априорная вероятность того, что жонглёр мандаринами лучше может в инженерию, действительно больше, чем у не-жонглёра. При прочих равных.
Однако обе вероятности столь малы, что на практике вы их не различите ни на каком эксперименте. Это надо сотню лет детально исследовать навыки миллионов людей, чтобы разница в вероятностях между двумя их подклассами всё-таки стала ниже ошибки измерений и флуктуаций.
А в реальности к вам при этом приходит несколько конкретных людей с конкретными навыками, а не две огромные группы для проверки за сотню лет. Поэтому проверять их надо на то, что вам конкретно надо, а не на то, что в сферическом вакууме чуть-чуть, быть может, отличает одну огромную группу от другой.
Если вы набираете жонглёров — да, надо проверять на умение жонглировать.
Если игроков в «Свою игру» — надо проверять на умение запоминать и вспоминать рандомные факты.
Однако если вам нужен инженер, то надо смотреть сделанные им проекты. Пусть расскажет, как в каком из них что-то устроено, как он пришёл к такой мысли, почему не был выбран альтернативный вариант, в каком софте и как он строил модель, и т.п.
Не надо давать ему бумажку и требовать, чтобы он по памяти нарисовал, где в Solidworks-е находится такая-то операция и где она в Inventor-е.
Не надо просить рассказать наизусть определение какой-то штуки, которое вы сами только вчера прочитали, а потому всё ещё его помните.
Инженеры не заучивают интерфейс софта — вместо этого они умеют им пользоваться. Если даже инженер забудет, где что-то там находится, то он загуглит мануал и вспомнит. Или даже узнает, если раньше не знал, поскольку почему-то не было потребности.
Инженеры не заучивают определения наизусть — вместо этого они понимают всю концепцию. Само по себе запомненное определение бесполезно: важно только то, что в реальности с этим всем делается. Определения, собственно, существуют для того, чтобы объяснить что-то тем, кто этого ещё не знает. Это не молитва. И не заклинание, спасающее от всех бед.
И всё это касается не только инженеров: так в любой области деятельности.
Человеку проще найти нужную кнопку в софте, глядя на него, или в мануале, нежели у себя в памяти, поскольку в «быстрой» памяти лежит только то, что используется регулярно. И именно так и делается на практике: никто не учит заранее все кнопки и все команды, и не повторяет их каждый день, чтобы не забыть.
Никто никогда не пользуется определениями, чтобы найти ответ на свой вопрос — их используют для объяснений и доказательств, да и то не всегда. А на практике человек опирается на своё понимание устройства и взаимосвязей, развитое продолжительной практикой, а не на какие-то формальные почти что лозунги.
Только очень отдельные любители запоминают наизусть множество разрозненных фактов, в надежде, что «вдруг пригодится».
И что же тогда проверяют экзамены, кроме способности сдавать экзамены и играть в «Свою игру», если её вдруг сделают на базе школьной программы?
Фактически, они ещё проверяют только лишь способность следовать некоему протоколу, независимо от его осмысленности.
Исполнительный, не привыкший рефлексировать, просто тупо зазубрит, даже если ничего не понял.
Достаточно ловкий и сообразительный, независимо от того, нужны ли ему все эти знания и навыки, просто обманет эту систему тем или иным способом.
Как тот гипотетический соискатель, который сделал механические руки и компьютерную систему отслеживания мандаринов. О да, именно вот его и надо брать, поскольку, хотя он злостно наколол вас с этими вашими «экзаменами», вот он-то как раз и умеет делать то, что требуется от инженера.
Однако, увы, ваш способ как бы «проверки» не позволяет отличить его от того, кто, не рефлексируя, начал учиться жонглировать мандаринами с целью пройти ваш как бы тест на инженера. Причём, и от того, кто жонглирует и инженер, и о того, кто жонглирует, но не инженер. Причём, по вашей концепции, если вы сможете отличить от них чела с механическими руками, то вот его вы как раз и не возьмёте.
Я всё время недоумевал, где тут смысл? Если кто-то, ни разу не посетивший предмет, может за час по учебникам, шпаргалкам, подглядыванию в чужие тетради и по подсказкам шёпотом от коллег так разобраться в ответах на вопросы в билете, что вы даже с помощью дополнительных вопросов не можете это запалить, то с чего он вдруг «не сдал»? Напротив, он сдал на порядок лучше тех, кто всё честно посещал и шпарил по памяти — ведь он по факту умеет делать то, что от него требует профессия учёного или инженера: быстро и эффективно разбираться в новом, пользуясь отрывочной информацией.
Если вы не собирались жонглировать мандаринами под фонарём, то надо, наоборот, тех, кто отвечает, заучив заранее, нафиг отчислять: скорее, как раз они смогут заниматься только плагиатом.
Как и в байке из начала статьи, ошибка в проверке знаний «традиционной» системой образования сделана в самом начале рассуждений. Вы можете сколько угодно балансировать и шлифовать такую систему как бы проверки, но она всё равно не будет проверять вообще ничего реально полезного. Да, вы там накреативили про то, как бороться с реальной возможностью «мошенничества», как бороться с магическим мошенничеством, как уравнять людей, относительно их стартовых условий и заодно как отбросить всех тех, кто реально лучше всего вам подходит, но вы продолжаете измерять случайный шум, который ничего не говорит ни о текущих практически полезных умениях выпускников/учеников, ни об эффективности вашей системы обучения.
С тем же успехом можно было бы на экзаменах предлагать жонглировать мандаринами: точно так же туда бы приходили желающие обмануть вашу систему самыми разными способами, точно так же появились бы репетиторы по жонглированию и курсы «жонглируй, чтобы сдать», точно так же иногда успешно сдавшие действительно умели бы что-то, кроме жонглирования, а не сдавшие — не умели. Однако одновременно с тем были бы не сдавшие, которые что-то умеют, причём гораздо лучше всех остальных, и сдавшие, которые не умеют ничего. Причём не эпизодически, а в той же пропорции.
Понятно, что, если у вас преподают в основном те, кто не умеет сам, а проверяют, по сути, «работники отдела кадров», то ничего иного и не получится. Вышеописанный рациональный поиск инженера через беседы о его проектах возможен только в том случае, либо когда инженер уже сам научился делать реальные проекты, либо его учили реальные инженеры на реальных или близких к реальным задачах. И проверяли его умения тоже реальные инженеры, причём тем самым способом: посмотреть проекты, спросить, как что почему сделано, и т.п.
То есть бессмысленность системы проверки тут жёстко сцеплена с бессмысленностью устройства традиционного образования в плане преподавания и программы: там проверяют на жонглирование мандаринами, поскольку и учат ему же. Почему-то называя это «инженерией», «фундаментальным образованием» или «общим кругозором» — как угодно.
Однако практика говорит сама за себя: оттрубив пятнадцать лет, сдав экзамены, набрав высокие проходные баллы, почти все поголовно переходят на следующий этап фактически недееспособными. Первое, что им обычно говорят: «Даже если вы что-то запомнили, то забудьте всю эту ерунду — сейчас мы будем учить вас реальным вещам».
Год-два опыта работы оказываются гораздо более сто́ящими, чем пятнадцать лет такого «общего образования». Причём эти один-два года стоят одинаково и у тех, кто до того учился пятнадцать лет, и у тех, кто учился десять, и даже у тех, кто учился всего пять. А это значит, что в лучшем случае что-то дали только уроки чтения и базовой арифметики, остальное же, по факту, никак не влияет на расклады. По факту, после двух лет работы диплом чего-то стоит только как сохранившийся пропуск в «клуб для своих» и как отчёт для требующих его госорганов, но вообще ничего не говорит о полученных за всё время внепроизводственного обучения навыках.
Как, разумеется, и экзамены.
Поэтому, когда меня спрашивают: «А что, вы бы позволили списывать на экзаменах?», — я могу ответить только: «В общем случае, нет, поскольку экзаменов быть вообще не должно». Как и контрольных. И всего подобного. Просто по причине бессмысленности всего этого.
Не, иногда, конечно, можно для эксперимента по проверке сообразительности предложить решить что-то за короткий срок. И если считать это аналогом «экзамена», то, таки да, на нём должно быть можно пользоваться вообще чем угодно. Правда, вопросы на таких «экзаменах» не должны быть «типовыми» и «одноступенчатыми». Оно должно быть похоже на что-то типа научной олимпиады: нетривиальные вопросы на «поразмыслить».
Однако в основном обучение, конечно же, должно базироваться не на спонтанных задачах на скорость, а, напротив, на долгоиграющих — многоступенчатых проектах, которые учащиеся лично или с группой делают за долгий срок, постоянно показывая, обсуждая и анализируя все промежуточные результаты.
А тут какая-то «сдача» чего-то там нужна только в том случае, когда весь этот процесс обставлен так, как он чаще всего обставлен в «традиционной» системе: преподаватель выдал тему на полгода-год и забыл про всё это до того момента, когда ему принесут готовую работу, которую он просмотрит по диагонали и выставит ей оценку, не особо-то вдумываясь в смысл этой работы, поскольку таких ему в это же время принесли ещё штук сто и их все он сейчас видит впервые.
Но если преподаватель так не делает, а строит обучение как раз на практических, протяжённых работах, то ему не надо даже тщательно проверять «финальный результат» с нуля — он и так в курсе, у кого как получается, кто что понимает, и т.п.: ведь он постоянно видит и обсуждает промежуточные результаты.
По ним же он видит, где у него пробелы в преподавании: если все всем скопом не понимают один и тот же фрагмент, то явно он про него как-то плохо рассказал.
По этим работам же любой наниматель может посмотреть, с кем он имеет дело, не гадая, насколько адекватны были вопросы на экзаменах и экзаменаторы. И не пытаясь бороться с читерским жонглированием — ведь даже если все свои работы каким-то чудом человек у кого-то стырил и ни один его преподаватель не смог это отследить за время всех консультаций и обсуждений, то тут-то всё равно эти работы обсуждают с вот этим вот человеком. Если он может всё про них рассказать неотличимо от человека, который когда-то делал всё это сам, то по факту он их понимает не хуже того человека. Как ему это удалось — отдельный вопрос, но результат-то точно тот же.
Если же принимающая сторона посмотрит на оценки традиционных экзаменов, она не узнает о соискателе вообще ничего. И многие сейчас это отлично понимают, по коей причине на них уже почти никто и не смотрит.
Но что ещё важнее, в таком ракурсе — при обучении на проектах — сам ученик видит, что и зачем нужно, что он понимает, а что не совсем, какие ответы ему нужны и как он их применит.
Оценка же за жонглирование мандаринами воспринимается как формальность, даже теми, кто уверен, будто бы оценки что-то значат. Даже он обучается делать некий трюк, не чтобы понять устройство чего-то реального для себя, а чтобы удовлетворить зрителя, от которого он, так вышло, зависит. Ну ладно, пусть ещё чтобы потешить своё самолюбие аплодисментами. Но не более.
Но ведь образование нужно не для аплодисментов, не для диплома, не для отчёта школ и вузов госорганам и не для обоснования зарплаты преподавателей. Оно нужно самому ученику для понимания устройства всяких там штук из реального мира. Действуя в условиях, приближенных к реальным, или вообще в реальных, ученик понимает и устройство вещей, и степень своего понимания. Особенно когда действия не однократные, а протяжённые — то есть следующие действия связаны с предыдущими.
В этом случае ему попросту бесполезна некая формальная оценка отдельного акта: она ничего ему не говорит. Он и так знает, работает или нет та часть проекта, которой он сейчас занимается. Он и так знает, смог он на данном этапе что-то противопоставить контрдоводам, которые привёл преподаватель или кто-то ещё, или не смог. Это для него не что-то, «что повлияет на среднюю оценку за четверть», а явный и недвусмысленный указатель направления дальнейшего познания и разработки проекта. Недочёты неизбежны, и многошаговая коммуникация вместе с экспериментами потому-то и нужны, что благодаря им эти недочёты устраняются.
Оценка как бы говорит человеку «ты — плохой, ты сделал неправильно», но обсуждение этапа проекта даёт детективную загадки вида «вот тут отсутствуют несколько важных улик, где они?». Легко догадаться, что восприятие этих двух вариантов прямо противоположное.
Иными словами, оценки за экзамены и сами экзамены как минимум бесполезны, а с большой вероятностью даже вредны: они не дают никому никакой полезной информации, но при этом могут сильно демотивировать по поводу какой-то области деятельности, а то и вообще деятельности. Инженер, которого постоянно проверяют на умение жонглировать мандаринами и бьют током, когда он не справляется, с большой вероятностью решит бросить эту вашу инженерию. Или, по крайней мере, не заниматься ею в этих местах.
Тогда как проектная деятельность, напротив, и создаёт почву для понимания, и тренирует реальным процессам исследований и разработок, и показывает важность экспериментов, и демонстрирует, что в реальности доработки, ошибки и неверные гипотезы — обычная составляющая любого дела, и мотивирует интересом, и предоставляет учащемуся и окружающим информацию о том, насколько учащийся сейчас уже способен к реальной деятельности.
В общем, это самое, оставьте уже жонглирование мандаринами жонглёрам.
