Как любящая мать смогла обмануть искусственный интеллект?

Искусственный интеллект хорош тем, что доводит до автоматизма многие процессы по заранее заданному алгоритму и, вроде бы, может разгрузить человека, взяв на себя определенную работу. Вот только недавняя история показала, что без участия человека не обойтись даже с искусственным интеллектом, особенно, когда дело касается обучения.

В связи с пандемией многие перешли на дистанционное обучение, что предполагает, отчасти, самостоятельное выполнение работы. Про такую модную и простую вещь как тесты тоже никто не забывает. Правда тесты отличается друг от друга. Но это дело десятое и сейчас не представляет особого интереса. Наиболее интересно другое – как некоторые тесты работают. Не секрет, что для некоторых тестов, да и не только тестов, используется искусственный интеллект, который надо тоже уметь создавать.

Следующая история показывает, что надо либо адекватно подходить к применению новых технологий, либо все же не использовать искусственный интеллект при некоторых способах обучения, иначе результаты могут быть плачевными. Итак, один школьник сдавал тест на онлайн платформе для виртуального обучения и провалил его. Из 100 баллов набрал только 50. Это был провал. Но ему повезло с матерью, которая, кстати, профессор истории, смогла “хакнуть” систему онлайн тестирования.

Во-первых, оценка была дана через несколько секунд после предоставления ответа, что может навести на мысль о действиях определенного алгоритма. Логика здесь простая – человек не сможет так быстро обрабатывать ответы другого человека мгновенно, это пришлось бы следить за каждым сдающим тест.

Значит оценку дает машина, действующая по определенному алгоритму. Затем профессор посмотрела ответы своего сына и корректные, то есть правильные с точки зрения, скажем, “платформы” ответы, которые раскрывались в конце теста.

Так вот, профессор выяснила, что искусственный интеллект сканирует предоставляемые ответы на предмет определенных ключевых слов, которые, по задумке автора алгоритма, студенты должны использовать в своем ответе. То есть, иными словами, ты можешь ответить правильно de facto, но технически ответ могут не засчитать, так как не использовал те слова, которые от тебя ожидают.

Профессор на этом не остановилась и решила пойти дальше. А можно ли обмануть машину? Если машина сканирует ответ на наличие ключевых слов, то если указать эти ключевые слова, то ответ будет засчитан? Профессор на каждый вопрос, предполагающий короткий ответ писала два длинных предложения, после которых следовал список разрозненных ключевых слов, которые могли бы присутствовать в ответе на вопрос.

Например, на вопрос о том, “в чем было преимущество расположения Константинополя для величия Византийской империи” ответ был такой: “Итак, вы начинаете отвечать, окей, какие есть возможные ключевые слова, которые ассоциируются с этим (ответом)? Богатство, караван, корабль, Индия, Китай, Ближний Восток”. То есть для каждого ответа нужно было оставлять словесный винегрет из нужных “ингредиентов”.

Что самое интересное – сработало. 100% попадание для вопроса, для которого нужен короткий ответ. Профессор поделилась со своей находкой в твиттере. Она рассказала, как можно получить оценку “отлично”. Причем, если в ответе нет ни одного ключевого слова, то оценка будет “ниже плинтуса” вне зависимости от корректности или полноты ответа.

Algorithm update. He cracked it: Two full sentences, followed by a word salad of all possibly applicable keywords. 100% on every assignment. Students on @EdgenuityInc, there’s your ticket. He went from an F to an A+ without learning a thing.

— Dana Simmons (@DanaJSimmons) September 2, 2020

Если ответ на вопрос должен включать в себя более двух предложений, то он оценивается в зависимости от процента ключевых слов или “попаданий в яблочко”, содержащихся в ответе от “требуемого минимума”. Причем данное требование “наличия” ключевых слов распространяется не только на текстовые ответы, но и на видео ответы или презентации.

Одно дело, когда подобная проверка знаний, домашней работы, и результатов обучения имеет локальный масштаб, другое дело – когда от подобных тестирований зависит проходной бал и будущее поступление ученика. Он может быть хорошо подготовлен, но провалить экзамен из тестов, только потому, что не использовал ключевые слова или не соответствовал алгоритму.

Тем не менее, следует учесть, что алгоритмы бывают разные и отличаются друг от друга, даже для тех же самых школьных или вузовских тестов и контрольных. Хотя компания-разработчик и внесла некоторые изменения в свой алгоритм, парень, наученный горьким опытом, решает некоторые тесты только на отлично. Кстати, он не единственный, кто смог обмануть машину.

Другие студенты поступали проще – они просто копировали текст вопроса и вставляли в поле для ответа с надеждой, что хоть какие-нибудь ключевые слова да совпадут. Один умудрился таким способом сдать весь семестр на “отлично”.

Другой вообще для сдачи математики “просто” добыл список ключевых слов из интернета, руководствуясь принципом “любой классный шулер не стремиться к идеальному результату” и часть ответов прорабатывал сам.

Разумеется, что учителя могут проверять ответы учеников. Не все так просто. Некоторых ловили на “шулерстве”. Но это скорее было выборочно, так как не всех проверяют и не всех ловят. Как повезет, особенно, если учителю все равно или нет времени. Вот и думай, какое образование лучше.