Как стать автором
Обновить

Ученики поняли, что их тесты проверял ИИ. Они обманули алгоритм вставкой слов

Время на прочтение2 мин
Количество просмотров32K
В поле ответа введено понятное человеку описание. Затем идёт список ключей, чтобы заставить автоматическую систему поставить ответу 100 %
В поле ответа введено понятное человеку описание. Затем идёт список ключей, чтобы заставить автоматическую систему поставить ответу 100 %

Учащиеся седьмого класса одной из школ США поняли, что их работы на онлайн-платформе для обучения Edgenuity проверяет не человек, а алгоритм. Систему на ИИ выдала скорость оценок, которые проставлялись за считанные секунды после сдачи тестов.

Матерью одного из этих учеников была учитель истории Дана Симмонс. Ее 12-летний сын получил всего 50 баллов из 100. Проанализировав его работу, оба поняли, что алгоритм можно обмануть. Главное — использовать в конце каждого ответа на вопрос список из ключевых слов, которые ожидал найти ИИ. Причем, неважно, в каком порядке и насколько логично будут располагаться эти слова. Сначала было достаточно написать пару предложений любого содержания, а потом просто добавить ключи по типу тегов.

К примеру, в ответе на вопрос: "В чем было преимущество расположения Константинополя для Византийской империи?" было достаточно ввести список ключей: "Богатство, караван, корабль, Индия, Китай, Ближний Восток". Сами слова ученик находил в статьях или видео по теме вопроса. Его мать посоветовала писать длинные ответы со множеством имен собственных, но впоследствии оказалось, что обмануть алгоритм намного проще.

Администрация Edgenuity не ответила журналистам The Verge на запросы о комментариях по поводу этой ситуации. Как предположили в онлайн-справочной компании, алгоритм могли запрограммировать именно так специально, чтобы ответы без ключевых слов получали 0 %, а с хотя бы одним таким словом — 100 %. Для некоторых вопросов число ключей в ответе линейно влияло на оценку.

Проблема заключается в том, что школы в США сейчас работают по онлайн или гибридной модели обучения в связи с пандемией. Многие из них передают определенные курсы на аутсорсинг виртуальным образовательным платформам. Edgenuity как раз является одной из них и предлагает более 300 онлайн-классов для учащихся средней старшей школы, начиная от математики и заканчивая обществознанием. Платформу используют около 20 тысяч школ.

Данный инцидент произошел в округе Лос-Анджелеса. Районная администрация инцидент также не комментирует. А родители в округе Уильямсон, штат Теннесси, уже выступили против использования платформы, утверждая, что многочисленные технологические сбои повлияли на оценки их детей.

Учащиеся других заведений поделились своим опытом обмана алгоритма Edgenuity. Так, иногда они просто копируют текст своих вопросов и вставляют его в поле ответа, так как он чаще всего содержит соответствующие ключевые слова. Один из учеников поведал The Verge на условиях анонимности, что использовал этот трюк вместе с товарищами на протяжении всего прошлого семестра и получал высший балл “почти каждый раз.” Другой ученик сообщил, что списки ключей доступны в интернете. Некоторые даже специально делали ошибки, чтобы не вызвать подозрения у учителей за стабильно высокие баллы.

По словам Симмонс, ее радует тот факт, что сын смог обмануть алгоритм и получил при этом новые навыки. Однако, отмечает она, не все ученики и их родители имеют соответствующие навыки. Поэтому мать школьника считает, что онлайн-обучение породило проблему цифрового разрыва.

См. также:

Теги:
Хабы:
Всего голосов 32: ↑29 и ↓3+39
Комментарии126

Другие новости