Оценки рухнули вдвое, когда профессор Брауна запретил ИИ на экзамене

Профессор экономики Браунского университета Роберто Серрано провёл неожиданный эксперимент: перевёл финальный экзамен в аудиторию после того, как домашняя контрольная показала средний балл 96% — исторический максимум при норме 65–80%. Результат оказался зеркальным: 48,6%, худший показатель за всю историю курса. Девятнадцать студентов провалились, ещё восемнадцать бросили предмет до экзамена.

Серрано прогнал задания через ChatGPT и получил ответы, практически идентичные студенческим работам. Показательная деталь: многие студенты использовали громоздкое математическое доказательство — именно то, которое предпочёл ChatGPT, — вместо очевидного прямого подхода. Лишь единицы показали на очном экзамене результаты, сопоставимые с домашними.

Как профессор отреагировал и что ответил университет

Серрано аннулировал результаты промежуточного экзамена и установил вес финального на уровне 80% итоговой оценки. Девять студентов не явились на экзамен вовсе. По словам профессора, реакция администрации университета оказалась «вялой»: чиновники предложили ему сообщать о каждом случае списывания индивидуально.

««Мы не можем позволить себе общество, в котором значительная часть лучших молодых умов считает, что жульничество — это нормально. Это ведёт к деградирующему обществу, к провалившемуся обществу. Мы не можем выбрать путь к идиотизму», — заявил Серрано изданию Inside Higher Ed.»

Профессор настаивает на системном ответе, а не на разборе дел в ручном режиме. Дискуссия с администрацией продолжается.

Два масштабных исследования подтверждают закономерность

Случай Серрано — не единичный. Сразу два независимых исследования фиксируют одну и ту же картину: высокие оценки за домашние задания при резком падении результатов на контрольных.

Первое исследование охватило более 26 000 школьников с 7 по 12 класс в центральном Китае на протяжении 30 месяцев. Через шесть месяцев после начала использования ИИ оценки за домашние задания выросли на 18%, а время их выполнения сократилось с 64 до 45 минут. Параллельно результаты экзаменов упали на 20%. На вступительных испытаниях долгосрочные потери составили от 18 до 24% — полный эффект проявлялся примерно через два года. Около 81% долгосрочных пользователей ИИ вписывались в эту модель. Сильнейшие студенты пострадали больше всего: их показатели снизились на 24%.

Второе исследование провели в Калифорнийском университете в Беркли. Учёные проанализировали более 500 000 оценок в крупном исследовательском университете Техаса. В курсах с большой долей письменных и программных заданий доля отличных оценок выросла на 13 процентных пунктов после запуска ChatGPT. Эффект концентрировался именно в несупервизируемых домашних работах: курсы с высокой долей домашних заданий показали рост на 16 процентных пунктов по сравнению с курсами, ориентированными на очные экзамены.

Что это означает для IT-образования и найма

Для белорусского IT-рынка эта история имеет прямое прикладное измерение. Компании-резиденты ПВТ и крупные аутсорсеры давно перешли на технические интервью с живым кодингом именно потому, что портфолио и тестовые задания, выполненные дома, перестали быть надёжным фильтром. Теперь к этому добавляется новый слой риска: кандидат может иметь диплом с отличием, но не уметь решить задачу без подсказки модели.

Вузы, которые не адаптируют систему оценивания, рискуют выпускать специалистов с завышенными самооценкой и ожиданиями — и заниженными реальными компетенциями. Это проблема не только академическая: она напрямую влияет на качество джуниор-найма и стоимость онбординга.

При этом полный запрет ИИ — не решение. Инструменты уже встроены в рабочие процессы разработки, финансового анализа, юридической экспертизы. Вопрос в другом: как выстроить образование так, чтобы человек понимал, что именно он делегирует модели, и мог проверить результат. Серрано сформулировал это жёстко, но точно: общество, которое разучилось думать самостоятельно, не становится умнее от того, что рядом есть умная машина.

— По материалам The Decoder: оригинальная статья. Перевод и адаптация — редакция Digital Business.