Доказательство массового мошенничества с ИИ профессора Брауна

      Профессор экономики в Университете Брауна подозревает, что большинство его студентов списали с помощью ИИ, и у него есть цифры, чтобы это доказать. Роберто Серрано наблюдал, как его средний балл за домашний экзамен достиг 96 из 100. Когда он изменил финальный экзамен на очный, средний балл упал до 48. Он вынес эту историю на публику, рассказав El País и Inside Higher Ed, что не собирается это оставлять без внимания.

      Формат домашнего экзамена возник из-за трагедии. После того как стрелок убил двух студентов на кампусе в прошлом декабре, многие сказали, что чувствуют тревогу, сидя на экзаменах в комнате, полной людей. Серрано предложил домашние экзамены и финальные работы, чтобы облегчить это. Ирония в том, что в единственный раз за десятилетия, когда он ослабил правила, большая часть класса списала.

      Цифры, которые все выдали

      Курс Серрано, ECON 1170, является продвинутым курсом экономики для студентов бакалавриата, который обычно привлекает небольшую, но сильную группу. Он никогда не преподавал более 30 студентов, а однажды у него было всего восемь. В этом семестре записались 86 человек. Новый формат домашнего экзамена, вероятно, привлек их.

      Результаты промежуточного экзамена были, по его словам, необычными. Класс в среднем набрал 96, и 40 студентов получили идеальные 100. Исторический средний балл по курсу колебался между 65 и 80, а этот экзамен был сложнее обычного. Серрано рассудил, что домашний формат — это шанс продвинуть класс дальше, учитывая неограниченное время.

      Сами ответы казались странными. Многие правильные ответы имели «очень запутанный стиль». Когда Серрано и его проверяющие ввели вопросы в ChatGPT, они получили похожие результаты.

      Экзамен, который он установил, чтобы это доказать

      Поэтому он устроил ловушку. Он сказал классу, что финальный экзамен будет очным, и что он сравнит две выборки. Если они совпадут, он оставит промежуточный экзамен. Если нет, он аннулирует его и пересчитает финальный.

      Ответ говорил сам за себя. Восемнадцать студентов бросили курс, и еще девять пропустили финальный экзамен. Из этих 27, как отметило El País, 22 получили идеальные 100 на промежуточном экзамене. Среди студентов, которые все же сдали экзамен, средний балл упал с 96 до 48. По подсчетам Серрано, как минимум 50 студентов списали на промежуточном экзамене, и он называет доказательства подавляющими.

      Широкое осознание

      Браун не одинок. Недавний опрос студентов Принстона показал, что 29,9 процента признались, что списали хотя бы на одном экзамене или задании, большинство из них с использованием ИИ. Школы потратили два года на поиск инструментов для обнаружения и переосмысление того, как они вообще проводят тестирование.

      Студенты тоже ощущают напряжение. Отчет, возглавляемый проректором Брауна, показал, что большинство студентов бакалавриата используют генеративный ИИ еженедельно или ежедневно. Тем не менее, большие группы также беспокоятся о влиянии на их обучение и боятся того, что это делает с их «когнитивной способностью».

      Это беспокойство существует наряду с более широким сдвигом, поскольку ИИ изменяет, кто получает работу и даже как люди думают и пишут. Серрано формулирует это в самых резких терминах.

      Почему это важно

      «Мы не можем позволить себе общество, в котором значительная часть наших лучших молодых умов считает, что списывать — это нормально», — сказал Серрано в интервью Inside Higher Ed. «Это ведет к упадку общества, к провальному обществу. Мы не можем выбрать путь идиотов».

      Его эксперимент мал, один класс, один семестр. Но он превращает неопределенное беспокойство в четкую цифру. Уберите ИИ, и половина кажущихся знаний исчезнет вместе с ним. Это та цифра, с которой университеты теперь должны смириться.