Инструменты мошенничества на основе ИИ побеждают. Обнаружение не является целью.

      Видеоролики повсюду, и предложение всегда одно и то же. Пусть ИИ сделает вашу домашнюю работу, и вас не поймают.

      Согласно расследованию New York Times, TikTok и YouTube сейчас полны учебных пособий, продающих студентам два вида инструментов. Хуманизаторы переписывают текст, сгенерированный ИИ, так, чтобы он больше не выглядел как текст чат-бота. Автотайперы делают что-то более хитрое: они постепенно вводят слова в документ в течение нескольких часов, подделывая опечатки, удаления и правки, чтобы готовое эссе выглядело как настоящая сессия письма.

      Оба инструмента созданы, чтобы обойти программное обеспечение, которое используют учителя для выявления ИИ.

      Одни и те же компании продают болезнь и лекарство

      Вот неудобная часть. Некоторые компании, продающие инструменты для обнаружения, также продают инструменты, которые их обходят.

      Grammarly, теперь принадлежащий Superhuman, предлагает учителям проверку «авторства», которая сканирует историю документа на предмет признаков ИИ. То же приложение также может генерировать текст с нуля, «гуманизировать» его и переписывать фразы, которые могут вызвать срабатывание детектора. GPTZero, детектор, родившийся как диссертация Принстона, также может написать полную работу с цитатами за считанные секунды.

      NYT обнаружила, что маркетолог создал фальшивую личность помощника преподавателя в TikTok, чтобы продвигать это среди студентов.

      Дженни Максвелл, руководитель образования в Superhuman, прямо сказала, к чему это приведет. Гонка между обнаружением и уклонением — это, по ее словам, «в конечном итоге тупик». Ее резюме: «Больше кот, больше мышь».

      Детекторы все равно плохо работают

      Она права, потому что коты не очень хороши.

      Исследователи Университета Флориды протестировали пять самых популярных детекторов текста ИИ и обнаружили уровень ложных отрицательных результатов до 99,6 процента, при этом одно изменение в словарном запасе достаточно, чтобы обойти большинство из них, сообщает Digital Trends. Инструменты также выдают ложные положительные результаты, disproportionately отмечая носителей английского языка, не являющихся его родными.

      Таким образом, школы, которые наказывают студентов по словам детектора, стоят на очень тонком льду. Технология, которой они доверяют, по признанию ее создателей, проигрывает.

      От устных экзаменов до отключений интернета

      Столкнувшись с этим, учреждения импровизируют, и ответы варьируются от разумных до крайних. На спокойном конце профессора Гарварда все больше полагаются на устные и письменные экзамены, которые чат-бот не может сдать за вас.

      На другом конце — принуждение.

      Чтобы остановить мошенничество на своем национальном экзамене для поступления в медицинскую школу, Индия приказала заблокировать Telegram на несколько дней, сообщает The Register, после того как тест был аннулирован и перенесен после подозреваемой утечки. Более двух миллионов человек сдают этот экзамен на примерно 100 000 мест.

      Группы по защите цифровых прав назвали отключение непропорциональным, и это часть более широкой схемы правительств, которые жестко борются с неправильным использованием ИИ с помощью очень грубых инструментов.

      Число всегда было проблемой

      Отступив, можно увидеть, что паника по поводу мошенничества выглядит как симптом чего-то более старого. Школа превратила обучение в одно число — оценку — давным-давно.

      Философ С. Тхи Нгуен называет это «захватом ценности»: вы принимаете внешнюю метрику, а затем позволяете ей тихо заменить то, что она должна была измерять. В своей книге «Оценка», которую на этой неделе рецензировала MIT Technology Review, он указывает на GPA как на классический случай. Студенты перестают стремиться к пониманию и начинают стремиться к оценке. Это закон Гудхарта в рюкзаке: когда мера становится целью, она перестает быть хорошей мерой.

      ИИ — это просто самый эффективный оптимизатор, когда-либо изобретенный для этой цели. Если цель эссе — это оценка, а не размышления, то передача размышлений — это рациональный шаг, даже если исследования предупреждают, что такой вид когнитивной разгрузки позволяет настоящим навыкам увядать.

      Газовый педаль, без тормоза

      Люди, создающие эту технологию, тоже испытывают беспокойство.

      Соучредитель Anthropic Джек Кларк сказал BBC, что в индустрии «есть газовый педаль, но нет тормоза», и отметил, что собственная модель Anthropic теперь пишет большую часть своего кода. Его компания призвала к координированному торможению передового ИИ. Максвелл, с другой стороны, утверждает, что удержание ИИ от студентов — это «образовательная халатность», поскольку они будут использовать его на работе независимо от этого.

      Обе вещи могут быть правдой.

      Гонку за обнаружением нельзя выиграть, и обнаружение никогда не было настоящим вопросом. Более сложный вопрос, который школы избегали на протяжении века, — это для чего на самом деле нужна оценка. ИИ не создал эту проблему. Он просто сделал невозможным продолжать игнорировать ее. Пока кто-то не ответит на него, больший кот будет продолжать гоняться за большей мышью, а мышь будет продолжать побеждать.