Исследования показывают, что образовательные учреждения не должны слишком полагаться на детекторы текста на основе ИИ.
Исследование UF показывает, что эти инструменты настолько ненадежны, что всю доказательную базу для утверждений о создании академических текстов с помощью ИИ, возможно, придется пересмотреть с нуля.
Matheus Bertelli / Pexels
Вот неприятная мысль для каждого учебного заведения, которое в настоящее время использует детекторы ИИ для контроля за работами студентов и исследователей: эти инструменты не работают так надежно, как предполагают учреждения.
Доклад, представленный на симпозиуме IEEE 2026 по безопасности и конфиденциальности на этой неделе исследователями Университета Флориды, заключает, что коммерчески доступные детекторы текста, созданного ИИ, «плохо подходят для использования в академических или высокострессовых контекстах».
Это вежливый способ сказать, что университеты принимают решения, меняющие карьеру, основываясь на результатах инструментов, которые по сути ненадежны.
Google
Что на самом деле обнаружило исследование?
Патрик Трейнор, доктор философии, профессор и временный заведующий кафедрой компьютерных и информационных наук и инженерии UF, возглавил команду, которая протестировала пять самых популярных коммерчески доступных детекторов текста ИИ.
Используя примерно 6000 научных работ, представленных на конференциях по безопасности до появления ChatGPT, они заставили LLM создать клоны этих же работ, а затем пропустили оба набора через детекторы ИИ.
Результаты показали уровень ложных срабатываний от 0,05% до 68,6%, и, что еще более удивительно, уровень ложных отрицаний от 0,3% до 99,6%. Эта верхняя цифра близка к 100%, что означает, что детектор с наихудшими показателями пропустил практически весь текст, созданный ИИ.
Хотя два из пяти детекторов изначально показали хорошие результаты, они стали в значительной степени бесполезными после того, как исследователи попросили LLM переписать свои выводы, используя более сложный словарный запас (в статье это называется атакой на лексическую сложность).
Claude
Почему это важно за пределами академической честности?
Трейнор выразил это прямо: «Мы действительно не можем использовать их для принятия этих решений. Здесь под угрозой карьеры людей». Обвинение в создании текста ИИ в подаче может навсегда повредить репутации исследователя, но мы не можем слепо доверять инструментам, выдвигающим такие обвинения.
Аргумент заключается в том, что доказательства о широком использовании ИИ в академическом письме сами по себе ненадежны. «Сколько бы исследований мы ни видели, утверждающих, что определенный процент академической работы создан ИИ, у нас на самом деле нет инструментов для измерения этого», - добавил Трейнор.
Его исследование не только критикует инструменты; оно выявляет системный провал должной осмотрительности со стороны каждого учреждения, которое приняло эти инструменты, не требуя доказательств их точности.
На протяжении более пяти лет Шикхар последовательно упрощал события в области потребительских технологий и представлял их…
Чип AMD Ryzen AI Max 400 предлагает 192 ГБ памяти, но получить его в свои руки - это другая история
Самый плотный по памяти чип x86 от AMD когда-либо появляется в худший возможный момент для поставок DRAM.
AMD объявила о серии Ryzen AI Max 400, и заглавное число действительно потрясающее: 192 ГБ унифицированной памяти в чипе, достаточно маленьком, чтобы поместиться внутри мини-ПК.
С последнего поколения чипа не изменилось много, но даже так, если вы хотите запускать большие модели ИИ локально, AI Max 400 определенно стоит проверить.
Читать далее
Тысячи компьютеров с Windows заменяются в школах на MacBook Neo и iPad
Общественные школы Канзас-Сити стандартизируют оборудование Apple, при этом ноутбуки MacBook Neo и iPad должны заменить смешанный парк ПК с Windows и Chromebook.
Борьба за ноутбуки в классе только что прошла реальное испытание. Общественные школы Канзас-Сити уже купили более 4500 единиц MacBook Neo для студентов 8 класса и старше, вводя новый недорогой Mac от Apple в школы в масштабах, которые выходят за рамки пилотной программы.
Округ планирует со временем списать более 30 000 существующих устройств. Это дает Apple заметную победу в образовательном секторе, поскольку более дешевые ноутбуки для классов становятся более конкурентоспособными, и это дает командам ИТ-школ еще одну причину пересмотреть старое разделение между Windows, Chromebook и Mac.
Читать далее
Обновление Vivaldi 8.0 делает возвращение к Chrome сложнее, чем когда-либо
Ваш браузер Vivaldi только что получил совершенно новый вид, и вам это понравится.
Если бы не моя любовь к Arc Browser, который, к сожалению, стал заброшенным программным обеспечением, я бы использовал Vivaldi. Ни один другой браузер даже близко не подходит к уровню настройки и функциональности, которые он предлагает. И с последним обновлением версии 8.0 Vivaldi делает еще более убедительный аргумент в пользу отказа от других браузеров в его пользу.
Мне нравится, что в то время как такие браузеры, как Google Chrome и Microsoft Edge, были заняты тем, что запихивали ИИ в каждый уголок, Vivaldi тихо предоставляет функции, которые действительно нужны пользователям.
Читать далее
Другие статьи
Исследования показывают, что образовательные учреждения не должны слишком полагаться на детекторы текста на основе ИИ.
Исследователи UF протестировали пять самых популярных детекторов текста на основе ИИ и обнаружили, что уровень ложных отрицаний достигает 99,6%. Одно изменение в словарном запасе полностью обошло большинство из них.
