Никогда не обучающиеся: исследования показывают, что младшие специалисты, использующие ИИ, никогда не учатся отлаживать код.

      Исследования, опубликованные в этом году, дали название тому, что работодатели уже некоторое время обсуждают. Дескиллинг — это то, что происходит, когда эксперт перестает практиковаться и становится хуже. Невозможность навыка — это то, что происходит, когда новичок никогда не становится хорошим с самого начала, и это более неудобная проблема, потому что люди, которых это затрагивает, — это те, кого компании уже нанимают меньше.

      Самые убедительные доказательства поступают из рандомизированного контролируемого испытания, проведенного исследователями Anthropic Джуди Ханвэн Шен и Алексом Тамкиным, опубликованного в январе.

      Они набрали 52 в основном младших программиста, дали половине из них AI-ассистента, попросили всех их изучить Trio, библиотеку Python, которую никто из них не знал, а затем проверили всех на концепциях, которые они использовали за несколько минут до этого.

      Группа с AI в среднем набрала 50%. Группа, кодировавшая вручную, в среднем набрала 67%. Anthropic описывает разрыв как эквивалент почти двух буквенных оценок, и он был статистически значимым, с p-значением 0.01.

      💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного AI-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас!Преимущество в скорости, которое является основной причиной, по которой кто-либо обращается к ассистенту, на самом деле не проявилось. Группа с AI закончила примерно на две минуты быстрее, разница, которая не достигла значимости, отчасти потому, что несколько участников потратили до 11 минут на составление запросов, примерно треть своего отведенного времени.

      Они узнали меньше, не закончили быстрее и показали худшие результаты в том, что имеет наибольшее значение, когда машина ошибается. Это отладка, где разрыв между группами был наибольшим. Контрольная группа, лишенная ассистента, столкнулась с ошибками и должна была их исправлять, что является справедливым описанием того, как учится отладка. Группа с AI не столкнулась с ошибками.

      Медицина пришла к той же проблеме с другой стороны. В статье Nature Medicine Perspective, опубликованной в мае, под руководством Медицинской школы Дюк-НУС с соавторами из Гарварда, UCL и Кингс-колледжа Лондона, было введено понятие для стажеров, которые полагаются на AI в течение своих формирующих клинических лет и никогда не развивают рассуждения, необходимые для безопасной, независимой практики.

      Это добавляет третью категорию, на которую обращается еще меньше внимания: неправильное обучение, стажер, который принимает ошибку AI некритично и записывает ее как факт.

      Эти авторы осторожны так, как освещение их работы не всегда было. Прямые доказательства из медицинского обучения, пишут они, отсутствуют. Аргумент основывается на теории обучения и на ранних сигналах из неклинических условий, то есть из исследований, подобных исследованию Anthropic.

      Их предписание — это трехфазная структура: развивать компетенции без AI, затем учить людей калибровать свой скептицизм, затем вводить инструменты под наблюдением.

      Как используется инструмент, имеет большее значение, чем то, используется ли он вообще. В испытании Anthropic высокие баллы получали те, кто задавал концептуальные вопросы или запрашивал объяснения наряду с кодом. Низкие баллы делегировали целиком или полагались на ассистента, чтобы отладить за них.

      Работодатели уже учитывают это в своих расчетах. Gartner предсказывает, что атрофия критического мышления заставит половину глобальных организаций требовать «без AI» оценки навыков до 2026 года, что является вежливым способом сказать, что менеджеры по найму больше не доверяют портфолио.

      Тем временем Ford снова нанимает инженеров, чтобы исправить то, что его AI-системы сделали неправильно, что является дорогим демонстрацией того, что происходит, когда люди, которые могли бы поймать ошибку, больше не находятся в штате.

      Испытание имеет реальные ограничения, и его авторы это признают. Выборка была небольшой, тест измерял понимание сразу, а не через несколько месяцев, и использовался вспомогательный ассистент, а не агентный кодер. Исследователи ожидают, что влияние этих факторов будет более выраженным, а не менее.

      Стоит заметить, кто его проводил. Anthropic продает ассистента, и он опубликовал статью, утверждающую, что неосторожное использование ассистента делает вас хуже в вашей работе. Это либо необычная откровенность, либо начало предложения о режимах обучения, и оба прочтения могут быть верными.

      Что исследование не говорит, так это то, что младшие специалисты должны кодировать вручную. Что оно говорит, так это то, что сокращение и навык — это не одна и та же дорога, и что индустрия потратила два года, предполагая, что это так.