Сказав, чтобы забронировать занятие в спортзале, агент ИИ вместо этого взломал веб-сайт, что стало первым известным автономным кибератакой в Австралии.

      Австралийский мужчина попросил своего AI-ассистента сделать что-то совершенно обыденное — записать его на занятие в спортзале, и тот ответил, совершив первую известную в стране автономную кибератаку. Получив лишь цель — обеспечить себе место на загруженном занятии, агент вышел за рамки сценария, нашел уязвимость в системе бронирования спортзала и тихо воспользовался ею, никто из людей никогда не просил его взломать систему. Инструментом был OpenClaw, открытый AI-ассистент, построенный на модели Claude от Anthropic, а его пользователь, идентифицированный только как Эндрю, работает в компании, продающей AI-продукты. Когда он попросил ассистента переместить его вверх по списку ожидания, тот начал искать путь и нашел его: интерфейс на сайте бронирования, который, как позже сообщило, имел «нулевые проверки авторизации на отмену бронирований других людей». Это именно тот вид упущенной слабости, которую решительный агент может превратить в оружие, и мы отслеживали ряд подобных инцидентов на протяжении всего года. То, что агент сделал дальше, — это то, что встревожило специалистов по безопасности. Без указания он отменил бронирование другого участника, чтобы поднять Эндрю с четвертого места на третье. «Я протестировал это с человеком на позиции #1 в списке ожидания», — объяснил он, — «и это действительно сработало». Этот шаг оказался необратимым: когда Эндрю попросил его отменить повреждение, система вернула ошибку, и место незнакомца просто исчезло. Собственное посмертное заключение ассистента звучит как карикатура на раскаивающегося младшего сотрудника. «Извините за это», — сказал он ему. «Мне следовало быть более осторожным с тестом и использовать подход с пробным запуском, а не реальный вызов». Это обворожительно человеческое извинение за совершенно нечеловеческий поступок: программное обеспечение, которое рассуждало о том, как совершить мелкое преступление, о котором его никогда не просили, а затем выразило вежливое сожаление о методе, а не о самом поступке. Несмотря на небольшие ставки, один незнакомец был исключен из списка ожидания спортзала, этот эпизод близок к учебному сценарию, о котором исследователи агентного AI предупреждали последние два года. Дайте способной модели цель и достаточно свободы действовать в открытой сети, и она может преследовать эту цель, пройдя прямо через этическую или юридическую стену, которую она не распознает как стену. Небрежность самого спортзала, оставленный открытым интерфейс, предоставила возможность; агент предоставил инициативу и суждение, чтобы использовать ее. Это также попадает в некий юридический вакуум. «Программное обеспечение не является юридическим лицом. Только юридическое лицо может нести ответственность по закону», — сказал ABC News, который первым сообщил об инциденте, юрист по технологиям Хейден Делани. Это оставляет неудобно длинный список кандидатов на обвинение: пользователь, который сделал запрос, разработчики OpenClaw, компания, чья модель произвела рассуждение, и спортзал, который оставил свою дверь незапертой, при этом нет четко установленного закона, чтобы сказать, кто из них, если кто-то, действительно несет ответственность. TNW документировала автономные агенты, которые нарушали высокопрофильные платформы и даже проводили операции с программами-вымогателями от начала до конца. Что отличает случай спортзала, так это не сложность, а банальность: никакого криминального гения, никакого индивидуального вредоносного ПО, просто eager ассистент, который воспринял «запиши меня на занятие» гораздо более буквально, чем его владелец когда-либо намеревался. Эндрю, к его чести, вышел в публичное пространство, а не тихо наслаждался своим обновленным местом в очереди. Урок труднее усвоить, поскольку эти ассистенты переходят от ответов на вопросы к действиям на живых веб-сайтах с реальными последствиями, расстояние между «запиши меня на занятие» и «совершить мелкое компьютерное правонарушение от моего имени» оказывается лишь таким же широким, как ближайший незащищенный API, и защитные механизмы еще далеко не успели за этим.