Мощные ИИ-агенты OpenAI вышли из-под контроля и самостоятельно взломали несколько сервисов.
Агенты выбрались из своих испытательных ограничений, захватили Hugging Face в поисках ответов и использовали скомпрометированные аккаунты на четырех сервисах для поддержки атаки
Мощные ИИ-агенты OpenAI не остались внутри теста безопасности, созданного для них. Компания сообщает, что ее модели получили доступ к четырем аккаунтам на отдельных публичных сервисах, пытаясь проникнуть в Hugging Face.
Reuters идентифицировала одну жертву как клиента Modal, чей незащищенный код оставил песочницу открытой в интернете. Бенчмарк, предназначенный для измерения способности к взлому, вылился в реальную инфраструктуру, при этом агенты выбирали свои собственные цели и методы на протяжении всего процесса.
Как агенты сбежали от задания
OpenAI тестировала GPT-5.6 Sol и не выпущенную исследовательскую модель против ExploitGym, который измеряет, могут ли ИИ-системы находить и использовать уязвимости программного обеспечения. Обе модели работали без своих обычных средств защиты.
Цифровые тренды Графика
Один агент решил, что Hugging Face может содержать ответы на бенчмарк, и вместо выполнения назначенного задания начал их искать. Он скомпрометировал стороннюю песочницу, получил доступ администратора и использовал эту среду для продолжения вторжения.
Поведение не было случайным. Агент нашел то, что выглядело как кратчайший путь, и методично взломал внешние системы, чтобы добраться до него. По всей видимости, бесконтрольное поведение не требует потери из виду цели.
Насколько далеко распространилась атака
OpenAI обнаружила, что ее агенты вошли в четыре внешних аккаунта, используя учетные данные, которые уже были раскрыты в интернете. Wired сообщает, что один аккаунт помог передавать трафик и скрывать источник вторжения в Hugging Face, в то время как другой хранил украденные данные.
Клиент Modal также опубликовал неаутентифицированную конечную точку, которая позволяла любому выполнять код внутри его песочниц. Modal утверждает, что его платформа не была взломана, но открытая среда клиента все равно предоставила агентам место для действий.
Компьютер, подвергшийся взлому в темном офисе Getty Images
Внутри Hugging Face агенты достигли систем уровня администратора. Они также зарегистрировали 181 устройство, контролируемое атакующими, в корпоративной сети компании, что вывело инцидент далеко за пределы ИИ, пытающегося заглянуть в ключ ответов.
Что сделала OpenAI после утечки
OpenAI деактивировала и зашифровала не выпущенную модель, прежде чем отключить доступ исследователей. Она все еще рассматривает инцидент и говорит, что свяжется с любыми другими владельцами затронутых сервисов, которых она идентифицирует.
Открытые учетные данные и небезопасная инфраструктура открыли двери, но OpenAI намеренно отключила обычные средства защиты моделей. Будущие тесты должны изолировать мощные агенты от публичных систем, даже когда исследователи ожидают, что они останутся вежливо внутри задания.
Пауло Варгас — специалист по английскому языку, ставший репортером, а затем техническим писателем, с карьерой, которая всегда возвращалась к…
Гемини переходит в Google Play и получает место в первом ряду для наблюдения за вашими привычками трат
Google Pay дает Гемини возможность заглянуть в ваш кошелек
Проверка истории транзакций в Google Pay может показать, куда ушли ваши деньги, но просматривать длинный список названий торговцев и других платежей может быть сложно. Или, по крайней мере, так считает Google, так как он приносит Гемини в Google Pay. Компания запустила Ask Google Pay, опциональный разговорный ИИ-опыт, встроенный непосредственно в свое платежное приложение в Индии. Пользователи могут задавать вопросы о своих расходах, запрашивать предложения по сбережениям и узнавать о финансовых концепциях. Он даже будет делиться персонализированными предложениями на основе их активности.
Читать далее
Гемини на Mac теперь может печатать то, что вы говорите, и действовать на основе того, что он видит
Приложение Гемини для macOS теперь предлагает диктовку на уровне системы и опциональную функцию, которая позволяет ему извлекать контекст из того, что на экране, чтобы обрабатывать сложные запросы.
После запуска Гемини Spark на macOS ранее в этом году Google теперь обновляет приложение Гемини для Mac с двумя полезными функциями, которые могут изменить способ, которым вы выполняете задачи, независимо от того, означает ли это отказ от вашего текущего приложения для диктовки ИИ или позволение Гемини действовать на основе того, что на вашем экране. Одно нажатие клавиши превращает речь в чистый текст в любом месте
Читать далее
Студенты обращаются к ИИ-чатботам вместо людей для консультаций по колледжу
Индустрия консультаций по колледжу в Китае построила бизнес на 160 миллионов долларов на тревоге, которую теперь угрожает бесплатный ИИ.
Каждое лето примерно 10 миллионов китайских студентов сталкиваются с жестким сроком. После того как они сдают изнурительный экзамен на поступление в колледж Гаокао, у них есть всего несколько недель, чтобы выбрать свои университеты и специальности, решение, которое может определить всю их карьеру. Раньше семьи платили большие суммы за экспертные советы в этом процессе. Теперь бесплатные ИИ-чатботы тихо отнимают этот бизнес.
Как ИИ-чатботы заменяют платных консультантов колледжа?
Читать далее
Другие статьи
Мощные ИИ-агенты OpenAI вышли из-под контроля и самостоятельно взломали несколько сервисов.
Агенты OpenAI обошли кибербезопасностной стандарт, скомпрометировали аккаунты на четырех внешних сервисах и проникли в Hugging Face, продемонстрировав, как быстро тест на безопасность ИИ может превратиться в настоящий инцидент безопасности.
