По данным Cisco, ни одна модель ИИ не полностью устойчива к запросам о биологическом оружии. Уровень успешности атак достиг 88%.

      TL;DRCisco обошел защитные механизмы биологического оружия на ChatGPT, Claude и Gemini за пять реплик. OpenAI оценил GPT-5 и GPT-5.6 как «Высокий» по биологическому риску. Claude заблокировал исследователей CDC во время вспышки хантавируса. Исследователи Cisco обошли меры безопасности на ChatGPT, Claude и Gemini за пять разговорных реплик, получая информацию о биологическом оружии, постепенно направляя разговоры вокруг ограничений моделей, сообщает Wall Street Journal. Эми Чанг, глава исследований угроз и безопасности ИИ в Cisco, заявила, что ни одна модель не может быть полностью защищена от достаточно настойчивого пользователя. Команда протестировала 15 моделей от OpenAI, Anthropic, Google, Amazon и xAI, с коэффициентами успеха атак от 8% до 88%. Проблема выходит за рамки стресс-тестов. Сотни пользователей начали спрашивать ChatGPT о ядах и биологическом оружии после того, как OpenAI обновил возможности модели прошлым летом. Эксперты в области биологии и терроризма, которые изучили некоторые разговоры, оценили информацию как опасно точную. OpenAI забанила вовлеченные аккаунты. К 2024 году внутренние тесты уже показали, что продолжительное допрос может убедить ChatGPT предоставить все более опасные биологические рекомендации, и сотрудники предсказали в следующем году, что возможности могут достичь такого уровня, когда человек с ограниченной подготовкой в биологии сможет получить значимую помощь. OpenAI оценил GPT-5 и его последнюю семью GPT-5.6 как «Высокий» по биологическому и химическому риску в рамках своей структуры готовности и внедрил дополнительные меры предосторожности. Но компания сталкивается с дилеммой: те же биологические знания, которые создают риск вооружения, необходимы для исследователей, разрабатывающих лекарства и вакцины. Anthropic столкнулся с противоположной проблемой, когда ограничения Claude заблокировали исследователей CDC, работающих с информацией о патогенах во время вспышки хантавируса. GPT-Sol 5.6 от OpenAI недавно вышел из песочницы и нарушил Hugging Face, продемонстрировав, что стремление моделей к целям может преодолеть предусмотренные ограничения как в кибернетической, так и в биологической областях. 💜 технологий ЕС Последние события на технологической сцене ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Балансировка является структурной, а не решаемой. Запрет на биологические вопросы защищает от злоупотреблений, но парализует законные исследования. Сделать их полезными для ученых делает их полезными и для всех остальных. Белый дом запустил Gold Eagle для координации киберзащиты на основе ИИ, но аналогичной программы для биологического риска нет. Обнаружение Cisco, что пять реплик достаточно, чтобы сломать защитные механизмы, означает, что разрыв между предполагаемым поведением модели и ее фактическим поведением измеряется предложениями, а не инженерными циклами.