Эксперты обнаружили, что легко заставить ИИ-чат-ботов выдавать рецепты биологического оружия.
Ограничения биологического оружия ИИ легче обойти, чем вы надеялись
Компании ИИ потратили годы на создание мер безопасности, предназначенных для того, чтобы их чат-боты не помогали кому-либо создавать биологическое оружие. Сами модели становятся настолько способными, что удержание этих знаний за пределами барьеров становится серьезной проблемой.
Исследователи Cisco обнаружили, что они могут обойти меры безопасности на основных чат-ботах, включая ChatGPT от OpenAI, Claude от Anthropic и Gemini от Google, всего за пять поворотных разговоров, согласно расследованию Wall Street Journal. Исследователи смогли получить потенциально опасные ответы, постепенно направляя разговоры вокруг ограничений моделей. Эми Чанг, глава исследований угроз ИИ и безопасности Cisco, сообщила журналу, что ни одна модель не может быть полностью защищена от достаточно настойчивого пользователя.
Проблема также выходит за рамки исследователей безопасности, которые намеренно испытывают эти системы. Журнал сообщает, что сотни пользователей начали задавать ChatGPT вопросы о ядах и биологическом оружии после того, как OpenAI обновила возможности модели прошлым летом. Эксперты в области биологии и терроризма, которые позже изучили некоторые разговоры, предположительно, оценили часть информации как опасно точную. В ответ на это OpenAI запретила аккаунты, участвовавшие в таких обменах.
ВМС США
ИИ становится намного лучше в биологии
OpenAI уже предвидела, куда это ведет. К 2024 году внутренние тесты, как сообщается, показали, что продолжительные вопросы могут убедить ChatGPT предоставить все более опасные биологические рекомендации. Сотрудники предсказали в следующем году, что его возможности могут достичь такой точки, когда кто-то с относительно ограниченной подготовкой в биологии сможет получить значимую помощь.
Когда появился GPT-5, OpenAI рассматривала модель как обладающую высокой способностью в области биологии и химии в рамках своей структуры готовности и внедрила дополнительные меры безопасности. Компания заявила при запуске, что у нее нет окончательных доказательств того, что GPT-5 может позволить новичку причинить серьезный биологический вред. Ее последняя семья GPT-5.6 имеет тот же высокий статус для биологического и химического риска.
ВМС США
Блокировка всего создает другую проблему
У компаний ИИ также есть сложный баланс. Те же биологические знания, которые создают риск вооружения, могут быть невероятно ценными для исследователей, разрабатывающих лекарства, вакцины и методы лечения. Журнал сообщает, что руководители OpenAI неохотно заставляют модели отказываться от большого количества вопросов по биологии, потому что работники общественного здравоохранения и исследователи в области открытия лекарств полагаются на них.
Anthropic столкнулась с противоположной проблемой, когда ограничения Claude, как сообщается, мешали исследователям CDC, пытающимся работать с информацией о патогене во время вспышки хантавируса. OpenAI теперь использует обучение на уровне модели, принудительное соблюдение правил и дополнительные проверки безопасности для чувствительных биологических запросов. Беспокойство, поднятое тестированием Cisco, заключается в том, что настойчивые пользователи могут продолжать искать трещины. Поскольку ИИ становится значительно лучше в биологии, эти трещины несут гораздо более высокие ставки.
Викхьят Вивек — технический журналист и рецензент с семилетним опытом освещения потребительского оборудования, с акцентом на…
Это компактные принтеры, которые я действительно рекомендую для возвращения в школу
От бумажной работы в общежитии до мгновенных отпечатков селфи, есть компактный принтер для каждой нужды. Все цифровое, пока не появится тот профессор, который все еще хочет напечатанное эссе, или договор, который нужно подписать чернилами, или фотография, которую вы хотите прикрепить к стене вашей комнаты в общежитии. Обычно это именно тот момент, когда вы вспоминаете, что больше не владеете принтером, а ближайший — это библиотечная машина с очередью за дверью. Я рассмотрел четыре компактных принтера, которые решают эту проблему, не занимая ваше рабочее место и не разоряя бюджет. Два предназначены для документов, один — это полноценный многофункциональный принтер для настоящей работы в домашнем офисе, а один не имеет ничего общего с домашними заданиями и все связано с тем, чтобы превратить вашу фотопленку в нечто, что можно держать в руках.
Читать далее
Шоппинг к возвращению в школу? Это светильники для веб-камер, которые я действительно включил бы перед звонком в Zoom
От бюджетного клип-света до полноценной настольной установки, здесь есть светильник для веб-камеры на любой бюджет. Между онлайн-занятиями, групповыми проектами и случайными собеседованиями по Zoom ваша веб-камера будет выполнять гораздо больше работы в школе, чем когда-либо дома. Проблема в том, что большинство камер ноутбуков плохо работают при низком освещении, а одна потолочная лампа или окно за вами превращают каждый звонок в игру "подождите, вы меня нормально видите?" Хороший свет для веб-камеры решает эту проблему быстрее, чем перемещение всего вашего стола. Я выбрал пять, начиная с самого доступного и заканчивая тем, который действительно избыточен для звонка в Zoom, но все же стоит знать.
Читать далее
Google Chrome вскоре может позволить вам переводить страницы прямо в режиме чтения
Тем не менее, не все это еще видят, даже на Canary. Режим чтения Chrome только что получил новую кнопку, спрятанную в меню настроек. Google тихо тестирует опцию перевода для этой функции на Chrome Canary, экспериментальном тестовом канале браузера, где новые идеи появляются задолго до того, как они будут готовы к повседневному использованию. Что на самом деле делает эта новая кнопка перевода?
Читать далее
Другие статьи
Эксперты обнаружили, что легко заставить ИИ-чат-ботов выдавать рецепты биологического оружия.
Исследователи обнаружили, что постоянные разговоры могут вывести основные AI-чатботы за пределы их биологических барьеров безопасности, поскольку все более мощные модели приобретают знания, которые беспокоят экспертов по биобезопасности.
