Исследователи спрятали инъекцию команды внутри PNG, и ИИ попался на это.

      Хакер

      Ассистенты программирования на основе ИИ, такие как Claude, становятся любимыми коллегами каждого разработчика. Они могут проверять код, объяснять запутанные функции и даже писать целые функции с помощью одной команды. Но новые исследования показывают, что это растущее доверие также может стать их самой большой слабостью.

      Команда исследователей в области безопасности (профессор Судipta Чаттопадхай и исследователь Мурали Эдига) продемонстрировала необычную атаку, которая не нацелена непосредственно на модель ИИ. Вместо этого она нацелена на то, на что ИИ не обращает достаточного внимания во время проверки кода. Вместо того чтобы скрывать вредоносные инструкции в строках кода, исследователи спрятали их внутри файла изображения. Поскольку многие инструменты проверки ИИ рассматривают изображения как декоративные элементы, а не как что-то, что стоит проверять, запрос на изменение может выглядеть совершенно безобидным и пройти проверку.

      Самый опасный файл может быть тем, который вы никогда не откроете

      Представьте, что вы получаете документ с логотипом компании в углу. Вы, вероятно, мельком взглянете на него и продолжите. Теперь представьте, что этот логотип тайно содержит инструкции, говорящие вашему ИИ-ассистенту открыть ваш хранилище паролей в следующий раз, когда вы его используете. Это, по сути, идея, лежащая в основе этого доказательства концепции. Трюк не выполняется немедленно после слияния кода. Он ждет, пока разработчик позже попросит ИИ-ассистента выполнить совершенно несвязанную задачу, такую как создание вспомогательной функции или добавление нового модуля. К тому времени ИИ уже усвоил скрытые инструкции и может неосознанно получить доступ к конфиденциальным файлам проекта, прежде чем вставить конфиденциальную информацию в генерируемый им код.

      Что особенно тревожно, так это то, что украденные данные не сбрасываются в исходный код очевидным образом. Вместо этого они маскируются под обычные значения, которые сливаются с легитимным кодом, что делает их гораздо менее вероятными для активации существующих средств безопасности или привлечения внимания разработчика во время быстрой проверки.

      Дело не только в том, какой ИИ вы используете

      Исследователи также обнаружили, что результат не зависел от того, какая большая языковая модель использовалась. Во многих случаях одна и та же модель ИИ вела себя очень по-разному в зависимости от того, какой ассистент программирования ее окружал. Некоторые инструменты слепо следовали скрытым инструкциям, в то время как другие распознавали что-то подозрительное и отказывались продолжать. Это важное различие, потому что оно предполагает, что проблема не ограничивается конкретным чат-ботом. Реальная проблема заключается в том, как платформы программирования на основе ИИ решают, какой информации доверять и к каким файлам проекта им разрешено получать доступ.

      Хорошая новость заключается в том, что исследователи не считают эту проблему невозможной для решения. Они утверждают, что инструменты проверки ИИ должны стать «мультимодальными» в самом истинном смысле — рассматривая изображения, документацию, конфигурационные файлы и другие не кодовые активы с тем же уровнем тщательности, что и исходный код. Если ИИ может читать изображение, он также должен понимать, что изображение может пытаться манипулировать им. Для разработчиков это еще одно напоминание о том, что инструменты программирования на основе ИИ все еще нуждаются в надзоре. Они могут значительно ускорить разработку программного обеспечения, но также открывают совершенно новые поверхности атак, которые ранее не существовали. Следующий риск безопасности может быть скрыт не в тысячах строк кода — он может находиться внутри изображения, которое никто не считал стоящим открытия.

      Шимул является автором Digital Trends, имея более пяти лет опыта в области технологий.

      ИИ уже попал в неправильные руки, и они используют его для создания бомб

      Искусственный интеллект быстро стал основным инструментом для всего, от написания электронных писем и подведения итогов встреч до помощи студентам в учебе или разработчикам в отладке кода. Но та же технология, которая экономит время людям, также может быть использована неправильно, и новый отчет предполагает, что террористические организации находят способы сделать именно это. Согласно исследовательской работе, опубликованной в The New York Times перед ее публикацией, исследователи нашли доказательства того, что члены «Боко Харам» использовали популярные ИИ-чат-боты для поддержки как повседневной деятельности, так и боевых задач. Интервью с 27 бывшими членами, проведенные в Нигерии за последние два года, предполагают, что такие инструменты, как ChatGPT, Gemini, Claude, Grok, Meta AI и DeepSeek использовались для сбора технической информации, устранения неполадок в оружии и даже помощи в планировании атак.

      Читать далее

      Claude Code теперь может просматривать веб без открытия Chrome

      Десктопное приложение теперь включает встроенный браузер, который может читать веб-сайты, нажимать на ссылки и взаимодействовать с веб-приложениями. Разработчики тратят удивительное количество времени на переключение между своим редактором кода, вкладками браузера, документацией API, проблемами на GitHub и файлами дизайна. Anthropic считает, что Claude Code должен просто делать все это, не заставляя пользователей постоянно переключаться между окнами. Компания анонсировала новый встроенный браузер для Claude Code на десктопе, позволяя его ИИ-ассистенту открывать веб-сайты, читать документацию, проверять дизайны и взаимодействовать с веб-страницами прямо из приложения.

      Браузер, встроенный в Claude Code

      Читать далее

      Apple подает в суд на OpenAI за кражу коммерческих тайн в громком иске

      Иск утверждает, что OpenAI вербовала сотрудников Apple и получала конфиденциальную информацию о неанонсированных продуктах. На протяжении последних двух лет Apple и OpenAI представлялись как близкие партнеры в области ИИ. ChatGPT поддерживает ключевые функции Apple Intelligence, Siri может передавать сложные запросы OpenAI, и вместе две компании помогли внедрить генеративный ИИ на миллионы устройств Apple. Теперь это партнерство приняло драматический поворот. В чем Apple обвиняет OpenAI?

      Читать далее