Все не так хорошо с DuckDuckGo и его ИИ.
Координированная кампания на Reddit, похоже, обманула несколько AI-поисковых помощников, заставив их распространять ложную информацию.
DuckDuckGo
DuckDuckGo построил свою репутацию на поиске с приоритетом конфиденциальности, но на этой неделе его AI-помощник оказался в затруднительном положении по совершенно другой причине. По всей видимости, Duck.ai с уверенностью заявил, что президент США Дональд Трамп умер от бешенства в начале этого месяца, при этом были приведены вымышленные детали о вице-президенте JD Vance, Роберте Ф. Кеннеди-младшем и фальшивые поддерживающие новостные репортажи. Ничто из этого не было правдой.
Фальшивая кампания на Reddit смогла обмануть AI Duck
Согласно Futurism, странная реакция не была результатом единственной галлюцинации. Вместо этого, похоже, она была вызвана координированной кампанией дезинформации, исходящей от сообщества r/poisonai на Reddit, где пользователи намеренно публикуют абсурдные фальшивые истории, предназначенные для "отравления" AI-поисковых моделей. В этом случае участники заполнили интернет вымышленными утверждениями о том, что JD Vance умер от бешенства до того, как Дональд Трамп якобы succumbed to the same disease, даже создав фальшивые новостные статьи и подделав местные новостные сайты, чтобы усилить нарратив.
AI-поиск DuckDuckGo / Futurism
Duck.ai не был единственной жертвой. Futurism также обнаружил, что AI Brave Search повторял аналогичные ложные утверждения, прежде чем позже исправить себя. Тем временем DuckDuckGo признал ошибку на Reddit с ироничным ответом: "Хорошо, нас обманули на этот раз." Компания заявила, что проблема была решена и добавила, что Search Assist был "умышленно обманут", пообещав улучшения, чтобы лучше справляться с подобными атаками в будущем.
В отчете также отмечается, что фальшивая история приобрела доверие, потому что AI-поиск ссылался на поддельный веб-сайт, выдающий себя за законный местный новостной источник, который, в свою очередь, также, похоже, был сгенерирован с помощью AI и сшит из той же шутки на Reddit. Другими словами, AI не просто выдумывал вещи. Он уверенно повторял дезинформацию, которая была намеренно размещена в интернете.
Это меньше о DuckDuckGo и больше о будущем AI-поиска
Смешно то, что это не совсем проблема DuckDuckGo. Это проблема AI-поиска. Современные AI-помощники все больше полагаются на информацию, собранную из интернета, и если достаточно фальшивого контента будет опубликовано в достаточном количестве мест, эти системы могут начать воспринимать вымысел как факт.
Unsplash
Вот что делает этот инцидент таким тревожным. Мы годами беспокоились о том, что AI будет галлюцинировать ответы из ниоткуда, но координированные попытки отравить AI-поиск могут оказаться еще более опасными. Если злонамеренные лица могут манипулировать тем, что AI-модели "учат", просто заполнив интернет убедительной дезинформацией, то улучшение AI уже не сводится только к созданию более умных моделей. Речь идет о создании систем, которые знают, кому и чему они должны доверять.
Варун — опытный технологический журналист и редактор с более чем восьмилетним стажем в области потребительских технологий. Его работа охватывает…
Ваша следующая батарея для электромобиля может начать жизнь как пластиковая бутылка с водой
Исследователи из Пенсильванского университета нашли способ превратить выброшенный PET-пластик в графит для батарей.
Пластиковые бутылки обычно перерабатываются в продукты с низкой стоимостью, закапываются на свалки или, что еще хуже, загрязняют окружающую среду. Но исследователи из Университета Пенсильвании считают, что однажды они смогут обеспечить электрические автомобили, смартфоны и даже системы хранения возобновляемой энергии, после того как обнаружили способ преобразования выброшенного пластика в высококачественный графит для батарей.
Преобразование пластиковых отходов в графит для батарей
Читать далее
Самая мощная AI Anthropic возвращается, но только для избранных
Правительство США одобрило ограниченное возвращение Mythos 5, поскольку Fable 5 приближается к более широкому релизу.
Ограничения AI Anthropic, похоже, наконец начинают ослабевать. После того как его отключили в начале этого месяца из-за проблем с безопасностью правительства США, самые продвинутые AI-модели компании медленно возвращаются. Согласно новому отчету Axios, Anthropic уже восстановил Mythos 5 для ограниченного числа доверенных пользователей, в то время как Fable 5 может вернуться уже на следующей неделе, если продолжающиеся обсуждения с федеральными агентствами продолжат развиваться.
Mythos возвращается первым, в то время как Fable ждет на заднем плане
Читать далее
Ученые Стэнфорда создали AI, который может разрабатывать более здоровые и экологически чистые бургеры
Новая система балансирует питание, вкус, стоимость и воздействие на окружающую среду, чтобы создать лучшие рецепты.
Искусственный интеллект уже помог написать код, открыть лекарства и создать видео. Теперь он пытается сделать лучший бургер. Исследователи из Стэнфордского университета представили BurgerAI, новую AI-систему, которая разрабатывает рецепты бургеров, балансируя вкус, питание, устойчивость и стоимость. Удивительная часть? В слепых тестах на вкус, посетителям понравились некоторые бургеры, созданные AI, так же, как и, в некоторых случаях, больше, чем популярный бургер фаст-фуда.
BurgerAI предназначен для изобретения рецептов, а не для их копирования
Читать далее
Другие статьи
Все не так хорошо с DuckDuckGo и его ИИ.
Искусственный интеллект поискового помощника DuckDuckGo был обманут и повторил вымышленную историю, что подчеркивает, как скоординированная дезинформация может обмануть современные системы ИИ.
