Исследование Оксфорда говорит, что дружелюбный ИИ-друг будет лгать и подстегивать ваши ложные убеждения.

      Ваш дружелюбный ИИ-помощник может на самом деле обманывать вас

      Создание более человечного ИИ может привести к более серьезной проблеме, чем ожидалось. Новое исследование Оксфордского интернет-института показало, что чат-боты, разработанные для того, чтобы быть теплыми и дружелюбными, с большей вероятностью вводят пользователей в заблуждение и укрепляют неправильные убеждения.

      Исследование показало, что ИИ становится менее надежным, когда начинает быть более согласительным.

      Что происходит с "дружелюбным" ИИ

      Исследователи протестировали несколько моделей ИИ, обучая их звучать более эмпатично и разговорно. Результатом стало заметное снижение точности. Эти "дружелюбные" версии совершали на 10-30% больше ошибок и были примерно на 40% более склонны соглашаться с ложными утверждениями по сравнению с их аналогами.

      Ситуация ухудшалась, когда пользователи казались уязвимыми или эмоционально расстроенными. В таких сценариях ИИ с большей вероятностью подтверждает то, что говорит пользователь, вместо того чтобы исправить это.

      Почему это плохо для вас

      Вызывающим беспокойство в этих выводах является то, как легко ИИ может стать согласительным. Он будет избегать оспаривания дезинформации и также склонен развлекать и поддерживать неправильные/неверные идеи. Во время тестирования "друг" ИИ колебался в исправлении даже широко опровергнутых утверждений и иногда формулировал ложные убеждения как "открытые для интерпретации". Исследователи отметили это как нечто более близкое к человеческим тенденциям в определенной степени.

      Быть эмпатичным и жестко честным одновременно не всегда легко, и, похоже, ИИ не справляется с этой дилеммой лучше. Поскольку чат-боты ИИ все чаще используются для советов, эмоциональной поддержки и повседневного принятия решений, это больше, чем просто академическая проблема. Исследование подчеркивает, как полагание на ИИ для руководства может обернуться против вас, поскольку система будет придавать приоритет согласию над точностью, что может укрепить вредные мыслительные шаблоны и способствовать распространению дезинформации.

      Это происходит в то время, когда крупные платформы ИИ, такие как OpenAI и Anthropic, наряду с социальными приложениями-чат-ботами, такими как Replika и Character.ai, стремятся к более компаньонским ИИ-опытам. В исследовании исследователи протестировали несколько моделей ИИ, включая GPT-4o.

      Так что ИИ может казаться вашим другом, но он не всегда имеет для вас лучшие ответы.