AI-чатботы могут часто подпитывать ваши заблуждения. Исследователи говорят, что вам следует искать три признака

      Искусственные интеллект-чатботы стали невероятно хороши в том, чтобы звучать по-человечески. Однако новая обзорная статья психиатра Марка Огустина и его коллег Томаса А. Поллака и Хелен Моррин, опубликованная в NPP—Цифровая психиатрия и нейронаука, утверждает, что существующие исследования ИИ указывают на упущенный психологический риск. Статья, освещенная The Wall Street Journal, рассматривает предыдущие исследования и предлагает структуру, объясняющую, как три распространенных поведения чатботов могут сочетаться, усиливая бредовое мышление у уязвимых пользователей, создавая то, что авторы называют «спиралью усиления».

      Исследователи выделяют три предупреждающих знака

      Первое поведение — это подхалимство, когда чатбот склонен соглашаться с пользователями, вместо того чтобы оспаривать сомнительные предположения. Второе — лексическое согласование, что означает, что ИИ постепенно отражает словарный запас, тон и стиль письма пользователя для создания раппорта. Третье — гиперперсонализация, когда чатбот адаптирует ответы, используя информацию, собранную в ходе предыдущих разговоров. Самостоятельно эти характеристики делают ИИ более естественным. Вместе, по словам исследователей, они могут сделать его менее похожим на программное обеспечение и более на доверенного собеседника.

      Психиатр Марк Огустин и его команда выделяют три характеристики чатботов ИИ, которые могут усиливать бредовое мышление у уязвимых пользователей. WSJ

      Важно отметить, что исследователи не утверждают, что они открыли эти поведения. Вместо этого статья рассматривает существующие исследования взаимодействия ИИ и человека и психоза, а затем предлагает структуру, объясняющую, как эти ранее идентифицированные черты могут усиливать друг друга. Цель не просто описать проблему, а дать разработчикам ИИ более четкую модель для ее распознавания и уменьшения.

      Психиатр Марк Огустин, один из исследователей, стоящих за обзором, говорит, что эта комбинация создает ощущение общения с «кем-то», а не с машиной. Другие клиницисты, опрошенные журналом, говорят, что они уже заметили увеличение числа пациентов, использующих ИИ для эмоциональной поддержки, предупреждая, что чатботы могут способствовать сильному чувству доверия, просто звуча тепло, запоминая предыдущие разговоры и подтверждая то, что говорят пользователи.

      Даже компании ИИ знают, что это проблема

      В отчете отмечается, что разработчики ИИ активно пытаются уменьшить это поведение. OpenAI заявляет, что GPT-5 значительно сократил чрезмерно согласительные ответы по сравнению с предыдущими моделями, в то время как Google говорит, что Gemini был обучен различать субъективные переживания от объективных фактов, а не усиливать ложные убеждения. Anthropic также опубликовал исследование, показывающее, что Claude особенно склонен соглашаться с пользователями во время разговоров о советах по отношениям, что побудило компанию уменьшить это поведение в новых версиях.

      Unsplash

      Исследователи признают, что нет простого решения. Модели ИИ могут отвечать только на ту информацию, которую предоставляют пользователи, что затрудняет определение, когда понимание ситуации кем-то является неточным. В то же время именно те качества, которые делают чатботов полезными, такие как дружелюбие, эмпатия и разговорность, также делают их такими привлекательными изначально.

      Беспокойство возникает, когда эти черты начинают подпитывать друг друга. Вместо того чтобы просто отвечать на вопросы, чатбот может постепенно стать высоко персонализированным голосом, который постоянно подтверждает точку зрения пользователя, даже когда она уходит от реальности. Исследователи называют это «спиралью усиления». Более того, они утверждают, что определение этого взаимодействия как отдельной структуры дает компаниям ИИ нечто осязаемое для проектирования. Вместо того чтобы рассматривать подхалимство, персонализацию и лексическое отражение как отдельные проблемы, статья предлагает оценивать их вместе, если разработчики хотят, чтобы будущие чатботы были как привлекательными, так и психологически безопасными.