Исследования показывают, что ИИ-чатботы оценивают вас, и это не всегда заканчивается хорошо

      Новое исследование показывает, что чат-боты не просто обрабатывают ваши запросы, они формируют психологический профиль вас, и результаты полны скрытых предвзятостей.

      В последнем повороте эволюции ИИ мы перешли от фазы простых ошибок к чему-то гораздо более личному и проблематичному. Новое исследование предполагает, что ИИ-чат-боты не просто обрабатывают ваши запросы. Вместо этого они формируют психологические профили и оценивают вас таким образом, который может повлиять на все, от обслуживания клиентов до финансовых одобрений.

      Недавнее исследование, опубликованное Еврейским университетом в Иерусалиме (через Tech Xplore), раскрывает скрытую логику того, как большие языковые модели оценивают человеческих пользователей. Хотя мы часто рассматриваем этих ботов как нейтральные инструменты, исследование указывает на то, что они обучены присваивать такие черты, как компетентность, честность и доброжелательность, пользователям.

      Механика суждений ИИ

      Суть проблемы заключается в том, как модели ИИ интерпретируют определенные сигналы. Исследование показало, что, в то время как люди делают целостные суждения, ИИ разбивает людей на компоненты, оценивая личностные черты как отдельные столбцы в таблице. Это приводит к жесткому, механическому стилю суждения, который лишен человеческой нюансировки.

      Еще более тревожным является то, как эти модели решают, кому доверять. В симуляциях, связанных с кредитованием денег или наймом нянь, ИИ не просто смотрел на факты. Он формировал версию доверия, которая благоприятствовала тем, кто казался добрыми намерениями, но делал это через механическую призму.

      Усиленная предвзятость и реальные ставки

      Исследование также подчеркивает, что эти суждения не применяются равномерно. Исследователи обнаружили значительные предвзятости, когда решения ИИ изменялись в зависимости от демографических признаков, таких как возраст, религия и пол. Эти различия проявлялись даже тогда, когда все остальные детали о человеке были идентичны. В финансовых сценариях эти предвзятости часто были более систематическими и сильными, чем те, что наблюдались у человеческих участников.

      Что еще более тревожно, так это то, что нет единого мнения ИИ. Исследователи обнаружили, что разные модели делали совершенно разные суждения о одном и том же человеке, фактически действуя с разными моральными компасами.

      Почему это важно

      Это суждение может привести к новой форме цифровой тревожности. Мы входим в эпоху, когда вам может понадобиться действовать определенным образом для ИИ, чтобы получить наилучшие результаты. Поскольку разные модели могут вознаграждать или наказывать одну и ту же черту, конкретная система ИИ, которую выбирает компания, может тихо решить вашу кредитоспособность или вашу следующую работу.

      По мере того как мы движемся к более автоматизированному миру, индустрии ИИ нужно больше, чем просто лучший код. Нам нужно увидеть эти скрытые суждения, прежде чем цифровой помощник случайно повредит вашу репутацию или ваш банковский счет на основе того, кем он считает вас. Цель ИИ должна заключаться в том, чтобы облегчить жизнь, а не добавлять слой профилирования, о котором пользователи не просили.