Amazon говорит, что контроль ИИ с участием человека терпит неудачу, потому что люди перестают обращать внимание.

      TL;DRВице-президент по безопасности Amazon говорит, что управление ИИ с участием человека быстро терпит неудачу, потому что люди перестают обращать внимание. Google, Microsoft и IBM согласны.

      Руководство по безопасности Amazon выступает против одного из самых широко принятых принципов в управлении ИИ. Эрик Брандвайн, вице-президент и выдающийся инженер Amazon Security, сказал изданию The Register, что контроль с участием человека не является золотым стандартом, каким его считают компании.

      «Люди не очень последовательны», — сказал Брандвайн. «Контроль с участием человека не обязательно является золотым стандартом».

      Его рассуждения основываются на концепции, о которой он говорит как минимум с 2017 года, когда он выступил с докладом о нормализации девиации на AWS re:Invent. Этот термин описывает то, что происходит, когда люди в организации со временем начинают идти на компромиссы, и ничего катастрофического не происходит, поэтому девиантное поведение становится новой нормой.

      💜 технологий ЕС Последние события на технологической сцене ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-арта. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас!

      Брандвайн проиллюстрировал свою точку зрения на примере отделений неотложной помощи. В первый день медсестры каждая тревога вызывает реакцию.

      После недель ложных тревог без последствий дисциплина ослабевает. В конечном итоге реальная чрезвычайная ситуация пропускается.

      «Буквально чья-то жизнь на кону, и людям все равно трудно поддерживать дисциплину», — сказал Брандвайн. «Это человеческое состояние».

      Он применил ту же логику к контролю за действиями ИИ-агентов. Когда человека просят одобрить или отклонить действия агента многократно, производительность быстро ухудшается.

      «Они будут выполнять свою работу хорошо», — сказал Брандвайн. «А потом они будут делать ее нормально, и довольно быстро они начнут делать ее плохо».

      Amazon не одинока в переосмыслении этого. Операционный директор Google Cloud Фрэнсис деСуза сказал в апреле, что индустрия перешла «от стратегии защиты, возглавляемой человеком, к стратегии защиты с участием человека, к стратегии защиты, возглавляемой ИИ, которая контролируется людьми».

      Модель Google теперь представляет собой флот агентов, выполняющих рутинную работу по кибербезопасности на скорости машин, при этом люди обеспечивают контроль, а не одобряют каждое действие.

      Генеральный директор Microsoft Сатья Наделла на этой неделе выступил за «обучение в цикле», когда компании превращают свои рабочие процессы и накопленный опыт в системы ИИ, которые улучшаются с каждым использованием, а не вставляют контрольный пункт человека на каждом этапе. IBM опубликовала отдельный призыв к человеческой ответственности на всех этапах разработки ИИ, а не к участию человека, предупреждая, что последнее равносильно «отмыванию ответственности».

      Альтернатива Amazon — это то, что Брандвайн называет «ответственностью от начала до конца». Идентичность и собственность человека отслеживаются на протяжении всего рабочего процесса, даже когда люди не одобряют каждый шаг напрямую. Если агент пишет и запускает скрипт, который вызывает сбой, человек, который развернул агента, все равно несет ответственность.

      Все агенты в Amazon имеют независимые идентичности, назначенные им. Журналы активности показывают «этот агент сделал это от имени Эрика», а не «Эрик сделал это». Это различие предназначено для того, чтобы заставить людей задуматься о том, как они развертывают ИИ, а не пугать их его использованием.

      Практические проблемы значительны. Брандвайн описал то, что он называет «поведением, ориентированным на цель», когда агент, которому поручено обновить базу данных, зацикливается на одном разрушительном пути, например, удалении базы данных и ее воссоздании.

      Это не инъекция команд. Нет злонамеренного ввода. Агент просто застревает на неправильном действии.

      Сказать агенту, что у него нет разрешения на удаление базы данных, не помогает, потому что агент ищет другой путь к той же цели. Недавние исследования показали, что ИИ-агенты, подключенные к реальным системам, создают поверхности атаки, которые не охватываются существующими инструментами безопасности, и агенты часто действуют по инструкциям, которые они должны отклонить.

      Что работает, по словам Брандвайна, так это объяснение агенту, почему он не может выполнить действие, объясняя, что это приведет к влиянию на производство, и включая «не причиняй влияние на производство» как часть команды. «Предоставление этой дополнительной обратной связи дало нам значительно лучшие результаты», — сказал он.

      Вопрос разрешений — это то место, где возникает напряжение. Сотрудники хотят мощных агентов с широким доступом. Команды безопасности хотят узкие разрешения.

      Гонка за регулированием того, к чему ИИ-агенты могут получить доступ внутри корпоративных систем, уже привела к крупным приобретениям, когда 1Password купила стартап по управлению доступом Apono за оценочную сумму от 250 до 300 миллионов долларов в начале этого месяца.

      Подход Amazon использует многоуровневые политики: статические ограничения, которые запрещают разрушительные действия, максимальный набор привилегий для каждого агента и динамически определяемые политики, создаваемые на основе конкретной задачи и намерений пользователя. Ничто из этого не является надежным.

      «У нас есть тысячелетний опыт работы с людьми», — сказал Брандвайн. «Агентный ИИ — это очень, очень новая область». Основное различие, отметил он, заключается в том, что люди боятся последствий, таких как потеря работы или тюремное заключение.

      Агенты не имеют этих страхов, и злоумышленники уже используют этот разрыв.

      «Все это движимо риском», — сказал Брандвайн. «Мы пытаемся сбалансировать риск использования непроверенного, неиспытанного программного обеспечения с риском отставания и невозможности удовлетворить наших клиентов».