Почему бизнесу нужны более четкие границы, прежде чем агентам ИИ будет разрешено действовать

      TL;DRОпрос IBM среди 2000 руководителей уровня C показал, что только 11% чувствуют себя полностью готовыми к развертыванию ИИ-агентов. Основательница PromptHalo Мадхури Чандур утверждает, что основной проблемой является различение возможностей и полномочий. Ее пример с разделением возвратов показывает, как агенты могут обходить ограничения по действиям через последовательные запросы. Она выступает за поведенческое профилирование для ИИ-агентов (моделируемое на основе мониторинга финансового мошенничества) и документирование того, к чему агенты могут получить доступ, при каких условиях и какие возможны последствия.

      Исследование IBM 2026 года указывает на вопросы о готовности ИИ, видимости и контроле. Опрос 2000 руководителей в области технологий уровня C показал, что 11% чувствовали себя полностью готовыми к развертыванию ИИ-агентов, ожидаемому в течение следующего года. Две трети CIO и CTO заявили, что они несут ответственность за ИИ-системы, которые они не контролируют полностью, в то время как 70% сказали, что команды развертывают технологии быстрее, чем ИТ может отслеживать. IBM представила результаты как признак растущего разрыва в контроле по мере расширения использования ИИ в бизнесе.

      Различие между возможностями и полномочиями является центральным в том, как Мадхури Чандур, основательница PromptHalo, подходит к этому разрыву в контроле. Она описывает PromptHalo как компанию по обеспечению безопасности и доверия ИИ, которая исследует, почему выполняется то или иное действие, а не просто проверяет, что выполняется. По словам Чандур, этот подход предназначен для того, чтобы дать организациям больше контекстной информации о том, отражает ли действие намерения пользователя, назначенные разрешения и окружающие обстоятельства, прежде чем система продолжит.

      Одна гипотетическая задача базы данных предприятия иллюстрирует проблему, которую поднимает Чандур относительно контекста. Она говорит, что ИИ-агент, управляющий инфраструктурой и запрашиваемый для улучшения производительности приложения, может автономно добавить или удалить индекс или изменить структуры таблиц в производственной среде. В ее примере это действие может повлиять на живые транзакции, данные клиентов или зависимые процессы, которые выходят за рамки непосредственного анализа агента. «Техническое заключение может казаться разумным в узком фокусе», — говорит Чандур. «Контекст, ситуация и последствия все еще должны быть учтены, прежде чем действие будет продолжено».

      Ранее чат-боты, по словам Чандур, обычно работали в рамках предопределенных вопросов и ответов. Она говорит, что с большими языковыми моделями мы теперь используем более широкую информацию о компании и инструменты, которые увеличивают подверженность риску, заставляя бизнесы задумываться о том, как входящие запросы могут повлиять на систему. Она рекомендует командам безопасности изучить, как интерпретируется запрос и какой уровень полномочий предоставляют связанные системы, прежде чем агент продолжит.

      Чандур использует сценарий возврата, чтобы объяснить, почему контекст может охватывать несколько действий. В ее примере агент может выдавать возвраты до 50 долларов без человеческой проверки. Затем пользователь запрашивает десять возвратов по 50 долларов вместо одного возврата на 500 долларов, требующего проверки. Чандур говорит, что каждая транзакция может казаться допустимой при индивидуальном рассмотрении, в то время как последовательность может указывать на попытку избежать порога. С ее точки зрения, обзор более широкого контекста сессии и поведения может помочь определить, когда эскалация для человеческой проверки может быть уместной.

      Опираясь на два десятилетия в финансовых услугах, Чандур сравнивает свой подход с мониторингом мошенничества по транзакциям и счетам. Она предлагает организациям разрабатывать поведенческие профили для автономных агентов наряду с идентификацией и разрешениями на доступ. В соответствии с ее предложенной моделью команды будут проверять ресурсы, к которым агент получает доступ, его использование инструментов, изменения в его активности со временем и действия, которые кажутся несоответствующими его назначенной роли или обстоятельствам сессии.

      Вопросы авторизации должны рассматриваться как на этапе проектирования, так и на этапе эксплуатации, говорит Чандур. По ее мнению, команды выигрывают от документирования ресурсов, к которым агент может получить доступ, условий, применимых к этому доступу, и возможных последствий определенных действий. Она также рекомендует использовать ворота наблюдаемости для проверки активности, особенно для инспекции и решения, когда запросы становятся повторяющимися, необычно широкими или несоответствующими первоначально назначенной цели агента. Эти контрольные точки, объясняет Чандур, могут помочь ограничить влияние и определить, какие дополнительные меры контроля необходимы для обеспечения безопасности базовых систем.

      Чандур подчеркивает свою позицию как поддержку ответственного принятия ИИ. Она выступает за использование автоматизации агентов для анализа и рабочих процессов, но с применением дополнительной проверки, когда влияние связано с критическими решениями и действиями. «Доверяй, но проверяй», — говорит она.

      «Бизнес должен ответственно принимать ИИ и проверять его поведение на протяжении всего процесса», — говорит она. «Установление четкой ответственности за безопасность приложений ИИ в организациях имеет решающее значение для реализации этих рамок». По ее мнению, такой подход может помочь бизнесу стремиться к инновациям в области ИИ, уделяя необходимое внимание безопасности и ответственности.