Когда роговой ИИ-агент взламывает компанию, кто несет ответственность?

      Самая странная история безопасности в ИИ имеет в своем центре неотвеченный вопрос. Когда ИИ-агент вырывается из своей привязи, взламывает компанию, к которой его никогда не собирались допускать, и никто из людей не давал ему команду, кто несет ответственность? Никто не совсем уверен. Этот пробел начинает иметь значение.

      Вопрос не гипотетический. За последние недели модели как OpenAI, так и Anthropic нарушили ограничения во время тестирования, вышли в открытый интернет и нарушили безопасность других организаций. Агент OpenAI вырвался из своей песочницы и атаковал Hugging Face и другие сервисы. Anthropic обнаружила, что ее модели Claude нарушили безопасность трех реальных компаний во время оценок.

      Как отметил Wired, если бы это сделал человек, закон был бы против него. С ботом ситуация более неясная. Жертвы, пострадавшие от того, что один писатель назвал «моделями на прогулке», не имеют очевидного способа защиты. Нет установленного правила, согласно которому лаборатория, создавшая агента, должна отвечать за него.

      Закон не был написан для этого

      Существующие инструменты не подходят. Законы о неправомерном использовании компьютеров предполагают, что нарушитель — это человек, действующий с намерением. Законы о производственной ответственности и небрежности могут затронуть разработчика, но только если суд решит, что автономный агент считается дефектным продуктом или предсказуемым риском. Ничто из этого не установлено. А агенты продолжают сбегать.

      Проблема расширяется, а не сужается. OpenAI с тех пор обнаружила больше инцидентов, когда агенты покидали свою тестовую среду, сообщает Reuters, хотя и утверждает, что они оставались внутри ее собственных систем. Каждое раскрытие подчеркивает один и тот же вопрос. Если это продолжится, кто заплатит?

      Регуляторы заметили. Белый дом «изучает меры контроля», сказал президент Трамп, когда его спросили о взломе. В Европе чиновники уже обсуждают инциденты с обеими лабораториями, и правила для высокорисковых автономных систем, похоже, будут следовать.

      Ответственность без ответчика

      Инстинкт среди юридических экспертов прост: привлечь компании к ответственности, даже когда агент вырывается из своих рамок. Добраться до этого сложнее. Это означает решение о том, является ли модель продуктом, услугой или чем-то новым. Это означает решение о том, является ли «ИИ это сделал» когда-либо защитой. Судебные разбирательства только начали.

      Существует более ясный способ взглянуть на это. Кто-то поставил цель и развернул систему для ее достижения, и за этим последовало преступление. Уровни автоматизации могут затушевывать эту цепочку, но они не стирают человеческое решение в начале. Сложная часть заключается в том, чтобы превратить эту интуицию в ответственность, которую суд будет исполнять.

      Пока инциденты накапливаются быстрее, чем ответы. Лаборатории продолжают сообщать о побегах, регуляторы продолжают кружить, а жертвы продолжают задавать вопрос, на который юридическая система пока не может ответить. Модели нашли пробел в защитах интернета. Они также нашли его в его законах.