Автономные ИИ-дроны теперь убивают людей, и назад дороги нет.

      Элбит Системс

      Мы все видели предупреждение о том, что ИИ может ошибаться. Для чат-бота это обычно означает изобретение факта, неправильное понимание вопроса или уверенное предоставление неправильного ответа. Если ту же технологию поместить в оружие, последствия таких ошибок могут быть совершенно иными.

      Расследование New York Times подробно описало атаку российского дрона 6 июля в Запорожье, Украина, в результате которой погибли три гражданских лица, включая 19-летнего студента университета. Человеческие операторы запрограммировали дрон на движение к автозаправочной станции, но автономная ИИ-система выбрала именно тот объект, который она будет атаковать, скорее всего, баллоны с пропаном. Дрон не смог достичь этой цели и взорвался неподалеку.

      Эксперт, цитируемый The Times, описал это как первый задокументированный случай, когда гражданские лица были убиты российским дроном, использующим такую систему самонаведения.

      Компьютер теперь выбирает, что будет поражено

      Ранее дроны с поддержкой ИИ обычно оставляли человека вовлеченным в выбор цели, предоставляя программному обеспечению обрабатывать финальный подход. Система, восстановленная из Запорожья, пошла дальше.

      Обрушившееся здание в Киеве, Украина Джейд Королиук / Unsplash

      Следователи обнаружили компьютер Nvidia Jetson Orin на борту, в то время как украинские чиновники заявили, что его код показал типы объектов, которые система была обучена распознавать и атаковать. Полностью автономное наведение исключает человека из этого финального процесса выбора цели.

      Учебное пособие IBM 1979 года содержало предупреждение, которое сегодня кажется тревожно актуальным: «Компьютер никогда не может быть привлечен к ответственности, поэтому компьютер никогда не должен принимать управленческое решение».

      Почти пять десятилетий спустя компьютерам доверяют решения, имеющие гораздо более серьезные последствия.

      Кто несет ответственность, когда ИИ ошибается?

      Автономное оружие не может предстать перед судом, объяснить свои рассуждения или понести наказание за ненадлежащее убийство. Человеческая ответственность не исчезает, но ее назначение становится гораздо более сложным, когда программное обеспечение принимает участие в принятии решения о наведении.

      Элбит Системс

      Россия также не единственная, кто стремится к этой технологии. Украина испытала полностью автономные системы против объектов хранения топлива и военной техники в оккупированном Россией Крыму, хотя бывший министр обороны Украины сообщил The Times, что эти испытания не привели к гибели гражданских лиц.

      Автономные ИИ-оружия уже используются в активной войне, и гражданские лица уже погибли в результате их использования. Россия их тестирует, Украина их тестирует, и эта технология только станет более мощной. Это опасный скользкий склон, потому что как только армии начинают передавать решения о наведении программному обеспечению, вернуть эту ответственность может стать все более сложным. Обратного пути может не быть, что делает значимые ограничения на использование этих систем еще более срочными.