Цели найма в области безопасности антропных систем направлены на ядерный и биологический вред

      Взгляд на найм специалистов по безопасности в Anthropic показывает, чего именно она боится: аналитиков, привлеченных для предотвращения обучения ее моделей тому, как строить ядерное, химическое и биологическое оружие.

      Большинство вакансий продают миссию. У Anthropic они читаются как оценка угроз.

      Компания разместила ряд вакансий для аналитиков по обеспечению правопорядка, чья работа заключается в том, чтобы не допустить, чтобы ее ИИ помогал людям создавать оружие, проводить мошенничество или совершать киберпреступления, впервые сообщило Axios. В одном из объявлений ищется «Аналитик по обеспечению правопорядка, сосредоточенный на радиологических и ядерных угрозах». Другие охватывают химические вещества и взрывчатые вещества, финансовое мошенничество и многое другое.

      Заработная плата находится в диапазоне от 200 до 300 тысяч долларов. Работа не связана с программированием. Anthropic хочет реального опыта в таких областях, как биология и взрывчатые вещества. Она также хочет людей, которые могут мыслить как злоумышленник, пытающийся обойти ее защиту.

      Назначение вреда намеренно

      Прямолинейные названия вакансий являются преднамеренными. «Обеспечение того, чтобы наши модели не предоставляли потенциально вредную информацию, является центральным аспектом ответственного развития», — сказал представитель компании. Компания заявила, что регулярно нанимает экспертов в чувствительных областях для стресс-тестирования своих моделей перед выпуском.

      Четкое указание на конкретный вред, добавили они, — это способ привлечь правильных людей. Anthropic утверждает, что сотни сотрудников сейчас работают над безопасностью, выявляя слабые места и устраняя их.

      Это компания, которую критики называют самым большим пессимистом в отрасли. Модель найма специалистов по безопасности в Anthropic — это ее ответ на эту метку. Она тратит реальные деньги на риски, которые продолжает описывать.

      Катастрофа, которую продолжает описывать Амодеи

      Генеральный директор Дарио Амодеи провел месяцы, описывая негативные последствия. В эссе за январь он назвал биологические атаки сценарием, который его больше всего беспокоит.

      «Я не думаю, что биологические атаки будут осуществлены в тот момент, когда это станет широко возможным», — написал он. «Но если сложить это по миллионам людей и нескольким годам, я думаю, что существует серьезный риск крупной атаки, с потенциальными жертвами в миллионах или более».

      Он также предупреждал о том, что ИИ помогает киберпреступникам и усиливает авторитарные государства. Ранее в этом году Anthropic разорвала отношения с Министерством обороны США из-за использования своей технологии для массового наблюдения и автономного оружия.

      Лаборатории пишут свои собственные правила

      OpenAI делает то же самое. Она нанимает исследователя по биологическим и химическим рискам с базовой зарплатой до 445 000 долларов. По мере того как модели становятся более способными, каждая серьезная лаборатория спешит укомплектовать «красную команду».

      Эта гонка происходит в вакууме. В США до сих пор нет всеобъемлющего закона о безопасности ИИ. Конгресс пытался в течение многих лет и ничего не принял. Некоторые хотят арбитра: Демис Хасабис из Google предложил создать наблюдателя в стиле Уолл-стрит для передовых моделей. Менее одного из ста докторов наук по ИИ идут в правительство, поэтому экспертиза остается внутри компаний.

      Результатом является странный вид саморегулирования. Компании, создающие самые опасные возможности, также являются теми, кто решает, как их ограничить. Амодеи сам назвал это напряжение, назвав компании ИИ следующим уровнем риска после враждебных государств. Его страница вакансий — это аргумент и предупреждение в одном месте. Люди, которые лучше всего могут предотвратить катастрофу, работают на компанию, которая может помочь ее вызвать.