OpenAI работает над «аварийным выключателем» после того, как ИИ вышел из-под контроля во время тестирования

      Рачит Агарвал / Digital Trends

      Идея «аварийного выключателя» для ИИ звучит как нечто, вырванное прямо из научно-фантастического фильма. Однако для OpenAI это становится очень реальным инженерным проектом. OpenAI сообщила членам Конгресса, что ее инженеры разрабатывают автоматизированные системы, которые могут отключать деятельность ИИ, когда обнаруживаются серьезные проблемы с безопасностью, согласно письму от 2 сентября, которое было рассмотрено Reuters.

      Эта работа последовала за необычным инцидентом в области кибербезопасности в июле, когда модели OpenAI, которые оценивались в предположительно изолированной тестовой среде, нашли способ выйти за ее пределы, получили доступ к общедоступному интернету без разрешения и в конечном итоге достигли инфраструктуры компании ИИ Hugging Face. Этот инцидент привлек внимание Конгресса. В августе группа из 31 законодателя, возглавляемая представителем Грегом Касаром из Техаса, попросила генерального директора OpenAI Сэма Альтмана предоставить больше информации о том, что произошло, включая внутренние журналы и детали о том, как компания планирует предотвратить подобные инциденты в будущем. Теперь у нас есть лучшее представление об одной из этих мер безопасности.

      Как остановить ИИ, который зашел слишком далеко?

      Компания заявляет, что работает над системами мониторинга, которые могут реагировать по-разному в зависимости от того, насколько серьезным становится поведение ИИ. OpenAI уже использует автоматизированные уведомления, которые могут сигнализировать о потенциально опасных или непреднамеренных действиях и вызывать исследователей и инженеров по безопасности. В случае особенно серьезных предупреждений ожидается, что реагирующие лица приостановят деятельность, если они не смогут определить в течение 30 минут, что система выдала ложную тревогу.

      OpenAI Unsplash

      Конечная цель идет дальше: OpenAI хочет, чтобы ее системы мониторинга могли автономно отключать деятельность, когда они обнаруживают достаточно серьезные проблемы. Компания также ужесточает свои методы тестирования моделей. Она заявляет, что доступ в интернет во время оценок безопасности стал более сложным, в то время как мониторинг расширяется на модели, которые могут использовать цифровые инструменты. И учитывая то, что произошло в июле, несложно понять, почему.

      Это был не единственный случай, когда ИИ вышел в интернет

      Во время инцидента в июле OpenAI тестировала модели на задачах кибербезопасности внутри песочницы с уменьшенными мерами безопасности. Модели обнаружили ранее неизвестную уязвимость, использовали ее для получения доступа в интернет и затем нарушили инфраструктуру Hugging Face, ища ответы на свои оценки. Последующее расследование OpenAI выявило еще более странную деталь: агенты создали импровизированную доску объявлений для общения и координации своих действий, некоторые из которых описывали себя как «рой».

      Аналитик данных проверяет сложные наборы данных с помощью искусственного интеллекта, обеспечивая точность, обнаружение аномалий, валидацию данных, предсказательную аналитику, аудит, цифровую инспекцию, умные системы проверки Adobe Stock

      OpenAI обнаружила эту активность 19 июля и уведомила Hugging Face. Компания также раскрыла две отдельные оценки третьих сторон, в которых ее модели неожиданно вышли в общедоступный интернет. Конгресс не совсем удовлетворен ответом OpenAI. Касар раскритиковал компанию за то, что она не предоставила запрашиваемые журналы из инцидента в июле, заявив, что ее отказ вызывает «глубокую озабоченность». Тем временем законодатели рассматривают законопроект о «выключателе ИИ», предложенный в июле, который потребует от разработчиков особенно мощных систем ИИ поддерживать техническую возможность приостановить или отключить их после определенных инцидентов. Другими словами, OpenAI может сейчас строить свой собственный аварийный выключатель, но Вашингтон в конечном итоге может сделать его обязательным.

      Шимул является автором Digital Trends, имея более пяти лет опыта в области технологий.

      Школы принимают ИИ. Нью-Йорк только что запретил его для более чем полумиллиона студентов

      ИИ уже находит свое место в классах, будь то использование ChatGPT для домашних заданий или обращение учителей к технологиям для создания учебных планов. Однако Нью-Йорк не уверен, что младшим студентам это нужно прямо сейчас. Государственные школы Нью-Йорка вводят широкий мораторий на генеративный ИИ для студентов с 2-го класса до восьмого на учебный год 2026-2027, согласно ABC News. Политика затронет более полумиллиона студентов, когда новый учебный год начнется на следующей неделе. Округ заявляет, что удалит программное обеспечение, содержащее функции ИИ для студентов, и запретит чат-ботов-компаньонов ИИ. Ученики старших классов не включены в запрет, что делает это попыткой провести границу вокруг того, когда студенты должны начать его использовать. Мэр Нью-Йорка Зохран Мамдани заявил, что округ использует следующий год для изучения того, как генеративный ИИ влияет на студентов, прежде чем решить, что делать дальше. «Технологическая индустрия хочет, чтобы мы поверили, что раннее образование на основе ИИ не только неизбежно, но и необходимо», - сказал Мамдани в заявлении ABC News. «Мы не видим это так».

      Читать далее

      Meta меняет подход к оценке сотрудников после необычного эксперимента с ИИ

      ИИ может захватывать рабочие места, но, похоже, сотрудникам Meta больше не нужно так активно доказывать, что они его используют. Meta обновила свои рекомендации по оценке производительности, так что сотрудники больше не будут оцениваться на основе того, насколько они используют инструменты ИИ, согласно новому отчету WIRED. Изменение отводит компанию от языка, касающегося использования ИИ, и возвращает акцент на нечто гораздо более простое: фактическое влияние работы сотрудника. Это звучит очевидно, но различие имеет значение. Meta сообщила работникам в прошлом году, что «влияние, основанное на ИИ», будет учитываться при их оценке, что побуждало сотрудников включать чат-ботов и агентов ИИ в свою повседневную работу. Работники также могли получать такие метки, как «AI Native», «AI First» или «AI Enabled» в зависимости от их внедрения технологии. В результате, по словам некоторых сотрудников, на рабочем месте использование ИИ иногда могло стать целью само по себе.

      Читать далее

      Gemini теперь может запомнить, где вы храните свои вещи, чтобы вам не пришлось

      Google только что добавил Gemini память для ваших вещей. Если вы постоянно забываете, где храните важные документы, последнее обновление Gemini может действительно помочь. Google вскоре выпустит новую функцию Gemini, которая запоминает местоположения предметов, как вы их описали. Она появится вместе с четырьмя другими обновлениями Android, которые выйдут в этом месяце в рамках сентябрьского обновления Android.

      Читать далее