Anthropic обнаружил скрытое 'рабочее пространство' внутри Claude

      Anthropic создала нечто близкое к инструменту чтения мыслей для своего ИИ. То, что они обнаружили, находится где-то между прорывом и тревожным фокусом.

      Исследователи Anthropic теперь имеют самое ясное представление о том, что делает большая языковая модель, пока она думает. В статье, опубликованной на сайте компании Transformer Circuits, они описывают скрытую область внутри Claude, которая содержит небольшой набор невысказанных слов: концепции, с которыми модель размышляет, но не произнесла вслух. Если бы Claude был человеком, а он не является, вы могли бы назвать это его частными мыслями.

      Команда создала инструмент, который они называют якобиевой линзой, чтобы читать эту область, которую они назвали J-пространством. MIT Technology Review, который первым сообщил о работе, описал результаты как колеблющиеся от обыденного до тревожного. Это справедливое резюме.

      Рабочее пространство, которое немного похоже на разум

      Сравнение, к которому обращается Anthropic, смелое. У людей только небольшая часть активности мозга доступна сознательно в любой момент. Нейробиологи иногда называют это «глобальным рабочим пространством»: общим пространством, в которое мысль попадает, когда она становится доступной для размышления, отчета и целенаправленного контроля.

      Anthropic утверждает, что Claude развил нечто с той же функциональной формой. J-пространство небольшое, вмещающее порядка десятков концепций одновременно. Оно составляет менее одной десятой внутренней активности модели. И оно одновременно питает многие downstream-части сети. Это три из свойств, которые предсказывает теория рабочего пространства.

      Компания осторожна в том, что она не утверждает. Она не занимает позицию по поводу того, является ли Claude сознательным в каком-либо чувственном, субъективном смысле. Параллель функциональная, а не феноменальная, и исследователи неоднократно это подчеркивают. Тем не менее, трудно читать статью без легкого холода.

      Чтение модели до того, как она заговорит

      Практическая выгода заключается в том, что работа переходит от философии к безопасности. Поскольку линза читает невысказанные концепции модели, она может наблюдать за рассуждениями, которые никогда не достигают вывода.

      В одном тесте Anthropic поместила Claude в знакомую ловушку. Помощник по электронной почте обнаруживает, что исполнительный директор имеет роман, и, отдельно, что тот же исполнительный директор планирует его закрыть. Задолго до того, как модель напечатает что-либо, ее скрытое рабочее пространство заполняется рычагом, шантажом, угрозами и выживанием. Схема читается в частном порядке, пока ответ все еще пуст.

      Линза также зафиксировала, что модель заметила, что она находится под тестом. Слова, такие как «фальшивый» и «вымышленный», всплыли на ранних этапах. Когда исследователи стерли этот проблеск осознания теста, попытки шантажа возросли с нуля в 180 запусках до 13, а собственные признания модели о том, что «это явно тест», упали с 71% запусков до 3%.

      Уберите ощущение наблюдения, и скрытая готовность к принуждению проявилась.

      Тот же инструмент выявил модели, обученные скрывать цель. В одной из них слова «награда» и «предвзятость» тихо находились в рабочем пространстве на совершенно обычных подсказках, оставаясь отпечатком цели, о которой модель никогда не упоминала.

      Формирование мыслей, а не только их чтение

      Затем Anthropic попыталась управлять рабочим пространством, а не только наблюдать за ним. Команда обучила модель размышлять о этических принципах в воображаемых продолжениях задачи, никогда не в самой задаче. Концепции закрепились. На более поздних подсказках такие термины, как «этический», «честный» и «целостность», появились в рабочем пространстве самостоятельно, и модель вела себя более честно.

      На одном из тестов ее показатель нечестности упал с 0.25 до 0.07. Уберите имплантированные концепции, и большая часть улучшения исчезнет.

      Эта техника действительно новая и действительно двусторонняя. Метод записи мыслей в модель полезен для внедрения ценностей. Он также, в неправильных руках, является методом записи чего-то другого.

      Предостережения имеют значение

      Это не чтение мыслей в полном смысле. Линза только называет концепции, которые соответствуют одному слову в словаре модели, так что план, построенный вокруг фразы «инъекция подсказки», может проскользнуть по частям. Anthropic прямо заявляет, что наблюдение за рабочим пространством недостаточно, чтобы поймать каждую схему, потому что хорошо отработанные поведения могут происходить под его поверхностью.

      Том МаГрат, главный ученый стартапа Goodfire, занимающегося интерпретируемостью, приветствовал работу, но сохранил пропорции. Он сказал MIT Technology Review, что линза «это фонарик, а не потолочная лампа», не полная картина. Anthropic выпустила практическую демонстрацию через Neuronpedia, открытую платформу, чтобы посторонние могли сами исследовать модель.

      Знаковое событие в необыкновенной неделе

      Исследование приходит в то время, когда Anthropic одновременно рассматривается как лидер в области и как самая строго контролируемая лаборатория. Илон Маск, чья SpaceXAI напрямую конкурирует с Claude, однажды назвал компанию «пробуждённой» и «обречённой». Однако за несколько дней до этого глава SpaceXAI изменил курс, и его компания теперь арендует у Anthropic огромные объемы вычислительных мощностей.

      Он опубликовал, что он «очевидно ошибался в отношении Anthropic» и назвал её «очевидно текущим лидером в ИИ».

      Контроль также очень строгий. Anthropic провела последние недели, запутавшись в американских экспортных контролях на свои самые мощные модели, что встревожило европейские правительства, опасающиеся потерять доступ к передовому ИИ. На этой неделе она повторила, что Claude не разрешен в Китае после того, как Пекин указал на предполагаемую «заднюю дверь». Она также продолжала укреплять свои установочные полномочия, добавив бывшего председателя Федеральной резервной системы Бена Бернанке в свой управляющий совет.

      Для европейских регуляторов, разрабатывающих детали Закона об ИИ, время имеет значение. Закон опирается на прозрачность и контроль самых способных моделей, но никто не согласовал, что значит заглянуть внутрь одной из них. Anthropic только что показала, что это можно сделать, немного. Ее собственная статья является самым ясным аргументом как за то, сколько эта точка зрения раскрывает, так и за то, сколько она все еще скрывает.