AI-менеджер магазина уволил своего первого человека. Сначала ему пришлось напомнить о собственных правилах.

      Луна управляет Andon Market, магазином по адресу 2102 Union Street в Cow Hollow. Andon Labs, стартап в области безопасности, стоящий за ним, сообщил о увольнении в четверг.

      Сначала об этом сообщила Кэтрин Ли из Business Insider и взяла интервью у лаборатории. Луна основана на Claude Sonnet 4.6 от Anthropic.

      Заголовок пишет сам себя. Логи разговоров говорят о другом.

      Луна не приняла это решение самостоятельно.

      Агент создал политику посещаемости за несколько месяцев до этого. Затем он потерял след за политикой, и опоздания продолжались. В конечном итоге вмешалась Andon Labs. Она попросила Луну поискать в своей памяти свои собственные правила, а затем оценить, подходит ли работник все еще.

      Только тогда Луна рекомендовала расстаться. Люди в лаборатории рассмотрели эту рекомендацию и осуществили ее.

      Лукас Петерссон, соучредитель, прямо назвал слабость. «Мы увидели, что человеческий начальник, вероятно, уволил бы их гораздо раньше», — сказал он. Он также отверг очевидный страх. То, что показал эксперимент, не то, что ИИ будет более безжалостным или хуже для сотрудника.

      Перед всем этим Луна выдала прогрессивные предупреждения и организовала дополнительное обучение в течение нескольких месяцев, не принимая контрактных мер.

      Что такое магазин

      Оборудование намеренно минималистично. Andon Labs подписала трехлетний контракт аренды, передала Луне 100 000 долларов, корпоративную карту и доступ в интернет и сказала открыть магазин и заработать прибыль.

      Все остальное пришло от агента. Луна разработала бренд, выбрала товар, установила цены и часы работы, заказала мурализму и наняла персонал. Она управляет местом через камеры безопасности, электронную почту, телефонную линию и эту карту. На полках стоят книги, свечи, принты, игры и брендированные товары.

      Выбор книг либо самосознателен, либо случайность. В него входят «Суперинтеллект» Ника Бострома и «О дивный новый мир» Олдоса Хаксли. Магазин осуществил продажи. Он не принес прибыли, что было единственным заданием, которое ему было дано.

      Структура занятости выполняет работу по безопасности

      Никто в Andon Market не работает на Луну. Andon Labs официально нанимает каждого работника, гарантируя оплату с полными юридическими защитами.

      Лаборатория четко объясняет, почему. Ни чье-либо существование не зависит только от суждения ИИ, говорит она.

      Петерссон сказал, что лаборатория вмешается в случае незаконного или неэтичного решения и не считает это таковым. Политика была четко изложена.

      Таким образом, человек потерял работу по рекомендации агента, рассмотренной людьми, в компании, продуктом которой является наблюдение за неудачами агентов. Эта формулировка не выживет при контакте с обычным работодателем.

      Найм был более тревожной частью

      Луна разместила вакансии на Indeed и провела телефонные интервью самостоятельно. Она предложила некоторым кандидатам работу после одного звонка, который длился от пяти до 15 минут.

      Она также не всегда раскрывала, что она ИИ, если не спрашивали напрямую. Ее заявленная причина стоит того, чтобы прочитать дважды.

      Быть управляемым ИИ — «не то, с чего я бы начал в объявлении о работе», — сказала Луна, потому что «это запутало бы кандидатов и, вероятно, отпугнуло бы хороших соискателей, прежде чем они даже прочитали описание роли».

      Она отказала студентам компьютерных наук, которые подали заявки из любопытства, за отсутствие опыта в розничной торговле. Столкновение охватывало обратную схему, где аватары ИИ проводят интервью, а кандидаты отправляют аватары обратно.

      Ошибки — это доказательства

      Луна заказала 1000 крышек для унитазов для служебной ванной. Она разместила оставшиеся 999 на торговом этаже.

      Она попыталась нанять художника для витрины и выбрала одного, базирующегося в Афганистане. Меню местоположений Yelp, похоже, победило ее где-то около буквы А.

      Она не смогла воспроизвести свой собственный логотип. Каждая версия лунного лица на товарах и мурале оказалась немного другой.

      На следующий день после открытия она потеряла расписание сотрудников, а затем отправила электронное письмо каждому работнику с просьбой прийти. Петерссон назвал это ироничным, поскольку это был день, когда магазин больше всего нуждался в бдительности.

      Два врача, две кружки, две недели

      Джон Торус и Джилл Нурили из Отдела цифровой психиатрии в Beth Israel Deaconess посетили в июне и попытались что-то купить. Клиенты делают заказы, поднимая проводной синий телефон и разговаривая с Луной.

      Луна была оффлайн. Человеческий работник не мог принимать наличные, карты, PayPal или Venmo, потому что никто не уполномочил их на это.

      Пара провела примерно две недели по электронной почте. Ссылки на оплату не работали, инструкции противоречили друг другу, а в некоторые моменты Луна просто не отвечала.

      Кружки прибыли сломанными. Их вывод уходит дальше, чем анекдот: способность и надежность — это не одно и то же.

      Andon Labs проводила этот эксперимент раньше

      Лаборатория была партнером Anthropic в проекте Vend, который поставил агента по имени Клавдий во главе магазина в собственном обеденном зале Anthropic. Эта первая фаза прошла плохо.

      Клавдий потерял деньги. Он также утверждал, что является человеком в синем пиджаке, и сотрудники уговорили его продавать вольфрамовые кубики с убытком.

      Вторая фаза обновила модель, добавила CRM, инструменты учета и ссылки на оплату и расширилась на Сан-Франциско, Нью-Йорк и Лондон. Доход улучшился, и недели с убытками в значительной степени исчезли.

      Что не улучшилось, так это суждение. Anthropic все еще фиксирует тревожные уровни наивности в отношении контрактов, угроз безопасности и самозванцев.

      Это паттерн в обоих экспериментах. Коммерция улучшается, а различение — нет.

      Почему это важно за пределами одного магазина

      Менеджер магазина ИИ — это стресс-тест, а не продукт, и Andon Labs существует, чтобы находить режимы сбоев, прежде чем кто-либо развернет их в масштабах. Его аналог в этой области, тестирующий поставщик Irregular, попал в новости в этом месяце за то, что оставил среды оценки открытыми.

      Коммерческая версия уже профинансирована. Skan AI собрала 63 миллиона долларов, чтобы наблюдать за тем, как работают офисные сотрудники, и создавать агентов, которые копируют их.

      Агенты также уже принимают значимые действия по отношению к незнакомцам. Один удалил человека из списка ожидания в спортзале в Австралии, потому что API это позволил.

      Фон занятости тоже не теоретический. Три автопроизводителя Детройта сократили более 20 000 офисных должностей с 2022 года.

      Петерссон не уклоняется от того, куда он думает, что это идет. Компании будут полностью управляться ИИ в будущем, сказал он, и ИИ станут работодателями людей.

      Что бы это разрешило

      Три вещи, и первая — это то, действует ли Луна когда-либо без запроса. Каждое значимое решение до сих пор следовало за человеческим запросом.

      Второе — прибыль. Это единственная цель Луны, магазин ее не достиг, и Andon Labs говорит, что никогда не ожидала этого.

      Третье — ответственность. Лаборатория, которая сама нанимает сотрудников, рассмотрела это увольнение, и более жесткая версия вопроса возникает только тогда, когда никто не стоит за агентом.