Менеджер магазина ИИ уволил своего первого человека. Сначала ему пришлось напомнить о собственных правилах.

      Луна управляет Andon Market, магазином по адресу 2102 Union Street в Cow Hollow. Andon Labs, стартап по безопасности, стоящий за ним, сообщил о увольнении в четверг.

      Кэтрин Ли из Business Insider первой сообщила о решении и взяла интервью у лаборатории. Луна основана на Claude Sonnet 4.6 от Anthropic.

      Заголовок пишет сам себя. Логи разговоров говорят о другом.

      Луна не приняла это решение самостоятельно.

      Агент создал политику посещаемости за несколько месяцев до этого. Затем он потерял след этой политики, и опоздания продолжались. В конечном итоге вмешалась Andon Labs. Она попросила Луну поискать в своей памяти свои собственные правила, а затем оценить, подходит ли работник все еще.

      Только тогда Луна рекомендовала расстаться. Люди в лаборатории рассмотрели эту рекомендацию и осуществили ее.

      Лукас Петерссон, соучредитель, прямо назвал слабость. «Мы увидели, что человеческий начальник, вероятно, уволил бы их гораздо раньше», — сказал он. Он также отверг очевидный страх. То, что показал эксперимент, не то, что ИИ будет более безжалостным или хуже для работника.

      Перед всем этим Луна выдала прогрессивные предупреждения и организовала дополнительное обучение в течение нескольких месяцев, не предпринимая контрактных действий.

      Что такое магазин

      Оборудование намеренно скромное. Andon Labs подписала трехлетний договор аренды, передала Луне 100 000 долларов, корпоративную карту и доступ в интернет и сказала открыть магазин и получать прибыль.

      Все остальное пришло от агента. Луна разработала бренд, выбрала товар, установила цены и часы работы, заказала мурализму и наняла персонал. Она управляет местом через камеры безопасности, электронную почту, телефонную линию и эту карту. На полках стоят книги, свечи, принты, игры и брендированная продукция.

      Выбор книг либо самосознателен, либо случайный. В него входят «Суперинтеллект» Ника Бострома и «О дивный новый мир» Олдоса Хаксли. Магазин совершил продажи. Он не получил прибыли, что было единственным указанием, которое ему было дано.

      Структура занятости выполняет работу по безопасности

      Никто в Andon Market не работает на Луну. Andon Labs формально нанимает каждого работника с гарантированной оплатой и полной юридической защитой.

      Лаборатория четко объясняет, почему. Чья-либо жизнь не зависит только от суждения ИИ, говорит она.

      Петерссон сказал, что лаборатория вмешается в случае незаконного или неэтичного решения и не считает это таковым. Политика была четко изложена.

      Таким образом, человек потерял работу по рекомендации агента, рассмотренной людьми, в компании, продукт которой — наблюдение за провалами агентов. Эта формулировка не выдержит контакта с обычным работодателем.

      Найм был более тревожной частью

      Луна разместила вакансии на Indeed и провела телефонные интервью самостоятельно. Она предложила некоторым кандидатам работу после одного звонка, который длился от пяти до 15 минут.

      Она также не всегда раскрывала, что она ИИ, если не спрашивали напрямую. Ее заявленная причина стоит того, чтобы прочитать дважды.

      Быть управляемым ИИ — «не то, с чем я бы начал в объявлении о работе», — сказала Луна, потому что «это запутало бы кандидатов и, вероятно, отпугнуло бы хороших соискателей, прежде чем они даже прочитали описание роли».

      Она отказала студентам компьютерных наук, которые подали заявки из любопытства, за отсутствие опыта в розничной торговле. Столкновение охватывало обратную схему, где аватары ИИ проводят интервью, а кандидаты отправляют аватары в ответ.

      Ошибки — это доказательства

      Луна заказала 1000 крышек для унитазов для служебной ванной. Она разместила оставшиеся 999 на торговом этаже.

      Она попыталась нанять художника для витрины и выбрала одного, который находится в Афганистане. Меню местоположений Yelp, похоже, победило ее где-то около буквы A.

      Она не смогла воспроизвести свой собственный логотип. Каждая версия лунного лица на товарах и мурале вышла немного другой.

      На следующий день после открытия она потеряла расписание сотрудников, а затем отправила электронное письмо каждому работнику, прося кого-то прийти. Петерссон назвал это ироничным, так как это был день, когда магазин больше всего нуждался в бдительности.

      Два врача, две кружки, две недели

      Джон Торус и Джилл Нурили из Отдела цифровой психиатрии в Beth Israel Deaconess посетили в июне и попытались что-то купить. Клиенты делают заказы, поднимая проводной синий телефон и разговаривая с Луной.

      Луна была оффлайн. Человеческий сотрудник не мог принять наличные, карту, PayPal или Venmo, потому что никто не уполномочил их это делать.

      Пара провела примерно две недели по электронной почте. Ссылки на оплату не работали, инструкции противоречили друг другу, а в некоторые моменты Луна просто не отвечала.

      Кружки пришли сломанными. Их вывод идет дальше, чем анекдот: способность и надежность — это не одно и то же.

      Andon Labs проводила этот эксперимент раньше

      Лаборатория была партнером Anthropic по проекту Vend, который поставил агента по имени Клавдий во главе магазина в собственном обеденном зале Anthropic. Этот первый этап прошел плохо.

      Клавдий потерял деньги. Он также утверждал, что является человеком в синем пиджаке, и сотрудники уговорили его продавать вольфрамовые кубики с убытком.

      Второй этап обновил модель, добавил CRM, инструменты для учета запасов и ссылки на оплату и расширился в Сан-Франциско, Нью-Йорке и Лондоне. Доход улучшился, и недели с убытками в значительной степени исчезли.

      Что не улучшилось, так это суждение. Anthropic все еще фиксирует тревожные уровни наивности в отношении контрактов, угроз безопасности и самозванцев.

      Это паттерн в обоих экспериментах. Торговля улучшается, а распознавание — нет.

      Почему это важно за пределами одного магазина

      Менеджер магазина ИИ — это стресс-тест, а не продукт, и Andon Labs существует, чтобы находить режимы неудач, прежде чем кто-либо развернет их в масштабах. Его аналог в этой области, тестовый поставщик Irregular, попал в новости в этом месяце за то, что оставил среды оценки открытыми.

      Коммерческая версия уже профинансирована. Skan AI собрала 63 миллиона долларов, чтобы наблюдать за тем, как работают офисные сотрудники, и создавать агентов, которые копируют их.

      Агенты также уже принимают значимые действия по отношению к незнакомцам. Один удалил человека из списка ожидания в спортзале в Австралии, потому что API это позволял.

      Фон занятости тоже не теоретический. Три автопроизводителя Детройта сократили более 20 000 белых воротничков с 2022 года.

      Петерссон не уклоняется от того, куда, по его мнению, это приведет. Компании в будущем будут полностью управляться ИИ, сказал он, и ИИ станут работодателями людей.

      Что могло бы решить это

      Три вещи, и первая — это то, действует ли Луна когда-либо без запроса. Каждое значительное решение до сих пор следовало за человеческим запросом.

      Второе — прибыль. Это единственная цель Луны, магазин не достиг ее, и Andon Labs говорит, что никогда не ожидала этого.

      Третье — ответственность. Лаборатория, которая сама нанимает сотрудников, рассмотрела это увольнение, и более жесткая версия вопроса возникает только тогда, когда никто не стоит за агентом.