EY создала «AI-роутер», чтобы остановить рост своих собственных счетов за ИИ.

      EY создала то, что называет «AI маршрутизатором», системой, которая направляет каждую задачу к самой дешевой модели, способной с ней справиться, в попытке контролировать свои растущие расходы на ИИ. Инструмент, о котором сообщила Business Insider, является ответом компании Большой Четверки на проблему, которая сейчас распространяется по корпоративной ИТ-сфере: стоимость токенов, которые потребляет ИИ. Логика проста — арбитраж. Не каждый запрос требует самой мощной и дорогой модели, поэтому маршрутизатор отправляет простые задачи дешевой модели и оставляет дорогие модели для сложных задач, сокращая расходы без очевидного уменьшения результата.

      У EY есть причины следить за расходами. Компания инвестирует более 1 миллиарда долларов в год в ИИ, управляет флотом из примерно 1000 ИИ-агентов и наблюдает, как ее доходы от консультационных услуг, связанных с ИИ, увеличиваются примерно на 30%, что является масштабом, при котором расходы на токены перестают быть незначительными, на рынке, где самые увлеченные ИИ компании тратят тысячи на сотрудника в месяц.

      Собственные исследования показывают, что беспокойство широко распространено. В последнем опросе EY Pulse среди 534 старших бизнес-лидеров США 82% заявили, что они обеспокоены расходами на использование токенов, и 98% из тех, кто использует инструменты на основе токенов, сказали, что эти расходы заставили их пересмотреть свою стратегию.

      Тем не менее, большинство компаний действуют вслепую. Только 64% опрошенных компаний заявили, что активно контролируют использование токенов с бюджетными ограничениями, что означает, что треть тратит на ИИ без четкого контроля, что является рецептом для шоков по счетам, которые поразили сектор.

      Настроение изменилось от «больше» к «достаточно». Глобальный руководитель консультаций по ИИ в EY, Дэн Диасио, выразил это прямо: «‘ИИ экономит время’ больше не достаточно, когда расходы растут и остаются неясными», фраза, которая отражает переход от принятия на любых условиях к ценности по известной цене.

      Экономика токенов действительно странная. Цена за токен обрушилась, поскольку модели стали дешевле, но счета за корпоративный ИИ утроились, потому что агентные инструменты, которые выполняют множество шагов, потребляют гораздо больше токенов, чем когда-либо делал один запрос чат-бота.

      Это парадокс, для которого и создан маршрутизатор. Если каждую задачу можно сопоставить с самой дешевой моделью, которая все еще выполняет работу, компания может продолжать активно использовать ИИ, не позволяя общим расходам разрастаться, что именно и пытается доказать EY на своем уровне.

      Она не одна в этом усилии. Отрасль два года призывала сотрудников использовать как можно больше ИИ, мода, получившая название tokenmaxxing, а теперь поворачивается в другую сторону, с компаниями от Atlassian до Amazon, вводящими бюджеты и контроль.

      Для консалтинговой компании маршрутизатор также является продуктом. EY продает консультации по ИИ другим компаниям, поэтому инструмент, который явно укрощает собственные расходы, также служит демонстрацией, доказательством того, что компания может сделать для клиентов то, что сделала для себя.

      Опрос указывает в том же направлении. Около 76% руководителей сообщили EY, что готовое программное обеспечение больше не соответствует их потребностям, и 91% теперь считают создание ИИ-инструментов внутри компании критически важным, что является сдвигом, который благоприятствует компаниям, продающим экспертизу для их создания.

      Проблема в том, что создание внутри компании сложно. Почти три четверти руководителей, опрошенных EY, заявили, что их собственная разработка ИИ замедляет прогресс, и треть отметила риски теневого ИТ и управления, беспорядочную реальность за чистым обещанием маршрутизатора.

      Что действительно отмечает эта история, так это изменение вопроса. Первая фаза бума ИИ задавала вопрос, работает ли инструмент; вторая, к которой принадлежит маршрутизатор EY, задает вопрос, сколько это стоит, и оправдывает ли ценность расходы.

      Ответ EY на данный момент — создать сам счетчик. Компания, которая тратит миллиард долларов в год на ИИ, решила, что способ контролировать расходы — следить за каждым токеном, что является не столько отступлением от ИИ, сколько знаком того, насколько он сейчас используется.