EY создала «AI-роутер», чтобы остановить рост собственных счетов за ИИ.

      EY создала то, что она называет «AI маршрутизатором», системой, которая направляет каждую задачу к самой дешевой модели, способной с ней справиться, в попытке контролировать свои растущие расходы на ИИ.

      Инструмент, о котором сообщила Business Insider, является ответом крупной четверки на проблему, которая сейчас распространяется по корпоративной ИТ: стоимость токенов, которые потребляет ИИ. Логика проста — арбитраж.

      Не каждый запрос требует самой мощной и дорогой модели, поэтому маршрутизатор отправляет простые задачи дешевой модели и оставляет дорогие модели для сложных проблем, сокращая расходы без очевидного уменьшения результата.

      У EY есть причины следить за расходами. Компания инвестирует более 1 миллиарда долларов в год в ИИ, управляет флотом из около 1000 ИИ-агентов и наблюдает, как ее доходы от консультационных услуг, связанных с ИИ, увеличиваются примерно на 30%, что является масштабом, при котором расходы на токены перестают быть округляющей ошибкой на рынке, где самые увлеченные ИИ компании тратят тысячи долларов на каждого сотрудника в месяц.

      Собственные исследования показывают, что беспокойство широко распространено. В последнем опросе EY Pulse среди 534 старших бизнес-лидеров США 82% заявили, что они обеспокоены расходами на использование токенов, и 98% из тех, кто использует инструменты на основе токенов, сказали, что эти расходы заставили их пересмотреть свою стратегию.

      Тем не менее, большинство компаний действуют вслепую. Только 64% опрошенных компаний заявили, что активно контролируют использование токенов с бюджетными ограничениями, что означает, что треть тратит на ИИ без четкого контроля, что является рецептом для шоков по счетам, которые поразили сектор.

      Настроение изменилось от «больше» к «достаточно». Глобальный руководитель консультаций по ИИ EY, Дэн Диасио, выразил это прямо: «‘ИИ экономит время’ больше не достаточно, когда расходы растут и остаются неясными», фраза, которая отражает переход от принятия технологий любой ценой к ценности по известной цене.

      Экономика токенов действительно странная. Цена за токен обрушилась, поскольку модели становятся дешевле, но счета за корпоративный ИИ утроились, потому что агентные инструменты, которые выполняют множество шагов, потребляют гораздо больше токенов, чем одна подсказка чат-бота когда-либо делала.

      Это парадокс, для которого создан маршрутизатор. Если каждую задачу можно сопоставить с самой дешевой моделью, которая все еще выполняет работу, компания может продолжать активно использовать ИИ, останавливая общий рост расходов, что именно и пытается доказать EY на своем уровне.

      Она не одна в этом усилии. Отрасль два года призывала сотрудников использовать как можно больше ИИ, моде, получившей название токенмаксинг, а теперь поворачивается в другую сторону, с компаниями от Atlassian до Amazon, вводящими бюджеты и контроль.

      Для консалтинговой компании, однако, маршрутизатор также является продуктом. EY продает консультации по ИИ другим компаниям, поэтому инструмент, который явно укрощает собственные расходы, также служит демонстрацией, доказательством того, что компания может сделать для клиентов то, что она сделала для себя.

      Опрос указывает в том же направлении. Около 76% лидеров сообщили EY, что готовое программное обеспечение больше не соответствует их потребностям, и 91% теперь считают создание инструментов ИИ внутри компании критически важным, что является сдвигом, который благоприятствует компаниям, продающим экспертизу для их создания.

      Проблема в том, что создание внутри компании сложно. Почти три четверти лидеров, опрошенных EY, заявили, что их собственная разработка ИИ замедляет прогресс, и треть отметила риски теневой ИТ и управления, грязную реальность за чистым обещанием маршрутизатора.

      Что действительно отмечает эта история, так это изменение вопроса. Первая фаза бума ИИ спрашивала, работает ли инструмент; вторая, к которой принадлежит маршрутизатор EY, спрашивает, сколько это стоит, и оправдывает ли ценность расходы.

      Ответ EY, на данный момент, заключается в том, чтобы построить сам счетчик. Компания, которая тратит миллиард долларов в год на ИИ, решила, что способ контролировать расходы — это следить за каждым токеном, что является не столько отступлением от ИИ, сколько признаком того, сколько из него сейчас используется.