Минимизация токенов: компании ограничивают использование ИИ среди сотрудников, так как счета растут

      Год назад разумным шагом внутри крупной компании было использовать как можно больше ИИ. Некоторые фирмы даже ранжировали сотрудников в таблицах лидеров по количеству токенов, которые они сожгли, игра статуса, получившая свое название: токенмаксинг.

      Эта эпоха заканчивается. Те же компании теперь ограничивают использование ИИ, и новым модным словом является его зеркальное отражение: токенминимизация.

      Последними стали AT&T, которые начали ограничивать доступ некоторых сотрудников к GitHub Copilot, согласно The Information. Meta, как сообщается, сдерживает расходы сотрудников на Anthropic и другие инструменты ИИ, что является резким поворотом от месяцев, когда работники соревновались друг с другом, чтобы потреблять больше всего.

      Счет пришел к оплате

      Причина проста: расходы стали пугающими. Самые одержимые ИИ фирмы теперь тратят 7500 долларов на сотрудника в месяц, а агентные инструменты, которые вызывают модель снова и снова, утроили корпоративные расходы на ИИ, даже когда цены за токен упали.

      Uber исчерпал весь свой бюджет на ИИ-кодирование на 2026 год к апрелю и теперь ограничивает сотрудников до 1500 долларов в месяц на инструмент. Walmart ограничил использование своего внутреннего ИИ-агента. Amazon отменил внутреннюю таблицу лидеров, которая ранжировала сотрудников по использованию ИИ, после того как люди начали манипулировать ею, что привело к росту вычислительных затрат.

      Даже отдельные инженеры стали проблемой: Microsoft обнаружила, что некоторые тратят от 500 до 2000 долларов в месяц только на токены Claude Code.

      Вот и «я же говорил»

      Некоторые компании наслаждаются моментом. «Мы никогда не отмечали токенмаксинг», - сказал генеральный директор Box Аарон Леви. «У нас никогда не было таблиц лидеров, поэтому мы не зашли слишком далеко в… стимулировании неправильного».

      Не все отступают. В Databricks один из руководителей инженерного отдела заявил, что бюджет на ИИ для инженеров по-прежнему неограничен, «так что токенмаксинг все еще существует», что является признаком того, что фирмы, уверенные в том, что их сотрудники эффективно используют ИИ, видят меньше причин для его ограничения.

      Это и есть напряжение под трендом. Ограничения контролируют расходы, но они также могут подавлять прирост производительности, который оправдывал расходы изначально.

      Настоящие победители - это инструменты для сокращения затрат

      Более устойчивый сдвиг заключается в том, к чему толкает компании токенминимизация. Чтобы сократить счета, не сокращая использование, фирмы меняют дорогие передовые модели на более дешевые или открытые модели для более простых задач.

      Это открывает возможность для инфраструктуры. Microsoft и Databricks запустили «шлюзевые» инструменты для мониторинга и ограничения расходов сотрудников на ИИ, а поддерживаемая Nvidia фабрика, оцененная в 1,5 миллиарда долларов, только что запустила маршрутизатор моделей, который перенаправляет более дешевые задачи к более дешевым моделям.

      Сатья Наделла уловил настроение в эссе на выходных, утверждая, что модели ИИ должны быть взаимозаменяемыми, а не доминирующими. «Последнее, чего кто-либо из нас хочет, это мир, где каждая компания в каждом секторе уступает ценность нескольким моделям, которые поглощают все, что они видят», - написал он. Учитывая, что это исходит от босса компании, программное обеспечение которой находится под давлением со стороны лабораторий, от которых оно зависит, это также говорит о том, куда это движется.