Вопрос, который поставщики ИИ надеются, что вице-президенты по инженерии никогда не зададут

      Принятие ИИ-кодирования стремительно растет. Но большинство руководителей инженерных команд по-прежнему измеряют использование, а не результаты. Это создает дорогостоящую слепую зону. Есть вопрос, который никто в индустрии ИИ не хочет, чтобы вы задавали. Ни OpenAI. Ни Anthropic. Ни Google. Ни десятки стартапов, продающих ИИ-кодирующие агенты вашей инженерной команде. Вопрос прост: сколько из кода, который генерируют ваши ИИ-агенты, на самом деле попадает в производство? Не сколько было сгенерировано. Не сколько запросов было выполнено. Не сколько мест активно. Сколько прошло код-ревью, прошло CI, было объединено, развернуто и достигло клиента. Большинство руководителей инженерных команд не могут на это ответить. И у поставщиков ИИ нет стимула помочь им это выяснить. Расходы реальны. Видимость отсутствует. Согласно Индексу расходов на ИИ Стэнфордского университета, средняя компания сейчас тратит 86 долларов на разработчика в месяц на инструменты ИИ-кодирования. Это данные по 140 компаниям и более 113 000 разработчиков. Верхний квартиль тратит более 195 долларов. Некоторые компании тратят более 28 000 долларов на разработчика в месяц. Anthropic только что преодолела отметку в 30 миллиардов долларов годового дохода. Это увеличение с 9 миллиардов четыре месяца назад. Согласно SemiAnalysis, 4% всех публичных коммитов на GitHub теперь созданы Claude Code. Ожидается, что этот показатель превысит 20% к концу года. Генеральный директор Linear объявил о смерти отслеживания проблем в марте. Кодирующие агенты установлены более чем в 75% корпоративных рабочих пространств Linear. Деньги текут. Код течет. Но никто не отслеживает, сколько из этого кода на самом деле отправляется. Проблема стимула, о которой никто не говорит Поставщики ИИ выставляют счета по токенам. Чем больше токенов потребляют ваши инженеры, тем больше дохода получает поставщик. Поставщик получает оплату, когда токен используется. Не когда сгенерированный код проходит проверку. Не когда он объединяется. Не когда он развертывается. Не когда он работает в производстве. Это создает структурное несоответствие. Разработчик, который запрашивает ИИ-агента десять раз для генерации функции, которая переписывается человеком, стоит вам в десять раз больше, чем разработчик, который делает это правильно с первого запроса. Поставщик зарабатывает в десять раз больше с первого разработчика. Второй разработчик стоит вашей организации в десять раз больше. Прямо сейчас большинство руководителей инженерных команд не могут увидеть разницу. Они видят единую строку в счете за ИИ. У них нет представления о том, какие токены произвели производственный код, а какие — отходы. Это не заговор. Это структурная проблема стимула. И это проблема вице-президента по инженерии, чтобы ее решить, потому что у поставщика нет причин решать ее за них. Мы уже видели это раньше В ранние дни облачных вычислений компании переходили на AWS и Azure и тратили агрессивно. Обещание заключалось в эффективности. Реальность была в отходах. Потребовались годы, чтобы дисциплина FinOps появилась. В конечном итоге компании поняли, что они переплачивают на 30-40 процентов за облачную инфраструктуру, потому что никто не измерял, что на самом деле используется. Расходы на ИИ следуют точно такому же паттерну. За исключением того, что темп роста быстрее, а разрыв в измерениях шире. Облачные провайдеры в конечном итоге были вынуждены принять инструменты оптимизации затрат, потому что клиенты этого требовали. То же самое скоро произойдет в ИИ. Руководители инженерных команд, которые первыми начнут измерять, будут оптимизировать быстрее, лучше вести переговоры и знать, какие инструменты оставить, а какие убрать. Те, кто этого не сделает, будут продолжать писать чеки и надеяться, что результат стоит того. Измерение, которое имеет значение Отсутствующий слой — это не больше панелей мониторинга, показывающих кривые принятия и использование мест. У руководителей инженерных команд уже есть множество таких. Что отсутствует, так это возможность отслеживать код, сгенерированный ИИ, с момента его создания до момента, когда он достигает производства. Атрибуция на уровне коммита, которая показывает, какой агент написал код, какой процент коммита был сгенерирован ИИ по сравнению с редактированным человеком, прошел ли он проверку или был переписан, и развернут ли он или погиб. Когда вы связываете расходы на ИИ с производственными результатами, вы наконец можете ответить на важные вопросы. Какие команды получают реальное преимущество от ИИ-агентов, а какие сжигают токены без результата. Какие поставщики производят код, который отправляется чистым, а какие создают больше работы для рецензентов. Увеличиваются ли ваши расходы на ИИ из-за того, что принятие работает, или потому что оно дорого проваливается. В Waydev мы потратили последний год на создание этого. Мы измеряем поведение инженерии в масштабе уже девять лет для таких компаний, как Dropbox, American Express и PwC. ИИ изменил входные данные. Мы расширили слой измерений, чтобы соответствовать этому. Новая платформа отслеживает принятие ИИ, влияние ИИ и ROI ИИ на протяжении всего жизненного цикла разработки программного обеспечения, связывая то, что организации тратят на ИИ-агентов, с тем, что на самом деле достигает производства. Принятие — это не ценность Индустрия ИИ просит руководителей инженерных команд доверять, что большее использование равно большей ценности. Но использование и ценность — это не одно и то же. Принятие — это не ценность. Использование — это не влияние. Потребленные токены — это не отправленный код. Команда, которая генерирует 10 000 строк кода ИИ в неделю и отправляет 2 000 в производство, не превосходит команду, которая генерирует 3 000 и отправляет 2 500. Но на каждой панели мониторинга принятия в индустрии сегодня первая команда выглядит лучше. Это и есть слепая зона. И она становится все дороже с каждым кварталом. Эра неаудированных расходов на ИИ заканчивается. Руководители инженерных команд, которые создадут слой измерений сейчас, будут владеть разговором о ROI ИИ в следующем десятилетии. Те, кто ждет, будут тратить следующее десятилетие, объясняя счета, которые они никогда не понимали.