Ошибки Amazon на сумму 1,8 миллиона долларов с Claude показывают неукротимые расходы на ИИ

      Amazon обнаружил, что искусственный интеллект может превратить тривиальную ошибку в ошибку на семь цифр. Внутренние метрики компании показывают, что проекты выходят за рамки бюджета, включая один, который сжег 1,8 миллиона долларов, прежде чем кто-либо это заметил. Старшие инженеры назвали результаты «катастрофически дорогими».

      Случаи были представлены на внутренней встрече и впервые были освещены Financial Times. Худший случай использовал Claude от Anthropic для сопоставления записей авторов с продуктами в магазине Amazon. Он превысил бюджет на 860 процентов, потребовалось пять месяцев, чтобы это заметить, и развертывание все равно провалилось.

      Два меньших промаха также были упомянуты, отметил Tom’s Hardware. Финансовый инструмент аудита превысил бюджет примерно на 541 000 долларов. Система, предназначенная для ускорения доставки, добавила 134 000 долларов. Каждая из этих ошибок раньше стоила почти ничего.

      Как дешевая ошибка становится огромным счетом

      Причина кроется в прайс-листе. Когда человек пишет ошибочный код, это вызывает ошибку и приводит к сбою. Когда модель выполняет работу, неправильная конфигурация просто продолжает работать и тихо выставляет вам счет. Цикл повторной попытки, который повторно отправляет тот же запрос, или задача, нацеленная на весь каталог вместо образца, не вызывает сбоя. Он генерирует счет.

      Этот счет приходит с ежемесячным циклом, а не в журнале сборки. Пробел — это то, как неправильно настроенная задача работает пять месяцев, прежде чем кто-либо свяжет ее с цифрой. Переход на ценообразование за токен усугубляет ситуацию. AI-агенты, которые отправляют гораздо больше токенов, чем чат-бот, подливают масла в огонь.

      Ничто из этого не уникально для Amazon. Это та же ловушка, которая привела к счету OpenAI на 1,3 миллиона долларов для одного разработчика, и причина, по которой счета за корпоративный ИИ продолжают расти, даже когда цена за токен падает.

      Компания, которая продает решение

      Вот неудобная часть. Amazon потратил слишком много на ИИ, в то время как его собственное облако продает именно те инструменты, чтобы это остановить. Bedrock от AWS предлагает пакетную инференцию по половинной цене, дисконтированный уровень «Flex», кэширование запросов по одной десятой от входной ставки и маршрутизацию запросов, которая направляет простые задачи на более дешевые модели.

      Более дешевые модели тоже были вариантом. Haiku от Anthropic стоит треть от модели Sonnet, к которой обратился Amazon. Перерасход произошел из-за выбора модели передового края по умолчанию и отсутствия защитных рамок, именно той ошибки, которую Amazon и Anthropic советуют другим компаниям избегать.

      Ответ Amazon

      Amazon приуменьшил ситуацию. «Как и с любой новой технологией, мы экспериментируем, учимся и улучшаем то, как мы ее используем», — сказали они, добавив, что несколько изолированных примеров не отражают, как работают их команды. В случаях участвовало небольшое количество групп внутри корпоративной рабочей силы примерно в 300 000 человек.

      Математика подтверждает безразличие. Квартальная выручка Amazon составляет более 180 миллиардов долларов, поэтому перерасходы не составляют 0,1 процента от продаж за один месяц. Эксперт по затратам AWS Кори Куинн был безжалостен, написав, что «получить счет с двумя запятыми, которого вы не ожидали, должно быть так трудно для вас».

      За кулисами ответ более жесткий. Amazon уже отменил внутренний рейтинг, который оценивал сотрудников по использованию ИИ, после того как сотрудники манипулировали им, завышая свое потребление токенов. Теперь их инженеры создают автоматизированные защитные рамки, чтобы ограничить, сколько может потратить проект, прежде чем счет будет выставлен.

      Это настоящий урок, и он касается управления, а не финансов. Для Amazon 1,8 миллиона долларов — это округляющая ошибка. Для тысяч компаний, которые сейчас полагаются на ИИ для сокращения затрат, runaway job, который скрывается в течение пяти месяцев, — это разница между бюджетом и кризисом.