Цены на GPU в AWS выросли на 20% из-за нехватки памяти

      Аренда AI-чипа начинает ощущаться как бронирование отеля в переполненном городе. Вы платите за то, чтобы забронировать номер, а цена продолжает расти. На AWS она снова поднялась.

      Amazon Web Services повысила цены на EC2 Capacity Blocks для ML примерно на 20%, начиная с июля. Business Insider первым сообщил об изменении, и AWS это подтвердил. Сервис позволяет компаниям заранее резервировать GPU Nvidia, чтобы длительная тренировка продолжалась, а не останавливалась на полпути.

      Это второе повышение за шесть месяцев. AWS уже подняла те же цены примерно на 15% в январе. В совокупности стоимость блокировки этих вычислений резко возросла с начала года. AWS заявила, что цены меняются «периодически в зависимости от спроса и предложения».

      Рост узкий, а не повсеместный. Он затрагивает одну опцию покупки: резервированные блоки, которые предпочитают серьезные AI-команды, обучающие или донастраивающие крупные модели. Другие опции сохраняют фиксированные цены, заявила AWS, и компания говорит, что удержит их на этом уровне. Повышение не затронуло Trainium, внутренний AI-чип Amazon, согласно The Information.

      Объем все еще имеет значение, потому что на нем много всего. AWS является крупнейшим облачным провайдером в мире, и множество AI-сервисов работает на его серверах. Когда самая дорогая категория его вычислений поднимается, стоимость распространяется на стартапы и предприятия, которые ее арендуют. AWS, в свою очередь, представила этот шаг как доказательство того, насколько сильным стал спрос на GPU.

      Почему облако не могло оставаться дешевым

      Изменение, за которым стоит следить, заключается в том, где произошло сжатие. В течение двух лет ограничением для AI были программное обеспечение и ноу-хау. Теперь это физическое ограничение. Узкое место — это память с высокой пропускной способностью, чипы, расположенные рядом с AI-процессорами, и ее не так много, чтобы хватило всем. Ограничение для AI переместилось от кода к кремнию, как выразился Business Insider, а создание кремния занимает годы.

      Цепочка коротка и беспощадна. Меньше памяти означает меньше GPU. Меньше GPU означает меньше дата-центров. «Поскольку есть предел тому, сколько памяти можно произвести, то есть предел тому, сколько GPU можно произвести, что означает, что есть предел тому, сколько дата-центров можно построить», — написал Питер Березин, главный экономист BCA Research, в X.

      Эта нехватка дает облачным гигантам рычаг. Когда мощность GPU ограничена, у клиентов мало альтернатив, поэтому AWS, Microsoft, Google и Oracle могут передавать более высокие затраты напрямую. Нехватка увеличивает их собственные счета, отметил Березин, но она также поддерживает спрос выше предложения, что дает им ценовую власть над тем, кто вообще может вычислять.

      Рост цен, который теперь повсюду

      Amazon не одна, и это суть. На этой неделе Apple повысила цены на свои Mac и iPad, ссылаясь на память. Xbox сделал то же самое. Илон Маск назвал скачок цен на память самым большим увеличением цен, которое он когда-либо видел. Теперь те же цены на память появляются в счетах за облачные услуги.

      Обратная сторона сжатия — это неожиданная прибыль. Нехватка, поднимающая цены на GPU AWS, подтолкнула производителей памяти Micron и SK Hynix к рекордным оценкам. Инвесторы ставят на то, что нехватка памяти с высокой пропускной способностью сохранит рынок в напряжении и цены высокими на протяжении многих лет.

      Для клиентов AWS сообщение очевидно. Самые дешевые вычисления AI остались позади, и теперь нажатие кнопки резервирования стоит дороже. Открытым вопросом остается, насколько далеко это зайдет. Если рост на 15% стал еще 20% за шесть месяцев, команды, строящие самые амбициозные модели, остаются в догадках, сколько будет стоить следующее бронирование.