Apple рассматривает PrismML для встроенного ИИ на iPhone

      Apple ведет предварительные переговоры с PrismML, стартапом, который уменьшает большие модели ИИ для работы непосредственно на телефоне. Предложение компании по ИИ на устройстве может помочь Apple сохранить больше работы Siri вне облака. Генеральный директор PrismML Бабак Хасиби сообщил CNBC, что Apple и другие компании оценивают ее технологии. Он назвал обсуждения очень ранними и сказал, что неясно, к чему они приведут, но что «все идет хорошо». Apple не прокомментировала ситуацию. The Information впервые сообщила об интересе Apple на прошлой неделе. Стартап является спин-оффом Khosla Ventures из Калифорнийского технологического института. Caltech владеет основными патентами и лицензирует их исключительно PrismML. Компания привлекла 16,25 миллиона долларов в рамках посевного раунда в марте. Что построил PrismML В вторник PrismML выпустила Bonsai 27B. Это сжатая версия открытой модели Qwen от Alibaba, а не новая, обученная с нуля. Компания уменьшила ее с примерно 54 ГБ до всего 3,9 ГБ. 💜 технологий ЕС Последние новости из технологической сцены ЕС, история от нашего мудрого основателя Бориса и несколько сомнительных произведений ИИ-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! PrismML выпускает две версии по бесплатной лицензии. Тринарная версия работает на ноутбуке. Меньшая 1-битная версия, около 3,9 ГБ, предназначена для того, чтобы вписаться в бюджет памяти iPhone 17 Pro. PrismML утверждает, что это первая модель такого размера, работающая на телефоне. Фокус в том, как модель хранит свои внутренние значения. PrismML уменьшает каждое значение с 16 бит до всего одного или трех возможных значений. Компания утверждает, что это сокращает использование памяти в 10-15 раз, ускоряет ответы в 6-8 раз и снижает потребление энергии в 3-6 раз. Есть и цена. Хасиби сказал, что сжатые модели теряют несколько процентных пунктов производительности. Сначала ослабевает фактическое воспоминание, сказал он, прежде чем пострадают такие навыки, как рассуждение, математика и программирование. PrismML утверждает, что ее сборки сохраняют около 95% полной производительности в тринарной версии и 90% в 1-битной. Почему Apple это важно Временные рамки не случайны. PrismML выпустила модель на день позже, чем Apple открыла публичную бета-версию iOS 27, которая включает долгожданное обновление Siri. Apple пытается сделать Siri конкурентоспособной с помощниками от OpenAI и Anthropic. Запуск большего количества ИИ на устройстве был бы полезен. Apple уже отправляет сложные запросы в облачные модели. Сохранение большей части работы локально сократит задержку, снизит затраты на облако и поддержит предложение компании о конфиденциальности. Некоторые функции также будут работать в оффлайне. Есть и финансовый аспект. Morgan Stanley оценивает, что затраты Apple на память могут резко вырасти в финансовом году 2027. Банк ожидает, что компания повысит цены на iPhone, чтобы защитить маржу. Меньшие модели помогают Apple вписать способный ИИ в ограниченное оборудование, не платя за больше памяти. Утверждения еще нужно доказать Аналитики призвали к осторожности. Тарун Патак из Counterpoint Research сказал, что настоящим испытанием станут миллионы запросов на тысячах устройств. Фил Солис из IDC сказал, что потребление энергии является самым большим открытым вопросом, поскольку модель, которая работает часто, все равно может разрядить батарею. Выпуск также подогревает дебаты о том, сократят ли приросты эффективности спрос на память и чипы дата-центров. Гил Лурия, аналитик D.A. Davidson, сказал, что уменьшение моделей не уберет необходимость в процессорах. Это просто переместит некоторые из них из дата-центров на телефоны, что является частью более широкого сдвига к краевому ИИ. Хасиби сказал, что модель Gemma от Google с открытым исходным кодом следующая в очереди, за ней следуют более крупные модели на переднем крае. «Очень важно, чтобы интеллект был локальным и чтобы он мог работать быстро», — сказал он.