Apple punta all'AI on-device di PrismML per l'iPhone

      Apple è in trattative preliminari con PrismML, una startup che riduce i grandi modelli di intelligenza artificiale per funzionare direttamente su un telefono. La proposta di intelligenza artificiale on-device dell'azienda potrebbe aiutare Apple a mantenere più lavoro di Siri lontano dal cloud.

      Il CEO di PrismML, Babak Hassibi, ha dichiarato a CNBC che Apple e altre aziende stavano valutando la sua tecnologia. Ha definito le discussioni molto preliminari e ha detto che non era chiaro dove avrebbero portato, ma che "le cose stanno progredendo bene". Apple non ha commentato. The Information ha riportato per prima l'interesse di Apple la settimana scorsa.

      La startup è una spinout sostenuta da Khosla Ventures dell'Istituto di Tecnologia della California. Caltech possiede i brevetti sottostanti e li concede in licenza esclusivamente a PrismML. L'azienda ha raccolto 16,25 milioni di dollari in un round di finanziamento seed a marzo.

      Cosa ha costruito PrismML

      Martedì, PrismML ha rilasciato Bonsai 27B. Si tratta di una versione compressa del modello open-source Qwen di Alibaba, non di uno nuovo addestrato da zero. L'azienda lo ha ridotto da circa 54GB a soli 3,9GB.

      Il 💜 della tecnologia UE

      Le ultime novità dalla scena tecnologica dell'UE, una storia del nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora!

      PrismML offre due versioni sotto una licenza gratuita. Una versione ternaria funziona su un laptop. Una versione più piccola a 1 bit, di circa 3,9GB, è progettata per rientrare nel budget di memoria di un iPhone 17 Pro. PrismML afferma che è il primo modello di quella dimensione a funzionare su un telefono.

      Il trucco è come il modello memorizza i suoi valori interni. PrismML riduce ciascuno da 16 bit a solo uno o tre valori possibili. Affermano che questo riduce l'uso della memoria di 10-15 volte, accelera le risposte di sei-otto volte e riduce il consumo energetico di tre-sei volte.

      C'è un costo. Hassibi ha detto che i modelli compressi perdono alcuni punti percentuali di prestazioni. Il richiamo fattuale si indebolisce per primo, ha detto, prima di abilità come il ragionamento, la matematica e la programmazione. PrismML afferma che le sue versioni mantengono circa il 95% delle prestazioni complete nella versione ternaria e il 90% in quella a 1 bit.

      Perché Apple è interessata

      Il tempismo non è un caso. PrismML ha rilasciato il modello un giorno dopo che Apple ha aperto la beta pubblica di iOS 27, che porta il suo tanto atteso rinnovamento di Siri. Apple sta cercando di rendere Siri competitiva con gli assistenti di OpenAI e Anthropic.

      Eseguire più AI sul dispositivo sarebbe utile. Apple invia già richieste complesse ai modelli cloud. Mantenere più lavoro locale ridurrebbe i ritardi, abbatterebbe i costi del cloud e supporterebbe la proposta di privacy dell'azienda. Alcune funzionalità funzionerebbero anche offline.

      C'è anche un aspetto di costo. Morgan Stanley stima che i costi di memoria di Apple potrebbero aumentare drasticamente nel suo anno finanziario 2027. La banca si aspetta che l'azienda aumenti i prezzi degli iPhone per proteggere i margini. Modelli più piccoli aiutano Apple a inserire AI capaci in hardware compatto senza pagare per più memoria.

      Affermare che ci siano ancora prove da dimostrare

      Gli analisti hanno esortato alla cautela. Tarun Pathak di Counterpoint Research ha detto che la vera prova sarebbe milioni di query su migliaia di dispositivi. Phil Solis di IDC ha detto che il consumo energetico era la più grande domanda aperta, poiché un modello che funziona spesso potrebbe comunque scaricare una batteria.

      Il rilascio alimenta anche un dibattito su se i guadagni di efficienza ridurranno la domanda di memoria e chip per data center. Gil Luria, un analista di D.A. Davidson, ha detto che ridurre i modelli non eliminerebbe la necessità di processori. Sposterebbe semplicemente alcuni di essi dai data center ai telefoni, parte di un cambiamento più ampio verso l'AI edge.

      Hassibi ha detto che il modello open-source Gemma di Google è il prossimo in programma, seguito da modelli frontier più grandi. "È molto importante che l'intelligenza sia locale e che possa funzionare rapidamente," ha detto.