Chip congelato di Google: Gemini integrato nel silicio

      La maggior parte dei chip AI sono a uso generale. Carichi un modello su di essi e lo eseguono. Google sta tentando qualcosa di più strano: un chip che è il modello, con il progetto di Gemini inciso nell'hardware stesso.

      Il progetto, informalmente chiamato "Frozen v2", è stato riportato da The Information ed è stato ripreso da Reuters e Bloomberg Law. Le azioni di Alphabet sono aumentate fino al 3,7% alla notizia. Google non ha confermato il progetto e il chip è ancora a anni di distanza. Ma l'idea alla base è una scommessa seria su dove andrà l'infrastruttura AI in futuro.

      Cosa significa "frozen"

      I chip di oggi mantengono il modello in memoria e trasferiscono i suoi dati avanti e indietro. Questa flessibilità costa potenza e tempo.

      Frozen v2 incorporerebbe l'architettura della rete neurale di Gemini direttamente nel circuito. L'hardware si adatta alla forma del design AI attuale di Google. Gli ingegneri possono comunque aggiornare il modello caricando nuovi pesi, ma la struttura sottostante rimane fissa, o "congelata". Si dice che quanto del modello venga hardwired sia ancora in fase di decisione.

      Il vantaggio è l'efficienza. The Information riporta che il chip potrebbe essere da 6 a 10 volte più efficiente rispetto agli ultimi chip AI personalizzati di Google, misurato in token serviti per unità di potenza. Sarebbe una nuova linea di silicio, separata dai TPU di Google piuttosto che un sostituto. Il lancio è previsto per il 2028.

      Perché è importante

      Il tempismo non è casuale. The Information afferma che Frozen v2 è in parte una risposta a una crisi di capacità AI all'interno di Google. La pressione è così severa che Google Cloud ha rifiutato alcuni clienti esterni e ha sollevato tensioni interne.

      L'efficienza è tutto in questo momento. Eseguire modelli AI è incredibilmente costoso e ogni watt risparmiato su scala di data center è denaro. Un chip sintonizzato per un modello può ridurre gran parte del sovraccarico che un chip generale porta con sé.

      Sarebbe anche veloce. Poiché il design è fisso, il chip può rispondere con pochissimo ritardo. Come ha notato un osservatore, questo si adatta a usi in tempo reale come gli assistenti vocali, dove il ritardo è il nemico.

      C'è anche un angolo strategico. Google progetta già i propri TPU per ridurre la propria dipendenza da Nvidia. Un chip specifico per Gemini spingerebbe ulteriormente quell'autosufficienza, approfondendo uno sforzo che ha visto Google distribuire i suoi ordini di chip tra diversi fornitori.

      Google non è sola

      L'approccio non è unico di Google. Una startup chiamata Taalas sta già vendendo l'idea, stampando i pesi e l'architettura di un modello direttamente su un chip che chiama Hardcore.

      I numeri dichiarati sono accattivanti. Taalas afferma che la sua parte serve fino a 17.000 token al secondo, contro circa 150 per utente su una GPU Nvidia di alto livello. Afferma di non avere bisogno di costosa memoria ad alta larghezza di banda, il che allevierebbe la crisi di memoria che sta schiacciando l'industria.

      Questa è la scommessa più ampia. Se un modello può vivere nel silicio, scambi flessibilità per velocità, costo e potenza. Per un'azienda che serve un modello a miliardi di persone, quel scambio può avere senso. È lo stesso istinto alla base degli sforzi per ridurre i modelli sui telefoni.

      Il problema

      Il rischio ovvio è la rigidità. L'AI si muove rapidamente e un chip costruito attorno all'attuale Gemini potrebbe sembrare obsoleto entro il 2028. Il design di Google cerca di attenuare ciò mantenendo i pesi aggiornabili, ma l'architettura è comunque impostata in anticipo.

      Poi c'è la piccola questione della conferma. Google non ha riconosciuto il progetto. Un portavoce ha detto solo che i suoi team sperimentano idee ad alta efficienza e che non tutti i progetti di laboratorio raggiungono la produzione.

      Quindi considera Frozen v2 come un segnale, non come un prodotto in fase di lancio. Il segnale è abbastanza chiaro. La corsa per il silicio AI personalizzato si sta spostando dall'esecuzione di qualsiasi modello alla fusione di un modello con il metallo. Se Google ci riesce, i suoi rivali dovranno rispondere.