Oriole lancia la prima rete AI puramente fotonica, affermando un taglio dell'81%

      TL;DRUK startup Oriole Networks sta implementando la prima rete AI puramente fotonica al mondo su larga scala, affermando una riduzione del 81% della potenza del core e un tempo di inattività della GPU inferiore all'1%. Il sistema si abbina all'hardware AMD all'interno del laboratorio ARIA Scaling Inference da 50 milioni di sterline nel Regno Unito.

      Per decenni, le reti all'interno dei data center hanno funzionato con interruttori elettrici. Sono affamati di energia, generano enormi calore e sono sempre più il collo di bottiglia che limita la velocità con cui i sistemi AI possono elaborare e scambiare dati. Oriole Networks, una startup del Regno Unito, afferma di avere una soluzione: sostituire ogni interruttore elettrico nella rete centrale con circuiti ottici su scala nanosecondo che instradano i dati come fotoni anziché elettroni.

      Lunedì, Oriole ha annunciato che implementerà quello che descrive come il primo sistema AI su larga scala al mondo alimentato da una rete puramente fotonica, come parte del laboratorio ARIA Scaling Inference del Regno Unito. Il sistema abbina la piattaforma di rete PRISM di Oriole con GPU AMD Instinct e CPU AMD EPYC. Segna il primo dispiegamento commerciale dell'azienda, con un rollout più ampio previsto per il 2027.

      Cosa fa PRISM

      PRISM elimina completamente gli interruttori di pacchetti elettronici dal core della rete. In un data center convenzionale, gli interruttori elettrici si trovano tra le GPU e introducono latenza, consumano energia e generano calore. Oriole li sostituisce con switching di circuiti ottici a velocità nanosecondo, consentendo ai fotoni di viaggiare direttamente da chip a chip.

      L'azienda afferma che questo riduce il consumo di energia della rete centrale dell'81%. Affermano anche che il tempo di inattività della GPU scende da circa il 60% nei sistemi attuali a meno dell'1%, poiché la rete non è più il vincolo. Il risultato, secondo Oriole, è un aumento di un ordine di grandezza nella capacità di elaborazione delle inferenze, il che significa più token al secondo e più utenti serviti simultaneamente dallo stesso hardware.

      Queste sono affermazioni significative. La riduzione del 81% della potenza e il tempo di inattività della GPU inferiore all'1% non sono stati valutati in modo indipendente su scala di produzione. Il dispiegamento ARIA sarà il primo vero test per verificare se le prestazioni in laboratorio si traducono in carichi di lavoro commerciali.

      Il laboratorio ARIA Scaling Inference

      Il dispiegamento si trova all'interno del laboratorio ARIA Scaling Inference, un banco di prova da 50 milioni di sterline (68 milioni di dollari) finanziato dal governo del Regno Unito attraverso l'Advanced Research and Invention Agency per affrontare i collo di bottiglia nell'inferenza AI su larga scala. ARIA è stata creata da un atto del Parlamento ed è sponsorizzata dal Dipartimento per la Scienza, l'Innovazione e la Tecnologia. Il laboratorio è ospitato da CommonAI ed è progettato per testare e ottimizzare i sistemi AI in condizioni reali.

      L'inferenza, la fase operativa in cui i modelli addestrati forniscono previsioni e generano output, rappresenta la maggior parte del costo di calcolo e dell'uso energetico dell'AI. È la fase in cui l'espansione dell'infrastruttura AI globale è maggiormente limitata dalle prestazioni della rete.

      “AMD è entusiasta di collaborare con Oriole sul cluster del laboratorio ARIA Scaling Inference,” ha dichiarato Madhu Rangarajan, vicepresidente aziendale di calcolo e AI aziendale di AMD. “Il networking AI di backend di Oriole con switching di circuiti ottici a nanosecondo rappresenta un modo fondamentalmente diverso di connettere gli acceleratori su larga scala.”

      Dalla R&D al dispiegamento in tre anni

      Oriole è stata fondata nel Regno Unito e ha raccolto circa 35 milioni di dollari fino ad oggi da investitori tra cui Plural, UCL Technology Fund, Clean Growth Fund, XTX Ventures e Dorilton Ventures. L'azienda è passata dalla ricerca al dispiegamento commerciale in tre anni, un lasso di tempo insolitamente veloce per l'hardware fotonico.

      Il CEO James Regan ha inquadrato l'annuncio come una transizione dalla prova fisica alla prova commerciale. “Un anno fa, stavamo dimostrando la fisica; oggi, stiamo dimostrando il business,” ha detto. “Questo è ciò che sembra quando il networking fotonico smette di essere una curiosità di ricerca e inizia a essere la base di come viene costruita un'infrastruttura AI seria.”

      Fondamentalmente, PRISM è progettato per essere agnostico rispetto ai chip. Funziona su qualsiasi piattaforma di acceleratori, non solo AMD, offrendo agli operatori di data center un percorso per migliorare le prestazioni della rete senza doversi impegnare in uno stack proprietario. Il rollout più ampio nel 2027 testerà se quell'agnosticismo regge su larga scala attraverso diverse configurazioni hardware.

      Perché è importante

      Si prevede che il consumo energetico dei data center AI raddoppi entro il 2030. Il raffreddamento da solo rappresenta circa il 40% dell'uso di energia di un data center. Le reti aggiungono un ulteriore strato di spreco: ogni interruttore elettrico che si trova tra le GPU consuma energia convertendo fotoni in elettroni e viceversa, riscaldando la stanza nel processo.

      Se PRISM mantiene le sue promesse, le implicazioni si estendono oltre i risparmi energetici. Una comunicazione più veloce da chip a chip significa un uso più efficiente della costosa capacità GPU, il che significa un costo di inferenza inferiore per token. In un mercato in cui le aziende stanno già lottando con bollette AI fuori controllo, una rete che consente all'hardware esistente di produrre più output senza acquistare altro hardware ha un evidente caso commerciale.

      La riserva è la distanza tra un banco di prova finanziato dal governo e un data center commerciale a iperscala. Il dispiegamento ARIA di Oriole è reale, ma non opera ancora alla scala di un cluster Meta o Google. Il rollout del 2027 determinerà se PRISM può sopravvivere al salto da un laboratorio sostenuto da 50 milioni di sterline di denaro pubblico ai piani di produzione di aziende che spendono centinaia di miliardi per l'infrastruttura AI. Questo è il divario in cui la maggior parte delle startup hardware fallisce.