Infinity raccoglie 15 milioni di dollari per rendere pronti all'inferenza qualsiasi chip AI

      Il pitch è audace per un round di finanziamento seed. Infinity afferma di poter eliminare il vantaggio che ha mantenuto Nvidia intoccabile. Ha appena raccolto fondi per provarci.

      L'azienda ha chiuso un round di finanziamento seed da 15 milioni di dollari con una valutazione di 100 milioni di dollari lunedì, ha annunciato. I sostenitori includono Touring Capital, Principal VC, dirigenti di importanti aziende di chip e ricercatori di OpenAI e Anthropic.

      Il problema CUDA

      Per capire cosa stia cercando Infinity, guarda perché Nvidia ha vinto. I suoi chip sono veloci, ma il suo vero vantaggio è CUDA, il livello software che ha costruito in quasi due decenni.

      I grandi framework di intelligenza artificiale, PyTorch e TensorFlow, si trovano sopra CUDA. Scrivi la tua app in Python e viene eseguita su hardware Nvidia per impostazione predefinita. Questa comodità è il motivo per cui Nvidia detiene circa l'80% del mercato degli acceleratori AI nei data center.

      I chip rivali di AMD, Qualcomm e AWS spesso eguagliano Nvidia in termini di potenza grezza. Ciò che manca loro è il software. Portare modelli su un nuovo silicio significa scrivere kernel, il codice a basso livello che guida un chip, e pochi team possono permettersi questo sforzo.

      Un agente che scrive il codice del chip

      Infinity vuole automatizzare quel lavoro. Il suo agente AI, Ignition, genera, testa e riscrive quei kernel da solo e continua a ottimizzarli man mano che arrivano i dati sulle prestazioni. Gli ingegneri umani impostano la direzione. L'agente si occupa del lavoro pesante.

      I risultati riportati da Infinity sono sorprendenti, anche se provengono dalla stessa azienda. Lavorando con il produttore di chip d-Matrix, afferma che Ignition ha raggiunto il 92% delle prestazioni massime di un nuovo chip 10 ore dopo aver toccato per la prima volta l'hardware. Entro 10 giorni, tre modelli all'avanguardia stavano funzionando su di esso dall'inizio alla fine.

      In un altro test, Infinity afferma di aver aumentato l'output di un modello da circa 1.400 a più di 20.000 token al secondo in un solo giorno. Questo batterebbe vLLM, un framework di inferenza open-source ampiamente utilizzato. Le affermazioni non sono ancora state verificate in modo indipendente.

      Automatizzare l'invenzione

      Il fondatore dà al progetto il suo sapore. Jeremy Nixon è un ex ricercatore di Google Brain che ha creato AGI House, una rete di hacker di San Francisco che afferma di aver generato centinaia di startup.

      Nixon ha detto a TechCrunch di essere ossessionato dall'“invenzione automatizzata”, l'idea che l'AI possa essere una sorta di meta tecnologia. Una volta ha costruito un algoritmo, Omega, che inventava altri algoritmi di machine learning e li valutava in un ciclo. Ignition applica lo stesso istinto all'hardware.

      Ha annunciato la raccolta su X con un colpo di scena, esaltando l'arrivo di sistemi AI che “abilitano, ottimizzano e inventano” la prossima generazione di sistemi AI.

      Una corsa affollata e le avvertenze

      Infinity si unisce a un'ondata di startup che cercano di rompere il blocco di CUDA. Affermano di guadagnare già milioni di dollari di entrate ricorrenti annuali e impiegano 26 persone. Il suo modello di business prevede una percentuale dei guadagni in termini di velocità e costi che fornisce, piuttosto che una tassa di licenza.

      Le avvertenze sono reali. Questa è un'azienda in fase seed con un solo partner pubblico nel settore dei chip, e i benchmark principali sono auto-riferiti. Tuttavia, il premio è grande. Poiché l'inferenza sta correndo per diventare due terzi di tutte le spese per il calcolo AI quest'anno, modi più economici per eseguirla valgono una fortuna.

      “La prossima era dell'AI sarà definita non solo da chi produce il miglior chip, ma da chi può far funzionare qualsiasi chip con modelli all'avanguardia a velocità fulminanti,” ha detto Nixon. Se Ignition funziona come promesso, il vantaggio che ha reso Nvidia intoccabile inizia a sembrare meno profondo.