Thinking Machines Inkling: il primo modello open-weight di Murati

      “Crediamo nel mantenere viva la stranezza.” Questa frase proviene da un manifesto pubblicato la scorsa settimana dal laboratorio di Mira Murati. È anche il pensiero dietro il primo modello del laboratorio.

      Il Thinking Machines Lab, fondato dall'ex chief technology officer di OpenAI, ha rilasciato Inkling. È open-weight, quindi qualsiasi sviluppatore o azienda può scaricare il modello e rimodellarlo. Questo da solo lo distingue dai modelli di punta venduti da OpenAI, Anthropic e Google.

      Inkling è grande. È un sistema misto di esperti con 975 miliardi di parametri totali, anche se utilizza solo circa 41 miliardi per qualsiasi compito specifico. Gestisce una finestra di contesto di fino a 1 milione di token e si è addestrato su 45 trilioni di token di testo, immagini, audio e video. Ragiona attraverso testo, immagini e audio, ma per ora scrive solo testo, inclusi codice e dati strutturati.

      Un modello che ammette di non essere il migliore

      Ecco il colpo di scena. Thinking Machines non afferma che Inkling sia il migliore. I propri materiali lo definiscono “non il modello più forte disponibile oggi, chiuso o aperto.”

      Il 💜 della tecnologia UE

      Le ultime novità dalla scena tecnologica dell'UE, una storia dal nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora!

      Il laboratorio sta cercando qualcos'altro: ampiezza e adattabilità. Thinking Machines Inkling è pensato per essere una base ampia e bilanciata che le organizzazioni possono perfezionare per il proprio lavoro, non un chatbot finito. Gli utenti possono regolare il suo “sforzo di pensiero” verso l'alto o verso il basso per scambiare precisione con velocità. In un test di codifica, l'azienda afferma che Inkling eguaglia il Nemotron 3 Ultra di Nvidia utilizzando un terzo dei token.

      Il laboratorio ha anche anticipato un modello più leggero, Inkling-Small, con 12 miliardi di parametri attivi. È adatto per lavori in cui il costo e la velocità sono più importanti.

      La scommessa: modellalo tu stesso

      L'intero rilascio si basa su una scommessa. L'IA addestrata in un luogo e poi congelata, sostiene il laboratorio, perde rispetto all'IA che ogni organizzazione può modellare attorno alla propria esperienza. I clienti perfezionano Inkling attraverso Tinker, la piattaforma di personalizzazione di Thinking Machines, e possiedono il risultato. Si assumono anche il rischio di sicurezza di ciò che costruiscono.

      Il laboratorio cita un progetto con il fondo hedge Bridgewater come prova. I due hanno addestrato un modello aperto sulle competenze finanziarie di Bridgewater, e ha ottenuto l'84,7% nei test di ragionamento finanziario, superando i migliori modelli proprietari a una frazione del costo. Quella cifra proviene dalla valutazione delle due aziende, non da una valutazione indipendente.

      L'argomento sta guadagnando consensi. Satya Nadella di Microsoft ha recentemente avvertito che le aziende che utilizzano modelli chiusi pagano il doppio, una volta in commissioni e una volta cedendo la conoscenza incorporata nei loro prompt. I modelli open-weight economici, molti dalla Cina, seguono la stessa direzione.

      Nove mesi, con un po' di aiuto preso in prestito

      Thinking Machines è ansiosa di sottolineare la sua velocità. OpenAI ha impiegato circa cinque anni per spedire e guadagnare, e Anthropic circa tre, ha notato TechCrunch. Il laboratorio di Murati afferma di averlo fatto in circa nove mesi.

      Ha tagliato alcuni angoli per arrivarci. Per avviare l'addestramento di Inkling, il laboratorio ha fatto affidamento su altri modelli aperti, incluso Kimi K2.5 di Moonshot, una pratica nota come distillazione. Il suo prossimo modello, insiste, si allenerà completamente da solo. Inkling ha funzionato sui sistemi GB300 di Nvidia, parte di un accordo di marzo per un gigawatt di calcolo Nvidia.

      Il denaro e le persone sono stati più difficili. Il laboratorio ha raccolto 2 miliardi di dollari a una valutazione di 12 miliardi di dollari lo scorso anno, e un round di finanziamento riportato da 50 miliardi di dollari si è bloccato. Due co-fondatori sono partiti all'inizio di quest'anno, anche se il numero di dipendenti è tornato a circa 200. Per ora, Thinking Machines non addebiterà affatto per Inkling. I suoi guadagni provengono da Tinker e il suo caso si basa sul mantenere viva la stranezza.