Lo Stack di Valutazione: Dimostrare che gli agenti hanno ragione invece di affermarlo

      La maggior parte degli strumenti di ricerca AI punta un modello linguistico sul web e si fida dell'output. Saarth Shah ha costruito Sixtyfour attorno all'istinto opposto: valutare tutto, spedire solo ciò che migliora il punteggio.

      Saarth Shah tiene un punteggio. Ogni build degli agenti di ricerca di Sixtyfour viene valutata rispetto a domande che un team di esperti assembla a mano e verifica contro casi reali, verticale per verticale, e il punteggio è l'unica cosa che decide cosa viene spedito. La disciplina dietro quel punteggio è il motivo per cui un'azienda di pagamenti lascerà che il suo software, piuttosto che un analista umano, decida se uno sconosciuto è reale.

      La maggior parte degli strumenti di ricerca AI parte dalla stessa scorciatoia: punta un modello linguistico sul web aperto, chiede di cercare qualcosa e lo lascia scrivere. L'output è ben scritto. Ciò su cui Shah si è concentrato fin dall'inizio era se fosse corretto e come chiunque potesse saperlo.

      Per un po', l'industria ha incolpato l'allucinazione, l'abitudine dei modelli di inventare fatti e fonti. Quel problema è reale e sta lentamente migliorando. I modelli di frontiera allucinano meno di quanto facessero un anno fa, e abbinarli a ricerche web in tempo reale ha ulteriormente ridotto il divario. Ma il limite che interessa a Shah non è l'immaginazione del modello. È la portata del modello.

      Un modello linguistico con una casella di ricerca vede ciò che una persona con un browser vede, e nulla di più. I fatti che decidono un'indagine di solito si trovano sotto la superficie, in registri licenziati e proprietari, in documenti non indicizzati e nelle reti intricate di entità in cui è costruita la frode per nascondersi. La ricerca superficiale non può raggiungerli.

      "I modelli continuano a migliorare, e vedono ancora solo ciò che una persona con un browser può vedere," ha detto Shah. "Le risposte che contano in questo lavoro sono a un paio di livelli più in profondità, e devi andare a trovarle."

      Circa il 96% delle imprese ora utilizza agenti AI, e il divario tra un sistema che risponde a una domanda e uno che la risponde correttamente è diventato il problema centrale nell'AI di produzione. Anche i modelli più capaci faticano ancora nel lavoro professionale realistico e a lungo termine, dove un singolo passo falso deraglia il risultato. Shah ha appreso la lezione anni prima che i benchmark la confermassero: capacità e affidabilità sono proprietà diverse, e la seconda deve essere ingegnerizzata appositamente.

      Ciò che ha costruito è una forma di sistema diversa. Gli agenti di Sixtyfour si trovano tra due opzioni fallimentari, i database statici che diventano obsoleti e i modelli generali che improvvisano. Ogni indagine fonde ricerca web in tempo reale, registri pubblici, documenti statali e legali, intelligence open-source e dati licenziati, quindi li compila in un rapporto in cui ogni affermazione punta alla sua fonte. Nulla è affermato che non possa essere ricondotto a un documento, il tipo di provenienza che un tribunale richiederebbe.

      In pratica, una singola query si espande in molte. Chiedi a Sixtyfour di verificare un venditore, e i suoi agenti estraggono documenti aziendali, incrociando indirizzi e funzionari, esaminano sanzioni e registri di contenzioso, cercano nel web in tempo reale l'impronta reale dell'azienda. Quando un filo porta da qualche parte, l'agente lo segue, raccogliendo contesto fino a poter risolvere la questione piuttosto che fermarsi alla prima risposta plausibile. L'output è un dossier in cui ogni riga è collegata al documento sottostante, in modo che un revisore possa controllare il ragionamento della macchina piuttosto che fidarsi di essa.

      La parte di cui Shah è più orgoglioso è quella che la maggior parte delle aziende salta. Per ogni dominio in cui lavorano i suoi agenti, ha costruito sistemi di valutazione che misurano il loro output rispetto a risposte note, in modo che l'azienda possa dimostrare quanto spesso ha ragione piuttosto che affermarlo in una presentazione di vendita. Non inviano nemmeno miglioramenti del prodotto a meno che non mostrino chiari miglioramenti nel sistema di valutazione. E ogni giorno, stanno rendendo il loro benchmark sempre più difficile, utilizzando campioni del mondo reale che vedono, per continuare a spingere la frontiera.

      "Ogni risposta deve mostrare il suo lavoro," ha detto Shah. "Se non possiamo indicare il documento o il registro, non spediamo la risposta. La citazione è il prodotto, non la decorazione."

      Costruire quelle valutazioni è stata una grande parte del lavoro necessario per essere i migliori al mondo, e la parte più difficile era la verità stessa. I fornitori di dati esistenti non possono fungere da fonte di verità; le loro informazioni sono troppo spesso obsolete o scarse. Quindi, per valutare un agente su un caso genuinamente difficile, Sixtyfour a volte stabilisce la risposta nel modo lento, portandola a termine con investigatori umani, per poi trasformarla in un test che gli agenti devono superare. L'obiettivo è eguagliare i migliori investigatori, per poi superarli, fino a quando il set di valutazione misura uno standard che nessun singolo revisore potrebbe raggiungere da solo.

      La disciplina è implacabile. Ogni nuovo strumento che il team aggiunge viene testato contro il set di valutazione prima di essere spedito, e quando un'aggiunta promettente abbassa il punteggio, viene ritirata. Un rivale può copiare un diagramma architettonico in un pomeriggio. Non può copiare anni di esecuzioni valutate da sistemi di produzione, e le sfumature che spingono gli agenti AI a fare meglio.

      È per questo che Sixtyfour si trova in cima al benchmark di riconoscimento, davanti a sistemi di laboratori molte volte più grandi.

      La concorrenza ottimizza per altre cose. Parallel, un'azienda di ricerca web, si concentra su risposte lunghe e approfondite. Exa costruisce una ricerca semantica basata su embedding per la scoperta piuttosto che per la verifica. Sixtyfour misura qualcosa di più ristretto e difficile: se un'affermazione specifica su un'entità specifica è verificabilmente vera.

      Poi c'è la parte che si accumula. Ogni indagine che Sixtyfour esegue risolve le entità che tocca in un grafo su cui la successiva indagine può fare affidamento. Più il sistema viene utilizzato, più già sa.

      "La millesima volta che indaghi su una rete di venditori, il grafo sta già facendo metà del lavoro prima che un agente inizi, e ci consente di tracciare schemi come anelli di frode e reti di cattivi attori tutti connessi tra loro," ha detto Shah. "Quella è la parte che non puoi comprare. La guadagni un'indagine alla volta."

      L'approccio sta attirando attenzione esterna. A giugno, Y Combinator ha invitato Shah a parlare al suo evento di tirocinio, un intervento di persona a centinaia di tirocinanti provenienti da tutto il suo portafoglio insieme a Jared Friedman della società. "Lavorate su problemi difficili," ha detto loro. "Man mano che gli strumenti e gli agenti AI migliorano, l'alpha si sposta verso problemi difficili che richiedono competenza di dominio e quasi perfetta accuratezza. Una chiamata sbagliata nel nostro dominio e qualcuno viene denunciato, bandito o addirittura arrestato." Per un fondatore il cui argomento è che l'affidabilità deve essere costruita piuttosto che rivendicata, l'invito a insegnarla portava il suo tipo di prova.

      Shah ha scritto gran parte del sistema originale da solo prima che l'azienda crescesse fino a una dozzina di persone, e parla di correttezza come altri fondatori parlano di crescita. La scommessa va contro il flusso di un campo che premia la fluidità: gli acquirenti pagheranno di più per un sistema che sa quando non sa piuttosto che per uno che ha sempre una risposta pronta. Il punteggio sul suo schermo è come intende dimostrarlo, un'esecuzione valutata alla volta.