ChatGPT e Gemini non sono d'accordo sul miglior software in un terzo delle categorie, e i siti di recensioni sono stati saltati.

      GetIntel ha pubblicato il suo AI Software Index mercoledì. Lo studio ha posto circa 80 domande formulate dai compratori in ciascuna delle 126 categorie di software, coprendo 1.825 marchi. Le domande sono state inviate alle app consumer di ChatGPT e Gemini piuttosto che alle API per sviluppatori. Questo ha prodotto 9.978 risposte utilizzabili, tutte raccolte il 6 agosto.

      Il risultato principale è un lancio di moneta. In una categoria su tre, i due assistenti nominano un numero uno diverso. Quale chatbot un compratore apre decide quale azienda viene raccomandata.

      Guarda cosa citano effettivamente gli assistenti. Il dominio più citato in tutto lo studio è stato techradar.com, con 1.114 citazioni. Reddit è arrivato secondo con 807 e Zapier terzo con 418. G2, Capterra e TrustRadius insieme hanno rappresentato il 5% di tutte le citazioni.

      Quella è un'industria che viene aggirata. Quei tre siti esistono per essere il livello di riferimento per l'acquisto di software. Una rivista di tecnologia per consumatori e un forum stanno ora svolgendo quel lavoro. Gartner ha ottenuto 238 citazioni, meno di Zapier.

      Reddit al secondo posto è un problema a sé. La piattaforma sta già reprimendo i marchi che seminano opinioni false per farle ripetere ai chatbot. Dice di catturare ora 25.000 di tali post al giorno. Gli assistenti si appoggiano di più alla fonte che è più difficile da mantenere pulita.

      ChatGPT genera traffico. Gemini no.

      I due si comportano in modo molto diverso una volta scelto un vincitore. Quando ChatGPT raccomanda un prodotto, cita il sito web di quel prodotto il 53% delle volte. Gemini lo fa solo nel 13% dei casi. Si appoggia invece a pagine di terze parti.

      Quindi la stessa raccomandazione vale importi diversi. Vincere all'interno di ChatGPT fornisce un link. Vincere all'interno di Gemini fornisce una menzione. Questa distinzione è importante per chiunque stia ancora misurando il traffico degli editori come risultato.

      Le fonti indipendenti di Gemini sono ancora più strane. Le sue pagine di terze parti più citate sono post di blog scritti da altre aziende di software. Lo studio nota che spesso riguardano categorie con cui l'azienda editrice non ha nulla a che fare.

      La risposta cambia a seconda di chi chiede e dove.

      Dire chi sei sposta il risultato. In alcune categorie un marchio passa dal vincere il 34% delle risposte al vincere il 90%. L'unico cambiamento è se il compratore dice "Sono un freelance" o "Siamo un'impresa". Stessa categoria, stessa domanda, cliente diverso.

      Anche la geografia influisce, e questa è la scoperta con cui un lettore europeo dovrebbe confrontarsi. La raccomandazione numero uno cambia tra versioni della stessa domanda formulate in inglese americano e inglese britannico. Questo è accaduto in circa metà delle categorie che lo studio ha potuto misurare. I regolatori hanno trascorso due anni a discutere se le risposte dell'IA si escludano equamente. Nessuno ha chiesto se rispondono alla stessa domanda nello stesso modo su entrambi i lati dell'Atlantico.

      Presentarsi e vincere non sono la stessa cosa.

      I dati della classifica non sono gentili con i nomi ovvi. HubSpot appare su più classifiche di categoria di chiunque altro, 19 di esse, e vince tre. Salesforce appare su 13 e non vince affatto. QuickBooks appare su sette e vince cinque.

      Alcune categorie sono già stabilite. GitHub è la prima raccomandazione nel 91% delle risposte CI/CD e nel 72% delle risposte di revisione del codice. Shopify prende l'84% dell'e-commerce e Miro l'83% delle lavagne. Square detiene il 78% dei punti vendita e Loom il 76% della registrazione dello schermo.

      Altre sono completamente aperte. Nel software di marketing affiliato, la scelta principale vince solo il 5% delle risposte. La gestione dei contratti si attesta al 13%. Fatturazione, chat dal vivo e evasione degli ordini si attestano tutte al 19%. Il vincitore lì cambia quasi ogni volta che la domanda viene riformulata.

      Chi ha misurato questo e perché.

      La riserva è l'intero modello di business. GetIntel è un'azienda di Bengaluru che vende software di visibilità per l'IA. Il suo indice completo conclude che le aziende non sanno se l'IA le nomina. Questo è anche il suo messaggio di vendita. Il fondatore Tarang Agarwal lo dice quasi esplicitamente.

      Agarwal espone il problema chiaramente. Un'azienda può citare il proprio ranking su Google fino al decimale, ha detto. Potrebbe non avere idea se ChatGPT l'abbia mai nominata. "Colmare quel divario è l'intero motivo per cui esiste uno strumento di visibilità per l'IA."

      È un pitch affollato. Peec AI di Berlino ha raggiunto una valutazione di 200 milioni di dollari vendendo la stessa promessa. Il lavoro pratico di guadagnare citazioni assomiglia ancora molto a classificarsi su Google.

      Il metodo ha limiti reali ed è importante dichiararli. Questo è un giorno di dati provenienti da due motori, senza barre di errore e senza revisione paritaria. "Scelta principale" significa semplicemente il primo marchio nominato in una risposta, che è una misura grossolana di una risposta sfumata. Un singolo istantanea non può mostrare se tutto ciò è stabile.

      Quale è il test che vale la pena impostare. GetIntel dice che aggiornerà l'Indice trimestralmente. Se il tasso di disaccordo è ancora vicino a un terzo a novembre, i compratori stanno davvero ricevendo risposte diverse da macchine diverse. Se collassa, questa è stata una fotografia di un oggetto in movimento.