ChatGPT и Gemini не согласны по поводу лучшего программного обеспечения в третьей части категорий, и сайты с отзывами были пропущены.

      GetIntel опубликовала свой индекс программного обеспечения на основе ИИ в среду. В исследовании было задано примерно 80 вопросов, сформулированных покупателями, в каждой из 126 категорий программного обеспечения, охватывающих 1,825 брендов. Вопросы были направлены в живые приложения ChatGPT и Gemini для потребителей, а не в API для разработчиков. Это дало 9,978 полезных ответов, собранных 6 августа.

      Основной результат — это бросок монеты. В одной категории из каждых трех два помощника называют разные номера один. То, какой чат-бот откроет покупатель, решает, какая компания будет рекомендована.

      Посмотрите, что на самом деле цитируют помощники. Наиболее часто упоминаемым доменом во всем исследовании был techradar.com с 1,114 цитатами. Reddit занял второе место с 807, а Zapier — третье с 418. G2, Capterra и TrustRadius вместе составили 5% всех цитат.

      Это отрасль, которая обходит стороной. Эти три сайта существуют, чтобы быть справочным слоем для покупки программного обеспечения. Теперь эту работу выполняет потребительский технологический журнал и форум. Gartner смогла получить 238 цитат, что меньше, чем у Zapier.

      Reddit на втором месте — это отдельная проблема. Платформа уже начинает бороться с брендами, которые сеют фальшивые мнения, чтобы чат-боты могли их повторять. Она утверждает, что теперь ловит 25,000 таких постов в день. Помощники опираются на источник, который труднее всего поддерживать в чистоте.

      ChatGPT генерирует трафик. Gemini — нет.

      Они ведут себя очень по-разному, как только выбрали победителя. Когда ChatGPT рекомендует продукт, он ссылается на собственный веб-сайт этого продукта 53% времени. Gemini делает это только в 13% случаев. Он опирается на страницы третьих сторон вместо этого.

      Таким образом, одна и та же рекомендация имеет разную ценность. Победа внутри ChatGPT дает ссылку. Победа внутри Gemini дает упоминание. Это различие имеет значение для всех, кто все еще измеряет трафик издателей как результат.

      Независимые источники Gemini еще более странные. Его наиболее цитируемые страницы третьих сторон — это блоги, написанные другими компаниями программного обеспечения. Исследование отмечает, что они часто касаются категорий, к которым издательская компания не имеет никакого отношения.

      Ответ меняется в зависимости от того, кто спрашивает, и где.

      Сказав, кто вы, вы изменяете результат. В некоторых категориях бренд переходит от выигрыша 34% ответов к 90%. Единственное изменение — это то, говорит ли покупатель «Я фрилансер» или «Мы — предприятие». Одна и та же категория, один и тот же вопрос, разные клиенты.

      География тоже влияет на это, и это вывод, с которым должен согласиться европейский читатель. Рекомендация номер один меняется между версиями одного и того же вопроса, сформулированными на английском в США и Великобритании. Это произошло примерно в половине категорий, которые смогло измерить исследование. Регуляторы потратили два года, споря о том, справедливо ли AI-ответы имеют возможность отказаться. Никто не спрашивал, отвечают ли они на один и тот же вопрос одинаково с обеих сторон Атлантики.

      Появление и победа — это не одно и то же.

      Данные о лидерстве не благожелательны к очевидным именам. HubSpot появляется на большем количестве категорий, чем кто-либо другой — 19 из них, и выигрывает три. Salesforce появляется на 13 и не выигрывает ни одной. QuickBooks появляется на семи и выигрывает пять.

      Некоторые категории уже определены. GitHub является первой рекомендацией в 91% ответов по CI/CD и 72% ответов по обзору кода. Shopify занимает 84% в электронной коммерции, а Miro — 83% в области белых досок. Square удерживает 78% на точках продаж, а Loom — 76% на записи экрана.

      Другие категории открыты. В программном обеспечении для партнерского маркетинга лучший выбор выигрывает только 5% ответов. Управление контрактами составляет 13%. Выставление счетов, живой чат и выполнение заказов все составляют 19%. Победитель там меняется почти каждый раз, когда вопрос переформулирован.

      Кто это измерял и почему.

      Предостережение касается всей бизнес-модели. GetIntel — это компания из Бангалора, которая продает программное обеспечение для видимости ИИ. Ее полный индекс заключает в том, что компании не знают, упоминает ли их ИИ. Это также ее коммерческое предложение. Основатель Таранг Агарвал говорит это почти открыто.

      Агарвал четко формулирует проблему. Компания может указать свой рейтинг в Google до десятичной точки, говорит он. Она может не иметь представления о том, упоминал ли когда-либо ChatGPT о ней. «Закрытие этого разрыва — это вся причина существования инструмента видимости ИИ».

      Это переполненное предложение. Берлинская Peec AI достигла оценки в 200 миллионов долларов, продавая то же самое обещание. Практическая работа по получению цитат все еще выглядит очень похоже на ранжирование в Google.

      Метод имеет реальные ограничения, и их стоит упомянуть. Это один день данных от двух движков, без погрешностей и без рецензирования. «Лучший выбор» просто означает первый бренд, упомянутый в ответе, что является грубой мерой нюансированного ответа. Один единственный снимок не может показать, стабильно ли это.

      Что и является тестом, который стоит установить. GetIntel говорит, что будет обновлять индекс ежеквартально. Если уровень разногласий все еще близок к трети в ноябре, покупатели действительно получают разные ответы от разных машин. Если он упадет, это была фотография движущегося объекта.