ChatGPT и Gemini не согласны по поводу лучшего программного обеспечения в трети категорий, и сайты с отзывами были пропущены.

      GetIntel опубликовала свой индекс программного обеспечения ИИ в среду. Исследование задавало примерно 80 вопросов, сформулированных покупателями, в каждой из 126 категорий программного обеспечения, охватывающих 1,825 брендов. Вопросы были направлены в живые приложения ChatGPT и Gemini, а не в API разработчиков. Это дало 9,978 полезных ответов, все собранные 6 августа.

      Главный результат - это бросок монеты. В одной категории из каждых трех два помощника называют разные номера один. Какой чат-бот откроет покупатель, решает, какая компания будет рекомендована.

      Посмотрите, что на самом деле цитируют помощники. Наиболее часто упоминаемым доменом в исследовании был techradar.com с 1,114 цитатами. Reddit занял второе место с 807, а Zapier третье с 418. G2, Capterra и TrustRadius вместе составили 5% всех цитат.

      Это отрасль, которая обходит стороной. Эти три сайта существуют, чтобы быть ссылочным слоем для покупки программного обеспечения. Теперь эту работу выполняет потребительский технологический журнал и форум. Gartner смогла получить 238 цитат, что меньше, чем у Zapier.

      Reddit на втором месте - это уже проблема. Платформа уже принимает меры против брендов, которые сеют фальшивые мнения, чтобы чат-боты могли их повторять. Она утверждает, что теперь ловит 25,000 таких постов в день. Помощники полагаются в основном на источник, который труднее всего поддерживать в чистоте.

      ChatGPT генерирует трафик. Gemini - нет.

      Они ведут себя очень по-разному, как только выбрали победителя. Когда ChatGPT рекомендует продукт, он ссылается на собственный веб-сайт этого продукта 53% времени. Gemini делает это только в 13% случаев. Он полагается на страницы третьих сторон вместо этого.

      Таким образом, одна и та же рекомендация имеет разную ценность. Победа внутри ChatGPT дает ссылку. Победа внутри Gemini дает упоминание. Это различие имеет значение для всех, кто все еще измеряет трафик издателей как результат.

      Независимые источники Gemini еще более странные. Его наиболее цитируемые страницы третьих сторон - это блоги, написанные другими компаниями программного обеспечения. Исследование отмечает, что они часто касаются категорий, к которым издательская компания не имеет никакого отношения.

      Ответ меняется в зависимости от того, кто спрашивает, и где.

      Сказав, кто вы, вы меняете результат. В некоторых категориях бренд переходит от выигрыша 34% ответов к 90%. Единственное изменение заключается в том, говорит ли покупатель: «Я фрилансер» или «Мы - предприятие». Одна и та же категория, один и тот же вопрос, разные клиенты.

      География тоже влияет, и это вывод, с которым должен смириться европейский читатель. Рекомендация номер один меняется между версиями одного и того же вопроса, сформулированными в США и Великобритании. Это произошло примерно в половине категорий, которые смогло измерить исследование. Регуляторы потратили два года на споры о том, справедливо ли AI-ответы имеют возможность отказаться. Никто не спрашивал, отвечают ли они на один и тот же вопрос одинаково с обеих сторон Атлантики.

      Появиться и выиграть - это не одно и то же.

      Данные таблицы лидеров неблагоприятны для очевидных имен. HubSpot появляется на большем количестве таблиц лидеров категорий, чем кто-либо другой - 19 из них, и выигрывает три. Salesforce появляется на 13 и не выигрывает ни одной. QuickBooks появляется на семи и выигрывает пять.

      Некоторые категории уже определены. GitHub является первой рекомендацией в 91% ответов по CI/CD и 72% ответов по обзору кода. Shopify занимает 84% в электронной коммерции, а Miro - 83% в области белых досок. Square удерживает 78% на точке продажи, а Loom - 76% на записи экрана.

      Другие категории открыты. В программном обеспечении для партнерского маркетинга лучший выбор выигрывает только 5% ответов. Управление контрактами составляет 13%. Выставление счетов, живой чат и выполнение заказов все составляют 19%. Победитель там меняется почти каждый раз, когда вопрос переформулирован.

      Кто это измерял и почему.

      Предостережение касается всей бизнес-модели. GetIntel - это компания из Бангалора, которая продает программное обеспечение для видимости ИИ. Ее полный индекс заключает, что компании не знают, упоминает ли их ИИ. Это также ее коммерческое предложение. Основатель Таранг Агарвал говорит это почти открыто.

      Агарвал четко формулирует проблему. Компания может указать свой рейтинг в Google до десятичной точки, сказал он. Она может не иметь представления о том, упоминал ли когда-либо ChatGPT о ней. «Закрытие этого разрыва - это вся причина существования инструмента видимости ИИ».

      Это переполненное предложение. Берлинская Peec AI достигла оценки в 200 миллионов долларов, продавая то же самое обещание. Практическая работа по получению цитат все еще выглядит очень похоже на ранжирование в Google.

      Метод имеет реальные ограничения, и их стоит упомянуть. Это один день данных из двух движков, без погрешностей и без рецензирования. «Лучший выбор» просто означает первый бренд, упомянутый в ответе, что является грубым измерением нюансированного ответа. Один единственный снимок не может показать, стабильно ли это.

      Что и является тестом, который стоит установить. GetIntel говорит, что будет обновлять индекс ежеквартально. Если уровень разногласий все еще близок к трети в ноябре, покупатели действительно получают разные ответы от разных машин. Если он упадет, это была фотография движущегося объекта.