ChatGPT y Gemini no coinciden en el mejor software en un tercio de las categorías, y se han omitido los sitios de reseñas.

      GetIntel publicó su Índice de Software de IA el miércoles. El estudio hizo aproximadamente 80 preguntas formuladas por compradores en cada una de las 126 categorías de software, cubriendo 1,825 marcas. Las preguntas fueron dirigidas a las aplicaciones de consumidor ChatGPT y Gemini en lugar de a las API de desarrollador. Eso produjo 9,978 respuestas utilizables, todas recopiladas el 6 de agosto.

      El resultado principal es un lanzamiento de moneda. En una de cada tres categorías, los dos asistentes nombran un número uno diferente. Qué chatbot abra un comprador decide qué empresa recibe la recomendación.

      Mira lo que los asistentes realmente citan. El dominio más citado en todo el estudio fue techradar.com, con 1,114 citas. Reddit ocupó el segundo lugar con 807 y Zapier el tercero con 418. G2, Capterra y TrustRadius juntos representaron el 5% de todas las citas.

      Esa es una industria que está siendo desviada. Esos tres sitios existen para ser la capa de referencia para la compra de software. Una revista de tecnología para consumidores y un foro están haciendo ese trabajo en su lugar. Gartner logró 238 citas, menos que Zapier.

      Reddit en segundo lugar es un problema en sí mismo. La plataforma ya está tomando medidas enérgicas contra las marcas que siembran opiniones falsas para que los chatbots las repitan. Dice que ahora captura 25,000 de esas publicaciones al día. Los asistentes se apoyan más en la fuente que es más difícil de mantener limpia.

      ChatGPT envía tráfico. Gemini no.

      Los dos se comportan de manera muy diferente una vez que han elegido un ganador. Cuando ChatGPT recomienda un producto, cita el sitio web de ese producto el 53% de las veces. Gemini lo hace solo en el 13% de los casos. En su lugar, se apoya en páginas de terceros.

      Por lo tanto, la misma recomendación vale diferentes cantidades. Ganar dentro de ChatGPT entrega un enlace. Ganar dentro de Gemini entrega una mención. Esa distinción importa a cualquiera que aún esté midiendo el tráfico de los editores como resultado.

      Las fuentes independientes de Gemini son aún más extrañas. Sus páginas de terceros más citadas son publicaciones de blogs escritas por otras empresas de software. El estudio señala que a menudo se trata de categorías con las que la empresa editora no tiene nada que ver.

      La respuesta cambia según quién pregunta y dónde.

      Decir quién eres mueve el resultado. En algunas categorías, una marca pasa de ganar el 34% de las respuestas a ganar el 90%. El único cambio es si el comprador dice "Soy un freelancer" o "Somos una empresa". Misma categoría, misma pregunta, cliente diferente.

      La geografía también lo mueve, y este es el hallazgo con el que un lector europeo debería reflexionar. La recomendación número uno cambia entre versiones de la misma pregunta formuladas en inglés estadounidense y en inglés británico. Eso ocurrió en aproximadamente la mitad de las categorías que el estudio pudo medir. Los reguladores han pasado dos años discutiendo si las respuestas de IA optan de manera justa. Nadie ha preguntado si responden la misma pregunta de la misma manera en ambos lados del Atlántico.

      Aparecer y ganar no son lo mismo.

      Los datos de la tabla de clasificación no son amables con los nombres obvios. HubSpot aparece en más tablas de clasificación de categorías que nadie, 19 de ellas, y gana tres. Salesforce aparece en 13 y no gana ninguna. QuickBooks aparece en siete y gana cinco.

      Algunas categorías ya están decididas. GitHub es la primera recomendación en el 91% de las respuestas de CI/CD y en el 72% de las respuestas de revisión de código. Shopify toma el 84% del comercio electrónico y Miro el 83% de las pizarras. Square tiene el 78% del punto de venta y Loom el 76% de la grabación de pantalla.

      Otras están completamente abiertas. En software de marketing de afiliados, la elección principal gana solo el 5% de las respuestas. La gestión de contratos se sitúa en el 13%. La facturación, el chat en vivo y el cumplimiento de pedidos se sitúan en el 19%. El ganador allí cambia casi cada vez que se reformula la pregunta.

      ¿Quién midió esto y por qué?

      La advertencia es todo el modelo de negocio. GetIntel es una empresa de Bengaluru que vende software de visibilidad de IA. Su índice completo concluye que las empresas no saben si la IA las nombra. Esa es también su propuesta de venta. El fundador Tarang Agarwal lo dice casi abiertamente.

      Agarwal expone el problema de manera clara. Una empresa puede citar su clasificación en Google hasta el decimal, dijo. Puede no tener idea de si ChatGPT alguna vez la ha nombrado. "Cerrar esa brecha es la razón principal por la que existe una herramienta de visibilidad de IA".

      Es una propuesta concurrida. Peec AI de Berlín alcanzó una valoración de $200 millones vendiendo la misma promesa. El trabajo práctico de ganar citas aún se parece mucho a clasificar en Google.

      El método tiene límites reales y vale la pena mencionarlos. Este es un día de datos de dos motores, sin barras de error y sin revisión por pares. "Elección principal" simplemente significa la primera marca nombrada en una respuesta, que es una medida burda de una respuesta matizada. Una única instantánea no puede mostrar si algo de esto es estable.

      Lo cual es la prueba que vale la pena establecer. GetIntel dice que actualizará el Índice trimestralmente. Si la tasa de desacuerdo sigue cerca de un tercio en noviembre, los compradores realmente están recibiendo respuestas diferentes de diferentes máquinas. Si colapsa, esta fue una fotografía de un objeto en movimiento.