Las Descripciones de IA de Google están hablando de monstruos ficticios como si fueran reales.

      Un nuevo informe afirma que las Descripciones de IA de Google describieron criaturas de horror de fan-fiction de la Fundación SCP como hechos documentados en al menos 20 casos.

      La función de Descripciones de IA de Google está presentando supuestamente entradas de la Fundación SCP, un popular universo de fan fiction construido alrededor de "anomalías" de horror falsas, como si describieran criaturas y eventos reales. Futurism encontró al menos 20 casos donde los resúmenes generados por la IA omitieron cualquier mención de que las entradas de SCP son ficción.

      Confundir monstruos inventados con la realidad

      Una búsqueda de “SCP-565” supuestamente devolvió una Descripción de IA que describía una “cabeza humana anómala y ambulante” que se mueve como un cangrejo y está vinculada a registros forenses y la identidad de un hombre fallecido. El resumen incluso dirigió a los usuarios hacia un documento “oficial” de SCP para una lectura adicional.

      Según Futurism, una búsqueda de “SCP-426”, un tostador ficticio que supuestamente hace que cualquiera que lo mencione hable de él en primera persona, generó una respuesta escrita en primera persona, con la IA describiéndose a sí misma como el tostador y detallando lesiones fabricadas de personas que intentaban imitarlo. Otros ejemplos citados en el informe incluyeron “SCP-922”, llamado “Otra Versión de la Verdad”, y “SCP-779”, un parásito que se dice que imita a un hada.

      En cada caso, la Descripción de IA trató supuestamente la documentación inventada de la Fundación SCP como investigación legítima en lugar de marcarla como ficción. No es la primera vez que los resultados de búsqueda impulsados por IA de Google han presentado con confianza información falsa como un hecho, con errores anteriores que van desde fechas incorrectas hasta afirmaciones históricas inventadas.

      Sin reconocimiento, sin descargo de responsabilidad

      El propio sitio web de la Fundación SCP establece claramente que sus entradas son ficticias. Las Descripciones de IA de Google rara vez repiten ese contexto, señala Futurism, haciendo referencia ocasionalmente a “lore” sin explicar lo que eso significaba. Futurism se puso en contacto con Google para obtener un comentario, pero no recibió respuesta antes de publicar.

      Intenté replicar estos hallazgos, pero una búsqueda de “SCP-565” no devolvió ninguna Descripción de IA en absoluto, y el Modo de IA de Google etiquetó a la entidad como una “anomalía ficticia” en lugar de presentarla como real. Intentar reproducir este comportamiento con otros personajes ficticios en el universo SCP también resultó infructuoso, lo que sugiere que Google puede haber abordado ya el problema, al menos para algunas de las consultas que Futurism destacó. Google ha lanzado anteriormente actualizaciones destinadas a hacer que las Descripciones de IA y el Modo de IA sean más confiables, aunque los problemas de precisión han continuado surgiendo de vez en cuando.

      Aunque no pude replicar este comportamiento, el error sigue siendo importante porque las Descripciones de IA se sitúan en la parte superior de muchas búsquedas de Google, y cualquier persona no familiarizada con la comunidad SCP, incluidos los niños, podría terminar creyendo que las historias son hechos documentados en lugar de ficción de horror. Esto recuerda otros errores de Descripción de IA, incluido un caso en el que la función recomendó agregar pegamento no tóxico a la salsa de pizza, un recordatorio de que las respuestas incorrectas presentadas con confianza siguen siendo un riesgo persistente en la búsqueda impulsada por IA.