Искусственный интеллект Google обсуждает вымышленных монстров, как будто они реальны.

      Новый отчет утверждает, что ИИ-обзоры Google описали ужасных существ фанатской фантастики из Фонда SCP как документированные факты как минимум в 20 случаях.

      Функция ИИ-обзоров Google, как сообщается, представляет записи из Фонда SCP, популярной вселенной фанатской фантастики, построенной вокруг фальшивых ужасных «аномалий», так, как будто они описывают реальные существа и события. Futurism обнаружил как минимум 20 случаев, когда сгенерированные ИИ резюме пропустили любое упоминание о том, что записи SCP являются вымыслом.

      Смешение вымышленных монстров с реальностью

      Поиск по запросу «SCP-565» якобы вернул ИИ-обзор, описывающий «аномальную, амбулаторную человеческую голову», которая движется как краб и связана с судебно-медицинскими записями и личностью умершего человека. Резюме даже направило пользователей к «официальному» документу SCP для дальнейшего чтения.

      Согласно Futurism, поиск по запросу «SCP-426», вымышленного тостера, который якобы заставляет любого, кто его упоминает, говорить о нем от первого лица, сгенерировал ответ, написанный от первого лица, где ИИ описывал себя как тостер и детализировал вымышленные травмы людей, пытавшихся его имитировать. Другие примеры, упомянутые в отчете, включали «SCP-922», названный «Еще одна версия правды», и «SCP-779», паразита, который, как говорят, имитирует фею.

      В каждом случае ИИ-обзор, как сообщается, рассматривал вымышленную документацию Фонда SCP как легитимное исследование, а не отмечал ее как вымысел. Это не первый случай, когда результаты поиска, основанные на ИИ Google, уверенно представляли ложную информацию как факт, с прошлыми ошибками, варьирующимися от неправильных дат до вымышленных исторических утверждений.

      Без признания, без отказа от ответственности

      Собственный веб-сайт Фонда SCP ясно заявляет, что его записи являются вымышленными. Как отмечает Futurism, ИИ-обзоры Google редко повторяли этот контекст, иногда упоминая «мифологию», не объясняя, что это значит. Futurism связался с Google для комментариев, но не получил ответа до публикации.

      Я пытался воспроизвести эти результаты, но поиск по запросу «SCP-565» вообще не вернул ИИ-обзор, а ИИ-режим Google обозначил сущность как «вымышленную аномалию», а не представлял ее как реальную. Попытка воспроизвести это поведение с другими вымышленными персонажами во вселенной SCP также не увенчалась успехом, что предполагает, что Google, возможно, уже решил эту проблему, по крайней мере, для некоторых запросов, отмеченных Futurism. Google ранее выпускал обновления, направленные на то, чтобы сделать ИИ-обзоры и ИИ-режим более надежными, хотя проблемы с точностью продолжали возникать время от времени.

      Хотя мне не удалось воспроизвести это поведение, ошибка все равно имеет значение, потому что ИИ-обзоры находятся на вершине многих поисков Google, и любой, кто не знаком с сообществом SCP, включая детей, может уйти с убеждением, что истории являются документированными фактами, а не ужасной фантастикой. Это перекликается с другими ошибками ИИ-обзоров, включая случай, когда функция рекомендовала добавлять нетоксичный клей в пиццу, напоминая о том, что уверенно неверные ответы остаются постоянным риском в поиске на основе ИИ.

      Праноб Мехротра / Digital Trends

      Праноб Мехротра / Digital Trends

      Хотя мне не удалось воспроизвести это поведение, ошибка все равно имеет значение, потому что ИИ-обзоры находятся на вершине многих поисков Google, и любой, кто не знаком с сообществом SCP, включая детей, может уйти с убеждением, что истории являются документированными фактами, а не ужасной фантастикой. Это перекликается с другими ошибками ИИ-обзоров, включая случай, когда функция рекомендовала добавлять нетоксичный клей в пиццу, напоминая о том, что уверенно неверные ответы остаются постоянным риском в поиске на основе ИИ.