ИИ-писцы неправильно указывают названия лекарств и диагнозы в записях NHS

      Пациенту в Англии сказали, что у него демиелинизация, повреждение нервов, которое лежит в основе таких заболеваний, как рассеянный склероз. Результат теста на самом деле гласил «нулевая демиелинизация», и ИИ-секретарь пропустил слово, которое изменяло смысл.

      Этот случай упоминается в предупреждении от Healthwatch England, государственного надзорного органа за пациентами, о котором сегодня сообщила газета Guardian. Его вывод заключается в том, что инструменты, которые сейчас транскрибируют консультации для врачей общей практики и врачей больниц, неправильно интерпретируют названия лекарств и диагнозы, и что пациенты часто являются теми, кто это замечает.

      В Национальной службе здравоохранения Англии используется двадцать семь различных ИИ-секретарей. Они находятся в консультационных кабинетах, слушают и составляют заметку, которая попадает в медицинскую карту, и письмо, которое отправляется пациенту.

      Ошибки, собранные надзорным органом, обыденны по форме и серьезны по последствиям. Один секретарь перепутал назначенное лекарство с другим, имеющим похожее название, что является типом путаницы, с которой фармакология прилагает значительные усилия, чтобы справиться.

      В другом резюме была пропущена инструкция консультанта о том, что пациент должен запросить повторный рецепт на медикаменты от мигрени. Третья запись зафиксировала, как врач сказал пациенту продолжать принимать Прозак, хотя этот врач его ни назначал, ни обсуждал.

      Общая нить заключается в том, что ничего не выглядело сломанным. Плавная, правдоподобная заметка — это именно то, что эти системы производят, и именно поэтому ошибка выживает при взгляде, который занятой клиницист бросает на нее перед тем, как подписать.

      «Эти неточности могут остаться в их записях, если пациент их не заметит», — предупредил надзорный орган. Это ставит последнюю линию защиты на человека, который наименее подготовлен, чтобы знать, что должно было быть написано в заметке.

      Рэйчел Пауэр, генеральный директор Ассоциации пациентов, среди тех, кто выражает озабоченность, наряду с клиницистами, включая лондонского врача общей практики Шиера Зизера Давуда и Шарлотту Блис из Уппсальского университета в Швеции. Возражение заключается не столько в технологии, сколько в ее появлении без сети безопасности.

      Поскольку нет надзора на уровне Англии за этими инструментами. Агентство по регулированию медицинских и медицинских продуктов не классифицировало ИИ-секретарей как медицинские устройства, что оставляет их вне режима, который тестировал бы их на безопасность и эффективность перед внедрением.

      Регулятор действительно опубликовал руководство в августе, уточняющее, где проходит граница. Система, которая только транскрибирует то, что было сказано, не является устройством, в то время как система, которая предлагает диагноз или лечение, вполне может быть таковой, что возлагает большую ответственность на то, как каждый продукт описывается его продавцом.

      Следующий стимул очевиден. Секретарь, рекламируемый как пассивный транскрибатор, избегает регуляторного процесса, который должен пройти секретарь, рекламируемый как клинический помощник.

      Ошибка транскрипции также является другой неудачей, чем та, которую ожидает большинство работ по безопасности ИИ. Никто здесь не был введен в заблуждение галлюцинированным фактом; реальное предложение было слегка искажено, и слегка искаженное достаточно, когда предложение называет лекарство.

      Ничто из этого не объясняет, почему эти инструменты распространяются так быстро. Клиническая документация является административной нагрузкой, о которой врачи чаще всего жалуются, и система, которая надежно убирает час печатания в день, будет принята, независимо от того, оценивал ли кто-либо ее.

      Проблема заключается в том, что происходит между этими двумя фактами. Инструмент, принятый за его скорость, не оцененный из-за того, как он классифицируется, производит документ, который становится постоянной клинической записью, является цепью, в которой ни одна отдельная ссылка явно не является чьей-либо ответственностью.

      Средство, на которое указывает надзорный орган, непривлекательно и, вероятно, правильно. Пациенты должны быть уведомлены, когда используется секретарь, и получать свои заметки для проверки, что превращает случайный механизм безопасности в преднамеренный.

      Двадцать семь продуктов, отсутствие классификации устройства и проверка, проводимая тем, кто случайно внимательно читает их письмо: это текущее положение в NHS в Англии.