Los escribas de IA están confundiendo los nombres de los medicamentos y los diagnósticos en los registros del NHS.

Los escribas de IA están confundiendo los nombres de los medicamentos y los diagnósticos en los registros del NHS.

      Un paciente en Inglaterra fue informado de que tenía desmielinización, el daño nervioso que subyace a condiciones como la esclerosis múltiple. El resultado de la prueba en realidad había leído “desmielinización nula”, y un escriba de IA había omitido la palabra que revertía el significado.

      Ese caso aparece en una advertencia de Healthwatch England, el organismo regulador de pacientes, reportada hoy por el Guardian. Su hallazgo es que las herramientas que ahora transcriben consultas para médicos de cabecera y médicos de hospitales están confundiendo nombres de medicamentos y diagnósticos, y que a menudo son los pacientes quienes lo notan.

      Veintisiete diferentes escribas de IA están en uso en el servicio de salud en Inglaterra. Se sientan en la sala de consultas, escuchan y producen la nota que va al registro y la carta que va al paciente.

      Los errores recopilados por el organismo regulador son mundanos en forma y serios en efecto. Un escriba intercambió un medicamento recetado por otro diferente con un nombre similar, el tipo de confusión que la farmacología se esfuerza considerablemente por eliminar.

      Otro resumen omitió la instrucción de un consultor de que el paciente debía solicitar una receta repetida para el medicamento contra la migraña. Un tercero registró a un médico diciéndole a un paciente que continuara con su Prozac, cuando ese médico no lo había recetado ni discutido.

      El hilo común es que nada parecía roto. Una nota fluida y plausible es exactamente lo que estos sistemas producen, razón por la cual un error sobrevive la mirada que un clínico ocupado le da antes de firmar.

      “Estas inexactitudes pueden persistir en sus registros si el paciente no las detecta”, advirtió el organismo regulador. Eso coloca la última línea de defensa en la persona menos equipada para saber lo que la nota debería haber dicho.

      Rachel Power, directora ejecutiva de la Asociación de Pacientes, está entre quienes expresan preocupaciones, junto a clínicos como el médico de cabecera de Londres Shier Ziser Dawood y Charlotte Blease de la Universidad de Uppsala en Suecia. La objeción no es tanto a la tecnología como a su llegada sin una red de seguridad.

      Porque no hay una supervisión a nivel de Inglaterra de estas herramientas. La Agencia Reguladora de Medicamentos y Productos de Salud no ha clasificado a los escribas de IA como dispositivos médicos, lo que los deja fuera del régimen que los probaría por seguridad y efectividad antes de su implementación.

      El regulador publicó una guía en agosto aclarando dónde se sitúa la línea. Un sistema que solo transcribe lo que se dijo no es un dispositivo, mientras que uno que sugiere un diagnóstico o un tratamiento podría serlo, lo que pone un gran peso en cómo cada producto es descrito por su vendedor.

      El incentivo que sigue es lo suficientemente obvio. Un escriba comercializado como un transcriptor pasivo evita un proceso regulatorio que un escriba comercializado como asistente clínico tendría que completar.

      El error de transcripción también es un fallo diferente del que la mayoría del trabajo de seguridad de IA anticipa. Nadie aquí fue engañado por un hecho alucinado; una oración real fue expresada ligeramente incorrecta, y ligeramente incorrecta es suficiente cuando la oración nombra un medicamento.

      Nada de esto aborda por qué estas herramientas se difunden tan rápidamente. La documentación clínica es la carga administrativa de la que los médicos se quejan más, y un sistema que elimina de manera confiable una hora de escritura al día será adoptado, ya sea que alguien lo haya evaluado o no.

      El problema es lo que sucede entre esos dos hechos. Una herramienta adoptada por su velocidad, no evaluada debido a cómo se categoriza, produciendo un documento que se convierte en el registro clínico permanente, es una cadena en la que ningún eslabón es claramente responsabilidad de nadie.

      El remedio que señala el organismo regulador es poco glamuroso y probablemente correcto. Los pacientes deberían ser informados cuando se utiliza un escriba y recibir sus notas para verificar, lo que convierte un mecanismo de seguridad accidental en uno deliberado.

      Veintisiete productos, ninguna clasificación de dispositivo y un chequeo realizado por quien sea que lea su carta con atención: esa es la disposición actual en el NHS en Inglaterra.

Otros artículos

Europa ha encargado un superordenador de IA de 388 millones de euros a su propio campeón estatal. Europa ha encargado un superordenador de IA de 388 millones de euros a su propio campeón estatal. LUMI-AI será construido en Finlandia por la empresa estatal francesa Bull, financiado conjuntamente por EuroHPC y seis países, con chips de AMD y conectividad y refrigeración europeas. ¿Te ha molestado que OpenAI retire los modelos GPT de Cursor? Anthropic ofrece un salvavidas oportuno con límites más altos de Claude. ¿Te ha molestado que OpenAI retire los modelos GPT de Cursor? Anthropic ofrece un salvavidas oportuno con límites más altos de Claude. Anthropic promete más capacidad de computación para Claude en Cursor mientras OpenAI se mueve para terminar su acuerdo de acceso al modelo con la plataforma de codificación. Honda y Nissan compartirán el software en sus coches a partir de 2029. Honda y Nissan compartirán el software en sus coches a partir de 2029. Los dos fabricantes de automóviles japoneses firmaron un acuerdo para estandarizar las unidades de control electrónico, un sistema operativo en el vehículo y software de control, 18 meses después de que las conversaciones de fusión fracasaran. Un nuevo organismo de control está monitoreando cuándo la IA se descontrola, y el número de incidentes te hará sudar. Un nuevo organismo de control está monitoreando cuándo la IA se descontrola, y el número de incidentes te hará sudar. Los modelos de IA que mienten, conspiran y eluden salvaguardias casi se duplicaron en julio, según una nueva investigación, que incluye una verdadera campaña de hacking por parte de los modelos de Anthropic y OpenAI. El Departamento de Justicia reescribió su propio anuncio sobre hacking dos días después. El Departamento de Justicia reescribió su propio anuncio sobre hacking dos días después. Un comunicado del DOJ dijo que los hackers chinos habían reclamado víctimas en el Senado, la Reserva Federal y la NASA. La versión revisada dice que eran objetivos, y solo algunos fueron vulnerados. Meta proyectó gastar hasta $10 mil millones al año en los modelos de IA de Anthropic. Meta proyectó gastar hasta $10 mil millones al año en los modelos de IA de Anthropic. Meta proyectó internamente gastar hasta $10 mil millones al año en los modelos de IA de Anthropic, mientras Zuckerberg atacaba a la empresa en público.

Los escribas de IA están confundiendo los nombres de los medicamentos y los diagnósticos en los registros del NHS.

Healthwatch Inglaterra encontró que los escribas de IA malinterpretan medicamentos y diagnósticos. Veintisiete están en uso, y ninguno está regulado como dispositivo médico.