Gli scribi AI stanno sbagliando i nomi dei farmaci e le diagnosi nei registri del NHS.

      Un paziente in Inghilterra è stato informato di avere demielinizzazione, il danno nervoso che sottende a condizioni come la sclerosi multipla. Il risultato del test aveva in realtà riportato "nulla demielinizzazione", e un scriba AI aveva omesso la parola che invertiva il significato.

      Quel caso appare in un avviso di Healthwatch England, l'ente di vigilanza sui pazienti, riportato oggi dal Guardian. La sua scoperta è che gli strumenti che ora trascrivono le consultazioni per i medici di base e i medici ospedalieri stanno sbagliando nomi di farmaci e diagnosi, e che spesso sono i pazienti a notarlo.

      Ventisette diversi scribi AI sono in uso nel servizio sanitario in Inghilterra. Si trovano nella stanza di consultazione, ascoltano e producono la nota che va nel registro e la lettera che va al paziente.

      Gli errori raccolti dall'ente di vigilanza sono banali nella forma e gravi nell'effetto. Uno scriba ha scambiato un farmaco prescritto con un altro con un nome simile, il tipo di confusione su cui la farmacologia spende notevoli sforzi per cercare di eliminarla.

      Un altro riassunto ha omesso l'istruzione di un consulente secondo cui il paziente dovrebbe richiedere una ricetta ripetuta per il farmaco contro l'emicrania. Un terzo ha registrato un medico che diceva a un paziente di continuare il suo Prozac, quando quel medico non lo aveva né prescritto né discusso.

      Il filo comune è che nulla sembrava rotto. Una nota fluente e plausibile è esattamente ciò che questi sistemi producono, motivo per cui un errore sopravvive allo sguardo che un clinico impegnato gli dedica prima di firmare.

      "Queste imprecisioni possono persistere nei loro registri se il paziente non le coglie," ha avvertito l'ente di vigilanza. Questo pone l'ultima linea di difesa sulla persona meno attrezzata per sapere cosa avrebbe dovuto dire la nota.

      Rachel Power, amministratore delegato dell'Associazione Pazienti, è tra coloro che sollevano preoccupazioni, insieme a clinici tra cui il medico di base di Londra Shier Ziser Dawood e Charlotte Blease dell'Università di Uppsala in Svezia. L'obiezione non è tanto alla tecnologia quanto al suo arrivo senza una rete di sicurezza.

      Perché non c'è una supervisione a livello nazionale in Inghilterra di questi strumenti. L'Agenzia Regolatoria dei Farmaci e dei Prodotti Sanitari non ha classificato gli scribi AI come dispositivi medici, il che li lascia al di fuori del regime che li testerebbe per sicurezza ed efficacia prima del loro impiego.

      Il regolatore ha pubblicato una guida ad agosto chiarendo dove si trova il confine. Un sistema che trascrive solo ciò che è stato detto non è un dispositivo, mentre uno che suggerisce una diagnosi o un trattamento potrebbe benissimo esserlo, il che pone un grande peso su come ogni prodotto è descritto dal suo fornitore.

      L'incentivo che ne deriva è abbastanza ovvio. Uno scriba commercializzato come trascrittore passivo evita un processo normativo che uno scriba commercializzato come assistente clinico dovrebbe completare.

      L'errore di trascrizione è anche un fallimento diverso da quello che la maggior parte del lavoro sulla sicurezza dell'AI prevede. Nessuno qui è stato ingannato da un fatto allucinato; una frase reale è stata resa leggermente errata, e leggermente errata è sufficiente quando la frase nomina un farmaco.

      Nessuno di questi aspetti affronta perché questi strumenti si diffondono così rapidamente. La documentazione clinica è il carico amministrativo di cui i medici si lamentano di più, e un sistema che rimuove affidabilmente un'ora di digitazione al giorno sarà adottato indipendentemente dal fatto che qualcuno lo abbia valutato o meno.

      Il problema è cosa succede tra questi due fatti. Uno strumento adottato per la sua velocità, non valutato a causa di come è categorizzato, che produce un documento che diventa il registro clinico permanente, è una catena in cui nessun singolo anello è ovviamente responsabilità di qualcuno.

      Il rimedio a cui fa riferimento l'ente di vigilanza è poco glamour e probabilmente giusto. I pazienti dovrebbero essere informati quando viene utilizzato uno scriba e ricevere le loro note da controllare, il che trasforma un meccanismo di sicurezza accidentale in uno deliberato.

      Ventisette prodotti, nessuna classificazione dei dispositivi e un controllo eseguito da chiunque si trovi a leggere attentamente la loro lettera: questo è l'attuale assetto nel NHS in Inghilterra.