I receptionist AI sembrano un'idea pericolosa dopo che un paziente ha rivelato che il sistema del suo medico non riusciva a comprendere il suo linguaggio.

      Una clinica medica nel South Yorkshire ha ritirato un receptionist AI dopo che una donna in fase di recupero da un ictus non è riuscita a farlo capire e si è trasferita in un'altra pratica. Lo Standard di Informazione Accessibile del NHS richiede alle pratiche di identificare e soddisfare le esigenze comunicative dei pazienti dal 2016.

      Una donna in fase di recupero da un ictus non è riuscita a far capire al receptionist AI del suo medico. Dopo diversi tentativi di prenotare un appuntamento, si è registrata presso un'altra pratica, e la clinica ha successivamente ritirato il sistema.

      I dettagli sono importanti. Il suo ictus le aveva lasciato il linguaggio frammentato e aveva colpito il suo lato destro, e il servizio automatizzato le ha chiesto di non usare il vivavoce, che le serviva perché poteva tenere il telefono con una sola mano.

      Questa non è stata una sola chiamata sbagliata. Healthwatch Rotherham ha scoperto che il sistema, un receptionist AI chiamato Emma, "non risponde bene alle variazioni nel linguaggio come accenti regionali o persone con difficoltà di parola."

      Altri pazienti hanno descritto di aver rinunciato. "Non sono mai riuscita a farlo capire, alla fine ho semplicemente riattaccato e non ho nemmeno provato a prenotare un appuntamento," ha detto una al watchdog, mentre altri si sono recati di persona alla clinica.

      Il suo sviluppatore la vede diversamente. QuantumLoopAI afferma che Emma è addestrata su un'ampia gamma di accenti e dialetti, supporta 17 lingue, consente ai chiamanti di chiedere un membro del personale in qualsiasi momento, e che oltre il 90% dei pazienti riporta un miglioramento.

      La direzione nazionale non è lontana da questo. L'app NHS utilizzerà l'AI per triage dei pazienti come parte di una ristrutturazione tecnologica da 10 miliardi di sterline.

      La risposta di governance finora è locale. Il consiglio di assistenza integrata del South Yorkshire afferma di lavorare con Healthwatch su linee guida e descrive l'adozione di questi sistemi come una decisione individuale della pratica medica.

      Ciò che sta arrivando è più capace, non meno. Un fornitore britannico sta costruendo un modello di triage per il NHS con Nvidia, progettato per capire di cosa ha bisogno un paziente prima che un clinico lo veda.

      Uno standard per questo esiste già. Lo Standard di Informazione Accessibile obbliga le pratiche mediche a identificare, registrare, segnalare e soddisfare le esigenze comunicative dei pazienti, e lo fa dal 2016.

      L'Europa classifica la tecnologia stessa. Il Regolamento AI dell'UE colloca il triage dei pazienti in emergenza sanitaria nella sua categoria ad alto rischio, che comporta test, registrazione e doveri di supervisione umana che una linea di prenotazione non ha.

      La Gran Bretagna ha lo standard senza la classificazione. Ciò che ha oggi è una pratica che ha staccato la macchina, dopo che una donna in fase di recupero da un ictus ha rinunciato ed è andata altrove.