L'Utah ha permesso all'IA di prescrivere farmaci

      Il caso per i rinnovi delle prescrizioni tramite IA è reale. Così come è reale il caso contro la fiducia in un sandbox statale per catturare i rischi.

      A gennaio, una società di ricerca sulla sicurezza chiamata Mindgard si è seduta con un chatbot. Il chatbot era stato costruito da Doctronic, una startup di tecnologia sanitaria che era appena diventata la prima azienda nella storia americana a ricevere l'approvazione statale per rinnovare autonomamente le prescrizioni mediche utilizzando l'intelligenza artificiale.

      I ricercatori di Mindgard hanno fornito all'IA un bollettino normativo fabbricato e hanno osservato cosa è successo. Il sistema, convinto da un documento che non esisteva, ha detto loro che avrebbe triplicato la dose standard prescritta di OxyContin.

      Doctronic e l'Ufficio della Politica sull'Intelligenza Artificiale dello Utah sono stati rapidi a chiarire che il vulnerabile chatbot era uno strumento pubblico di Doctronic, non il sistema robusto che gestiva il pilota delle prescrizioni effettive. Questa distinzione è importante e vale la pena prenderla sul serio.

      Ma non risolve la questione più profonda che lo scambio solleva, che non è se questo particolare sistema fosse compromesso, ma se un programma statale di sandbox di 12 mesi, gestito da un dipartimento commerciale con il mandato di incoraggiare l'innovazione nell'IA, sia il meccanismo giusto per rispondere a quella domanda.

      Iniziamo con ciò che è genuinamente vero riguardo al problema che lo Utah sta cercando di risolvere. Il rinnovo delle prescrizioni è, per enormi numeri di americani, un ostacolo burocratico che non serve a nessuno scopo clinico. Circa la metà di tutte le persone con condizioni croniche non assume i propri farmaci come prescritto, secondo i CDC. La sfida più ampia di rendere l'assistenza sanitaria accessibile e preventiva, piuttosto che reattiva, è una questione con cui l'industria tecnologica sta lottando da anni.

      Una parte significativa di quella non aderenza è direttamente attribuibile al processo di rinnovo: l'attesa di due settimane per un appuntamento di assistenza primaria, la chiamata persa dalla clinica, la prescrizione scaduta che significa ricominciare da capo. Managed Healthcare Executive ha riportato che il co-fondatore di Doctronic, Matt Pavelle, stima che la cifra si aggiri intorno al 30% di tutta la non aderenza.

      Questo è un numero elevato legato a un problema concreto e risolvibile. La non aderenza ai farmaci costa al sistema sanitario americano tra i 100 miliardi e i 300 miliardi di dollari all'anno, a seconda del set di studi consultati, ed è associata a circa 125.000 morti prevenibili all'anno. Questi non sono numeri inventati da un pitch deck di una startup. Provengono da letteratura peer-reviewed e dai CDC.

      L'argomento dell'accesso per i rinnovi delle prescrizioni tramite IA non è quindi banale. È più forte proprio dove il sistema di assistenza è più sottile: nelle aree rurali, tra i pazienti a basso reddito, tra gli americani più anziani che faticano a partecipare a appuntamenti di persona.

      Adam Oskowitz, il chirurgo vascolare che ha co-fondato Doctronic, l'ha detto chiaramente a gennaio: i pazienti stanno aspettando settimane per un appuntamento per rinnovare una prescrizione per un farmaco che assumono da anni, per una condizione che non è cambiata. Quell'attesa non è una caratteristica del sistema. È un fallimento di esso. Se l'IA può risolvere quel fallimento in modo sicuro, dovrebbe farlo.

      Il problema è la parola "in modo sicuro". Il benchmark di sicurezza di Doctronic è che la sua IA ha corrisposto ai piani di trattamento dei clinici umani il 99,2% delle volte in 500 casi di assistenza urgente. L'azienda ha condiviso queste cifre con i regolatori dello Utah, e sono state abbastanza persuasive.

      Ma 500 casi sono un numero ridotto per un sistema che alla fine elaborerà prescrizioni su larga scala. E lo 0,8% che non corrisponde rappresenta, a qualsiasi volume significativo, un numero significativo di pazienti che ricevono qualcosa di diverso da ciò che un clinico avrebbe raccomandato.

      Più fondamentalmente, corrispondere a ciò che un clinico raccomanda in una valutazione strutturata non è la stessa cosa che essere robusti contro l'intera gamma di input del mondo reale, inclusi quelli avversari.

      Il test di Mindgard non è stato un test di stress del sistema live; è stata una dimostrazione che l'IA accessibile pubblicamente dell'azienda poteva essere manipolata con un comunicato stampa fabbricato. Che il sistema live sia diverso è rassicurante. Non è conclusivo.

      Ciò che rende l'accordo dello Utah specificamente degno di scrutinio è il meccanismo normativo che utilizza. L'Ufficio della Politica sull'Intelligenza Artificiale dello stato, creato nel 2024, ha l'autorità di rinunciare alle proprie leggi sul comportamento non professionale per le aziende che entrano nel suo sandbox normativo. Questo è ciò che ha fatto per Doctronic.

      Il pilota in tre fasi inizia con la revisione da parte di un medico di ogni rinnovo, il che suona rigoroso. La fase tre, la fase operativa, prevede la revisione da parte di un medico di tra il cinque e il dieci percento dei rinnovi. Il resto procede autonomamente. STAT News ha sollevato la questione se un sistema di IA che valuta informazioni cliniche e emette prescrizioni debba essere regolato come un dispositivo medico dalla FDA.

      Quella domanda rimane senza risposta. Lo Utah non ha l'autorità per rispondere, e il suo accordo con Doctronic non richiede che la FDA sia soddisfatta prima che il sistema venga scalato.

      L'Associazione Medica Americana e l'Accademia Utah dei Medici di Famiglia hanno entrambe sollevato obiezioni formali. Il CEO dell'AMA, Dr. John Whyte, ha dichiarato in una nota che rimuovere i medici dalle decisioni cliniche mette a rischio i pazienti. L'Accademia Utah ha detto che il programma dimostrava una apparente volontà di andare avanti con l'IA senza le necessarie protezioni.

      Questi sono gruppi di medici, e i gruppi di medici non sono sempre osservatori disinteressati quando si tratta di IA che potrebbe ridurre la domanda per i loro servizi. Ma la preoccupazione riguardo alle protezioni è separabile dall'interesse di gilda. Un dipartimento commerciale statale ha incentivi diversi da un regolatore il cui mandato primario è la sicurezza dei pazienti.

      L'OAIP dello Utah è esplicitamente incaricato di incoraggiare l'adozione dell'IA. Va bene come obiettivo politico. Non dovrebbe essere il principale punto di vista attraverso il quale viene valutata la sicurezza delle prescrizioni. L'OMS ha avvertito nel 2021 che le politiche e le normative esistenti erano insufficienti per proteggere i pazienti dall'IA nella sanità. Quattro anni dopo, quella lacuna non si è chiusa.

      Nessuna di queste affermazioni significa che il pilota di Doctronic sia sbagliato. Potrebbe rivelarsi genuinamente prezioso e genuinamente sicuro. L'approccio a fasi, i requisiti di reporting mensili, l'esclusione di sostanze controllate e iniettabili, l'assicurazione contro la malpractice che tiene l'IA al livello di uno specialista: queste sono scelte di design serie, non abbellimenti.

      Se il programma dura 12 mesi e i dati mostrano risultati positivi, quelle prove saranno importanti per ogni stato che considera se seguire.

      Ma le prove sono il punto. La domanda non è se l'IA possa aiutare con i rinnovi delle prescrizioni. Probabilmente può. La domanda è chi è responsabile della generazione delle prove che ci farebbero sapere. Un ufficio commerciale statale che gestisce un pilota di 12 mesi con una startup fondata nel 2023 non è ovviamente quell'entità.

      La FDA esiste proprio perché la storia della medicina americana è piena di innovazioni che sembravano ovviamente benefiche fino a quando, su larga scala, non lo erano.

      Il talidomide che non è mai arrivato sul mercato statunitense non è fallito perché il pilota di una startup ha mostrato risultati preoccupanti. È fallito perché Frances Kelsey della FDA ha richiesto il tipo di prove che un programma di sandbox non è progettato per produrre.

      I pazienti che aspettano settimane per un rinnovo della