L'IA medica ha sostituito gli infermieri e ha eluso i propri controlli

      La proposta per l'IA medica è che essa libera i clinici per prendersi cura dei pazienti. Due storie di questa settimana suggeriscono che la realtà può andare in un'altra direzione. A New York, le infermiere dicono che il software le ha sostituite. In Minnesota, un ex leader della Mayo Clinic afferma che il software non era sicuro da fidarsi.

      Marilyn Shuler ha trascorso 39 anni a leggere le cartelle cliniche dei pazienti presso l'ospedale Montefiore nel Bronx. Questo mese è stata una delle dozzine di infermiere licenziate, sostituite da un software di IA che svolge parte dello stesso lavoro, afferma il loro sindacato.

      Le infermiere si occupavano della revisione dell'utilizzo. Leggevano le cartelle e discutevano con le assicurazioni su quali cure fossero coperte. L'Associazione degli Infermieri dello Stato di New York afferma che i licenziamenti hanno infranto un contratto che le infermiere avevano appena vinto attraverso uno sciopero, ha riportato il Guardian.

      “Dovrebbe preoccupare anche ogni professionista e paziente che si preoccupa della… qualità delle cure che ricevono,” ha detto Shaiju Kalathil, un'infermiera di Montefiore e rappresentante sindacale. Montefiore contesta il racconto. Chiama le affermazioni del sindacato “inaccurate e fuorvianti” e afferma che il cambiamento riguarda un programma di lavoro non clinico.

      Cosa ha visto il whistleblower

      Se New York riguarda i posti di lavoro, il Minnesota riguarda la fiducia. Ed è più allarmante. Il 💜 della tecnologia dell'UE

      Le ultime voci dalla scena tecnologica dell'UE, una storia dal nostro saggio fondatore Boris e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora!

      Traci Tamiko Eto è entrata nella Mayo Clinic nel 2023 per aiutare a costruire salvaguardie attorno alla sua IA. In una nuova causa legale, afferma che l'ospedale l'ha retrocessa e poi licenziata per aver lanciato l'allerta sul suo lancio di IA, ha riportato Minnesota Public Radio.

      Le sue affermazioni sono specifiche. Il team dietro un assistente IA chiamato MAYA, sostiene, ha cancellato risultati di test poco lusinghieri, ha esagerato ciò che lo strumento poteva fare e lo ha spinto avanti senza una supervisione adeguata. A un certo punto, la causa afferma che lo strumento aveva un tasso di errore fino al 67%.

      Mayo afferma di essere impegnata in un'IA responsabile, con privacy, sicurezza e conformità integrate nel suo lavoro. Il racconto di Eto, se regge in tribunale, descrive qualcos'altro. Descrive un sistema affrettato oltre i controlli destinati a catturare i suoi errori.

      Il divario tra promessa e pratica

      Questi sono due casi, non una tendenza. Ma si trovano ai lati della stessa linea di faglia.

      La sanità è dove i benefici dell'IA dovrebbero essere più chiari e dove i suoi fallimenti sono meno perdonabili. Un annuncio malformato è imbarazzante. Una cartella malformata è pericolosa.

      Il quadro più ampio è già inquieto. Lo Utah ha permesso a un'IA di rinnovare prescrizioni senza un medico. La ricerca continua a scoprire che fare affidamento sull'IA può silenziosamente erodere le competenze che i professionisti dovrebbero mantenere e che sta accorciando le carriere esperte. Datori di lavoro da Allianz a Thomson Reuters stanno già sostituendo il personale con modelli.

      Chi porta il rischio

      Il filo comune è chi finisce per sostenere il rischio. Montefiore mantiene i risparmi; il paziente eredita tutto ciò che il software perde. Mayo ottiene l'efficienza; il whistleblower, dice, è stata mostrata la porta.

      Nessuno dei due casi è stato testato in tribunale, e entrambi gli ospedali difendono il loro operato. Ma insieme forano la storia ordinata che l'IA medica aggiunge solo una mano d'aiuto. A volte ne rimuove una. E a volte la persona che comprendeva meglio la macchina è la prima a ricevere l'ordine di andarsene.