La mia amica ha il cancro. L'ho vista chiedere a ChatGPT consigli medici, e mi ha sconvolto.

      Ho scritto questo articolo intorno alle 3 del mattino, seduto nella hall di una clinica mentre il mio amico parla con un oncologo nella cabina dietro di me. L'aria è satura dell'odore dei medicinali, ovviamente, e l'atmosfera ha un inconfondibile odore di tristezza che mi costringe a uscire dal complesso il prima possibile. Tuttavia, la sensazione predominante è quella di rabbia e furia.

      Solo un'ora fa, avevo ricevuto una chiamata dalla mia amica di 24 anni, che si lamentava di un forte mal di testa e di dolore allo stomaco. Attualmente sta seguendo un trattamento per il cancro al seno e, dopo averla vista affrontare l'orrore negli ultimi due anni, mi sono precipitato a casa sua, sperando che non fosse nulla di grave. Senza fare troppe domande, ho cercato l'ospedale più vicino e l'ho portata per un controllo.

      Durante il tragitto verso l'ospedale, le ho chiesto quando era iniziato il dolore e se avesse sperimentato altri sintomi preoccupanti. La sua risposta mi ha scioccato, tanto che ho voluto strapparle il telefono e ridurlo in pezzi. “Dopo essere tornata dal lavoro, ho avvertito un po' di vertigini e ho sentito che qualcosa non andava nel mio intestino. Così, ho chiesto a ChatGPT se potessi prendere degli antidolorifici, e poche ore dopo averli presi, il dolore all'intestino è peggiorato con una sensazione di bruciore. Ho anche vomitato un paio di volte.”

      Chi deve agire responsabilmente?

      Unsplash

      L'ammissione mi ha scosso, e il tono casuale con cui ha descritto le sue interazioni con ChatGPT era ancora più spaventoso. Ma ci sono così tanti strati in questo incidente che ho deciso di vietare l'IA ai miei cari, soprattutto quando si tratta di conversazioni relative alla salute e al benessere. Come qualcuno che è estremamente sensibile ai farmaci e che sta affrontando un trattamento per il cancro, chiedere a un'IA riguardo all'assunzione di medicinali era l'ultima cosa che ci si aspetterebbe da una persona sana di mente.

      Non so esattamente chi sia da incolpare per questa potenzialmente pericolosa avventura. Ha semplicemente scattato una foto di un antidolorifico, l'ha inviata a ChatGPT e ha chiesto se potesse prendere due pillole contemporaneamente. Il suo medico le ha raccomandato solo una pillola alla volta, e solo quando il dolore è troppo severo per essere tollerato. ChatGPT le ha detto che doveva prendere un antidolorifico, e due di essi, solo con la raccomandazione di un medico.

      Quando le ho chiesto perché si fosse rivolta al bot IA, mi ha detto in seguito che ChatGPT “è più facile per ottenere risposte. Non so nemmeno cosa sia reale su Internet.” Per una persona che ha dovuto abbandonare gli studi dopo il liceo e sostenere la propria famiglia con lavori saltuari, ho capito la sua situazione. Non potevo farle la predica sui concetti di alfabetizzazione digitale e verifica dei fatti. C'era così tanto di sbagliato in quella chat, e entrambe le parti sono da incolpare qui.

      Qui inizia il problema. Non è una madrelingua della lingua hindi, e quando ha tradotto la sua richiesta in hindi, è stato un disastro grammaticale a causa di una sola parola. Voleva chiedere se poteva prendere due pillole del medicinale mostrato nella foto. Ma la sua traduzione imperfetta ha fatto sembrare che stesse chiedendo a ChatGPT se poteva prendere “entrambi i medicinali.”

      Qui ChatGPT ha anche inciampato. L'immagine mostra una pillola con solo la sua composizione chimica visibile — Diclofenac e Serraptiopeptidase. Il nome del medicinale era visibile solo a metà. Nonostante ciò, il bot IA ha identificato correttamente il medicinale antidolorifico come “qualcosa come Cipzen-D.” Ma prima di ciò, ha anche menzionato un altro medicinale, Fenak Plus, la cui composizione chimica è Diclofenac e Paracetamolo, e di cui aveva già discusso in un'altra conversazione.

      ChatGPT Unsplash

      È una composizione completamente diversa, anche se entrambi sono facilmente disponibili come antidolorifici da banco che puoi anche acquistare (preoccupantemente) senza una prescrizione adeguata presso le farmacie locali. Quindi, in linea di massima, abbiamo un errore umano (con la traduzione) e due errori da parte di ChatGPT perché stava anche attingendo conoscenze dalla sua memoria. Tuttavia, il consiglio era accurato.

      Il bot IA di OpenAI ha chiaramente avvertito che prendere entrambi i medicinali non è una buona mossa, aggiungendo che potrebbe portare a un'overdose di Diclofenac. Il bot IA ha anche descritto gli effetti collaterali, che includevano una sensazione di bruciore nello stomaco, problemi legati a ulcere, sanguinamento e effetti negativi a lungo termine sui reni.

      Tieni presente che l'immagine inviata a ChatGPT mostrava solo un antidolorifico. Ha ulteriormente raccomandato che solo uno di quegli antidolorifici deve essere preso alla volta, e non entrambi. La mia amica, ricordando che entrambi i medicinali erano stati prescritti da medici in un certo momento (anche se non insieme), li ha presi entrambi per un rapido sollievo dal dolore e presto ha sentito la conseguenza.

      Il medico era anche furioso e, giustamente, quando la mia amica ha detto loro perché aveva preso due pillole contemporaneamente, rimproverandola per non aver consultato un professionista della salute. È stata seguita da un'iniezione per alleviare il dolore e una nuova prescrizione medica per antidolorifici che non danneggiano il suo corpo fragile.

      Come reporter tecnologico che ha scritto sui rischi delle interazioni con l'IA su argomenti sensibili, in particolare salute e benessere, mi sono sentito un fallimento. Ho sentito di non aver mai realmente parlato dei rischi dei bot IA con la mia amica. E solo dopo l'incidente spaventoso l'ho avvertita sui rischi.

      Quando ha confessato di aver usato ChatGPT per consigli medici in molte altre occasioni in passato, le ho preso il telefono e ho cancellato l'app. Più importante, le ho chiesto di non toccare mai più un altro chatbot IA — come Gemini o Claude — per consigli medici, o l'intero internet, per quella materia. L'unico modo per andare avanti è parlare con un medico o visitare una clinica.

      Il problema di percezione

      ChatGPT Modalità live. OpenAI

      Non la incolpo completamente per l'episodio. Data la modalità in cui ChatGPT si è radicato nelle abitudini digitali quotidiane delle masse come un genio onnisciente, è difficile incolparla. Le persone lo vedono come un motore di risposta più conveniente (e veritiero) rispetto al freno di cercare risposte su Google Search, cliccando su link blu e scorrendo le risposte su una pagina web.

      Non hanno torto, a dire il vero. Ottenere risposte dirette da un bot IA come ChatGPT, e che, inoltre, in linguaggio naturale in pochi secondi, è molto più conveniente che entrare nel labirinto dei link di Google Search. Google è anche consapevole del cambiamento nel comportamento degli utenti, il che spiega anche la spinta data alla modalità di IA conversazionale nella ricerca.

      Ad oggi, le risposte conversazionali fornite da Gemini si trovano in cima ai risultati di ricerca regolari. L'idea è identica: fornire agli utenti risposte riassuntive estratte dalle fonti di link blu su Google Search prima che inizino una ricerca più approfondita di conoscenza leggendo più fonti distribuite su mezza dozzina di schede.

      A loro merito, ChatGPT (o la maggior parte dei modelli di IA all'avanguardia, per quella materia) si comporta in modo particolarmente cauto quando qualcuno cerca consigli sulla salute e sul benessere. In una stragrande maggioranza di tali risposte, i bot IA chiedono all'utente di consultare un professionista sanitario certificato o di accedere alla linea di emergenza appropriata. Ma ancora una volta, il modo in cui questi chatbot IA sono entrati nel discorso pubblico come una fonte rapida e fidata di conoscenza è ciò che li rende altrettanto spaventosi.

      Qualche giorno fa, stavo guardando un acceso dibattito su un canale di notizie in prima serata. Durante lo scambio infuocato, uno dei membri del panel ha chiesto al suo avversario di andare avanti e controllare i fatti chiedendo a ChatGPT. In quel momento, ho