I chatbot AI possono spesso alimentare le tue illusioni. I ricercatori dicono che dovresti cercare tre segnali.

      I chatbot di intelligenza artificiale sono diventati incredibilmente bravi a sembrare umani. Ma un nuovo articolo di revisione del psichiatra Marc Augustin e dei suoi collaboratori Thomas A. Pollak e Helen Morrin, pubblicato in NPP—Digital Psychiatry and Neuroscience, sostiene che la ricerca esistente sull'IA indica un rischio psicologico trascurato. L'articolo, messo in evidenza dal Wall Street Journal, esamina studi precedenti e propone un framework che spiega come tre comportamenti comuni dei chatbot possano combinarsi per rinforzare il pensiero delirante negli utenti vulnerabili, creando quella che gli autori definiscono una "spirale di amplificazione".

      I ricercatori indicano questi tre segnali di avvertimento

      Il primo comportamento è la sycophancy, in cui un chatbot tende ad essere d'accordo con gli utenti invece di mettere in discussione assunzioni discutibili. Il secondo è l'allineamento linguistico, il che significa che l'IA rispecchia gradualmente il vocabolario, il tono e lo stile di scrittura di un utente per costruire un rapporto. Il terzo è l'iperpersonalizzazione, in cui il chatbot adatta le risposte utilizzando informazioni raccolte durante conversazioni precedenti. Da sole, queste caratteristiche fanno sentire l'IA più naturale. Insieme, dicono i ricercatori, possono farla sentire meno come un software e più come un confidente fidato.

      Il psichiatra Marc Augustin e il suo team identificano tre tratti dei chatbot IA che possono rinforzare il pensiero delirante negli utenti vulnerabili. WSJ

      È importante notare che i ricercatori non affermano di aver scoperto questi comportamenti. Invece, l'articolo esamina la ricerca esistente sulle interazioni IA-umano e sulla psicosi, quindi propone un framework che spiega come questi tratti precedentemente identificati possano rinforzarsi a vicenda. L'obiettivo non è semplicemente descrivere il problema, ma fornire agli sviluppatori di IA un modello più chiaro per riconoscerlo e ridurlo.

      Il psichiatra Marc Augustin, uno dei ricercatori dietro la revisione, afferma che questa combinazione crea la sensazione di parlare con "qualcuno" piuttosto che con una macchina. Altri clinici intervistati dal Journal affermano di aver già visto un aumento dei pazienti che utilizzano l'IA per supporto emotivo, avvertendo che i chatbot possono favorire un forte senso di fiducia semplicemente suonando calorosi, ricordando conversazioni precedenti e convalidando ciò che dicono gli utenti.

      Anche le aziende di IA sanno che è un problema

      Il rapporto nota che gli sviluppatori di IA stanno attivamente cercando di ridurre questo comportamento. OpenAI afferma che GPT-5 ha ridotto significativamente le risposte eccessivamente concordi rispetto ai modelli precedenti, mentre Google afferma che Gemini è stato addestrato a distinguere esperienze soggettive da fatti oggettivi piuttosto che rinforzare false credenze. Anthropic ha anche pubblicato ricerche che mostrano come Claude fosse particolarmente incline ad essere d'accordo con gli utenti durante le conversazioni di consulenza relazionale, spingendo l'azienda a ridurre quel comportamento nelle versioni più recenti.

      Unsplash

      I ricercatori ammettono che non esiste una soluzione facile. I modelli di IA possono solo rispondere alle informazioni fornite dagli utenti, rendendo difficile capire quando la comprensione di qualcuno su una situazione è inaccurata. Allo stesso tempo, le stesse qualità che rendono i chatbot utili, come essere amichevoli, empatici e conversazionali, sono anche ciò che li rende così coinvolgenti in primo luogo.

      La preoccupazione è quando quei tratti iniziano a nutrirsi l'uno dell'altro. Invece di rispondere semplicemente a domande, un chatbot può gradualmente diventare una voce altamente personalizzata che convalida continuamente la prospettiva di un utente, anche quando si allontana dalla realtà. I ricercatori chiamano questo una "spirale di amplificazione". Più importante, sostengono che identificare questa interazione come un framework distinto offre alle aziende di IA qualcosa di tangibile su cui progettare. Invece di trattare la sycophancy, la personalizzazione e il mirroring linguistico come problemi separati, l'articolo suggerisce che dovrebbero essere valutati insieme se gli sviluppatori vogliono che i futuri chatbot siano sia coinvolgenti che psicologicamente più sicuri.