Uno studio rivela che i lettori valutano le storie scritte dall'IA più in alto, ma continuano a fidarsi di più dell'etichetta "umana".
I ricercatori hanno anche scoperto che i lettori riuscivano a malapena a differenziare tra storie generate dall'IA e storie scritte da esseri umani, sebbene coloro che erano familiari con gli strumenti di IA indovinassero in modo leggermente migliore.
Se pensi che scrivere con l'IA sia facile da individuare, un nuovo studio suggerisce che potresti sopravvalutare la tua capacità di distinguere la differenza. I ricercatori della Villanova University hanno scoperto che i lettori faticavano a distinguere le storie generate dall'IA da quelle scritte da umani e spesso valutavano le versioni dell'IA più alte.
Lo studio, guidato dalla Dr.ssa Deena Skolnick Weisberg e pubblicato nella rivista Judgment and Decision Making (via The Guardian), ha chiesto a più di 1.600 partecipanti di valutare una delle sei storie brevi, tre scritte da un umano e le altre generate da ChatGPT, in base alla qualità e all'engagement. Ai partecipanti è stato detto chi aveva scritto la loro storia, sebbene quell'etichetta non fosse sempre accurata.
Le storie generate dall'IA hanno ottenuto punteggi più alti, ma l'etichetta "umana" ha comunque guadagnato punti.
I lettori che hanno ricevuto una storia generata dall'IA l'hanno valutata come più coinvolgente e di qualità superiore rispetto ai lettori che hanno ricevuto una storia scritta da un umano. Allo stesso tempo, le storie etichettate come scritte da umani hanno ottenuto punteggi migliori rispetto a quelle etichettate come IA, indipendentemente da chi le avesse effettivamente scritte.
Weisberg afferma che i risultati mostrano che l'IA è diventata molto più capace di produrre narrativa leggibile e coinvolgente di quanto la maggior parte delle persone assuma. Ma ciò non significa che gli autori umani siano diventati irrilevanti, ha aggiunto.
La maggior parte dei lettori non riusciva a individuare la differenza.
In un test di follow-up, ai partecipanti è stata data una storia scritta da un umano e una scritta da un'IA sullo stesso tema e sono stati invitati a identificare quale fosse quale. Hanno in gran parte fallito, indovinando correttamente solo circa quanto prevederebbe il caso casuale. L'unico gruppo che ha ottenuto risultati notevolmente migliori è stato quello delle persone che si sono descritte come più familiari con i sistemi di IA, suggerendo che individuare la scrittura dell'IA potrebbe essere una competenza appresa piuttosto che un istinto.
Il Commonwealth Short Story Prize ha affrontato esattamente questo problema all'inizio di quest'anno, quando i lettori online hanno segnalato tre delle cinque opere vincitrici come generate dall'IA, e uno strumento di rilevamento dell'IA ha confermato queste segnalazioni. L'editore del premio ha effettuato un controllo separato, e il risultato è stato inconcludente. Se i giudici professionisti e i lettori con una reputazione in gioco non riescono a risolvere la questione, aspettarsi che i lettori occasionali individuino la differenza è chiedere troppo.
Altri articoli
Uno studio rivela che i lettori valutano le storie scritte dall'IA più in alto, ma continuano a fidarsi di più dell'etichetta "umana".
Un nuovo studio ha scoperto che i lettori non solo faticavano a distinguere le storie scritte dall'IA da quelle scritte da esseri umani, ma spesso valutavano le versioni dell'IA più alte, almeno fino a quando non scoprivano chi le avesse effettivamente scritte.
