Una prova di imbroglio di massa nell'IA da parte di un professore della Brown

      Un professore di economia della Brown University sospetta che la maggior parte della sua classe abbia copiato con l'IA, e ha i numeri per dimostrarlo. Roberto Serrano ha visto la sua media dell'esame a casa raggiungere 96 su 100. Quando ha cambiato l'esame finale in un test in presenza, la media è scesa a 48. Ha reso pubblica la storia, dicendo a El País e Inside Higher Ed che non lascerà correre la cosa.

      Il formato a casa è nato da una tragedia. Dopo che un uomo armato ha ucciso due studenti nel campus lo scorso dicembre, molti hanno detto di sentirsi ansiosi a sostenere esami in una stanza piena di persone. Serrano ha offerto esami a casa per alleviare questa situazione. L'ironia è pungente: l'unica volta in decenni in cui ha allentato le regole, gran parte della classe ha copiato.

      I numeri che l'hanno rivelato

      Il corso di Serrano, ECON 1170, è una classe di economia avanzata per studenti universitari che di solito attira un piccolo e forte gruppo. Non aveva mai insegnato a più di 30 studenti, e una volta ne aveva solo otto. Questo semestre, 86 si sono iscritti. Il nuovo formato a casa probabilmente li ha attratti.

      I risultati dell'esame di metà corso sono stati, con le sue parole, straordinari. La classe ha avuto una media di 96, e 40 studenti hanno ottenuto un punteggio perfetto di 100. La media storica del corso si attesta tra 65 e 80, e questo esame era più difficile del solito. A casa, ha ragionato Serrano, era un'opportunità per spingere la classe oltre, dato il tempo illimitato.

      Le risposte stesse sembravano strane. Molte corrette presentavano uno “stile molto contorto”. Quando Serrano e i suoi correttori hanno sottoposto le domande a ChatGPT, hanno ottenuto risultati simili.

      Il test che ha impostato per dimostrarlo

      Così ha teso una trappola. Ha detto alla classe che l'esame finale sarebbe stato in presenza e che avrebbe confrontato le due distribuzioni. Se fossero state simili, avrebbe mantenuto l'esame di metà corso. In caso contrario, lo avrebbe annullato e ricalibrato l'esame finale.

      La risposta parlava da sola. Diciotto studenti hanno abbandonato il corso e altri nove hanno saltato l'esame finale. Di quei 27, ha notato El País, 22 avevano ottenuto un punteggio perfetto di 100 all'esame di metà corso. Tra gli studenti che hanno sostenuto l'esame, la media è scesa da 96 a 48. Secondo il conteggio di Serrano, almeno 50 studenti hanno copiato all'esame di metà corso, e lui definisce le prove schiaccianti.

      Un riconoscimento più ampio

      Brown non è sola. Un recente sondaggio tra gli studenti di Princeton ha rivelato che il 29,9% ha ammesso di aver copiato in almeno un esame o compito, per la maggior parte utilizzando l'IA. Le scuole hanno trascorso due anni a cercare strumenti di rilevamento e a ripensare a come testare.

      Anche gli studenti sentono la pressione. Il rapporto guidato dal rettore di Brown ha scoperto che la maggior parte degli studenti universitari utilizza l'IA generativa settimanalmente o quotidianamente. Eppure, ampie maggioranze si preoccupano anche dell'effetto sul loro apprendimento e temono cosa faccia alla loro “capacità cognitiva”.

      Quella preoccupazione si affianca a un cambiamento più ampio, mentre l'IA rimodella chi viene assunto e persino come le persone pensano e scrivono. Serrano lo inquadra nei termini più netti.

      Perché è importante

      “Non possiamo permetterci di avere una società in cui una frazione significativa delle nostre migliori giovani menti pensi che copiare sia accettabile,” ha detto Serrano a Inside Higher Ed. “Questo porta a una società in declino, a una società fallita. Non possiamo scegliere di diventare idioti.”

      Il suo esperimento è piccolo, una classe, un semestre. Ma trasforma una preoccupazione vaga in un numero concreto. Togli l'IA, e metà della conoscenza apparente svanisce con essa. Questo è il dato con cui le università ora devono confrontarsi.