Una prova di imbroglio di massa dell'IA da parte di un professore di Brown

      Un professore di economia della Brown University sospetta che la maggior parte della sua classe abbia copiato con l'IA, e ha i numeri per dimostrarlo. Roberto Serrano ha visto la sua media degli esami a casa raggiungere 96 su 100. Quando ha cambiato l'esame finale in un test in presenza, la media è scesa a 48. Ha reso pubblica la storia, dicendo a El País e Inside Higher Ed che non lascerà correre la cosa.

      Il formato a casa è nato da una tragedia. Dopo che un uomo armato ha ucciso due studenti nel campus lo scorso dicembre, molti hanno detto di sentirsi ansiosi a sostenere esami in una stanza piena di persone. Serrano ha offerto esami a casa per alleviare questa situazione. L'ironia fa male: l'unica volta in decenni in cui ha allentato le regole, gran parte della classe ha copiato.

      I numeri che lo hanno rivelato

      Il corso di Serrano, ECON 1170, è una classe di economia avanzata per studenti universitari che di solito attira un piccolo e forte gruppo. Non aveva mai insegnato a più di 30 studenti, e una volta ne aveva solo otto. Questo semestre, 86 si sono iscritti. Il nuovo formato a casa probabilmente li ha attratti.

      I risultati dell'esame di metà semestre erano, con le sue parole, straordinari. La classe ha avuto una media di 96, e 40 studenti hanno ottenuto un perfetto 100. La media storica per il corso si attesta tra 65 e 80, e questo esame era più difficile del solito. A casa, ha ragionato Serrano, era un'opportunità per spingere la classe oltre, dato il tempo illimitato.

      Le risposte stesse sembravano strane. Molte corrette presentavano uno “stile molto contorto”. Quando Serrano e i suoi correttori hanno sottoposto le domande a ChatGPT, hanno ricevuto risultati simili.

      Il test che ha impostato per dimostrarlo

      Così ha teso una trappola. Ha detto alla classe che l'esame finale sarebbe stato in presenza e che avrebbe confrontato le due distribuzioni. Se fossero state uguali, avrebbe mantenuto l'esame di metà semestre. In caso contrario, lo avrebbe annullato e ricalibrato l'esame finale.

      La risposta parlava da sola. Diciotto studenti hanno abbandonato il corso e altri nove hanno saltato l'esame finale. Di quei 27, ha notato El País, 22 avevano ottenuto un perfetto 100 all'esame di metà semestre. Tra gli studenti che hanno sostenuto l'esame, la media è scesa da 96 a 48. Secondo il conteggio di Serrano, almeno 50 studenti hanno copiato all'esame di metà semestre, e lui definisce le prove schiaccianti.

      Un riconoscimento più ampio

      Brown non è sola. Un recente sondaggio tra gli studenti di Princeton ha rivelato che il 29,9% ha ammesso di aver copiato almeno un esame o un compito, per lo più utilizzando l'IA. Le scuole hanno trascorso due anni a cercare strumenti di rilevamento e a ripensare a come testare.

      Anche gli studenti sentono la pressione. Un rapporto guidato dal rettore di Brown ha scoperto che la maggior parte degli studenti universitari utilizza l'IA generativa settimanalmente o quotidianamente. Eppure, ampie maggioranze si preoccupano anche dell'effetto sul loro apprendimento e temono ciò che fa alla loro “capacità cognitiva”.

      Quella preoccupazione si affianca a un cambiamento più ampio, mentre l'IA rimodella chi viene assunto e persino come le persone pensano e scrivono. Serrano lo inquadra nei termini più netti.

      Perché è importante

      “Non possiamo permetterci di avere una società in cui una frazione significativa delle nostre migliori giovani menti pensa che copiare sia accettabile,” ha detto Serrano a Inside Higher Ed. “Questo porta a una società in declino, a una società fallita. Non possiamo scegliere di diventare idioti.”

      Il suo esperimento è piccolo, una classe, un semestre. Ma trasforma una preoccupazione vaga in un numero concreto. Togli l'IA, e metà della conoscenza apparente scompare con essa. Questo è il dato con cui le università ora devono confrontarsi.