La ricerca mostra che gli istituti educativi non devono riporre troppa fiducia nei rilevatori di testo basati sull'IA.
Uno studio dell'UF mostra che questi strumenti sono così inaffidabili che l'intera base probatoria per le affermazioni riguardanti la scrittura accademica generata dall'IA potrebbe dover essere riesaminata da zero.
Matheus Bertelli / Pexels
Ecco un pensiero scomodo per ogni istituzione accademica che attualmente utilizza rilevatori di IA per controllare le sottomissioni di studenti e ricercatori: gli strumenti non funzionano con la stessa affidabilità che le istituzioni presumono.
Un documento presentato al Simposio IEEE 2026 sulla Sicurezza e Privacy di questa settimana da ricercatori dell'Università della Florida conclude che i rilevatori di testo generati da IA disponibili in commercio sono “poco adatti per l'uso in contesti accademici o ad alto rischio.”
È un modo educato per dire che le università stanno prendendo decisioni che cambiano la carriera basate su risultati di strumenti che sono essenzialmente inaffidabili.
Google
Cosa ha effettivamente scoperto la ricerca?
Patrick Traynor, Ph.D., professore e presidente ad interim del Dipartimento di Informatica e Ingegneria dell'UF, ha guidato un team che ha testato i cinque rilevatori di testo generati da IA più popolari disponibili in commercio.
Utilizzando circa 6.000 articoli di ricerca presentati a conferenze di sicurezza di alto livello prima dell'arrivo di ChatGPT, hanno fatto creare agli LLM cloni di quegli stessi articoli e poi hanno eseguito entrambi i set attraverso i rilevatori di IA.
I risultati hanno mostrato tassi di falsi positivi che vanno dallo 0,05% al 68,6% e, ancor più sorprendentemente, tassi di falsi negativi tra lo 0,3% e il 99,6%. Questa cifra superiore è vicina al 100%, il che significa che il rilevatore con le peggiori prestazioni ha perso praticamente tutto il testo generato dall'IA.
Sebbene due dei cinque rilevatori abbiano inizialmente funzionato bene, sono stati resi in gran parte inutilizzabili dopo che i ricercatori hanno chiesto all'LLM di riscrivere i suoi output utilizzando un vocabolario più complesso (il documento chiama questo un attacco di complessità lessicale).
Claude
Perché questo è importante oltre all'integrità accademica?
Traynor l'ha messo in modo chiaro: “Non possiamo davvero usarli per giudicare queste decisioni. Le carriere delle persone sono in gioco qui.” Un'accusa di scrittura generata da IA in una sottomissione può danneggiare permanentemente la reputazione di un ricercatore, ma non possiamo riporre fiducia cieca in strumenti che fanno quelle accuse.
L'argomento è che le prove riguardanti l'uso diffuso dell'IA nella scrittura accademica sono esse stesse inaffidabili. “Per quanti più studi vediamo che affermano che una certa percentuale di lavoro accademico è generato da IA, in realtà non abbiamo strumenti per misurare nulla di tutto ciò,” ha aggiunto Traynor.
La sua ricerca non critica solo gli strumenti; espone un fallimento sistemico di diligenza da parte di ogni istituzione che ha adottato questi strumenti senza richiedere prove sulla loro accuratezza.
Per più di cinque anni, Shikhar ha costantemente semplificato gli sviluppi nel campo della tecnologia per consumatori e li ha presentati…
Il chip Ryzen AI Max 400 di AMD offre 192 GB di memoria, ma riuscire a metterci le mani sopra è un'altra storia
Il chip x86 più denso di memoria di AMD arriva nel momento peggiore per l'offerta di DRAM.
AMD ha annunciato la serie Ryzen AI Max 400, e il numero principale è davvero sbalorditivo: 192 GB di memoria unificata in un chip abbastanza piccolo da adattarsi a un mini PC.
Non molto è cambiato rispetto all'ultima generazione di chip, ma anche così, se sei favorevole a eseguire modelli di IA di grandi dimensioni localmente, l'AI Max 400 vale sicuramente la pena di essere esaminato.
Leggi di più
Migliaia di computer Windows vengono sostituiti nelle scuole con MacBook Neo e iPad
Le scuole pubbliche di Kansas City stanno standardizzando sull'hardware Apple, con laptop MacBook Neo e iPad destinati a sostituire una flotta mista di PC Windows e Chromebook
Il conflitto sui laptop in aula ha appena ricevuto un test di stress nel mondo reale. Le scuole pubbliche di Kansas City hanno già acquistato più di 4.500 unità di MacBook Neo per studenti di 8° grado e oltre, portando il nuovo Mac a basso costo di Apple nelle scuole su una scala che va ben oltre un programma pilota.
Il distretto prevede di ritirare più di 30.000 dispositivi esistenti nel tempo. Questo offre ad Apple una vittoria visibile nel settore dell'istruzione mentre i laptop per aula più economici diventano più competitivi, e offre ai team IT delle scuole un altro motivo per ripensare la vecchia divisione tra Windows, Chromebook e Mac.
Leggi di più
L'aggiornamento Vivaldi 8.0 rende più difficile che mai tornare a Chrome
Il tuo browser Vivaldi ha appena ricevuto un aspetto completamente nuovo, e ti piacerà.
Se non fosse per il mio amore per Arc Browser, che è purtroppo diventato un software abbandonato, avrei usato Vivaldi. Nessun altro browser si avvicina nemmeno alla personalizzazione e alle funzionalità che offre. E con il suo ultimo aggiornamento alla versione 8.0, Vivaldi sta facendo un caso ancora più forte per abbandonare gli altri browser a favore del suo.
Mi piace che mentre browser come Google Chrome e Microsoft Edge sono stati occupati a inserire l'IA in ogni angolo, Vivaldi ha silenziosamente fornito funzionalità che gli utenti vogliono davvero.
Leggi di più
Altri articoli
La ricerca mostra che gli istituti educativi non devono riporre troppa fiducia nei rilevatori di testo basati sull'IA.
I ricercatori dell'UF hanno testato i cinque rilevatori di testo AI più popolari e hanno riscontrato tassi di falsi negativi fino al 99,6%. Un singolo aggiustamento del vocabolario ha completamente sconfitto la maggior parte di essi.
