Never-skilling: la ricerca dice che i junior che usano l'IA non imparano mai a fare debug

      La ricerca pubblicata quest'anno ha dato un nome a qualcosa che i datori di lavoro stavano osservando da un po'. Il deskilling è ciò che accade quando un esperto smette di praticare e peggiora. Il never-skilling è ciò che accade quando un novizio non diventa mai bravo in primo luogo, ed è il problema più scomodo, perché le persone che ne sono colpite sono quelle di cui le aziende stanno già assumendo meno.

      Le prove più incisive provengono da uno studio controllato randomizzato condotto dai ricercatori di Anthropic Judy Hanwen Shen e Alex Tamkin, pubblicato a gennaio.

      Hanno reclutato 52 ingegneri software, per lo più junior, hanno dato a metà di loro un assistente AI, hanno chiesto a tutti di imparare Trio, una libreria Python che nessuno di loro conosceva, e poi hanno interrogato tutti sui concetti che avevano utilizzato pochi minuti prima.

      Il gruppo AI ha ottenuto una media del 50%. Il gruppo di codifica manuale ha ottenuto una media del 67%. Anthropic descrive il divario come l'equivalente di quasi due voti letterari, ed era statisticamente significativo, con un p-value di 0.01.

      Il 💜 della tecnologia dell'UE Gli ultimi rumori dalla scena tecnologica dell'UE, una storia del nostro saggio fondatore Boris, e alcune opere d'arte AI discutibili. È gratuito, ogni settimana, nella tua casella di posta. Iscriviti ora! Il vantaggio di velocità, che è l'intero motivo per cui qualcuno si rivolge all'assistente, non si è realmente materializzato. Il gruppo AI ha finito circa due minuti prima, una differenza che non ha raggiunto la significatività, in parte perché diversi partecipanti hanno impiegato fino a 11 minuti per comporre le query, circa un terzo del loro tempo assegnato.

      Hanno imparato meno, non hanno finito più velocemente e sono risultati i peggiori nella cosa che conta di più quando la macchina sbaglia. Quella cosa è il debugging, dove il divario tra i gruppi era più ampio. Il gruppo di controllo, privato di un assistente, ha riscontrato errori e ha dovuto risolverli, il che è una descrizione equa di come si impara il debugging. Il gruppo AI non ha riscontrato gli errori.

      La medicina ha raggiunto la stessa preoccupazione da una direzione diversa. Una prospettiva di Nature Medicine pubblicata a maggio, guidata dalla Duke-NUS Medical School con co-autori di Harvard, UCL e King's College London, l'ha coniata per i tirocinanti che si appoggiano all'AI durante i loro anni clinici formativi e non costruiscono mai il ragionamento che una pratica sicura e indipendente richiede.

      Aggiunge una terza categoria con ancora meno attenzione: il mis-skilling, il tirocinante che accetta un errore dell'AI in modo acritico e lo archivia come fatto.

      Quegli autori sono cauti in un modo in cui la copertura di loro non è sempre stata. Le prove dirette dalla formazione medica, scrivono, sono assenti. L'argomento si basa sulla teoria dell'apprendimento e sui segnali precoci provenienti da contesti non clinici, il che significa da studi come quello di Anthropic.

      La loro prescrizione è un framework in tre fasi: costruire competenza senza AI, poi insegnare alle persone a calibrare il loro scetticismo, poi introdurre gli strumenti sotto supervisione.

      Come viene utilizzato lo strumento conta più di se viene utilizzato. Nello studio di Anthropic, i punteggi più alti hanno posto domande concettuali o richiesto spiegazioni insieme al codice. I punteggi più bassi hanno delegato in massa o si sono appoggiati all'assistente per il debugging.

      I datori di lavoro stanno già considerando questo aspetto. Gartner prevede che l'atrofia del pensiero critico porterà metà delle organizzazioni globali a richiedere valutazioni delle competenze "senza AI" entro il 2026, il che è un modo educato per dire che i responsabili delle assunzioni non si fidano più di un portfolio.

      Nel frattempo, Ford ha iniziato a riassumere ingegneri per correggere ciò che i suoi sistemi AI hanno sbagliato, una dimostrazione costosa di cosa succede quando le persone che avrebbero potuto individuare l'errore non sono più in busta paga.

      Lo studio presenta limiti reali, e i suoi autori lo affermano. Il campione era piccolo, il quiz misurava la comprensione immediatamente piuttosto che mesi dopo, e utilizzava un assistente laterale piuttosto che un programmatore agentico. I ricercatori si aspettano che l'impatto di questi sia più pronunciato, non meno.

      Vale la pena notare chi lo ha condotto. Anthropic vende l'assistente e ha pubblicato un documento che sostiene che utilizzare l'assistente in modo sconsiderato ti rende peggiore nel tuo lavoro. Questo è o una candore insolito o l'apertura di una proposta per modalità di apprendimento, e entrambe le letture possono essere vere.

      Ciò che la ricerca non dice è che i junior dovrebbero codificare a mano. Ciò che dice è che il percorso abbreviato e l'abilità non sono la stessa strada, e che l'industria ha passato due anni assumendo che lo fossero.