La follia di marzo ha reclamato il mio esperimento con l'IA

      (NOTA: Questo articolo fa parte di una serie in corso che documenta un esperimento con l'uso dell'IA per compilare i bracket NCAA e vedere come si comporta rispetto a anni di esperienza umana. L'articolo originale è il seguente.)

      Questo è l'ultimo capitolo della mia serie sull'uso dell'IA per aiutare a giocare nei pool di March Madness. Come nella maggior parte delle storie, speravo che questa avesse un lieto fine. Purtroppo, il mio esperimento con ChatGPT per aiutare a compilare i miei bracket del torneo NCAA si riassume meglio in "quasi, ma niente sigaro".

      Eppure, chiamerei comunque l'esperimento un successo.

      Può sembrare strano provenire da qualcuno che non ha vinto. Ma una delle lezioni più importanti di questo esercizio è che l'IA ha migliorato il mio processo più di quanto abbia migliorato la certezza. In altre parole, mi ha aiutato a pensare meglio, anche se non è riuscita ad eliminare la follia.

      La settimana scorsa, ero entusiasta di aver indovinato 13 delle Sweet 16 squadre. I miei bracket erano vicini alla cima della classifica e stavo iniziando a pensare che avrei potuto farcela. Poi è arrivato il classico caos di marzo.

      NCAA

      In un pool con 65 bracket, sono ancora vicino alla cima — in pareggio per il secondo posto in un bracket e in pareggio per il sesto in un altro — il che è tutt'altro che un disastro. Avevo previsto che Arizona e Michigan avanzassero correttamente da un lato del bracket, ma ho completamente sbagliato dall'altro. Avevo previsto un incontro tra Duke e Florida nelle semifinali, con Duke che alla fine vinceva tutto. C'era una certa giustizia karmica nel vedere Duke finire dalla parte sbagliata di un Hail Mary in stile Laettner, ma ha anche messo fine alle mie possibilità di vincere.

      Tuttavia, entrando nell'Elite Eight, i miei bracket erano nel 98° percentile su 26 milioni di iscrizioni su ESPN. Non posso onestamente dire che sarei stato lì senza l'aiuto dell'IA. E, cosa più importante, ho acquisito un insieme di lezioni che utilizzerò l'anno prossimo — perché sì, lo farò di nuovo.

      Miglior processo, stessa follia

      Il messaggio centrale è semplice.

      L'IA non ha prodotto un miracolo, ma ha prodotto un processo migliore.

      Invece di compilare un bracket basato su intuizioni vaghe, momenti salienti recenti o su quale squadra sembrava imbattibile in un sabato pomeriggio, avevo un modo più strutturato per pensare al campo. L'IA mi ha aiutato a organizzare la decisione, confrontare i risultati probabili con scelte contrarian ad alto potenziale e far emergere alcune delle variabili che contano di più nel gioco del torneo.

      Quella struttura ha funzionato. Ha identificato correttamente molte delle squadre più forti. Mi ha impedito di fare alcuni degli errori abituali. Mi ha spinto verso un bracket più disciplinato e meno emotivo.

      NCAA

      Quello che non ha fatto è stato abrogare le leggi del basket a eliminazione diretta.

      Questa è una distinzione importante, e una che si applica ben oltre lo sport. L'IA può migliorare il giudizio. Non può rimuovere la volatilità.

      Dare più peso al momentum di fine stagione

      Una delle lezioni più chiare di questo torneo è che non ho dato abbastanza credito alle squadre che si stavano scaldando al momento giusto.

      Da dove sono venuti Illinois e Iowa?

      Sì, entrambe erano buone squadre in quella che era chiaramente la conferenza più forte del paese quest'anno. Ma non pensavo che avrebbero eliminato un seed numero 1 in Florida e un seed numero 2 in Houston. Stavano raggiungendo il picco tardi, e non ho dato abbastanza peso a questo.

      L'anno prossimo, presterò maggiore attenzione a chi sta realmente giocando il proprio miglior basket a marzo, piuttosto che fare troppo affidamento su metriche di stagione intera. Un curriculum di tutta la stagione conta ancora, ovviamente. Ma in un torneo come questo, la forma può contare quasi quanto la qualità sottostante.

      NCAA

      In termini aziendali, è la differenza tra valutare un'azienda in base ai risultati di dodici mesi e riconoscere che qualcosa di significativo è cambiato nelle ultime sei settimane.

      Dare più peso agli allenatori, non solo ai giocatori

      Sono anche convinto di aver sottovalutato l'importanza dell'allenamento.

      Sì, i giocatori sono quelli in campo. Ma gli allenatori contano enormemente a marzo, specialmente in un formato a eliminazione diretta dove preparazione, aggiustamenti, sostituzioni e compostezza possono influenzare un'intera stagione.

      Dan Hurley ha ricordato a tutti, ancora una volta, perché è una forza in questo ambiente. John Scheyer? Non tanto.

      L'anno prossimo, passerò più tempo a guardare quali allenatori hanno dimostrato costantemente di poter navigare nel caos del basket del torneo. Il talento è ancora la base. Ma l'allenamento è spesso il moltiplicatore di forza.

      Accettare i limiti delle previsioni

      NCAA

      Questa potrebbe essere la lezione più grande di tutte.

      Le previsioni — anche quando assistite dall'IA — sono buone nell'identificare schemi ampi. Sono molto meno affidabili quando si tratta di prevedere esattamente cosa farà una particolare persona o una particolare squadra in un giorno specifico.

      Una squadra di basket universitario è composta solo da cinque adolescenti in campo contemporaneamente. Adolescenti molto talentuosi, sì, ma pur sempre adolescenti. E chiunque abbia trascorso del tempo con i giovani sa che hanno alti e bassi, sbalzi d'umore, grandi giorni, brutti giorni e momenti in cui tutto improvvisamente va storto. A volte questi sbalzi avvengono nel mezzo di una partita del torneo.

      Se questi incontri fossero serie al meglio delle cinque o al meglio delle sette, ci sarebbero meno sorprese. Ma in un ambiente a eliminazione diretta, è molto più facile per Cenerentola avere l'ultimo ballo.

      Questo non è un fallimento dell'IA. È solo un promemoria che alcuni ambienti sono intrinsecamente rumorosi. Il torneo è progettato per trasformare piccoli vantaggi in risultati drammatici. Ecco perché guardiamo.

      Nel mondo reale, l'IA è spesso più utile di quanto non sia in un pool di bracket.

      NCAA

      Qui, dovevo avere ragione su se il Connecticut avrebbe battuto Duke. Non c'era credito parziale per aver identificato entrambi come ottime squadre. Era puramente binario: vincere o perdere, giusto o sbagliato.

      Nel mondo reale, molte delle decisioni in cui utilizzo l'IA non funzionano in questo modo.

      Anni fa, uno dei miei professori disse che più difficile è una scelta, meno spesso la decisione conta. C'è molta saggezza in questo. Se ti chiedo di scegliere tra una Yugo antica e una Porsche Macan, deciderai all'istante. E se in qualche modo scegli la Yugo, te ne pentirai per il resto della tua vita. Ma se ti chiedo di scegliere tra una Porsche Macan e una BMW X3, improvvisamente hai una vera decisione. Potresti confrontare affidabilità, comfort, specifiche e prestazioni. Ma è probabile che tu finisca comunque con un'ottima auto.

      Ecco come l'IA è utile in molti contesti del mondo reale. Potrebbe non identificare sempre l'opzione migliore in retrospettiva, ma può spesso restringere il campo a diverse opzioni molto forti. Questo è ancora estremamente prezioso.

      NCAA

      Lo stesso vale per investimenti, pianificazione e ricerca. L'IA può aiutare a identificare percorsi promettenti, risultati probabili e opzioni sensate. Sceglierà sempre il vincitore di tutti i tempi? Certo che no. Ma può tenerti lontano da errori ovvi e aiutarti a fare una scelta più informata.

      Suggerimenti, non decisioni

      Questo, per me, è il modo più sano di pensare all'IA.

      Recentemente, abbiamo visitato Lima, in Perù, e ho utilizzato ChatGPT ampiamente per aiutare a decidere cosa vedere e dove mangiare. I posti che abbiamo visitato erano le dieci opzioni assolute migliori della città? Non ne ho idea. Ma siamo stati felici del viaggio? Assolutamente. Ho qualche senso di aver perso qualcosa? Nessuno.

      Questo è ciò che sembra un buon aiuto dall'IA.

      Aiuta a districarsi tra enormi quantità di informazioni e presenta opzioni forti. La qualità di queste opzioni dipende fortemente dalla qualità delle richieste. Più chiaramente spieghi i tuoi interessi, vincoli, budget e preferenze, migliori diventano i suggerimenti