March Madness, Rivisitato: Il Modello AI Ha Fatto Bene. Ma Cose Pazze Succedono Ancora

      (NOTA: Questo articolo fa parte di una serie in corso che documenta un esperimento sull'uso dell'IA per compilare i bracket NCAA e vedere come si comporta rispetto a anni di esperienza umana. L'articolo originale è il seguente.)

      Una settimana fa, ho scritto di come partecipare a un pool del torneo NCAA con un processo più disciplinato di quello che uso di solito.

      Invece di fare affidamento su mascotte, vibrazioni o su qualsiasi squadra che sembrasse fantastica sabato pomeriggio, ho cercato di pensare al bracket come farebbe un investitore o un analista: separare le previsioni grezze dal valore atteso, costruire un bracket attorno alla massima probabilità di successo, costruirne un altro attorno alla dinamica del pool e prendere decisioni con almeno una certa consapevolezza dell'incertezza.

      Quel processo ha prodotto due bracket. Uno era il bracket “più probabile”, progettato per massimizzare le possibilità di un punteggio forte se il torneo seguiva un percorso per lo più razionale. L'altro era un bracket EV per un pool di circa 70 partecipanti — non un audace colpo contrarian, ma qualcosa progettato per vincere un vero concorso piuttosto che apparire semplicemente sensato.

      Quindi, come è andata?

      Abbastanza bene, in realtà. Solo non perfettamente.

      Il modello ha indovinato 13 delle 16 squadre Sweet 16, il che è oggettivamente forte in un torneo progettato per punire la fiducia e premiare il caos. L'architettura complessiva della previsione ha retto. Ha identificato la maggior parte dei veri pesi massimi. Era direzionalmente corretta riguardo alle squadre più probabili per sopravvivere al primo weekend. È generalmente compreso che la forma del campo.

      Ma come tende a fare marzo, ha anche trovato i punti deboli.

      NCAA

      Le mancanze più evidenti sono state Ohio State, Wisconsin e Florida. Ohio State ha perso una partita 66–64 contro TCU su un layup finale. Wisconsin è caduta 83–82 contro la No. 12 High Point. Florida, il campione nazionale in carica e un seed No. 1, ha perso 73–72 contro Iowa su un tiro da tre punti decisivo negli ultimi secondi. Non si è trattato di crolli lenti e ovvi. Sono state sconfitte di un possesso, decise nei momenti finali, esattamente il tipo di risultati che ti ricordano che nessun modello di torneo può operare in un laboratorio.

      Questo lascia due possibili interpretazioni.

      Una è che il modello fosse sbagliato.

      L'altra è che il modello fosse per lo più corretto, ma il basket a eliminazione diretta è un ambiente terribile per la certezza.

      La risposta, come al solito, è entrambe.

      La buona notizia è che indovinare 13 delle 16 squadre Sweet 16 suggerisce che la struttura di base fosse utile. Non era casuale. Non era decorativa. Non stava solo usando parole più sofisticate per arrivare alle stesse intuizioni che fanno tutti gli altri. A livello di identificazione della qualità, ha funzionato.

      La notizia meno confortante è che le mancanze sono state anche informative.

      Guardando indietro, il processo tendeva ancora a inclinarsi un po' troppo verso “la squadra migliore di solito avanza”. Questo è spesso vero durante una stagione. È meno vero in 40 minuti in una palestra neutra, specialmente quando l'underdog può creare volatilità. La sconfitta di Wisconsin è l'esempio più chiaro. Un modello di upset più forte non avrebbe necessariamente scelto High Point per vincere, ma probabilmente avrebbe trattato Wisconsin come più fragile di quanto ho fatto io: più suscettibile al tipo di partita in cui un underdog si scalda da tre, allunga il favorito e trasforma gli ultimi due minuti in un lancio di moneta.

      La sconfitta di Florida dice qualcosa di simile a un livello più alto. Un seed No. 1 non dovrebbe mai essere “probabile” che perda presto, ma c'è una differenza tra essere forti e essere invulnerabili. Il modello aveva ragione a rispettare Florida. Probabilmente era sbagliato a trattare Florida come sicura.

      NCAA

      Questa distinzione è importante se stai cercando di vincere un pool piuttosto che semplicemente difendere la tua dignità.

      Qui è dove l'esercizio diventa interessante. Nei mercati, negli investimenti e nei pool di bracket, c'è una grande differenza tra essere generalmente corretti e essere correttamente posizionati. Una previsione può essere intelligente e comunque non catturare dove risiede la vera fragilità. Il torneo non assegna punti stile per avere la migliore struttura se continui a sottovalutare la possibilità che un underdog attivo inizi a fare canestro.

      Quindi, cosa cambierei?

      Non l'idea centrale. Penso ancora che il modo giusto di affrontare un bracket sia separare le previsioni di massima probabilità dalla strategia di valore atteso. La maggior parte delle persone mescola queste senza rendersene conto. Sceglie un campione che pensa possa vincere, ma poi fa alcune scelte arbitrarie di upset per “rendere le cose più interessanti”, che è davvero solo un altro modo di ammettere che non hanno un processo coerente.

      Ciò che migliorerei è il livello di volatilità.

      Una versione migliore di questo approccio presterebbe maggiore attenzione a quali favoriti sono genuinamente solidi e quali sembrano forti solo in un foglio di calcolo. Misurerebbe in modo più esplicito la varianza da tre punti, il rischio di turnover, i problemi di falli, la dipendenza da un singolo marcatore e quanto spesso i risultati di una squadra oscillano selvaggiamente da una partita all'altra. Rispetterebbe comunque i top seed. Semplicemente sarebbe più sospettosa nei loro confronti.

      Questo è ancora più importante ora perché, ovviamente, i bracket originali sono bloccati.

      A questo punto, nessuno può affermare di “avere Iowa” a meno che non avesse effettivamente Iowa. Questa è parte della bellezza e della crudeltà dell'intera impresa. Una volta che i giochi iniziano, la tua brillante struttura diventa un documento storico.

      Ma ciò non significa che il processo smetta di essere utile.

      Per un verso, potrebbero esserci pool di seconda possibilità. Molti concorsi si ripristinano agli Sweet 16 o al Final Four, il che è davvero un regalo per chi ama il processo. Un pool di seconda possibilità elimina il teatro di fingere di sapere tutto in anticipo. Ora abbiamo nuove informazioni, un campo più ristretto e una nuova opportunità per separare le squadre veramente forti da quelle che semplicemente sopravvivono.

      Più importante, l'esercizio offre ancora la lezione principale che speravo di esplorare in questa serie: la previsione disciplinata non riguarda l'eliminazione dell'incertezza. Riguarda il rendere l'incertezza leggibile.

      Il modello ha funzionato bene. Marzo aveva ancora altre idee.

      Non è un fallimento. È il punto.

      E se ci sarà un pool di seconda possibilità, ci sarò di nuovo — più grande, più saggio e leggermente meno disposto a fidarmi di un favorito vulnerabile solo perché il suo seed dice che dovrei.