Мартовское безумие, пересмотренное: ИИ-модель показала хорошие результаты. Но безумные вещи все еще происходят

      (ПРИМЕЧАНИЕ: Эта статья является частью продолжающейся серии, документирующей эксперимент с использованием ИИ для заполнения турнирной таблицы NCAA и проверки, как она справляется с многолетним опытом людей. Оригинальная статья выглядит следующим образом.)

      Неделю назад я писал о том, как вошел в пул турнира NCAA с более дисциплинированным процессом, чем обычно.

      Вместо того чтобы полагаться на маскотов, ощущения или любую команду, которая выглядела отлично в субботу днем, я попытался рассмотреть таблицу так, как это сделал бы инвестор или аналитик: отделить сырое прогнозирование от ожидаемой ценности, построить одну таблицу вокруг наивысшей вероятности успеха, другую — вокруг динамики пула и принимать решения с хотя бы некоторым осознанием неопределенности.

      Этот процесс дал две таблицы. Одна была «наиболее вероятной» таблицей, предназначенной для максимизации шансов на высокий балл, если турнир следовал в основном рациональному пути. Другая была таблицей EV для пула из примерно 70 участников — не дикий контркультурный риск, а что-то, предназначенное для победы в реальном конкурсе, а не просто для того, чтобы выглядеть разумно.

      Так как же это сработало?

      Довольно хорошо, на самом деле. Просто не идеально.

      Модель угадала 13 из 16 команд Sweet 16, что объективно сильно в турнире, который создан для наказания за уверенность и вознаграждения за хаос. Общая архитектура прогноза выдержала. Она идентифицировала большинство настоящих тяжеловесов. Она была в целом правильной относительно команд, которые с наибольшей вероятностью выживут в первый уикенд. В общем, это понималось как форма поля.

      Но, как это часто бывает в марте, она также обнаружила слабые места.

      NCAA

      Наиболее очевидными промахами стали Ohio State, Wisconsin и Florida. Ohio State проиграл матч TCU со счетом 66–64 на позднем броске. Wisconsin проиграл 83–82 команде No. 12 High Point. Florida, действующий национальный чемпион и команда с первым номером, проиграла Iowa со счетом 73–72 на решающем трехочковом броске в последние секунды. Это были не медленные, очевидные провалы. Это были проигрыши в одно владение, решенные в последние моменты, именно такие исходы напоминают вам о том, что ни одна модель турнира не может работать в лаборатории.

      Это оставляет два возможных толкования.

      Одно из них — модель была неверной.

      Другое — модель была в основном правильной, но баскетбол на выбывание — это ужасная среда для уверенности.

      Ответ, как обычно, в том, что верно и то, и другое.

      Хорошая новость заключается в том, что угадать 13 из 16 команд Sweet 16 говорит о том, что базовая структура была полезной. Это не было случайным. Это не было декоративным. Это не было просто использование более сложных слов для достижения тех же интуитивных предположений, которые делают все остальные. На уровне идентификации качества это сработало.

      Менее утешительная новость заключается в том, что промахи также были информативными.

      Оглядываясь назад, процесс все еще слишком сильно полагался на «лучшие команды обычно проходят дальше». Это часто верно на протяжении сезона. Это менее верно за 40 минут в нейтральном зале, особенно когда аутсайдер может создать волатильность. Поражение Wisconsin — самый чистый пример. Более сильная модель неожиданностей не обязательно выбрала бы High Point для победы, но, вероятно, она бы рассматривала Wisconsin как более хрупкую, чем я: более восприимчивую к игре, где аутсайдер разогревается с трехочковых, растягивает фаворита и превращает последние две минуты в бросок монеты.

      Поражение Florida говорит о чем-то подобном на более высоком уровне. Команда с первым номером никогда не должна быть «вероятной» для раннего поражения, но есть разница между тем, чтобы быть сильным и быть неуязвимым. Модель была права, уважая Florida. Она, вероятно, была не права, рассматривая Florida как безопасную.

      NCAA

      Это различие имеет значение, если вы пытаетесь выиграть пул, а не просто защитить свою достоинство.

      Вот где это упражнение становится интересным. На рынках, в инвестициях и в пулах таблиц есть большая разница между тем, чтобы быть в целом правильным и быть правильно позиционированным. Прогноз может быть разумным и все равно не уловить, где живет настоящая хрупкость. Турнир не награждает стильные очки за наличие лучшей структуры, если вы все равно недооценили возможность того, что живой аутсайдер начнет забивать.

      Так что бы я изменил?

      Не основную идею. Я все еще считаю, что правильный способ подойти к таблице — это отделить прогнозирование с наивысшей вероятностью от стратегии ожидаемой ценности. Большинство людей смешивают эти вещи, не осознавая этого. Они выбирают чемпиона, который, по их мнению, может выиграть, но затем делают несколько произвольных выборов неожиданностей, чтобы «разнообразить», что на самом деле просто другой способ признать, что у них нет последовательного процесса.

      Что бы я улучшил, так это уровень волатильности.

      Лучшая версия этого подхода уделяла бы больше внимания тому, какие фавориты действительно крепкие, а какие просто выглядят сильными в таблице. Она более явно измеряла бы вариацию трехочковых, риск потерь, проблемы с фолами, зависимость от одного снайпера и то, как часто результаты команды резко колеблются от игры к игре. Она все равно уважала бы топовые семена. Она просто была бы более подозрительной к ним.

      Это имеет еще большее значение сейчас, потому что, конечно, оригинальные таблицы заблокированы.

      На этом этапе никто не может утверждать, что «у него была Iowa», если у него действительно не было Iowa. Это часть красоты и жестокости всего предприятия. Как только игры начинаются, ваша блестящая структура становится историческим документом.

      Но это не означает, что процесс перестает быть полезным.

      Во-первых, могут быть пулы второго шанса. Многие конкурсы сбрасываются на этапе Sweet 16 или Финала Четырех, что на самом деле является подарком для тех, кто любит процесс. Пул второго шанса убирает театральность притворства, что мы знаем все заранее. Теперь у нас есть новая информация, меньшее поле и свежая возможность отделить действительно сильные команды от просто выживших.

      Более важно, это упражнение все еще предлагает главный урок, который я надеялся исследовать в этой серии: дисциплинированное прогнозирование не заключается в устранении неопределенности. Это о том, чтобы сделать неопределенность понятной.

      Модель сработала хорошо. Март все еще имел другие идеи.

      Это не провал. Это и есть суть.

      И если будет пул второго шанса, я снова вернусь в него — старше, мудрее и немного менее склонный доверять уязвимому фавориту только потому, что его номер говорит, что я должен.