Прогнозы на UFC Shanghai подсчитаны: наша модель угадала 8 из 13
Мы говорили, что наша модель играет против фаворитов UFC Shanghai. По итогам результатов она выдала 8-for-13, вровень с рынком, и грубо ошиблась по Умару Нурмагомедову.
За два дня до UFC Shanghai я опубликовал здесь материал с заголовком "наша модель играет против фаворитов". В нём отмечались два боя, где наша AI-модель выбрала другого победителя, чем букмекерский рынок, и говорилось, что в восьми из тринадцати поединков модель оценивала фаворита ниже, чем это делала линия.
Кард закончился. Вот отчёт по этому прогнозу, включая ту часть, где модель была грубо и дорого не права насчёт главного боя.
Главная цифра
По тринадцати боям карда, где у нашей модели был прогноз с совпадающими углами, она выбрала восемь победителей из тринадцати, то есть 61.5 процента. Закрывающий букмекерский фаворит тоже прошёл 8-for-13. По чистой точности попаданий модель и рынок закончили вечер вровень.
Это скучная версия. Интересная версия там, где они действительно разошлись, а это ровно два боя из тринадцати.
| Бой | Наша модель | Рынок (закрытие) | Победитель | Модель |
|---|---|---|---|---|
| Умар Нурмагомедов vs Сон Ядун | Умар 74.2% | Умар -621 | Сон Ядун, KO/TKO R2 | Ошиблась |
| Янь Сяонань vs Дениз Гомес | Гомес 62.8% | Янь -147 | Дениз Гомес, KO/TKO R1 | Права |
| Аорикилэн vs Кай Асакура | Асакура 74.0% | Асакура -463 | Кай Асакура, KO/TKO R2 | Права |
| Сумудаэрцзи vs Алекс Перес | Сумудаэрцзи 60.2% | Сумудаэрцзи -313 | Сумудаэрцзи, решение | Права |
| Цэ Лю vs Леви Родригес-мл. | Родригес 51.1% | Цэ Лю -180 | Цэ Лю, KO/TKO R1 | Ошиблась |
| Билал Хасан vs Нилсон Рохас | Хасан 63.4% | Хасан -837 | Билал Хасан, KO/TKO R2 | Права |
| Намсрай Батбаяр vs Андре Лима | Лима 72.3% | Лима -333 | Андре Лима, сабмишен R3 | Права |
| Рей Цуруя vs Кевин Борхас | Цуруя 78.2% | Цуруя -796 | Рей Цуруя, сабмишен R1 | Права |
| Джек Дженкинс vs Шон Вудсон | Вудсон 58.2% | Вудсон -155 | Шон Вудсон, раздельное решение | Права |
| Сяо Лун vs Франческо Нуцци | Сяо Лун 64.8% | Сяо Лун -176 | Франческо Нуцци, KO/TKO R1 | Ошиблась |
| Лоуренс Луи vs Гектор Сантьяго | Луи 72.4% | Луи -319 | Гектор Сантьяго, KO/TKO R2 | Ошиблась |
| Сюн Цзиннань vs Джулия Поластри | Поластри 58.6% | Поластри -227 | Джулия Поластри, KO/TKO R1 | Права |
| Дин Мэн vs Кэмерон Нельсон | Дин Мэн 57.2% | Дин Мэн -121 | Кэмерон Нельсон, решение | Ошиблась |
Вероятности модели выше это финальные сохранённые числа, то есть то, что она говорила к вечеру боёв, а не в среду. Она пересчитывает прогнозы по мере изменения карда, и в этом случае линия по Дин Мэну сильно сдвинулась за последние два дня.
Два боя, где они действительно разошлись
В одиннадцати из тринадцати поединков модель и закрывающие котировки указывали на одного и того же бойца. Разошлись они в двух, и счёт там один-один.
Более крупный спор модель выиграла. Она давала Дениз Гомес 62.8 процента против Янь Сяонань, тогда как букмекеры считали Янь фаворитом на -147. Это настоящее расхождение, а не разница округления: рынок подразумевал, что Янь должна побеждать примерно в 59 процентах случаев, модель говорила, что Гомес должна побеждать примерно в 63 процентах, и обе цифры не могут быть близки к правде одновременно. Гомес нокаутировала четвёртый номер минимального веса за 4:49.
Другой спор выиграл рынок. Модель давала Леви Родригесу-мл. 51.1 процента, настоящую монетку, против Цэ Лю, которого букмекеры оценили в -180. Цэ Лю нокаутировал его в первом раунде. В защиту обоих: Родригес взял тот бой в короткие сроки после снятия Джуниора Тафы, а это как раз то, с чем плохо справляются и модель, и линия.
Ещё одна строка заслуживает внимания, хотя расхождением она не была. Сумудаэрцзи шёл с 60.2 процента от модели и -313 от рынка, а выиграл единогласным решением с перевесом в один раунд на всех трёх карточках, 29-28 от Бена Картлиджа, Вито Паолилло и Клеменса Вернера. Фавориту на -313 не полагается нуждаться в последнем раунде. Модель оценила этот бой гораздо ближе к тому, чем он оказался.
В чём она ошиблась, и худшее из этого
Умар Нурмагомедов на 74.2 процента. Его нокаутировали во втором раунде.
Смягчить это никак нельзя. Модель была уверена в Умаре заметно сильнее, чем монетка, рынок был уверен ещё сильнее на -621, и оба смотрели на бойца, который побеждал Кори Сэндхагена, Марио Баутисту и Дейвесона Фигейреду решением и ни разу в карьере не был закончен досрочно. Всё в профиле говорило: "выигрывает раунды, досрочно не проигрывает". Сон Ядун остановил его на 1:48.
Это реальное ограничение, и его стоит назвать, а не спрятать. Модель, построенная в значительной мере на том, что делали послужной список бойца и его цифры по боям, будет медленно закладывать в цену возможность того, что надёжный боец решений встретит того, кто заканчивает бои. У Сона восемь бонусов после боёв, и семь из них пришли за досрочные победы. Это не скрытый факт. Это факт, который цифры недооценили.
Три промаха на прелимах рассказывают ту же историю в меньшем масштабе: Лоуренс Луи на 72.4 процента, Сяо Лун на 64.8 процента, Дин Мэн на 57.2 процента, все проиграли, двое нокаутом. В карде, где победили пять андердогов и десять из тринадцати состоявшихся боёв закончились досрочно, модель, опирающаяся на устоявшуюся форму, всегда была обречена на тяжёлый вечер.
Честный вывод
Вровень с рынком по точности попаданий, один к одному в двух боях, где они действительно разошлись, и уверенно не правы вместе в том бою, который смотрели все. Если бы вы использовали модель как сигнал против Янь Сяонань, вам бы это окупилось. Если бы вы использовали её в главном бою, нет, хотя рынок ударил бы больнее.
Я скорее опубликую это, чем материал про те восемь, которые она угадала. Наши прогнозы живут на каждой странице предстоящего турнира и подсчитываются по результатам вне зависимости от того, пишу я об этом или нет, а трекер точности публичен именно поэтому. Система прогнозов, о которой пишут только когда она выигрывает, это маркетинговый актив, а не измерение.
Следующая проверка это UFC Fight Night: Хукер vs Парнасс 5 сентября.