Predykcje UFC Shanghai rozliczone: nasz model trafił 8 z 13

Dwa dni przed UFC Shanghai opublikowałem tutaj tekst zatytułowany „nasz model gra przeciwko faworytom". Wskazywał dwie walki, w których nasz model AI typował innego zwycięzcę niż rynek bukmacherski, i zauważał, że w ośmiu z trzynastu pojedynków model oceniał faworyta niżej niż tablica kursów.

Karta jest za nami. Oto rozliczenie, łącznie z fragmentem, w którym model mylił się co do walki wieczoru mocno i kosztownie.

Liczba nagłówkowa

W trzynastu pojedynkach karty, w których nasz model miał predykcję dopasowaną do narożników, wytypował osiem zwycięzców na trzynaście, czyli 61.5 procent. Faworyt bukmacherski na zamknięciu też poszedł 8-for-13. Pod względem czystej skuteczności model i rynek skończyli wieczór na remis.

To wersja nudna. Wersja ciekawa dotyczy tego, gdzie naprawdę się różniły, a było to dokładnie na dwóch walkach z trzynastu.

Prawdopodobieństwa modelu powyżej to końcowe zapisane liczby, czyli to, co mówił w dniu gali, a nie w środę. Model przelicza wyniki, gdy karty się zmieniają, a przy tej linia Ding Menga przesunęła się w ostatnich dwóch dniach bardzo mocno.

Dwie walki, w których naprawdę się różniły

W jedenastu z trzynastu pojedynków model i kursy zamknięcia wskazywały tego samego zawodnika. Rozeszły się na dwóch i poszły po jednej.

Model wygrał tę większą. Miał Denise Gomes na 62.8 procent przeciwko Yan Xiaonan, podczas gdy bukmacherzy dawali Yan jako faworytkę z kursem -147. To autentyczna różnica zdań, a nie kwestia zaokrąglenia: rynek sugerował, że Yan powinna wygrywać mniej więcej 59 procent razy, model mówił, że Gomes powinna wygrywać około 63 procent razy, a obie te liczby nie mogą być jednocześnie bliskie prawdzie. Gomes znokautowała czwartą zawodniczkę rankingu wagi słomkowej w 4:49.

Rynek wygrał tę drugą. Model miał Leviego Rodriguesa Jr. na 51.1 procent, czyli czysty rzut monetą, przeciwko Ce Liu, którego bukmacherzy wycenili na -180. Ce Liu znokautował go w pierwszej rundzie. Gwoli sprawiedliwości wobec obu stron, Rodrigues wziął tę walkę na krótkie zawiadomienie po wycofaniu się Juniora Tafy, a to rzecz, z którą ani model, ani linia bukmacherska nie radzą sobie dobrze.

Jeszcze jeden wiersz warto zaznaczyć, choć nie był różnicą zdań. Sumudaerji wszedł z 60.2 procent od modelu i -313 od rynku, a wygrał jednogłośną decyzją różnicą jednej rundy na wszystkich trzech kartach, 29-28 od Bena Cartlidge'a, Vito Paolillo i Clemensa Wernera. Faworyt z kursem -313 nie powinien potrzebować ostatniej rundy. Model wycenił tę walkę znacznie bliżej tego, czym się okazała.

W czym się pomylił i co było najgorsze

Umar Nurmagomedov na 74.2 procent. Został znokautowany w drugiej rundzie.

Nie da się tego złagodzić. Model był pewny Umara wyraźnie bardziej niż rzut monetą, rynek był jeszcze pewniejszy przy -621, a obaj patrzyli na zawodnika, który pokonał Cory'ego Sandhagena, Mario Bautistę i Deivesona Figueiredo na punkty i nigdy w karierze nie został skończony przed czasem. Wszystko w tym profilu mówiło: „wygrywa rundy, nie daje się zatrzymać". Song Yadong zatrzymał go w czasie 1:48.

To realne ograniczenie i warto je nazwać, a nie zamiatać pod dywan. Model zbudowany w dużej mierze na tym, co rekord zawodnika i jego liczby z poszczególnych walk robiły w przeszłości, będzie powolny w wycenianiu możliwości, że wytrzymały zawodnik od decyzji trafi na kogoś, kto kończy walki. Song ma osiem bonusów po walkach, a siedem z nich przyszło za finisz. To nie jest ukryty fakt. To fakt, który liczby niedoważyły.

Trzy pomyłki z walk wstępnych opowiadają mniejszą wersję tej samej historii: Lawrence Lui na 72.4 procent, Xiao Long na 64.8 procent, Ding Meng na 57.2 procent, wszyscy pokonani, dwóch przez nokaut. Na karcie, na której wygrało pięciu underdogów, a dziesięć z trzynastu ukończonych pojedynków skończyło się przed czasem, model opierający się na ustalonej formie zawsze miał przed sobą ciężki wieczór.

Uczciwy odczyt

Na równi z rynkiem pod względem skuteczności, jeden do jednego na dwóch walkach, w których naprawdę się różniły, i wspólnie pewni siebie oraz pomyleni w tej jednej, którą oglądali wszyscy. Jeśli użyłeś modelu jako sygnału przeciwko Yan Xiaonan, dostałeś zapłatę. Jeśli użyłeś go przy walce wieczoru, to nie, choć rynek zabolałby cię mocniej.

Wolę opublikować to niż tekst o ośmiu trafieniach. Nasze predykcje żyją na każdej stronie nadchodzącej gali i są rozliczane względem wyników niezależnie od tego, czy o nich piszę, a tracker skuteczności jest publiczny dokładnie z tego powodu. System predykcji, który opisuje się tylko wtedy, gdy wygrywa, jest zasobem marketingowym, a nie pomiarem.

Następny test to UFC Fight Night: Hooker vs Parnasse 5 września.