Pronostics UFC Shanghai notés : notre modèle a fait 8 sur 13

Deux jours avant l'UFC Shanghai, j'ai publié ici un article intitulé "notre modèle boude les favoris". Il signalait deux combats où notre modèle d'IA désignait un vainqueur différent de celui du marché des paris, et notait que sur huit des treize affiches, le modèle évaluait le favori plus bas que ne le faisait le tableau des cotes.

La carte est terminée. Voici le bilan sur ce point, y compris la partie où le modèle s'est lourdement et coûteusement trompé sur le combat principal.

Le chiffre principal

Sur les treize affiches de la carte pour lesquelles notre modèle disposait d'une prédiction alignée sur les coins, il a désigné huit vainqueurs sur treize, soit 61.5 pour cent. Le favori à la clôture des paris a lui aussi fait 8-for-13. En taux de réussite brut, le modèle et le marché ont terminé la nuit à égalité.

C'est la version ennuyeuse. La version intéressante, c'est là où ils étaient réellement en désaccord, ce qui n'est arrivé que sur exactement deux combats sur treize.

Les probabilités du modèle ci-dessus sont les chiffres finaux enregistrés, c'est-à-dire ce qu'il disait le soir du combat plutôt que le mercredi. Il recalcule à mesure que les cartes changent, et sur celle-ci la ligne de Ding Meng a beaucoup bougé dans les deux derniers jours.

Les deux combats sur lesquels ils étaient réellement en désaccord

Sur onze des treize affiches, le modèle et les cotes de clôture désignaient le même combattant. Ils se sont séparés sur deux, et se sont partagés un partout.

Le modèle a remporté le plus gros des deux. Il donnait Denise Gomes à 62.8 pour cent face à Yan Xiaonan alors que les bookmakers faisaient de Yan une favorite à -147. C'est un désaccord authentique, pas une différence d'arrondi : le marché impliquait que Yan devait gagner environ 59 pour cent du temps, le modèle disait que Gomes devait gagner environ 63 pour cent du temps, et les deux chiffres ne peuvent pas être tous les deux proches de la vérité. Gomes a mis KO la quatrième des poids pailles en 4:49.

Le marché a remporté l'autre. Le modèle donnait Levi Rodrigues Jr. à 51.1 pour cent, un vrai pile ou face, face à un Ce Liu que les bookmakers cotaient à -180. Ce Liu l'a mis KO au premier round. En toute justice pour les deux, Rodrigues avait pris ce combat au pied levé après le forfait de Junior Tafa, ce qui est le genre de chose que ni un modèle ni une ligne de paris ne gèrent bien.

Une autre ligne mérite d'être signalée même si elle ne relevait pas d'un désaccord. Sumudaerji arrivait à 60.2 pour cent selon le modèle et à -313 selon le marché, et a gagné une décision unanime d'un seul round sur les trois cartes, 29-28 chez Ben Cartlidge, Vito Paolillo et Clemens Werner. Un favori à -313 n'est pas censé avoir besoin du dernier round. Le modèle avait évalué ce combat bien plus près de ce qu'il s'est avéré être.

Ce qu'il a raté, et le pire de tout

Umar Nurmagomedov à 74.2 pour cent. Il s'est fait mettre KO au deuxième round.

Il n'y a aucun moyen d'adoucir cela. Le modèle était bien plus confiant en Umar qu'un simple pile ou face, le marché l'était encore davantage à -621, et tous deux regardaient un combattant qui avait battu Cory Sandhagen, Mario Bautista et Deiveson Figueiredo aux points et n'avait jamais été fini de sa carrière. Tout dans le profil disait "gagne des rounds, ne se fait pas arrêter". Song Yadong l'a arrêté à 1:48.

C'est une vraie limite et elle mérite d'être nommée plutôt qu'enterrée. Un modèle bâti en grande partie sur ce que le bilan et les statistiques par combat d'un athlète ont produit par le passé sera lent à évaluer la possibilité qu'un combattant de décision endurant croise quelqu'un qui met fin aux combats. Song compte huit bonus d'après-combat et sept d'entre eux ont récompensé une finition. Ce n'est pas un fait caché. C'est un fait que les chiffres ont sous-pondéré.

Les trois erreurs des préliminaires racontent une version plus modeste de la même histoire : Lawrence Lui à 72.4 pour cent, Xiao Long à 64.8 pour cent, Ding Meng à 57.2 pour cent, tous battus, deux d'entre eux par KO. Sur une carte où cinq outsiders ont gagné et où dix des treize combats disputés se sont terminés avant la limite, un modèle qui s'appuie sur la forme établie allait forcément passer une mauvaise soirée.

La lecture honnête

À égalité avec le marché en taux de réussite, un partout sur les deux combats où ils étaient réellement en désaccord, et confiants et faux ensemble sur celui que tout le monde regardait. Si vous aviez utilisé le modèle comme signal contre Yan Xiaonan, vous avez été payé. Si vous l'aviez utilisé sur le combat principal, non, même si le marché vous aurait fait plus mal.

Je préfère publier ceci qu'un article sur les huit qu'il a trouvés. Nos prédictions vivent sur chaque page d'événement à venir et sont confrontées aux résultats que j'en parle ou non, et le suivi de précision est public exactement pour cette raison. Un système de prédiction dont on ne parle que lorsqu'il gagne est un outil marketing, pas une mesure.

Le prochain test est UFC Fight Night: Hooker vs Parnasse le 5 septembre.