Lire un backtest : chaque métrique expliquée

Comment la simulation mise et fixe ses prix

Avant de lire la moindre métrique, vous devez savoir deux choses sur la façon dont la simulation est construite, car elles façonnent chaque chiffre du panneau.

D'abord, le modèle de mise : une unité fixe par pari, toujours. Pas de progression, pas de pondération à la confiance, pas de pourcentage de bankroll. C'est voulu. Un schéma de mise peut faire passer une sélection médiocre pour brillante pendant un temps : doublez après chaque perte et la courbe se lisse toute seule, jusqu'au jour où elle s'effondre. La mise fixe retire le costume et laisse la seule chose qu'un backtest peut mesurer honnêtement, à savoir si vos filtres sélectionnent de bons paris. Tous les profits sont exprimés en unités ; multipliez par ce qu'une unité représente pour votre bankroll.

Ensuite, le prix. Par défaut, chaque pari simulé est réglé à la cote de clôture de Pinnacle, le dernier prix avant le coup d'envoi, une fois que le marché a absorbé tout l'argent et toute l'information disponibles. La clôture est le chiffre le plus affûté du pari sportif ; un backtest profitable fait donc une affirmation forte : ces règles battent la ligne de clôture. Vous pouvez aussi backtester à la cote d'ouverture, un choix qui se fait dans les paramètres du backtest du builder ; chaque pari est alors valorisé à la première cote du marché, et ces stratégies restent privées. Régler à la clôture signifie aussi que vos résultats en réel ne rejoueront pas le backtest, car les picks live sont enregistrés à la cote au moment de la détection, plus tôt, et souvent différente. Cet écart a son propre article : Du backtest au réel.

Nombre de paris et picks par mois : le carburant statistique

Le nombre de paris est votre taille d'échantillon, et c'est elle qui décide de ce que chaque autre chiffre du panneau a le droit de signifier. Un yield calculé sur 40 paris est une anecdote. Sur 400, cela commence à devenir une preuve. La variance diminue lentement à mesure que les paris s'accumulent, bien plus lentement que l'intuition ne le suggère, et c'est pourquoi chaque piège de cet article s'aggrave quand ce nombre est petit.

Le nombre moyen de picks par mois est le rythme, et il compte deux fois. Statistiquement, une stratégie qui se déclenche trois fois par mois mettra des années à prouver quoi que ce soit. Concrètement, une fois la stratégie en réel, chaque pick qui vous est envoyé consomme le quota mensuel de picks de votre offre ; ce chiffre prévoit donc aussi ce que suivre la stratégie vous coûtera. Soixante paris par mois n'entament pas une enveloppe comme huit. Les détails dans Le quota de picks expliqué.

La fenêtre de backtest alimente aussi cette section. Sans offre, les backtests sont limités aux 183 derniers jours, environ six mois, appliqués silencieusement, sans message d'erreur. Six mois vous disent si une stratégie se déclenche ; c'est rarement assez de volume pour juger un avantage modeste. Les offres allongent la fenêtre, certaines sans limite ; voyez la page des offres. Pour un jugement aussi gourmand en données, plus d'historique n'est pas un luxe.

Wins, losses, voids, refunds, et le piège du taux de réussite

Le registre des résultats a quatre cases. wins et losses sont ce que leur nom indique. voids désigne les paris dont la mise a été remboursée, un match nul sur un marché à deux issues sans option nul, par exemple. refunds désigne les pushes sur handicap : la ligne tombe exactement sur le nombre et la mise revient. Voids et refunds ne coûtent rien et ne rapportent rien ; leur rôle principal est d'expliquer pourquoi wins plus losses est inférieur au nombre de paris.

Maintenant, le piège. Le taux de réussite est le chiffre le plus séduisant du panneau et, seul, le plus inutile. Il ne veut rien dire sans la cote moyenne à côté. Une stratégie qui gagne 40 % de ses paris à une cote moyenne de 3,0 gagne de l'argent : cent unités misées en rendent environ 120. Une stratégie qui gagne 55 % à 1,7 perd de l'argent, régulièrement, tout en donnant une impression excellente : elle gagne plus souvent qu'elle ne perd et saigne quand même. Si vous ne retenez qu'une habitude de cette page, lisez ces deux chiffres en paire. Un taux de réussite élevé décrit la zone de cotes où la stratégie pêche, pas son talent.

L'argent : P&L total, mise totale, yield, P&L moyen par mois

Le P&L total est le total des unités gagnées moins les unités perdues sur toute la simulation. La mise totale est le total des unités risquées. Aucun des deux n'est comparable d'une stratégie à l'autre : une stratégie médiocre à gros volume fera plus de profit qu'une excellente stratégie sélective, simplement en pariant davantage.

Le yield corrige cela. Le profit divisé par la mise totale, en pourcentage : le profit par unité risquée. C'est le chiffre qui permet de comparer à armes égales un moulin à 2 000 paris et un sniper à 300 paris. Pour calibrer, rappelez-vous que la marge du bookmaker taxe chaque pari : un yield durablement positif aux prix de clôture signifie déjà battre le marché. Quelques pour cent tenus sur un grand échantillon, c'est réellement fort. Un yield à deux chiffres sur un gros échantillon devrait vous rendre plus méfiant, pas plus enthousiaste, car le surapprentissage produit ce genre de courbe à la demande.

Le P&L moyen par mois est le même profit exprimé en rythme, en unités par mois. Il répond à la question « à quoi ressemblerait la vie avec cette stratégie », mais c'est une moyenne. Une stratégie à plus deux par mois en moyenne peut très bien vous servir un mois à moins huit en chemin.

Drawdown max : votre budget de douleur

Le drawdown max est la pire chute du sommet au creux de la courbe de profit, en unités : depuis le meilleur point atteint, jusqu'où la stratégie est-elle descendue avant de se rétablir ? C'est le chiffre le plus sous-estimé du panneau, car c'est lui qui décide si vous auriez réellement survécu au backtest. Toute stratégie qui a fini dans le vert a passé une partie de sa vie sous l'eau. Si le drawdown max affiche 30 unités et que votre tolérance honnête est de 15, ce profit final ne vous était en réalité pas accessible. Vous auriez abandonné au fond du trou, exactement au mauvais moment, comme presque tout le monde. Lisez-le comme un budget : voilà à peu près la douleur que le passé a exigée, et l'avenir a le droit d'en exiger davantage.

La famille ajustée du risque : Sharpe, Sortino, Calmar

Les métriques restantes répondent toutes à la même question avec des accents différents : combien de rendement par unité de turbulence ?

Le ratio de Sharpe compare le rendement moyen à l'amplitude des variations, dans les deux sens. Plus il est haut, plus le profit est régulier ; un yield élevé avec un Sharpe faible, c'était des montagnes russes qui ont bien fini. La déviation négative (downside deviation) ne mesure que les mauvaises secousses, la volatilité des passages perdants, personne ne se plaignant des surprises à la hausse ; plus elle est basse, mieux c'est. Le ratio de Sortino est un Sharpe reconstruit sur cette base : le rendement par unité de douleur à la baisse uniquement ; un Sortino nettement supérieur au Sharpe indique que la volatilité vit surtout du côté agréable. Le ratio de Calmar rapporte le rendement au drawdown max lui-même : combien de profit la stratégie a payé par unité de pire souffrance. Appelez-le le chiffre « est-ce que ça valait la peine ».

Aucune formule à mémoriser. Sur les trois ratios, plus haut est mieux ; sur la déviation négative, plus bas est mieux ; et tous méritent d'autant plus de confiance que le nombre de paris grandit. La vue d'analytique avancée qui héberge cette famille au complet est une fonctionnalité d'offre ; voyez la page des offres.

Pour aller plus loin

Pour comprendre pourquoi les petits échantillons mentent avec autant d'aplomb, le thème derrière la moitié de ces pièges, lisez Variance et taille d'échantillon. Pour voir comment un backtest spectaculaire peut n'être qu'un artefact ajusté au passé, lisez Backtesting et surapprentissage. Et pour ce qui change le jour où votre stratégie parie à la cote de détection plutôt qu'à la clôture, lisez Du backtest au réel.