Backtester sans se leurrer

Vous venez de lancer un backtest et la courbe monte vers la droite. Très bien. Maintenant, la question qui dérange : avez-vous trouvé un avantage, ou construit une stratégie qui colle parfaitement, par hasard, aux dernières saisons ? Un backtest rejoue l’histoire et vous dit comment une stratégie aurait performé. Bien utilisé, c’est ce qui se rapproche le plus d’une preuve qu’un avantage existe. Mal utilisé, c’est une machine à fabriquer de la fausse confiance.

Comment le surapprentissage s’infiltre

Le surapprentissage (overfitting), c’est quand une stratégie apprend les particularités de votre échantillon historique plutôt qu’une vérité générale. C’est séduisant, car le symptôme ressemble à un succès : une belle courbe de P&L bien pentue.

Il s’infiltre par de petites décisions :

• Décaler une plage de cotes jusqu’à ce que la courbe s’améliore.
• Ajouter un filtre qui n’aide que parce qu’il exclut trois grosses pertes historiques.
• Essayer vingt combinaisons de ligues et garder celle qui rend le mieux.

Chaque réglage colle la stratégie plus étroitement à ces données, et l’éloigne du futur.

Les signes révélateurs

• Très peu de paris portant un gros rendement.
• Beaucoup de filtres, chacun finement réglé.
• Une courbe plate, sauf sur une ou deux séries décisives.
• Un avantage que vous ne savez pas expliquer en une phrase.

Le hors échantillon : le test honnête

Ne jugez jamais une stratégie sur les données qui ont servi à la construire. Découpez votre historique :

1. Dans l’échantillon (par exemple les 70 % les plus anciens) : explorez, formulez des hypothèses, réglez ici.
2. Hors échantillon (les 30 % les plus récents) : n’y touchez qu’une fois, à la fin, pour confirmer.

Si l’avantage tient hors échantillon, il est bien plus probablement réel. S’il s’évapore, vous avez surajusté, et vous venez de vous épargner une série perdante en direct.

Quelques règles pratiques

• Décidez d’abord. Choisissez vos filtres avant de regarder leur impact individuel sur le P&L.
• Préférez le stable. Un résultat un peu moins bon mais solide dans l’échantillon vaut mieux qu’un résultat spectaculaire mais fragile.
• Présumez coupable. Traitez chaque filtre supplémentaire comme coupable jusqu’à preuve du contraire.
• Fiez-vous à la clôture. Une fois en direct, faites davantage confiance à la closing line value qu’au profit à court terme ; c’est le test hors échantillon qui ne s’arrête jamais.

Cette discipline est inconfortable : elle rend vos stratégies moins impressionnantes. C’est précisément pour ça qu’elle fonctionne.