Le secret pour réussir des tests A/B et d’incrémentalité
Taille d’échantillon et effet minimal détectable
La réussite d’un test A/B ou d’un test d’incrémentalité ne repose pas uniquement sur le design expérimental ou les KPIs suivis. Un élément fondamental détermine la fiabilité de tes conclusions : la taille d’échantillon (ou la durée du test). Et c’est souvent là que tout se joue.
Pourquoi la taille d’échantillon explose quand l’effet attendu diminue
Lorsque l'on cherche à détecter de plus petits uplifts, la taille d’échantillon nécessaire augmente de façon très important.
Concrètement, le nombre d’observations requis est proportionnel à :
Pourquoi ?
Deux raisons principales :
- La variance domine : plus l’effet est petit, plus il est noyé dans le bruit statistique. Il faut donc davantage de données pour le distinguer.
- Les seuils de rigueur (alpha, puissance) : plus le test est strict (par ex. α=5 %, puissance=80 %), plus la taille d’échantillon doit être grande.
La règle d’or à retenir pour planifier un test A/B
Cette règle simple reste vraie tant que l'on garde constants :
- Le seuil de signification (α)
- La puissance statistique (1−β)
- La variance du KPI
- Le ratio test/contrôle
La formule pratique pour estimer la taille d’échantillon
Pour un KPI binaire (par exemple un taux de conversion) avec :
- un taux de base p
- un uplift relatif u
- une allocation 50/50
- α = 5 % et puissance = 80 %
On obtient :
L’intuition est la même pour des métriques continues (on remplace p(1−p) par la variance σ²) : le dénominateur contient le carré de l’effet attendu.
Exemples concrets
| Uplift visé | Multiplicateur de n |
|---|---|
| 10 % → 5 % | ×4 |
| 6 % → 3 % | ×4 |
| 4 % → 2 % | ×4 |
Autrement dit, réduire de moitié le MDE multiplie par quatre la taille d’échantillon.
Implications concrètes pour des campagnes et audits d’attribution
1. Plan média
Si le trafic est limité, choisir un MDE réaliste (8–12 %) pour obtenir des résultats exploitables en quelques semaines, pas en plusieurs mois.
2. Design du test
Augmenter la sensibilité :
- Lancer en période de fort trafic
- Cibler des audiences plus susceptibles de convertir
- Simplifier les métriques pour stabiliser ton KPI
3. Trade-offs à prévoir
Si on souhaite mesurer un petit effet (3–5 %), préparer :
- Plus de zones ou de segments
- Des périodes d’observation plus longues
- Une allocation test plus large