Combien de visiteurs faut-il pour qu’un test A/B soit fiable ?

En bref. Il faut environ 31 000 visiteurs par variante pour détecter un gain de 10 % sur une page qui convertit à 5 %, et 8 200 visiteurs pour un gain de 20 %. Le calcul ne dépend que de deux chiffres : votre taux de conversion actuel et l’écart minimal que vous voulez pouvoir détecter. En dessous de 10 000 visites mensuelles sur la page testée, un test A/B classique n’a presque jamais le temps de conclure.

Pourquoi la plupart des tests A/B ne prouvent rien

Le scénario se répète partout. On change la couleur d’un bouton, on lance le test un lundi, on l’arrête le vendredi de la semaine suivante avec 420 visiteurs par version. La variante B affiche +18 %. On déploie. Trois mois plus tard, le chiffre d’affaires n’a pas bougé d’un euro.

La raison tient en une phrase : un taux de conversion mesuré n’est pas un fait, c’est une estimation entourée d’une marge d’erreur. Sur 200 visiteurs et 10 commandes, le taux affiché est de 5 %, mais l’intervalle de confiance réel va de 2 % à 8 %. La vraie performance de la page peut se trouver n’importe où dans cette fourchette. Deux versions strictement identiques, mesurées sur 200 visiteurs chacune, afficheront un écart de 20 % ou 30 % par pur hasard une fois sur deux.

Le calcul de taille d’échantillon sert précisément à cela : fixer à l’avance le nombre de visiteurs à partir duquel l’écart observé cesse d’être du bruit.

Les trois chiffres à fixer avant de lancer

Avant d’ouvrir un outil de test, il faut décider trois choses. Aucune ne demande de compétence statistique, mais les trois changent radicalement le volume de trafic nécessaire.

• Le taux de conversion de référence. Celui de la page actuelle, mesuré sur au moins quatre semaines complètes. Plus il est bas, plus il faut de monde : détecter un écart sur une page à 1 % de conversion demande cinq fois plus de trafic que sur une page à 5 %.
• L’effet minimal détectable, ou MDE. L’écart relatif que vous voulez pouvoir repérer. Un MDE de 10 % signifie passer de 5,0 % à 5,5 %. C’est le chiffre qui fait exploser ou s’effondrer le volume nécessaire, parce qu’il intervient au carré dans la formule : diviser le MDE par deux multiplie le trafic requis par quatre.
• La confiance et la puissance. Les standards sont 95 % de confiance et 80 % de puissance. Le premier limite le risque de déclarer gagnante une variante qui ne l’est pas. Le second limite le risque de rater un vrai gain : à 80 % de puissance, vous laissez passer une amélioration réelle sur cinq.

Un point contre-intuitif mérite d’être posé tout de suite : vous ne choisissez pas le MDE en fonction de ce que vous espérez, mais en fonction de ce que vous pouvez mesurer avec votre trafic. Si votre page reçoit 800 visites par mois, chercher un gain de 10 % est hors de portée, quel que soit l’outil.

Le tableau du trafic nécessaire

Les chiffres ci-dessous indiquent le nombre de visiteurs par variante, à 95 % de confiance et 80 % de puissance, pour un test à deux versions. Pour le trafic total du test, multipliez par deux.

Lecture : une page produit qui convertit à 3 % et sur laquelle vous espérez un gain de 20 % — soit passer à 3,6 % — demande 13 900 visiteurs par version, donc 27 800 au total. Une page de service à 10 % de prise de contact qui teste une refonte visant +50 % se contente de 690 visiteurs par version.

Traduire ces volumes en jours de test

Divisez le total par le trafic quotidien de la page concernée, pas par le trafic global du site. C’est l’erreur la plus fréquente : un site à 3 000 visites par jour peut n’envoyer que 180 personnes par jour sur la page produit testée.

Exemple concret. Boutique en ligne, page panier à 3 % de conversion, 1 200 visiteurs par jour sur cette page. Pour un MDE de 20 %, il faut 27 800 visiteurs au total, soit 23 jours. C’est jouable. Pour un MDE de 10 %, il en faudrait 106 400, soit près de 89 jours : le test est à abandonner avant même de l’avoir lancé.

Deux garde-fous pratiques encadrent ce calcul. Ne concluez jamais avant deux semaines complètes, même si le volume est atteint plus tôt, afin de couvrir deux cycles hebdomadaires entiers : le comportement du dimanche soir n’a rien à voir avec celui du mardi matin. Et ne dépassez jamais six semaines : au-delà, les cookies s’effacent, les visiteurs changent d’appareil et la saisonnalité pollue la mesure.

Regarder les résultats tous les matins et arrêter le test le jour où l’écart devient « significatif » annule tout le travail de dimensionnement. Cette pratique produit un faux gagnant dans une proportion très élevée des cas, parce qu’un écart aléatoire finit toujours par franchir le seuil à un moment. La date de fin et le volume cible se décident avant le lancement, et on n’y touche plus.

Que faire quand on n’a pas ce trafic

La majorité des sites d’artisans, de PME et de e-commerçants indépendants font moins de 10 000 visites par mois. Le tableau ci-dessus les exclut d’office des tests classiques. Cela ne signifie pas renoncer à optimiser, mais changer de méthode.

• Tester des changements radicaux, pas des détails. Une refonte complète de page peut produire +40 % ou +50 %, ce qui devient détectable avec 1 500 à 3 000 visiteurs par variante. Le bouton vert contre le bouton bleu, jamais.
• Mesurer plus haut dans le tunnel. Le clic sur un bouton d’appel à l’action, l’ajout au panier ou l’ouverture du formulaire se produisent dix à trente fois plus souvent que la commande. Passer d’un événement à 3 % à un événement à 30 % divise le volume nécessaire par un facteur considérable. Le risque : améliorer les clics sans améliorer les ventes. À vérifier ensuite sur le chiffre d’affaires réel.
• Tester au niveau du site plutôt que de la page. Un changement de navigation, de mise en page ou de tunnel de commande s’applique partout et concentre tout le trafic sur une seule mesure.
• Passer au qualitatif. Cinq à huit observations d’utilisateurs réels repèrent l’essentiel des blocages d’une page. Les enregistrements de session et les cartes de clics coûtent moins de 50 € par mois et fonctionnent dès quelques centaines de visites.
• Accepter 90 % de confiance. Cela réduit le volume nécessaire d’environ 20 %, en échange d’un risque d’erreur doublé. Défendable pour un changement peu coûteux et facilement réversible, pas pour une refonte de tunnel de commande.

Les erreurs qui invalident un test correctement dimensionné

Calculer la bonne taille d’échantillon ne sert à rien si l’exécution abîme les données. Cinq points à vérifier avant et pendant.

• La répartition déséquilibrée. Si l’outil annonce 10 400 visiteurs sur A et 9 600 sur B, quelque chose est cassé : redirection, cache, bloqueur de scripts. Sur des volumes de cet ordre, un écart supérieur à 1 % suffit à rendre le résultat inexploitable.
• Le trafic interne et les robots. Excluez vos adresses IP, celles de votre prestataire et les outils de surveillance. Sur un petit site, l’équipe peut représenter 5 % des sessions.
• La campagne lancée en cours de route. Un afflux de trafic publicitaire, avec une intention d’achat différente, change la composition de l’échantillon au milieu du test.
• La page modifiée pendant le test. Corriger une faute d’orthographe est acceptable. Changer le prix, le visuel principal ou l’offre remet le compteur à zéro.
• Quatre variantes avec le budget d’une. Chaque version supplémentaire divise le trafic disponible et augmente le risque de faux positif. À trafic modeste, on teste deux versions, pas davantage.

Ce que coûtent les outils

Google Optimize, qui était gratuit, a fermé en septembre 2023. Depuis, le marché se répartit en trois familles. Les solutions en libre-service démarrent autour de 100 € par mois, avec un tarif qui monte selon le volume de visiteurs testés. Les plateformes françaises comme AB Tasty et Kameleoon fonctionnent sur devis et visent des sites à fort trafic : comptez plusieurs centaines à plusieurs milliers d’euros par mois. Les solutions open source ou intégrées à un outil d’analyse, comme PostHog ou GrowthBook, sont gratuites jusqu’à un certain volume d’événements, à condition d’avoir quelqu’un capable de poser le code.

Pour un site sous les 10 000 visites mensuelles, l’abonnement n’est de toute façon pas le poste de dépense pertinent. Le coût réel d’un test, c’est le temps passé à concevoir et à produire la variante : rarement moins d’une journée de travail.

Questions fréquentes

Combien de temps faut-il laisser tourner un test A/B ?

Le temps d’atteindre le volume calculé, avec un minimum de deux semaines complètes et un maximum de six. En dessous de deux semaines, le résultat reflète les habitudes d’un seul cycle hebdomadaire et se retourne souvent la semaine suivante. Au-delà de six semaines, la fiabilité du suivi des visiteurs se dégrade et la saisonnalité prend le dessus. Si le volume nécessaire demande plus de six semaines, le test n’est pas réalisable en l’état : il faut viser un écart plus grand ou mesurer un événement plus fréquent.

Peut-on tester plus de deux versions en même temps ?

Oui, mais le volume par variante reste identique : trois versions demandent donc 50 % de trafic en plus qu’un test à deux, et quatre versions le double. S’ajoute un problème de comparaisons multiples : avec quatre versions, la probabilité qu’au moins une paraisse gagnante par hasard dépasse 14 % au seuil habituel. Les outils sérieux appliquent une correction, mais la règle pratique reste la même : à moins de 100 000 visiteurs mensuels sur la page, on teste deux versions.

Que faire si le test ne donne aucun gagnant ?

C’est le résultat le plus fréquent, et ce n’est pas un échec. Un test non concluant signifie que l’écart réel, s’il existe, est plus petit que votre MDE. Gardez la version originale, notez l’hypothèse invalidée dans un document partagé, et passez à un changement plus important. Les équipes qui progressent sont celles qui conservent la trace de leurs tests perdants : au bout de vingt tests, la liste de ce qui ne marche pas vaut plus cher que les deux gains obtenus.

Un test A/B a-t-il un sens avec moins de 1 000 visiteurs par mois ?

Non, pas au sens statistique. Avec ce trafic, même un doublement du taux de conversion mettrait plusieurs mois à devenir mesurable. À ce niveau, l’argent et le temps se placent ailleurs : observation d’utilisateurs réels, correction des points de friction évidents comme les délais de chargement ou les formulaires trop longs, et travail sur la source du trafic. L’optimisation par la mesure devient pertinente une fois passé le seuil de quelques milliers de visites mensuelles sur la page concernée.