Test A/B Bayésien Ou Fréquentiste : Guide Pour Les Nuls

Qu’est-Ce Qu’un Test A/B ?

Au cas où vous ne connaîtriez rien aux tests A/B, nous allons vous en donner un bref aperçu.

D’une manière générale, les tests A/B signifient que vous utilisez des données statistiques pour déterminer quels éléments ont le plus d’effet sur les taux de conversion de votre site web (ou de vos publicités, de vos bulletins d’information, etc.)

En gros, vous pouvez : 

1. Céer deux (ou plusieurs) versions de la page Web souhaitée, 
2. Montrer ces versions aux visiteurs de votre site web (il existe différentes façons de le faire), et 
3. Analyser les résultats et voir, une fois le test terminé, quelle version a donné ou est susceptible de donner de meilleurs résultats (= quelle version génère plus de conversions).

Ainsi, vous ne devez pas fonder vos décisions de marketing sur une “intuition” ou un sentiment, mais vous disposez de données réelles sur ce qui fonctionne vraiment.

Vous pouvez analyser les données de test en suivant différentes approches, comme les statistiques bayésiennes ou les statistiques fréquentistes.

Comment les approches bayésienne et fréquentiste diffèrent-elles alors l’une de l’autre ?

Fondamentalement, ils ont des interprétations différentes de la probabilité. Nous allons bientôt examiner brièvement ces différences.

Cependant, nous ne rentrons pas trop dans le détail des statistiques. Si vous souhaitez en savoir plus sur les méthodes exactes, reportez-vous aux lectures complémentaires à la fin de l’article !

Quel genre de choses les gens mesurent-ils avec les tests A/B ?

Les choses que vous testez n’ont pas besoin d’être grandioses.

En fait, les plus petits détails peuvent parfois avoir un effet considérable sur l’expérience du client.

Je parle de choses comme le placement d’un bouton CTA, ou l’élément présenté qui a le plus d’effet sur le comportement des gens.Par exemple, si vous présentez des avis ou des témoignages sur votre site web, vous pouvez essayer différentes options et peut-être apprendre quelque chose de surprenant.

De plus, il ne serait pas judicieux de tester sur trop de variables en même temps. 

Si vous avez 5 choses différentes en cours, comment pouvez-vous identifier celles qui affectent réellement les conversions ?

Il est préférable de tester les petites choses une par une pour être sûr d’obtenir des résultats précis.

Idée De Base De L’approche Fréquentiste Des Tests A/B

L’approche fréquentiste est la plus traditionnelle des deux.

Rappelez-vous que vous avez deux versions du site web : la variable A et la variable B.

Vous supposez que l’une des hypothèses suivantes est vraie :

1. Il n’y a pas de différence entre A et B (=hypothèse nulle).
2. Il y a une différence entre A et B

Votre travail (ou celui des outils logiciels) consiste à vérifier laquelle est vraie. En outre, vous devez disposer de suffisamment d’éléments pour prouver que l’hypothèse nulle n’est pas vraie.

Pour ce faire, vous choisissez une taille d’échantillon (=nombre de visiteurs) qui verra chaque version du site web.

Une fois que la taille de l’échantillon est complète, vous arrêtez le test et pouvez commencer à analyser les résultats.

Le problème de ce test est que les variantes n’auront probablement pas exactement le même taux de conversion, même si elles étaient identiques. Il y aura forcément des différences dues à des coïncidences.

Pour cette raison, vous devez connaître la signification statistique du résultat, qui est la valeur p. Vous devez prouver que le résultat n’est pas une simple coïncidence.

Lorsque la valeur p est adéquate, vous pouvez supposer que le résultat est statistiquement significatif et assez précis.

Pour savoir comment calculer la valeur p, reportez-vous, par exemple, à cet article.

Idée De Base De L’Approche Bayésienne Des Tests A/B

L’idéologie qui sous-tend la pensée bayésienne est que vous mettez à jour vos croyances chaque fois que vous obtenez de nouvelles informations. La méthode statistique est également basée sur cette idéologie.

Bien que plus récente, l’approche bayésienne est devenue la norme dans le secteur du marketing numérique.

L’idée de base de la statistique bayésienne est qu’elle calcule des probabilités plutôt que de tester des hypothèses.

Il calcule la distribution de probabilité de chaque variante sur la base d’informations préalables. Les connaissances préalables proviennent, par exemple, du taux de conversion moyen d’un site Web.

En gros, vous obtenez une réponse à la question “Quelle est la probabilité que A soit meilleur que B” ou vice versa.

L’estimation de la probabilité devient de plus en plus précise lorsque vous collectez davantage de données observées.

Les mathématiques qui sous-tendent la méthode bayésienne sont complexes, je ne m’y attarderai donc pas.

Lequel Choisir ?

En termes de résultats, il n’y a pas beaucoup de différence entre les approches. Si une variante est plus performante que l’autre, les deux méthodes le révèleront.

Cependant, les processus sont un peu différents.

Les experts semblent se diriger vers l’approche bayésienne, car elle est plus flexible et plus rapide. C’est également la méthode utilisée par la plupart des outils logiciels de test A/B.

Si vous considérez ce que nous venons d’apprendre sur les deux approches, cela a du sens.

Dans l’approche fréquentiste, vous devez attendre qu’un certain échantillon de données soit rempli. 

Dans l’analyse bayésienne, vous pouvez obtenir des estimations plus tôt. Il vous suffit de décider quel est le meilleur moment pour prendre le risque et mettre en œuvre les changements.

Bref : Quelle Est La Différence Et Qu’est-Ce Que Cela Signifie Pour Moi ?

Les différences entre les méthodes bayésiennes et fréquentistes sont les suivantes : 

• Dans l’approche fréquentiste, vous testez des hypothèses et obtenez une estimation à point fixe (= quel est le “vrai” taux de conversion dans votre test).
• Les statistiques bayésiennes attribuent des probabilités aux hypothèses, et non un nombre fixe (= quelle est la probabilité qu’une option soit meilleure que l’autre).
• Les tests fréquentistes prennent plus de temps que l’estimation bayésienne.

Mais qu’est-ce que cela signifie pour votre entreprise ? Pourquoi devriez-vous vous en soucier ?

Les experts en marketing numérique semblent penser que les méthodes bayésiennes sont meilleures et permettent des réactions plus agiles.

Cependant, les résultats sont finalement similaires quelle que soit la méthode. Ce n’est pas comme si l’analyse fréquentiste disait que A est meilleur, alors que l’analyse bayésienne aboutit à la conclusion inverse.

Donc, si tout cela vous dépasse et que vous n’avez pas de préférence idéologique marquée pour l’une ou l’autre option… Peut-être n’est-ce pas la chose la plus importante que vous devriez considérer.

De plus, lorsque vous mettez en œuvre un logiciel de test A/B, vous n’avez pas à penser à ces choses. 

Vous voudrez peut-être choisir un outil qui utilise l’une ou l’autre de ces approches, mais à part cela, vous devriez probablement vous concentrer sur autre chose.

Autres Lectures

Si ce guide pour les nuls ne vous a pas suffi, voici quelques ressources qui pourraient vous aider davantage :

• Test A/B Bayésien Ou Fréquentiste : Quelle Est La Différence ?
• Approche Fréquentiste Vs. Approche Bayésienne Dans Les Tests A/B
• Comment Réaliser Des Tests A/B Plus Efficaces Et Plus Intuitifs Grâce Aux Statistiques Bayésiennes ?

Au cas où vous auriez été piqué par le virus des statistiques, voici quelques ressources plus lourdes :

• Gronau, Q. F., Raj, K. N., & Wagenmakers, E. J. (2019). Informed Bayesian inference for the A/B test. https://arxiv.org/pdf/1905.02068.pdf 
• Mayo, D. G., & Cox, D. R. (2006). Frequentist statistics as a theory of inductive inference. Dans Optimality (pp. 77-97). Institut de statistique mathématique. https://doi.org/10.1214/074921706000000400 
• M. J. Bayarri. J. O. Berger. “The Interplay of Bayesian and Frequentist Analysis”. Statist. Sci. 19 (1) 58 – 80, février 2004. https://doi.org/10.1214/088342304000000116

FAQ