Petits conseils pratiques sur les tests A/B :

1. Arrêtez les tests de dimensionnement uniquement pour la signification statistique – Dans les campagnes finies, votre objectif est le profit, pas une inférence parfaite.

2. Considérez les tests comme un compromis – Chaque exposition supplémentaire à un test permet d’acquérir de l’apprentissage, mais brûle également des revenus si cette exposition bénéficie d’un traitement plus faible.

3. Utilisez des tests plus petits lorsque les résultats sont bruyants – Cet article montre que la taille des tests visant à maximiser les profits augmente beaucoup plus lentement que les tailles classiques basées sur la puissance.

4. Augmenter la taille des tests avec une audience accessible – Si votre population est limitée, la taille du test doit refléter directement cette contrainte.

5. Autoriser les répartitions inégales lorsque les priorités diffèrent – Si un traitement est probablement meilleur a priori (par exemple, traitement ou maintien), des cellules de test asymétriques peuvent être optimales.

Shiny App pour tester les implications :

Testez et lancez l’application Shiny

Version longue

je viens de lire Test & Roll : tests A/B pour maximiser les profits par Elea McDonnell Feit et Ron Berman (2019), et il remet en question l’une des habitudes par défaut de l’expérimentation marketing : planifier les tests comme si l’objectif principal était la signification statistique.

Leur point est simple : dans la plupart des expériences marketing réelles, vous disposez d’une population limitée (liste de diffusion, budget de campagne, fenêtre de trafic limitée). Dans ce contexte, le bon objectif est bénéfice total attendu pendant le test et le déploiementpas les valeurs p.

L’idée centrale

Une configuration A/B classique comporte deux étapes :

1. Étape de test: exposer n1 utilisateurs au traitement A et n2 utilisateurs au traitement B.
2. Étape de roulage: déployer le gagnant vers le reste N - n1 - n2 utilisateurs.

Des tests plus importants améliorent la certitude, mais ils créent également un coût d’opportunité : plus d’utilisateurs participant au test signifie que davantage d’utilisateurs voient potentiellement le traitement le plus faible avant le déploiement.

L’article formalise cela comme un problème de décision et en déduit tailles d’échantillon visant à maximiser les profits. Sous Priors normaux et Résultats normaux, ils obtiennent des solutions de forme fermée.

Pourquoi c’est important dans la pratique

Si vous utilisez le dimensionnement classique des tests d’hypothèses, il est recommandé n peut être énorme, surtout lorsque la taille des effets est petite et que la réponse est bruyante (ce qui est exactement ce que nous voyons dans la publicité).

Leur cadre produit des tests de taille beaucoup plus petite, car il optimise les résultats commerciaux, et non le contrôle des erreurs de type I/II.

Deux points à retenir :

1. Les tailles de test optimales augmentent de manière sublinéaire avec le bruit de réponsealors que les règles classiques de taille d’échantillon croissent beaucoup plus rapidement.
2. La taille optimale des tests est basée sur la racine carrée de la taille de la population Nce qui les rend utilisables pour des marchés plus petits et des campagnes limitées.

Comparaison avec les bandits

Les auteurs se comparent à l’échantillonnage de Thompson (bandit multi-armé). Les bandits gagnent généralement grâce à l’optimisation pure, mais l’écart est souvent modeste dans leurs exemples.

C’est utile sur le plan opérationnel : un processus en deux étapes « tester puis lancer » est bien plus facile à mettre en œuvre, à expliquer et à gouverner qu’un bandit qui s’adapte en permanence, en particulier dans les organisations soumises à des contraintes d’approbation et de reporting.

Les applications sont la meilleure partie

Ils testent l’approche dans trois contextes :

1. Expériences de conception de sites Web
2. Décisions en matière de publicité display
3. Tests de résistance au catalogue

Dans tous les cas, les conceptions visant à maximiser les profits utilisent cellules de test nettement plus petites que les calculs de puissance classiques et produisent un profit attendu plus élevé.

Un résultat particulièrement pratique : les petits groupes d’exclusion (courants dans la pratique des catalogues et du CRM) peuvent être tout à fait rationnels lorsque les priorités sont asymétriques. En d’autres termes, les « répartitions inégales » ne sont pas toujours une mauvaise conception ; ils peuvent être la conception optimale.

Ce que j’ai changé dans ma propre pensée

Avant cela, je considérais le terme « sous-alimenté » principalement comme un signal d’alarme. Après cet article, je pense qu’une meilleure question est :

Sous-alimenté pour quel objectif ?

Si l’objectif est une inférence de qualité publication, la logique de puissance classique est correcte. Si l’objectif est le profit d’une campagne sur un horizon fini, un test plus petit peut s’avérer la meilleure décision commerciale.

Liste de contrôle de mise en œuvre pratique

Si vous effectuez des tests tactiques (e-mail, médias payants, pages de destination), cet article suggère un meilleur flux de travail :

1. Définir la population totale accessible N pour l’horizon de décision.
2. Définir des priorités pour les moyens de traitement issus d’expériences similaires passées.
3. Estimez la variance des réponses à partir des données historiques.
4. Calculer la maximisation des profits n1, n2.
5. Pré-valider la règle de décision de déploiement (bénéfice attendu postérieurement gagnant).
6. Signalez le regret attendu ainsi que la hausse attendue.

Ce dernier point est sous-estimé : les décideurs comprennent généralement mieux les « dollars attendus à risque » que les valeurs p.

Conclusion

Pour de nombreux tests marketing réels, « plus petit qu’un manuel » n’est pas une mauvaise science. C’est une meilleure conception de décision.

Si votre expérience existe pour piloter une action commerciale sur une audience limitée, Testez et roulez donne une manière rigoureuse de choisir des tailles d’échantillon qui maximisent le profit plutôt que la pureté statistique.

Article : Feit, EM et Berman, R. (2019). Test & Roll : tests A/B pour maximiser les profits. SSRN :

En rapport