Moins de tests d’incrémentalité pour des décisions plus utiles

Davantage de tests d’incrémentalité ne produisent pas automatiquement une meilleure mesure. Lorsque la capacité de test est limitée, la ressource rare est la capacité à répondre à une question qui modifiera une décision financière. Un programme peut tester chaque canal ou tactique disponible et consommer cette capacité tout en laissant sans réponse son incertitude la plus déterminante. L’objectif utile est d’obtenir des preuves qui changent les décisions.

L’incrémentalité pose une question précise : quelle part d’un résultat observé a réellement été causée par le marketing ? L’attribution des plateformes, le marketing mix modeling (MMM), l’analyse observationnelle, l’expérience opérationnelle et les expérimentations peuvent chacun apporter des éléments de preuve. Ils répondent à des questions différentes et présentent des limites différentes. Le problème de management consiste à décider quelle incertitude mérite le prochain test contrôlé.

Allouer les tests selon leur valeur décisionnelle

Une entreprise dont la capacité de test est limitée fait face à un coût d’opportunité chaque fois qu’elle affecte une expérimentation. Chaque question retenue mobilise une capacité qui aurait pu être consacrée à une autre incertitude aux conséquences plus importantes sur le compte de résultat. Le nombre de tests est donc un objectif de management peu pertinent dans cette contrainte. La meilleure question est de savoir si les preuves obtenues pourraient amener la direction à déplacer des budgets, à réviser une hypothèse opérationnelle ou à changer la manière dont un canal est piloté.

Cela change l’endroit où une mesure rigoureuse a sa place. Des preuves qui confirment une conviction opérationnelle déjà bien étayée peuvent être valides tout en ayant peu d’effet sur les dépenses, les prévisions ou la stratégie. Un test a une plus grande valeur décisionnelle lorsque des résultats plausibles conduisent à des actions sensiblement différentes. Ce critère donne aux dirigeants un moyen concret de hiérarchiser les demandes concurrentes de capacité d’expérimentation.

Utiliser les tests rares là où l’incertitude financière est réelle

Un point de départ utile est le désaccord entre les signaux. Supposons que le MMM, l’analyse observationnelle, la réponse des ventes, les expérimentations précédentes et l’expérience opérationnelle accumulée soutiennent globalement la même conclusion à propos d’un canal. Une nouvelle expérimentation peut accroître la confiance, mais sa valeur décisionnelle probable peut être faible. Un changement significatif dans l’économie du canal ou dans les conditions opérationnelles renforcerait l’intérêt de tester à nouveau.

Prenons un cas illustratif de campagnes Meta Advantage+ Shopping Campaigns (ASC). Chaque hausse des dépenses Meta ASC peut continuer à produire des CPA marginaux attractifs dans les reportings de Meta, tandis que le coût d’acquisition client (CAC) des nouveaux clients de l’entreprise se dégrade. Ce conflit soulève une question aux conséquences directes sur le P&L. Les reportings de la plateforme Meta décrivent une performance attribuée ; une expérimentation d’incrémentalité permet de déterminer si la publicité a causé des résultats additionnels.

Plusieurs explications restent possibles. Meta peut encore acquérir efficacement des clients incrémentaux pendant qu’une autre partie de l’entreprise fait monter le CAC global. À l’inverse, l’augmentation des dépenses ASC peut toucher davantage de clients qui auraient acheté de toute façon, Meta recevant alors l’attribution de ces conversions. Un test d’incrémentalité peut distinguer ces explications plus directement qu’un nouvel examen des conversions déclarées par la plateforme.

Cette incertitude justifie fortement l’utilisation d’une capacité rare, car les conséquences décisionnelles sont importantes. Une forte performance incrémentale au niveau de dépense actuel peut justifier le maintien de l’investissement ou une montée en puissance. Des preuves montrant que le programme a déjà beaucoup avancé sur sa courbe de rendements décroissants peuvent justifier une réduction des dépenses et une réallocation des budgets. Des résultats sensiblement différents conduisent donc à des décisions d’allocation du capital sensiblement différentes.

L’expérience opérationnelle peut aussi identifier des candidats pour ce processus. Un responsable peut constater que la performance apparente d’un canal ne correspond plus aux évolutions observées ailleurs dans l’entreprise. Cette observation crée une hypothèse à examiner. Une mesure contrôlée peut alors tester si l’explication suspectée se vérifie.

Le critère de sélection est une incertitude significative combinée à une conséquence financière significative. Un canal soutenu par plusieurs signaux indépendants a moins de légitimité pour le prochain test qu’un canal où des signaux économiquement importants sont en conflit. Un CPA marginal attractif sur la plateforme alors que le CAC des nouveaux clients se détériore est un exemple de ce type de conflit. Le résoudre peut changer l’affectation du prochain euro.

Décider de ce que chaque résultat changera avant le lancement du test

Choisir la question ne résout que la moitié du problème de management. Une expérimentation techniquement crédible peut produire peu de valeur business si personne ne s’est accordé sur ce que ses différents résultats déclencheront. Une fois le résultat connu, les plans existants, les engagements commerciaux et les désaccords méthodologiques peuvent influencer la décision. La direction peut réduire cette ambiguïté en définissant à l’avance des trajectoires de réponse.

Avant d’organiser le test, l’équipe peut consigner des plages de résultats plausibles et l’action associée à chacune. Cela relie la mesure à l’action managériale et oblige à expliciter les critères de décision avant que les résultats ne soient connus.

Cette séquence sépare deux jugements. Avant l’expérimentation, la direction décide quel niveau de performance incrémentale rend un investissement économiquement attractif et quelles actions justifient les différents niveaux. Ensuite, l’équipe évalue la validité du test et identifie quelle trajectoire préalablement convenue est étayée par les preuves. Le préengagement rend explicite toute modification ultérieure de ces règles de décision.

L’économie du modèle peut rendre ces trajectoires concrètes. Prenons un programme paid social illustratif de grande ampleur avec une marge de contribution avant publicité de 50 %. Si la moitié du chiffre d’affaires incrémental est disponible avant la dépense publicitaire, le programme a besoin d’environ 2,0 de retour incrémental sur dépenses publicitaires (iROAS) pour couvrir les montants investis en publicité. Le seuil de 2,0 découle de ces unit economics illustratives ; une autre entreprise établirait son seuil à partir de ses propres marges et coûts.

Une équipe pourrait se préengager sur ce calendrier de réponse illustratif :

Ces seuils sont des exemples et non des standards du secteur. Les limites appropriées dépendent du canal, du niveau de dépense, de l’économie de l’entreprise et des décisions que la direction est prête à prendre. Leur valeur vient du fait qu’ils fixent la réponse de l’entreprise avant que l’équipe ne sache si l’expérimentation soutient sa stratégie actuelle. Cela donne aux dirigeants un lien explicite entre les preuves et l’allocation du capital.

Le préengagement met aussi en lumière les désaccords très tôt. Si la finance estime qu’un iROAS de 2,0 correspond au point mort tandis que l’équipe growth veut accélérer fortement à 2,1, le conflit existe déjà avant l’arrivée du moindre résultat de test. Le résoudre en amont donne à l’expérimentation des règles de décision connues. Attendre la restitution des résultats permet aux exigences économiques et aux standards de confiance de s’entremêler avec les réactions des parties prenantes.

Prenons un échec hypothétique. Un test produit un résultat plus faible que prévu, et l’équipe passe 45 minutes à débattre de la méthodologie et des raisons pour lesquelles l’estimation pourrait être imparfaite. Le constat devient un « enseignement intéressant », tandis que les dépenses restent inchangées. Une expérimentation sans trajectoire plausible vers une décision modifiée a une faible valeur pratique.

Le préengagement laisse malgré tout une place au jugement sur la validité du test. Une randomisation défaillante, une erreur matérielle de mise en œuvre ou une évolution des conditions business peuvent justifier de revoir la réponse initiale. La discipline consiste à rendre explicite la décision économique avant que les parties intéressées ne sachent quel résultat les preuves vont favoriser. Toute modification ultérieure de la règle de décision exige alors une justification explicite.

Ce processus aide aussi à sélectionner les tests. Si les dirigeants ne peuvent pas dire ce qu’ils feraient différemment dans des scénarios plausibles de résultats élevés, moyens et faibles, la question a peu de légitimité à mobiliser une capacité d’expérimentation rare. Le préengagement teste donc l’utilité de la question avant l’exécution. Il relie directement l’incertitude mesurée à la décision que la direction s’attend à prendre.

Étendre la valeur d’une expérimentation terminée

Une fois terminé, un test d’incrémentalité peut éclairer le pilotage quotidien si son résultat est conservé avec les conditions dans lesquelles il a été mesuré. Les métriques de plateforme arrivent en continu, tandis que les expérimentations d’incrémentalité ont lieu périodiquement. Les relier peut donner aux dirigeants un point de référence entre deux tests. Son utilité dépend de la proximité entre les conditions actuelles et celles de l’expérimentation.

Prenons une campagne Meta illustrative où Meta affiche un ROAS de 4,0 pendant une expérimentation et où le test d’incrémentalité mesure un iROAS de 2,0. Dans ces conditions de test et à ce niveau de dépense, le retour déclaré par Meta était deux fois supérieur au retour incrémental mesuré. Cette relation de 2:1 peut servir de relation de travail provisoire tant que les conditions de campagne et de mesure restent suffisamment similaires. Elle reste conditionnée aux circonstances dans lesquelles elle a été observée.

Supposons que le ROAS déclaré par Meta baisse ensuite à 3,5. Si la relation observée pendant l’expérimentation continue de se vérifier, un ROAS déclaré de 3,5 correspondrait à un iROAS d’environ 1,75. Pour l’entreprise illustrative évoquée plus haut avec une marge de contribution avant publicité de 50 %, cette estimation se situe sous son seuil de point mort d’environ 2,0. La direction aurait alors une raison d’examiner ce changement ou de reconsidérer le niveau de dépense.

Une seule expérimentation fournit une estimation conditionnelle plutôt qu’une formule de conversion permanente entre le ROAS déclaré et le ROAS incrémental. Les niveaux de dépense, la composition des audiences, la configuration des campagnes ou l’approche de mesure peuvent changer. Chacune de ces différences peut réduire la pertinence de la relation d’origine. Les dirigeants doivent donc conserver les conditions en même temps que le résultat.

L’estimation de travail peut néanmoins soutenir les décisions entre deux expérimentations. Une dégradation vers le niveau provisoire de 1,75 iROAS peut justifier une réduction des dépenses, une optimisation de la campagne à son nouveau niveau, ou un changement stratégique plus important accompagné d’un nouveau test d’incrémentalité. L’expérimentation précédente fournit un point de référence observé pour interpréter la métrique attribuée par la plateforme Meta. La direction peut actualiser cette référence lorsque les conditions changent de manière significative.

Le même principe s’applique au-delà d’une seule campagne. Les résultats peuvent être documentés dans un référentiel avec la décision, les conditions testées, le résultat mesuré et le contexte opérationnel pertinent. Les équipes futures peuvent alors vérifier si un test antérieur a été mené dans des conditions suffisamment proches pour éclairer la décision actuelle. Cela préserve des preuves utiles et évite d’affecter automatiquement la capacité d’expérimentation à des questions répétées.

La documentation crée aussi une règle pratique pour décider de retester. Un changement de campagne ou de mesure suffisamment important pour rendre douteuse la relation précédente renforce l’intérêt d’une nouvelle expérimentation. Des conditions stables justifient de continuer à utiliser le constat précédent comme preuve provisoire. La capacité de test peut alors suivre l’évolution des incertitudes et l’importance financière de leur résolution.

Points clés

• Allouer les tests selon leur valeur décisionnelle : Priorisez les tests d’incrémentalité lorsque des résultats plausibles modifieraient sensiblement les dépenses, les prévisions ou la stratégie. Le nombre de tests est un objectif peu pertinent lorsque la capacité d’expérimentation est rare.
• Tester les incertitudes financièrement importantes : Réservez la capacité rare aux cas où des signaux significatifs sont en conflit, par exemple une performance attractive dans les reportings de plateforme alors que le CAC des nouveaux clients se dégrade. Répéter des tests là où des preuves indépendantes convergent déjà a généralement une valeur décisionnelle plus faible.
• Préengager les actions avant l’arrivée des résultats : Définissez ce que des résultats élevés, moyens et faibles signifieront pour les dépenses avant de lancer l’expérimentation. Cela sépare les règles de décision économiques des réactions au résultat final et met au jour les désaccords entre parties prenantes dès le départ.
• Étendre la valeur des tests terminés : Conservez chaque résultat avec son niveau de dépense, la configuration de campagne et les conditions de mesure afin qu’il puisse éclairer les décisions entre deux expérimentations. Traitez les relations observées comme des preuves provisoires et retestez lorsque des changements significatifs rendent les constats antérieurs moins pertinents.