Vous voulez améliorer le taux de conversion de votre e-commerce en utilisant les données que vous avez collectées ? La solution quantitative – le testing AB, ou son cousin les tests multi-variés (MVT) – est à présent à la portée de tous.
Plein d’articles traitent déjà des différentes plateformes (AB Tasty, Webtrends, Kameleoon…). Ici, je vous livre quelques principes de base qui m’ont bien servi au cours de mes expériences AB et MVT.
1. Ne jamais tester quelque chose que vous ne voulez pas assumer en production
Il est facile d’imaginer des variantes à tester qui sortent de l’ordinaire, qui font le grand écart par rapport à votre charte graphique existante, voire qui font usage d’images un peu limites pour attirer l’attention.
Dans le processus créatif ne vous bridez pas, mais prenez du recul après. Vous avez une version sur laquelle vous avez poussé un peu loin l’impact visuel ou textuel. Seriez-vous prêt à le déployer pour tout le monde ? Est-ce que le marketing de la marque / le service “branding” va l’accepter ? Si vous avez testé un bouton d’appel à l’action (CTA / « call to action ») différent, pourriez-vous adapter votre charte en changeant tous vos boutons CTA ?
Ne tombez pas non plus dans le piège paradoxal à tout faire valider avant de tester. Les résultats d’un test, avec des données collectées, sont de puissants outils de persuasion. Savoir qu’une variante clique mieux et convertit mieux (voir point 5) est normalement suffisant… sauf quand cela donnerait un look de site complétement inacceptable. Il est préférable de tester des choses raisonnables tout de même puis d’optimiser lors d’une deuxième phase pour améliorer encore le résultat (voir point 9).
Tester une version OVNI pourrait, tout de même, établir une cible à dépasser avec une variante plus sobre lors d’une deuxième itération ou alors pousser la marque à faire évoluer sa cible ? A vous de juger.
2. Assurez-vous de laisser non seulement assez de temps pour avoir assez de visites, mais également pour éliminer l’effet de saisonnalité de la semaine
Vous avez un fort trafic sur une page et selon les calculs statistiques vous pouvez terminer un test en trois ou quatre jours. Pourtant, je recommande de laisser tourner au moins une semaine complète. Les flux de visites ne sont jamais stables d’un jour à l’autre, avec des effets matin / nuit et jour de semaine / week-end garantis. Laisser assez de temps permet d’estomper la saisonnalité d’une semaine type.
Corollaire : Ne cédez pas à la tentation d’arrêter un test trop vite, déclarant un gagnant.
Même si un résultat peut se démarquer très vite, il y a également un effet de stabilisation. Les données oscillent au départ, et la stabilisation d’un résultat peut être accompagné d’une baisse de la moyenne de clics / d’évènements de conversion.
Voir (anglais) http://blogs.adobe.com/digitalmarketing/personalization/successfully-ab-test-the-launch-of-your-new-site/
Notez dans le graphique que la version bleue semble gagner au départ, puis se stabilise en dessous de la version orange. Arrêter trop tôt, quand la version bleue semblait gagnante, aurait été tentant à deux reprises; mais le cumul des données collectées montre finalement que la version orange s’est démarquée.
3. Cherchez l’optimisation au bon endroit. Il vaut mieux optimiser les pages où l’abandon est le plus fort, particulièrement les plus proches de la transaction finale
Il faut sélectionner les tests où il y a un potentiel réel d’augmentation de conversion, en commençant par les pages de paiement et en remontant le tunnel de conversion (choix de livraison, puis panier, puis page produit…).
Augmenter les clics vers le panier aura plus d’impact si votre panier a d’abord été optimisé.
Tout comme dans un entonnoir physique, il est préférable d’élargir la base pour améliorer le débit de liquide (ventes) avant de remplir plus vite.
Photo : http://leanentrepreneur.co/funnel
4. Assurez vous que les indicateurs de succès soient bien trackés et faciles à visualiser dans votre outil d’analyse
Lancer un test, puis attendre… et attendre. Cela vous est déjà arrivé ?
Il faut tout faire pour accéder facilement à vos indicateurs de succès, et les communiquer en interne. C’est plus facile d’attirer du monde dans vos expériences s’ils peuvent visualiser la bataille entre vos variantes.
C’est plus satisfaisant aussi lorsque les performances peuvent être facilement lues. La plupart des outils permettent justement ce genre de vue, donc pourquoi ne pas le publier / partager chaque jour ?
(Faites attention au point 2 quand même).
5. Vérifiez qu’il n’y a pas d’effet de bord sur d’autres critères de succès. Augmenter un taux de clic pour voir chuter le taux de conversion n’est pas un test gagnant !
L’indicateur facile à mesurer, c’est le taux de clic. C’est également un indicateur immédiat, avec un volume important, qu’on voit grimper rapidement. Mais cela reste un réflexe, une réaction sans réel investissement derrière.
Trop souvent le calcul simpliste fait surface : on double les clics, on maintient le même taux de conversion, on double les ventes ! Super.
En réalité doubler les clics est facile avec des accroches mieux écrites, plus alléchantes. Mais accrocher plus de monde peut être synonyme de ratisser plus large… et trouver moins de monde prêt à convertir. Doubler les clics sans impacter le taux de conversion à la baisse relève de l’improbable.
Assurez-vous donc de suivre un panaché de KPI (indicateurs de performance clefs) et jugez le résultat de vos tests sur l’indicateur qui vaut son pesant d’or : le plus souvent, le taux de conversion !
6. Dédiez des ressources au testing (!!!)
Pour profiter pleinement de la méthodologie AB, un véritable outil pour l’amélioration continue et incrémentale, il faut avoir du temps pour bien piloter l’initiative.
Il faut typiquement prendre en charge toutes les demandes, donner les priorités en éditant un plan de route (roadmap) des tests, éditer les plans de test et présenter ou publier les résultats.
Il vaut mieux avoir quelqu’un qui réserve au moins la moitié de son temps pour suivre cela sérieusement, voir même un plein temps si vous avez un site complexe.
Sans dédier les ressources, l’effort que vous mettez pour créer les variantes, les publier en tests, et les suivre risque de ne pas avoir l’impact escompté. Dommage de faire des tests pour aider votre taux de conversion à grimper… de façon invisible. Il vaut bien mieux communiquer autour de vos initiatives AB, afin d’embarquer chacun sur la philosophie d’utiliser les données pour pousser votre interface vers l’efficacité. Après tout, le testing quantitatif vous épargne des réunions interminables pour choisir la version à mettre en production, non ?
7. Ne pas avoir beaucoup de tests en cours s’ils risquent de se contredire / s’interférer
Suivre un test AB à la fois, ce n’est déjà pas évident. Il est alléchant, en attendant assez de trafic et de résultats positifs pour votre test (voir point 10), d’imaginer les tests suivants à faire et de les planifier. Bonne idée.
Lancer les tests en parallèle est moins idéal.
Pas de souci pour les tests sur des sections de votre site complètement indépendantes et donc sur des chemins utilisateur différents.
Faire très attention, cependant, aux éléments testés sur une même page, ou sur le même chemin d’achat d’un parcours.
Le mélange des plan de test peut être problématique. Par exemple un bouton d’action d’une couleur et d’une forme différente va attirer l’oeil autrement sur votre page. Ce facteur peut donc influer sur le succès d’une variation d’un autre élément (le wording d’un titre, la taille d’un champ de saisie…). Sauf si vous fixez les paramètres des deux tests, ce qui créé de vos deux tests AB un scénario MVT, vous ne pouvez pas être sûr des résultats de vos tests, puisqu’il y aura des biais aléatoires.
Si vous avez moyen de tout suivre et de fixer les versions vues d’un deuxième test en fonction de ce qu’on a comme paramètre vu dans le premier test, OK. Sinon faites attention à ces facteurs confondants.
8. N’essayez pas d’utiliser l’AB testing pour décider tout à votre place.
D’autres méthodologies de testing conviennent mieux en fonction de votre question.
Vous démarrez votre programme de testing, vous avez de bons résultats initialement. Ensuite, toute décision d’interface semble être un nouveau test. Résistez !
Tester deux versions très différentes d’une page pour voir laquelle vous donne le résultat le plus intéressant en taux de conversion peut laisser sur sa faim. Quel aurait été l’élément qui a fait la différence ? Et si un élément de l’autre version était préféré mais qu’on ne le saura pas puisque, dans l’ensemble, l’autre version marchait mieux ?
Je pense que l’AB testing permet des petites optimisations quantifiables avant tout. L’outil s’inscrit dans une démarche d’amélioration continue. Ce n’est pas un moyen de faire travailler deux designers puis de les mettre en compétition sur une des deux versions d’une page entière ou, pire encore, une descente de conversion (entonnoir) entière !
Bien sûr, faire varier un élément sur une page d’entrée, deux éléments sur la suivante, et puis regarder le tout de haut, pas de souci. Mais l’AB testing n’est pas un moyen pour valoriser le décisionnaire qui a meilleur goût ou qui possède le meilleur œil pour choisir un design gagnant !
Le testing ne remplace pas, non plus, une conviction sur votre branding.
Tout tester en AB sans vision d’ensemble sur la charte et la marque risque de générer un ensemble un peu trop hétérogène. Alliez l’instinct basé sur de bonnes pratiques, un branding fort et un outil AB pour optimiser graduellement vos sites. N’oubliez pas non plus les tests utilisateurs, en amont, sur vos designs. Ceux-ci permettent d’éliminer les obstacles à la réussite de conversion de votre site sans itérer sur les détails.
Photo : https://www.flickr.com/photos/10413717@N08/14419640541
9. Après un test, n’ayez pas peur de prendre le test gagnant ainsi qu’une autre variante intéressante et continuer à itérer pour chercher encore plus d’optimisation
Il se peut que le plus grand gain possible après un test soit une nouvelle itération avec l’élément que vous venez d’optimiser. Surtout si vous respectez le point 3, et que vous êtes en train d’optimiser les étapes autour du panier.
Ne vous bridez pas à chercher un endroit ou un élément différent pour chaque test.
Comme pour les recettes de cuisine, la première fois que vous essayez ne sera pas forcément aussi réussi que la suivante.
Cet astuce peut également s’avérer utile si vous n’avez pas suivi la première règle : vous avez un gagnant mais vous n’êtes pas prêt, finalement, à le mettre en production. Faudra bien itérer avec d’autres variantes qui sont plus acceptables… pour retrouver la même performance sans casser les yeux sensibles de vos visiteurs.
10. Regardez la significativité statistique en fonction de l’élément de succès (conversion, clic…) et non en fonction de votre trafic dans l’absolu. Il faut assez de variance dans le succès pour qu’un gagnant se dégage de façon significative
Vous avez plein de trafic sur la page que vous voulez tester, donc vous vous dites que tester les variantes sur 5% de ce trafic devrait largement suffire. Sauf qu’il faut juger par rapport au nombre de conversions (ou clics, ou abonnements, en fonction de votre élément clef de succès / KPI).
Globalement, si l’écart entre deux versions en unités est faible (60 conversions d’un côté, 75 de l’autre par exemple) et surtout si le nombre de visites est important, vous allez avoir du mal à atteindre des résultats réellement significatifs.
Deux exemples :
Pour 10.000 visites pour chaque version, avec version A = 60 conversions (taux de conversion 0,6%) et version B = 75 conversions (taux 0,75%) , on est encore en dessous du seuil de significativité (p=0,098). Mais pour 80 conversions (taux 0,8%) on passe ce seuil, à 95% de confiance (p=0,44).
Avec les mêmes 10.000 visites mais avec plus d’évènements de conversion on atteint la significativité sans autant de différence : A = 120 conversions (taux 1,2%) et B = 150 conversions (taux 1,5%) on dépasse le seuil de 95% (p = 0,033)
Voir : https://vwo.com/blog/ab-testing-significance-calculator-spreadsheet-in-excel/
Au lieu de regarder trop dans le détail le côté mathématique, disons que les petites différences ne permettent pas de se dire avec certitude qu’il faut tout changer et publier la version gagnante.
Cherchez plutôt les versions qui font bouger beaucoup l’aiguille.
Dans un test avec plusieurs variantes ne prenez pas la variante dans le top 2, séparée de peu d’une autre, juste pour une fraction de pourcentage de gain de plus. Prenez la version qui est la plus cohérente. La différence statistique contre la version de contrôle est ce que les outils regardent : pas forcément la différence statistique entre les deux variantes testées.
Tout compte fait, la quantification est une bonne chose, mais la cohérence de l’ensemble est importante à maintenir. La fragmentation peut arriver, et vous vous trouverez avec des couleurs différentes et des wordings différents partout.
Tout ceci étant dit, vous pouvez quand même tester des grands changements et pourquoi pas les remises en cohérence plus simples, plus épurées, aussi… soyez prêt à être surpris, et bons tests !
Photo : https://www.flickr.com/photos/colleague/3244321695
Simon White écrit pour Zooka, se bat pour du bon UX, et peut être trouvé via @fruey sur Twitter.
