On pourrait penser qu’exécuter des tests A/B sur l’ensemble de votre trafic en même temps peut sembler une bonne idée (pour obtenir plus rapidement un large échantillon).
En réalité, c’est une mauvaise idée. Vous devez cibler des publics mobiles et de bureau séparément.
Voici les 5 principales raisons.
# 1: Ça fonctionne différemment
Ce qui fonctionne bien sur les utilisateurs de PC, ne fonctionne pas automatiquement pour les utilisateurs mobiles. Si vous testez les deux indifféremment, vous risquez fort de passer à côté des différences lorsque l’un fonctionne très bien et l’autre très mal, mais les différences ensemble s’annulent.
Différentes logiques et différents usages
PC et mobiles ne sont pas seulement des devices. C’est une toute autre logique et des usages différents. Les utilisateurs de téléphones mobiles sont le plus souvent en mouvement, en train de faire la queue à la boulangerie, aux WC (63% !), ou bien au volant, attendant que le feu passe au vert. Ils disposent d’une durée d’attention beaucoup plus courte:
Les tablettes ont un usage plus proche du PC au bureau – ce n’est pas tout à fait un appareil mobile. La grande majorité des tablettes sont connectées uniquement au wifi.
Donc, les tablettes sont essentiellement utilisées à la maison, assis sur un canapé. Les tablettes sont semblables à un téléphone quand il s’agit d’écrire : personne n’aime écrire sur des tablettes. Non seulement cela cause des douleurs musculaires, mais la vitesse de frappe et la précision sont en outre réduits de 60% et 11% respectivement.
Si le trafic de votre tablette est suffisamment important pour disposer d’un échantillon de taille adéquate pour y exécuter un ou plusieurs tests par mois, allez-y. Sinon, regroupez les tests sur tablette et ceux du PC car le plus souvent, les utilisateurs y répondront de la même façon.
# 2: Les volumes de trafic PC et mobiles sont différents
Si la répartition de votre trafic sur mobile et sur PC est de 50/50, cela ne vous concerne pas – mais il est vraiment peu probable que ce soit le cas.
Vous pensez que vous pouvez faire la segmentation après le test ? Regardez les résultats des tests à travers les segments sur tous les devices à la fin des tests. Il y a un risque. Même si la taille de l’échantillon pour l’ensemble du trafic est adéquate, elle est insuffisante si vous observez séparément les segments mobiles et PC. Quand cela se produit, vous comprenez que le résultat est «une moyenne», et une moyenne, ce n’est juste … pas fiable.
Pour contourner ce problème, vous pourriez allonger la durée du test suffisamment longtemps pour augmenter la taille de l’échantillon pour chaque catégorie d’appareil. C’est un autre problème: le test dure inutilement longtemps.
Imaginons que vous avez 3x plus de trafic sur PC que sur mobile. Vous exécutez un test, et vous avez maintenant un échantillon suffisant pour le segment PC. Vous ne pouvez pas pour autant arrêter le test, et tester autre chose maintenant – pour que ce test soit significatif, vous auriez besoin d’attendre d’arriver à la même taille de l’échantillon sur mobile (si vous voulez connaître la performance pour les utilisateurs mobiles).
Donc, essentiellement, vous ralentissez l’avancée de vos essais inutilement. En exécutant les tests pour les différentes catégories de périphériques séparément, ce problème disparaît.
# 3: Tout le trafic mobile ne se vaut pas
En combinant trafic mobile et trafic PC, vous mettez de côté les particularités du trafic mobile. C’est une erreur.
Le téléphone n’est pas juste un téléphone. Il y a aussi des différences significatives entre les utilisateurs d’Android et iPhone.
D’une part, les habitudes d’achat – les utilisateurs d’iPhone dépensent plus que les utilisateurs d’Android, même si la difference est en train de se réduire depuis 2 ans.
D’autre part, la seconde différence est la cause de la première – la démographie. Beaucoup de téléphones Android à bas prix sont disponibles, de sorte que plus de personnes à faible revenu sont sous Android. Il y a beaucoup plus de personnes à faible revenu que de personnes riches – ce qui explique pourquoi Android détient 83% des parts de marché du téléphone.
En conclusion : les personnes qui utilisent Android ou iOS sont susceptibles d’être (très) différentes. Pas tout le monde bien sûr – nous ne pouvons pas généraliser – mais une bonne partie de la base d’utilisateurs est différente.
Source : http://www.monetate.com/resources/research/
Ce qui fonctionne pour Android ne fonctionne pas systématiquement pour iOS, et vice versa. Donc, soit vous ciblez vos utilisateurs selon leur système d’exploitation mobile séparément, soit au moins vous vérifiez la performance pour chaque segment de système d’exploitation dans vos analyses après-test.
# 4: Optimiser pour des résultats différents
Bien que l’utilisation d’Internet mobile monte en flèche (plus de recherches Google se font maintenant sur les mobiles), de nombreux utilisateurs tendent à passer sur PC pour compléter leur transaction. Recherche sur mobiles, l’achat (plutôt) sur PC. Selon les études, nous passons tous d’un device à l’autre entre 21 à 27 fois par HEURE.
Le taux de conversion du commerce électronique sur mobile reste à la traîne par rapport au PC.
Qu’est-ce que cela signifie pour nous?
Cela peut signifier qu’il est peut-être vain d’essayer de conclure la vente lors des visites sur mobiles, et au lieu de tenter d’obtenir leur e-mail à tout prix- leur faciliter la tâche pour qu’ils terminent leur achat sur PC. L’Email de remarketing vaut de l’or ici.
Je ne dis pas que c’est la solution dans votre cas, mais c’est quelque chose que je vous recommande de tester.
Capturer les adresses e-mail sur n’importe quel site, en particulier dans le secteur du commerce électronique, est une excellente idée.
Comment faire pour obtenir l’e-mail? Vous pouvez commencer en offrant un coupon de réduction – Ca peut faire des merveilles sur le taux de conversion.
Si vous choisisssez l’optin email sur mobiles – et que cela semble fonctionner dans votre cas, vous allez alors devoir garantir l’optimisation des résultats différents sur différents appareils. Une très bonne raison pour exécuter des tests distincts sur les différents types de devices.
# 5: Vous pouvez créer plus de tests, plus rapidement
Plus vous effectuez de tests, plus vous gagnez (potentiellement) d’argent. Si vous configurez des tests ciblant uniquement une catégorie de device, il faudra moins de temps de développement et de temps de pré-prod par test, donc vous êtes en mesure de lancer des tests plus rapidement. Chaque jour compte – et chaque jour sans test, est perdu.
Commencez avec le type de device qui a le plus de trafic (donc plus d’impact sur votre chiffre d’affaires), suivi des autres catégories d’appareils.
Conclusion
Il est inutille d’exécuter des tests similaires sur tous les devices. Exécuter toujours des tests disctincts sur les devices mobiles et PC.
Article traduite (avec la permission de Peep Laja) de Conversion XL
