Sommaire · 14 chapitres
- 01Qu'est-ce qu'un freelance en A/B testing ?
- 02Pourquoi faire des tests A/B plutôt que décider à l'intuition ?
- 03Mon protocole de test A/B en 8 étapes
- 04Votre trafic suffit-il pour des tests A/B concluants ?
- 05La recette des tests A/B : ma checklist avant mise en ligne
- 06Quels éléments tester en priorité sur votre site ?
- 07Les outils d'A/B testing que j'utilise
- 08Les erreurs fréquentes à éviter lors d'un test A/B
- 09Freelance A/B testing, agence ou équipe interne ?
- 10Comment choisir le bon freelance en A/B testing ?
- 11Les livrables d'une mission d'A/B testing
- 12Qui suis-je ?
- 13Questions fréquentes sur l'A/B testing en freelance
- 14Parlons de votre projet
Vous trouverez ici ma méthode étape par étape, conçue pour les visiteurs qui cherchent un prestataire et pas un simple article de blog, le trafic à réunir pour que des tests soient concluants, la checklist de recette que j'applique avant chaque lancement, les outils, les erreurs fréquentes et les questions à poser avant de choisir un prestataire.
Qu'est-ce qu'un freelance en A/B testing ?
1.1Rôle et missions de l'expert en expérimentation
L'A/B testing consiste à montrer deux versions d'une même page (A, la version actuelle, et B, la variante) à deux groupes d'utilisateurs tirés au hasard, puis à comparer une métrique fixée à l'avance : taux de conversion, clics sur un bouton, inscriptions, revenu par session.
Le rôle du freelance est de rendre ce processus fiable de bout en bout, pour optimiser vos performances sans prendre de risque inutile avec vos utilisateurs :
- traduire un objectif business en métrique mesurable et en hypothèse à tester ;
- calculer la taille de l'échantillon et le temps de test avant le lancement ;
- concevoir ou spécifier les variantes, puis contrôler leur mise en œuvre ;
- vérifier que la mesure fonctionne dans les deux versions ;
- suivre le test sans le biaiser, puis analyser et documenter les résultats.
1.2Une expertise de l'expérimentation, pas tout un programme CRO
Ma page consultant CRO couvre la démarche globale d'optimisation de la conversion : audit, recherche utilisateur, roadmap. Ici, je parle des tests eux-mêmes, c'est-à-dire du moment où une idée devient un test et où ce test devient un choix argumenté.
Beaucoup d'entreprises et de marques digitales ont déjà des idées et un outil d'AB testing, comme AB Tasty ou Kameleoon. Ce qui leur manque, c'est la rigueur statistique et la recette technique qui rendent les résultats exploitables.
1.3Pourquoi un freelance plutôt qu'une agence ?
Avec un freelance, la personne qui écrit le protocole est celle qui recette la variante et lit les données. Cette approche convient particulièrement aux entreprises, petites ou grandes, qui veulent structurer leur processus d'A/B testing sans recruter. Pas de perte d'information entre un commercial, un chef de mission et un analyste. Le comparatif complet est plus bas.
Pourquoi faire des tests A/B plutôt que décider à l'intuition ?
2.1La plupart des bonnes idées ne gagnent pas
Dans l'article « Online Experimentation at Microsoft » (2009), Ronny Kohavi et ses coauteurs rapportent que, parmi des expériences bien conçues pour améliorer une métrique clé, seulement un tiers environ y sont parvenues. Un autre tiers environ a dégradé la métrique visée.
Autrement dit, sans test, une partie des modifications que vous jugez évidentes fait baisser vos performances sans que personne ne le voie. Les tests A/B permettent d'identifier ces cas avant qu'ils ne coûtent cher. L'expérimentation sert autant à éviter ces pertes qu'à trouver des gains, et ce qui a été appris reste utile pour les tests suivants.
2.2Des choix basés sur vos données, pas sur la réunion
Un test A/B tranche les débats entre marketing, design et direction : la variante qui gagne est celle que vos utilisateurs préfèrent réellement, mesurée grâce à leur comportement, pas celle de la personne la plus convaincante.
Chaque test, gagnant ou perdant, permet aussi de générer des insights sur le comportement de vos clients et sur ce qui fonctionne vraiment pour votre audience. C'est cette connaissance accumulée qui fait la croissance sur le long terme.
2.3Optimiser l'expérience utilisateur (UX) sur des preuves
Les tests A/B servent aussi à optimiser l'UX et à mieux comprendre les utilisateurs : un parcours plus clair, un tunnel plus court, une navigation plus simple sur smartphone. Chaque amélioration de l'expérience utilisateur est mesurée sur des données réelles, et pas seulement validée en atelier.
Pour un site web e-commerce comme pour un site de génération de leads, l'A/B testing permet d'améliorer à la fois l'engagement des utilisateurs et le taux de conversion, sans opposer design et performance.
2.4Un meilleur retour sur investissement de votre acquisition
Ces chiffres dépendent du point de départ de chaque entreprise : ils montrent ce qui est possible, pas ce qui est garanti.
Mon protocole de test A/B en 8 étapes
Ce protocole s'applique à tous mes tests, qu'il s'agisse d'A/B testing sur une page d'atterrissage, sur un tunnel de commande ou sur un email. Il reprend les standards de l'expérimentation en ligne et les adapte au volume de votre site.
- 01
Définir l'objectif et les KPI de succès
Chaque test a une métrique principale, choisie avant le lancement (par exemple le taux de conversion du formulaire de demande de devis), et des indicateurs de garde-fou qui ne doivent pas se dégrader : revenu par utilisateur, taux de remboursement, qualité des leads.
La métrique principale et ses garde-fous sont fixés avant le lancement, jamais après. Sans cette règle, on finit par chercher après coup la métrique qui « gagne », ce qui produit des faux positifs. L'objectif doit aussi prendre en compte la valeur des conversions : une hausse des leads qui fait baisser leur qualité n'est pas un bon résultat.
- 02
Identifier les variables à tester et écrire l'hypothèse
Je formule chaque hypothèse de la manière suivante : « si nous modifions X pour tel segment, alors telle métrique progresse, parce que nous avons observé Y ». Le « parce que » renvoie à des sources concrètes, par exemple : données analytics, heatmaps, enregistrements de sessions, retours clients.
- 03
Concevoir les variantes A et B
Une variante teste une idée. Si elle modifie plusieurs variables à la fois, on saura qu'elle gagne, mais pas pourquoi.
Je spécifie les variantes pour obtenir un rendu identique pour tous les utilisateurs (maquette, texte, comportement attendu sur mobile et sur ordinateur) et je m'occupe moi-même de leur création quand la modification reste côté front.
- 04
Déterminer la taille de l'échantillon
C'est l'étape la plus souvent sautée. Le volume requis dépend du taux de conversion de départ, de l'effet minimal que l'on veut détecter, du seuil de significativité et de la puissance statistique.
Je le calcule avant le lancement et j'en déduis une durée en semaines complètes, pour couvrir les cycles hebdomadaires. Les meilleures plateformes intègrent un calculateur, mais je préfère obtenir le chiffre de manière indépendante pour mieux maîtriser les hypothèses.
- 05
Mise en place technique et intégration
Script de l'outil, ciblage, répartition du trafic, envoi des événements vers Google Analytics 4 ou Matomo : c'est mon autre domaine d'expertise, le tracking et l'analytics. Un test dont la mesure est fausse donne un résultat faux, quelle que soit la qualité de l'idée.
- 06
Recetter avant de lancer
Avant d'ouvrir le test au public, je vérifie l'affichage, le ciblage et la mesure de chaque variante (checklist détaillée plus bas). Lancer sans recette, c'est risquer de découvrir après deux semaines que la variante B ne s'affichait pas sur Safari.
- 07
Lancement et suivi de la significativité statistique
Pendant le test, je surveille les anomalies techniques et la répartition du trafic grâce à des alertes simples. Le but : savoir au plus tôt si un problème technique fausse les résultats, sans pour autant analyser la performance avant la date prévue. Je ne lis pas les résultats pour arrêter avant la date de fin prévue, sauf si un garde-fou se dégrade nettement.
- 08
Analyse des résultats, déploiement et apprentissages
À la date prévue, j'analyse la métrique principale, les garde-fous et quelques segments définis à l'avance (appareil, nouveaux ou récurrents, source). Trois issues : déployer la variante gagnante, itérer ou abandonner.
Gagnante ou perdante, chaque expérience finit documentée dans le journal. Chaque test rejoint un journal des expériences : hypothèse, captures, volume, résultats, apprentissage. Les tests perdants y ont autant de place que les gagnants, et ces insights servent généralement de point de départ aux tests suivants, car ils évitent de relancer plus tard une idée qui a déjà été écartée.
Votre trafic suffit-il pour des tests A/B concluants ?
Voici le volume requis par variante pour une page qui convertit à 3 %, avec un seuil de significativité de 5 % et une puissance de 80 %. Le temps de test suppose 20 000 visites par semaine sur la page testée, réparties à parts égales entre A et B.
| Hausse relative à détecter | Visiteurs par variante | Temps de test indicatif |
|---|---|---|
| +5 % (3 % vers 3,15 %) | environ 208 000 | 21 semaines |
| +10 % (3 % vers 3,3 %) | environ 53 000 | 6 semaines |
| +15 % (3 % vers 3,45 %) | environ 24 000 | 3 semaines |
| +20 % (3 % vers 3,6 %) | environ 14 000 | 2 semaines (minimum conseillé) |
| +30 % (3 % vers 3,9 %) | environ 6 500 | 2 semaines (minimum conseillé) |
Vous pouvez vérifier ces ordres de grandeur avec le calculateur d'Evan Miller.
Le constat est net : détecter une petite amélioration demande beaucoup de trafic, et la plupart des sites web ne peuvent tester que des modifications fortes. Mieux vaut le savoir avant de payer une licence d'outil d'AB testing : c'est le premier point que je vérifie avec vous, données à l'appui.
4.1Que faire avec un faible trafic ?
- Tester des changements plus marqués (proposition de valeur, structure de la page) plutôt que des détails.
- Mesurer une étape plus haute dans l'entonnoir (clic vers la demande de contact plutôt que vente finale), en gardant la vente comme garde-fou.
- Regrouper des écrans de même gabarit (toutes les fiches produit, toutes les landing pages d'une campagne).
- Appliquer sans test les correctifs évidents (bug, lien cassé, champ inutile) et réserver l'AB testing aux vraies questions, celles où les utilisateurs pourraient réagir autrement que prévu.
Outil · calcul dans votre navigateur
Calculateur A/B testing : échantillon, durée et significativité
L'effet minimal qui vaut le test.
A et B = 2.
Durée minimale
2 sem.
- Visiteurs par version
- 14 000
- Visiteurs au total
- 28 000
- Conversions attendues par version
- 420
La recette des tests A/B : ma checklist avant mise en ligne
Peu de contenus en parlent, alors que c'est là que beaucoup de tests A/B échouent. La recette des tests fait partie de mon approche, au même titre que les statistiques. Avant chaque mise en ligne, je contrôle :
- 1l'affichage de chaque variante sur les principaux navigateurs, sur smartphone, tablette et ordinateur ;
- 2l'absence de « flicker », ce clignotement où la version A apparaît une fraction de seconde avant la B ;
- 3le ciblage : bonnes pages, bons segments, exclusion des collaborateurs et des robots ;
- 4la remontée des conversions dans les deux versions, dans l'outil de test et dans Google Analytics ;
- 5le respect du consentement : le script de test et la mesure suivent vos choix de Consent Mode et de bannière cookies ;
- 6l'absence de conflit avec un autre test en cours sur les mêmes utilisateurs, une erreur fréquente quand plusieurs équipes testent en ligne en parallèle ;
- 7la stabilité de l'attribution : un utilisateur voit toujours la même version d'une visite à l'autre ;
- 8la vitesse de chargement, pour qu'une variante plus lente ne perde pas pour une raison technique : la performance web fait partie du test.
5.1Le contrôle que presque personne ne fait : le SRM
Si vous répartissez le trafic à 50/50 et que l'outil affiche 50 000 visiteurs d'un côté et 47 000 de l'autre, le test a un problème : c'est un « sample ratio mismatch » (SRM).
Par exemple, une variante qui plante, une redirection plus lente ou un filtre mal posé suffisent à le provoquer, et les résultats ne sont alors plus interprétables. Je le vérifie pendant et après chaque test, par exemple avec le SRM Checker de Lukas Vermeer.
5.2Pourquoi je ne regarde pas les résultats pour arrêter un test
Arrêter un test dès que la plateforme affiche « significatif » est l'erreur la plus coûteuse. Dans son article « How Not To Run an A/B Test », Evan Miller montre qu'en procédant ainsi, le taux réel de faux positifs peut atteindre 26,1 %, au lieu des 5 % que l'on croit appliquer.
D'où la règle : nombre de semaines fixé à l'avance, ou méthode séquentielle prévue dès le départ pour autoriser des lectures intermédiaires.
Quels éléments tester en priorité sur votre site ?
La priorité dépend de votre diagnostic et de vos données, mais les tests qui ont généralement le plus de chances de produire un effet mesurable portent sur :
- le titre et la proposition de valeur, ce que l'internaute comprend dans les premières secondes ;
- les appels à l'action : libellé, position, nombre ;
- les formulaires : nombre de champs, ordre, messages d'erreur ;
- la structure d'une landing page et l'ordre des arguments ;
- les éléments de réassurance : avis, garanties, délais, moyens de paiement ;
- la présentation des prix et des offres ;
- l'expérience utilisateur sur mobile, souvent conçue en dernier alors qu'une grande part du trafic y navigue.
Pour chaque idée, j'utilise les données disponibles afin d'identifier son potentiel et savoir ce qui fonctionne déjà. Je classe ensuite ces idées selon l'impact attendu, la confiance et l'effort (grille ICE), en prenant en compte vos ressources en design et en développement, comme le font les entreprises les plus matures en expérimentation. Les meilleures idées ne sont pas toujours les plus spectaculaires : un formulaire plus court passe souvent avant une refonte de l'expérience utilisateur.
Les outils d'A/B testing que j'utilise
7.1Logiciels d'expérimentation
AB Tasty, Kameleoon, VWO, Optimizely et Convert sont les outils d'AB testing qui couvrent l'essentiel des besoins, du test côté navigateur au test côté serveur. Je travaille avec les outils déjà en place chez vous ; sinon, je vous aide à choisir le meilleur outil selon votre trafic, les fonctionnalités attendues et le coût de licence.
Il existe aussi des fonctionnalités de test intégrées à certaines solutions d'emailing ou de landing page : elles suffisent pour des tests simples, moins pour des parcours complexes.
Google Optimize, encore recommandé par de nombreux articles de blog, n'est plus disponible depuis le 30 septembre 2023. Une proposition marketing qui le cite encore n'est pas à jour. Plus de détails sur ma page Google Optimize.
7.2Outils d'analyse du comportement des utilisateurs
Hotjar, Microsoft Clarity et Contentsquare fournissent heatmaps et enregistrements de sessions : ils aident à comprendre le comportement des utilisateurs, pourquoi une variante gagne ou perd, et nourrissent les hypothèses suivantes. Voir aussi mon guide sur la carte de chaleur.
7.3Mesure et analyse des données
- Google Analytics 4 et Matomo pour croiser les résultats avec le reste du site ;
- Google Tag Manager pour les événements de conversion ;
- calculateurs de confiance statistique à utiliser avant et après chaque test, et scripts pour analyser la data quand la plateforme ne suffit pas ;
- Looker Studio pour le rapport de suivi partagé avec vos équipes, ensemble avec les autres KPI du site web.
Les erreurs fréquentes à éviter lors d'un test A/B
- 01Tester trop de variables à la fois
- sans le trafic d'un test multivarié, on ne sait plus ce qui a joué.
- 02Arrêter un test trop tôt
- des résultats lus en cours de route sont souvent des faux positifs.
- 03Négliger la significativité et la puissance
- un test « non significatif » faute de trafic ne prouve pas que l'idée est mauvaise.
- 04Ignorer les segments
- , ou au contraire en fouiller vingt après coup jusqu'à trouver un « gagnant ».
- 05Lancer sans recette
- flicker, événement absent, ciblage faux.
- 06Ne pas documenter
- les tests perdants : quelqu'un les relance un an plus tard.
- 07Tester sans stratégie
- une série de tests isolés, sans lien avec les objectifs marketing, produit des résultats qu'on ne sait pas utiliser.
Freelance A/B testing, agence ou équipe interne ?
- 01Freelance
- un seul interlocuteur, celui qui fait le travail ; démarrage rapide ; engagement souple, au mois ou à la mission ; capacité de quelques tests en parallèle. Idéal pour lancer ou fiabiliser un programme.
- 02Agence
- chef de projet, designers et développeurs ; volume élevé, plusieurs tests par semaine ; contrat souvent annuel. Adaptée aux grands sites web e-commerce.
- 03Équipe interne
- coût fixe et délai de recrutement, mais l'expérimentation devient une compétence de l'entreprise. Pertinente quand le produit lui-même se teste en continu.
Si votre besoin dépasse ce qu'un indépendant peut absorber, ma page agence A/B testing présente l'alternative.
Les livrables d'une mission d'A/B testing
- un audit de faisabilité : trafic par page, taux de départ, effet détectable ;
- un backlog d'hypothèses priorisé selon vos ressources ;
- pour chaque test, une fiche protocole : hypothèse, KPI, volume, nombre de semaines, règle d'arrêt ;
- les variantes développées ou spécifiées, et leur procès-verbal de recette ;
- un rapport de fin de test avec choix final et apprentissages, pour améliorer le test suivant ;
- le journal des expériences, qui reste chez vous ;
- si besoin, une montée en compétence de vos équipes (voir ma formation A/B testing).
Qui suis-je ?
Je suis ingénieur diplômé de l'École Centrale Paris (aujourd'hui CentraleSupélec) et de l'ESSEC Business School. Je programme depuis l'âge de 12 ans, ce qui me permet de développer et relire moi-même les variantes, et je me suis intéressé à l'analyse de données dès l'école d'ingénieur.
La psychologie de la décision et les biais cognitifs guident ma façon de formuler les hypothèses : la plupart des frictions d'une page viennent d'un écart entre ce que l'entreprise croit clair et ce que l'internaute comprend. Les cartes de chaleur et l'analyse UX permettent ensuite de le vérifier.
Mon métier : aider les directions marketing digital à optimiser leurs performances, de l'acquisition à la conversion. Mes trois offres d'optimisation se complètent : SEO et GEO pour attirer, tracking et analytics pour mesurer, CRO et growth pour convertir, dans une même stratégie de croissance. J'ai conçu mes propres outils, comme SERPmantics pour l'optimisation sémantique, et je les utilise en mission.
Accenture, Lecourtier, Crono Concept, Pentalog, PatternsWizard, La Méthode Martinez et Skill Value m'ont fait confiance. Mon parcours en détail : à propos et mon profil LinkedIn.
Questions fréquentes sur l'A/B testing en freelance
Q01Un freelance A/B testing peut-il travailler avec mes équipes data et tech ?
Oui, c'est même la question à poser dès le départ. Je m'insère dans vos rituels : les développeurs gardent la main sur le code en production, l'équipe data relit les analyses, et le marketing garde la priorité sur la roadmap des tests.
Q02Quel est le budget moyen pour une mission d'A/B testing ?
Le budget dépend du nombre de tests par mois, de qui développe les variantes et de la licence de la plateforme, souvent facturée à part par l'éditeur. Je chiffre chaque mission après un premier échange sur votre trafic et vos objectifs, qui permet de mieux cerner le périmètre.
Q03Peut-on faire de l'A/B testing avec un faible trafic ?
Oui, à condition de tester des changements marqués, de viser une étape plus haute dans l'entonnoir ou de regrouper des pages. En dessous d'un certain trafic, la recherche qualitative et les correctifs directs rapportent plus qu'un test qui ne conclura jamais.
Q04Combien de temps doit durer un test A/B ?
Le temps qu'il faut pour atteindre le volume calculé, arrondi à des semaines complètes, et au moins deux semaines pour couvrir les écarts entre jours de semaine et week-end. Un test qui s'étire sur plusieurs mois devient fragile : cookies supprimés, saisonnalité et campagnes brouillent les résultats.
Q05Quelle est la différence entre test A/B et test multivarié ?
Le test A/B compare des versions complètes d'une page. Le test multivarié combine plusieurs éléments (titre, image, bouton) pour mesurer l'effet de chacun et leurs interactions ; il demande beaucoup plus de trafic, car chaque combinaison est une variante.
Q06Comment mesurer le succès d'une mission ?
Par la qualité des choix et l'évolution des performances du site, pas seulement par le nombre de gagnants : tests menés au bout avec un protocole respecté, gains déployés et mesurés dans le temps, pertes évitées, et un journal d'apprentissages que vos équipes peuvent facilement réutiliser.
Parlons de votre projet
Décrivez-moi votre site, votre trafic et votre plateforme de test actuelle : je vous dis si l'expérimentation a du sens à votre échelle, de quelle manière la mettre en place et par quel test commencer. Me contacter.
Comment choisir le bon freelance en A/B testing ?
10.1Les critères à vérifier
10.2Les questions à poser avant de signer
Un prestataire sérieux répond à chaque question sans hésiter. S'il bute sur la première, la suite du programme risque d'en pâtir.