Příručka marketéra: Rozhodujte se správně díky A/B testování

Znáte to, sedíte s kolegy v zasedačce a přete se o to, jestli zvolit první nebo druhé řešení. Po hodině debat nakonec vyhraje „Hippo“ (Highest paid person’s opinion) – názor člověka s nejvyšším platem. Důležitá rozhodnutí často děláme na základě subjektivních emocí a názorů, které mají s realitou pramálo společného. V tomto článku bych vám rád představil A/B testování. Jedná se o metodu založenou na datech a statistice, kdy rozhodnutí necháte na těch, na kterých opravu záleží: vašich zákaznících.

Co je tedy A/B testování, pro koho je vhodné a jak tuto metodu používat správně a tak, aby vám pomohla zvýšit konverzní poměr vašich stránek nebo e-shopu?

 

Screenshot 2016-04-18 23.02.26

A/B testování je způsob zvyšování obchodního výkonu stránek. Poprvé se pro internetové projekty začalo používat kolem roku 2000, teprve až o deset let později se z něj stala mainstreamová záležitost. V roce 2008 použil A/B testování pro svou první prezidentskou kampaň i Barack Obama a dokázal tak při fundraisingu získat o 60 milionů dolarů víc, než kdyby tuto metodu nepoužil.

V současné době je v zahraničí A/B testování jedním z hlavních nástrojů pro optimalizaci konverzního poměru. Některé české firmy už jej také používají, pro mnohé je však tato metoda stále relativně neznámá. Proto se v tomto článku pokusím nastínit, jak můžete A/B testování využít právě vy a zvýšit tak konverzní poměr vašich stránek.

A/B testování je metoda, při které můžete porovnávat efektivitu dvou variant webových stránek na reálných návštěvnících za běžného provozu stránek. A na základě statistických testů zjistit, která varianta je pro vaše návštěvníky lepší. Uživatelé jsou rozděleni na dvě skupiny, z nichž každá vidí jinou variantu stránky. A/B testem poté změříte, jak se každá skupina uživatelů chová a která z nich dosahuje častěji cíle (konverze).

Příklad: Cestovní kancelář prodávající zájezdy chce, aby co nejvíce lidí vyplnilo a odeslalo objednávku dovolené. Současná podoba stránky (varianta A) prezentuje na jedné stránce více zájezdů. Cestovní kancelář ale chce otestovat, jak by stránka fungovala, kdyby byla kratší, návštěvníkům najednou zobrazovala méně zájezdů a tlačítko Objednat zájezd by bylo umístěno výše na stránce. Vytvoří proto kratší, testovací podobu stránky (variantu B), která bude splňovat výše uvedené.

Obě varianty stránky jsou pak testovány na stejně velkém publiku – tisícovce návštěvníků zobrazíme variantu A, další tisícovce zobrazíme variantu B. Díky A/B testu zjistíme, že z 1000 návštěvníků, kteří navštívili stránku varianty A, jich 230 odeslalo objednávku. Z 1000 návštěvníků varianty B odeslalo objednávku 290. Cestovní kancelář si tak jednoduše otestovala, že lepší je webová stránka varianty B, protože po jejím nasazení se zvýšil počet objednávek.

AB_testovani2

Pro koho je A/B testování vhodné?

A/B testování je vhodné pro všechny firmy, které používají webové stránky k dosahování nějakých cílů. Tyto cíle jsou většinou spojeny s prodejem produktů nebo služeb. Může se jednat o:

  • nákup výrobku na e-shopu
  • registrace a platba softwarového řešení nebo služeb
  • vyplnění formuláře pro sběr e-mailu do newsletteru

Pro zhodnocení A/B testu se využívají statistické metody, proto je potřeba výsledek počítat z relevantního počtu návštěvníků. Je tedy nutné, aby vaše stránky měly návštěvnost alespoň v řádu několika stovek měsíčně. Čím více návštěv, tím rychlejší a přesnější test je.

7 kroků ke správnému A/B testu

Nyní už víme, co je A/B testování a pro koho je vhodné. Teď se budeme věnovat tomu, jak tuto metodu provádět správně. Bohužel až příliš často se setkávám se situacemi, kdy lidé vytvoří druhou variantu stránky, otestují to… a mají pocit, že je hotovo. Pokud však chceme, aby A/B testování mělo dopad na celý váš business, je potřeba dodržet následující kroky.

  1. Analyzujte své stránky pro největší příležitosti

Prvním krokem při A/B testování by měla být analýza vaší stránky. Najděte místa, jejichž optimalizací máte největší šanci na zvýšení výkonu stránek (zřejmě to tedy nebudou obchodní podmínky společnosti). Na internetu koluje spousta příkladů, kterak změna barvy tlačítka Objednat způsobila raketový růst konverzního poměru. Z našich zkušeností však vyplývá, že je nejlepší otestovat to, co je nejvíce vidět. Může to být změna hlavního nadpisu, přidání nebo naopak odstranění části stránky, zkrácení registračního formuláře či přidání pop-up okna.

Proto doporučuji věnovat čas analýze své vlastní stránky. Tato část vám může zabrat až 80 % práce. Kombinujte kvantitativní a kvalitativní analýzu. Použijte Google Analytics, abyste zjistili, která místa na vaší webové stránce jsou nejkritičtější (například příliš velká míra odchodu u košíku, velká míra okamžitého odchodu (bounce rate) u konkrétní landing page apod.) Poté nahrávejte chování uživatelů nebo zkuste heatmapy/ clickmapy, které vám pomohou určit, který element stránky je potenciálně vhodný pro změnu a otestování.

Pokud si nevíte rady s čím začít, přikládám malý list pro inspiraci:

  • Nadpis a hlavní claim (H1)
  • Podnadpis
  • Pozice formuláře
  • Délka/ obsah registračního formuláře
  • Délka celé stránky (Jsou všechny bloky na stránce nezbytné? Nematou?)
  • Barva call to action (např. registračního) tlačítka
  • Text na call to action tlačítku
  • Obrázky, které používáte na stránce

2. Vytvořte hypotézu

Hypotéza předchází samotnému testu. I když “statistická hypotéza” zní vědecky, jde v podstatě o jednoduchou úvahu typu: na základě dat/ zpětné vazby/ úvahy očekáváme, že změna bude mít dopad. Dopad změříme pozorováním metriky po určité době.

Například na základě dat o vyplňování formulářů očekáváme, že odstranění pole opakovat heslo přinese zvýšení registrací. Změříme to pozorováním konverzního poměru odeslání formuláře po jednom měsíci.

3. Vytvořte varianty webových stránek pro test

Varianty webových stránek lze vytvořit dvěma hlavními způsoby. První způsob vyžaduje určitou dávku technické zručnosti. Vytvoříte si kopii stránky, upravíte HTML/CSS kód (nebo při složitějších úpravách JavaScript) a nahrajete zpátky přes FTP server.

Pokud nemáte přístup k FTP serveru nebo nemáte technické znalosti, můžete použít vizuální editor. Vizuální editor je například součastí A/B testovacího nástroje OptimcoreFunguje tak, že zadáte adresu stránky, kterou chcete upravit, ta se automaticky nahraje do editoru a vy ji upravujete podobně, jako upravujete dokumenty ve wordu. Změny vidíte přímo v editoru, na vaší stránce se projeví až ve chvíli, kdy spustíte test.

AB_test3

A/B testování je přístupné i pro netechnicky zdatné díky vizuálnímu editoru. Můžete vše jednoduše upravovat přímo na vaší stránce

4. Definujte cíle testu

Cíl je většinou něco, co chcete, aby návštěvník udělal. Tzv. konverzní akce nebo také konverze může být odeslání formuláře s objednávkou. Abyste dokázali změřit, která varianta testu je úspěšnější, musíte definovat, co je „úspěch“ neboli cíl.

Pro úspěšný test potřebujete alespoň jeden cíl a ve většině situací to i stačí. V některých případech ale využijete více cílů. Například pokud máte firmu, která nabízí základní verzi nějaké služby zdarma, uživatel si však může dokoupit prémiové služby. Registrace (neplatícího) uživatele může být jeden cíl a první platba uživatele druhý cíl. Nastavením více cílů tak můžete měřit vliv varianty některé ze stránek na více faktorů a učinit tak přesnější rozhodnutí.

5. Otestujte

Test je svým způsobem nejjednodušší část celého procesu. Stačí jen spustit test, ujistit se, že vše funguje správně, a poté jen čekat, než testem projde dostatečně velký vzorek návštěvníků, aby se daly vyhodnotit závěry. Klíčové je ujistit se, aby se v průběhu testu neměnilo nic, co by na test mohlo mít negativní dopad.

Jedním z příkladů negativního dopadu je rychlá změna skladby uživatelů. Pokud například testujete stránku, která má standardně jen organický traffic a pro urychlení testu na ni přivedete i placený traffic, tak měníte skladbu uživatelů (tito noví uživatelé se mohou chovat jinak, než ti standardní).

Pokud testujete na velkých stránkách, může se stát, že potřebného vzorku uživatelů dosáhnete během několika hodin. Vzorek sice vypadá statisticky v pořádku, ale z hlediska průměrné návštěvnosti jste získali jen její krátký výsek. Zajistěte, aby testem prošla co největší část běžné návštěvnosti. Například pokud posíláte jednou za dva týdny newsletter, zkuste se ujistit, že testem projdou i návštěvníci z newsletteru. Doporučujeme testovat minimálně 2 business cykly. Pokud je typický business cyklus (obvyklá doba od první návštěvy nového návštěvníka do jeho konverze) 30 dní, nemá smysl testovat jen po dobu dvou týdnů, a poté se snažit výsledky vyhodnotit.

Dobrou praxí je také začínat a končit testy vždy ve stejnou dobu týdne. Ujistíte se tak, že test není vychýlen tím, že běžel přes 3 víkendy ale jen 2 plné pracovní týdny.

6. Vyhodnocení

O vyhodnocení by se dala napsat samostatná příručka. V této části tedy budeme počítat s tím, že vám pomáhá náš analytický nástroj, který používá na vyhodnocení dat principy bayesiánské statistiky.

Při vyhodnocení jsou hlavními ukazateli dosažení statistické významnosti testu a dosažení dostatečného statistického vzorku (počtu návštěvníků, kteří projdou testem).

  • Statistická významnost testu

Každý test vždy operuje s určitou mírou chybovosti. Většina testů se provádí na hladině statistické významnosti 95 %. To znamená, že existuje pětiprocentní pravděpodobnost, že test určil výsledky nesprávně (tzv. falešně pozitivní test). Statistickou významnost si můžete stanovit sami, nedoporučuji jít však pod 95 %. Statistická významnost velmi ovlivňuje délku testu (resp. potřebnou velikost statistického vzorku/ návštěvníků, kteří projdou testem). Čím vyšší statistická významnost, tím delší doba testu. Protože je potřeba nasbírat více dat, aby si byl test „jistý“ o správnosti výsledku.

  • Dosažení statistického vzorku

Protože statistická významnost je “pouze” matematický vzorec, je potřeba úvahu nad vyhodnocením ještě propojit s kontrolou dostatečného statistického vzorku. Obecné pravidlo zní, že by na každé variantě testu mělo dojít k nejméně 100 konverzím. Zase platí čím více, tím lépe – ideálně bych doporučil 200 a víc konverzí.

Obecně lze říci, že čím větší je rozdíl mezi výsledky jednotlivých variant, tím větší bude statistická významnost a tím menší statistický vzorek potřebujeme.

7. Otestujte znovu za několik měsíců

Jelikož má testování přímý dopad na obchodní výsledek, je dobré se ujistit, že test je směrodatný i po několika měsících. Doporučujeme proto test po pár měsících zopakovat. Opakování testu také významně redukuje možný falešný pozitivní test. Pokud provedeme druhý test a ten nám potvrdí původní výsledek, celková pravděpodobnost falešného pozitivního testu se zredukuje z pěti na čtvrt procenta.

Chyby, kterým se vyhněte

  • Malý statistický vzorek

Nikdy bychom neměli test ukončovat dříve. Ani když nám intuice říká, že rozdíl už je dostatečně velký. Vždy je potřeba počkat na dosažení potřebné hladiny statistické významnosti. I kdyby to znamenalo dělat test o několik týdnů déle. Statistika totiž nelže, a pokud ten zdánlivě jasný výsledek koresponduje s jistotou testu okolo sedmdesáti procent, tak již velká část testu nebude směrodatná. A to ovlivní celkovou kvalitu optimalizace vašich stránek.

  • Testování několika prvků současně

Častou chybou je testování několika prvků současně. Pokud v jednom testu změníte nadpis a zároveň barvu tlačítka a vyjde vám, že tato změna přinesla zlepšení o patnáct procent, nemůžete s jistotou říci proč. Mohlo za to tlačítko nebo nadpis? Pokud netestujete úplně nový koncept webové stránky, doporučuji testovat vždy jen jeden konkrétní prvek.

  • Více testů současně

Stejně jako není vhodné testovat více prvků současně, není vhodné provádět současně na jedné stránce více testů. Pokud odhlédneme od softwarových komplikací, které s sebou několik testů přináší, i zde se nakonec potkáme s problémem, kdy nebudeme schopni určit, která změna mohla za daný výsledek. Proto i tady doporučuji provádět na jedné stránce jen jeden test.

Podobný požadavek platí i pro více testů na jedné doméně. Nedokážeme průkazně určit vliv jednotlivých variant, pokud na hlavní stránce testujeme nový nadpis a na stránce s ceníkem současně testujeme nové call to action tlačítko.

  • Peaking problem

Při spouštění testu doporučuji dopředu zvolit, po jakou dobu má běžet a ať se stane cokoliv, testo do té doby nevypínat (samozřejmě v rámci dohodnutých mezí). Pokud každý den nahlížíte, jak vypadají výsledky testů, a čekáte na první příležitost, kdy se test dostane přes kýžených 95 %, může vám to s velkou pravděpodobností přinést nepřesná data.

Závěr

A/B testování není všemocé a je to jen jeden díl skládanky nazvané zvyšování konverzního poměru. Pokud ho ale uchopíte správně, dá vám časem jasné odpovědi na to, co návštěvníci na vašem webu nebo e-shopu chtějí vidět. Tím zvýšíte jak konverzní poměr, tak i celkové zisky. A/B testování je běh na dlouhou trať, často se vám stane, že test dopadne nejednoznačně, tedy že obě varianty mají velmi podobný výkon. Pokud přijmeme tuto data-driven kulturu, nebudete se již rozhodovat na základě nepřesných domněnek a pocitů. Ale budete přesně vědět, která rozhodnutí jsou pro váš business opravdu a dlouhodobě správná.

Diskuze k článku

  • Petře, zcela bez urážky, ale opravdu relevantní dotaz: U svého nástroje píšeš, že 1000 návštěvníků stačí pro „1 malý test“ a 10 000 návštěvníků „1 až 3 testy“.

    To snad ani nemyslíš vážně, ne? Říká ti něco „statistická přesnost“? S jakým konverzním poměrem tam počítáš?

    Přijde mi to jako zcela zavádějící tvrzení! Když budu mít jen 2 varianty a 1000 návštěvníků, tak je to 500 návštěvníků na variantu = nulový vypovídající hodnota a měření ne na měsíce, ale na několik let = nechápu tu nabídku.

    • Petr Bláha

      Ahoj Honzo,

      situace řešitelná je i s 1000 návštěvníky. Pokud máš např. SaaS aplikaci, která může mít konverzní poměr 20-30 %, potom na každou variantu připadne 500 návštěv => 100-150 konverzí. To při větším minimálním rozdílu variant může být zcela dostatečný vzorek. Samozřejmě, kdybychom se na to dívali spektrem eshopů, kde konverzní poměr bude třeba u 1 %, tak tam bychom se na výsledky při free verzi pár Vánoc načekali :). I proto tam máme slovo „malý“.

      Doufám, že Tě ta informace moc nezvedla z židle :). Její důvod je jen orientačně informovat, co od jednotlivých balíčků můžeš čekat, žádný jiný cíl bych za tím nehledal.

      Nechci tu ale moc dělat agitku svého nástroje. Kdyby Tě k němu cokoliv zajímalo, klidně mi napiš e-mail na petr@optimcore.com, rád o tom popovídám buď mailově nebo naživo.

      • Já v tom spíše vidím záměrné zkreslování údajů pro nezkušené uživatele. Málokdo měří cokoliv, co má konverze v řádech desítek procent. A i tam bych byl s tou relevancí hodně opatrný.

        Chci tím jen říci to co říkám všude – je potřeba se dívat na testy i z pohledu statistiky – málo dat = neprůkazné = stejné jako žádná data. A tvá nabídka dělá přesný opak. Nic víc v tom nehledej.

        • Petr Bláha

          Určitě s Tebou souhlasím v té druhé části. A vlastně i proto jsem tenhle článek napsal. Lidi občas vidí, že mají v jedné variantě 20 konverzí a v druhé 16, ale protože statistická významnost nástroje řekla 95 %, tak mají hotovo. Takhle to nejde, to víme oba.
          A naše klienty v tom hned od začátku vzděláváme. Optimcore Ti v základním nastavení nevyhodnotí (!) test jako úspěšný, pokud nemáš na každé variantě alespoň 100 konverzí. S klienty se navíc i aktivně bavíme, jak správně k A/B testování přistupovat.

          • Ale hranice 100 konverzí nic neřeší. nebral bych to jako bernou minci.

            Podle mě tahle debata nepatří do komentářů – třeba někdy osobně.

          • Petr Bláha

            „It depends“ :)

            Určitě a rád.