A/B testovanie webu pre malú firmu: čo testovať ako prvé

A/B test porovnáva dve verzie stránky, inzerátu alebo e-mailu na rovnakých návštevníkoch a ukazuje, ktorá verzia lepšie dosahuje jeden cieľ. Malej firme sa oplatí začať prvkami s najväčším vplyvom: ponukou a nadpisom, výzvou na akciu, formulárom a prvkami dôvery. Spoľahlivý záver vyžaduje dostatok návštevnosti, jednu zmenu naraz a metriku zvolenú pred štartom.

Stručne

• A/B test porovnáva verzie A a B na náhodne rozdelených návštevníkoch a cieľ sa vyberá pred spustením.
• Malý web s nízkou návštevnosťou získava spoľahlivý výsledok pomaly, preto sa overujú výrazné zmeny: ponuka, nadpis, formulár.
• Ako prvé sa testuje ponuka a nadpis, výzva na akciu, formulár dopytu, prvky dôvery a podmienky.
• Hypotéza má vzorec: ak zmeníme X, metrika Y sa zmení, pretože Z.
• Test trvá celé týždne a končí podľa veľkosti vzorky, ktorá sa určila vopred.
• Ak je návštevnosti málo, pomáhajú testy v reklame a e-mailoch, výskum správania a postupné zmeny s kontrolou metrík.

Čo je A/B test a kedy má zmysel

V A/B teste sa návštevníci náhodne delia na dve skupiny. Jedna vidí aktuálnu verziu (A), druhá upravenú (B). Po určenom období sa porovná podiel tých, ktorí vykonali cieľovú akciu: zanechali dopyt, nakúpili, zavolali.

Na test je potrebný dostatočný tok návštevníkov a konverzií. Ak na stránku chodí málo ľudí, porovnávanie dvoch verzií potrvá mesiace a výsledok zostane nespoľahlivý. Presné číslo závisí od aktuálnej konverzie a očakávaného účinku; vypočíta sa v kalkulačke veľkosti vzorky, ktorú má väčšina testovacích nástrojov. Zvyčajne sú potrebné desiatky konverzií na každý variant; stovky dávajú spoľahlivejší výsledok.

Ak je návštevnosti málo, existujú alternatívy: testovať v reklame a e-mailoch, kde je zobrazení viac, skúmať správanie návštevníkov v záznamoch relácií a mapách kliknutí, zbierať spätnú väzbu od zákazníkov a robiť výrazné zmeny s porovnaním ukazovateľov pred a po. Závery z takéhoto porovnania sú menej spoľahlivé, pretože na výsledok vplýva sezóna a zdroje návštevnosti.

Druhy testov

• A/B: jedna premenná, dve verzie; najjednoduchší formát pre malý web.
• Split URL: dve samostatné stránky s rôznymi adresami; hodí sa, keď sa verzie výrazne líšia štruktúrou.
• Multivariantný: viac prvkov v rôznych kombináciách; vyžaduje podstatne viac návštevnosti.
• A/A: porovnanie dvoch rovnakých verzií na overenie nastavení nástroja a rozdelenia návštevnosti.

Čo testovať ako prvé

Najprv sa testujú prvky, ktoré silnejšie ovplyvňujú rozhodnutie návštevníka. Priorita sa určuje podľa troch znakov: možný účinok, istota v hypotéze, zložitosť spustenia. Drobné vizuálne úpravy, napríklad odtieň tlačidla, zvyčajne dávajú slabý účinok.

Ako vybrať prioritu

Keď je nápadov veľa, hodnotia sa podľa škály ICE: Impact (možný vplyv), Confidence (istota v hypotéze), Ease (jednoduchosť spustenia). Každý parameter sa hodnotí od 1 do 10 a priemerná hodnota dáva prioritu. Takéto hodnotenie je subjektívne, núti však tím vysvetliť výber a vyraďuje nápady, ktoré sa ťažko realizujú bez viditeľného prínosu. Dodatočne sa kontroluje, či je na stránke dosť návštevnosti na test: nápad s vysokým vplyvom na stránke bez návštevníkov zostáva teóriou.

Ako vykonať test: krok za krokom

1. Vyberte jeden cieľ a jednu hlavnú metriku, napríklad počet dopytov.
2. Sformulujte hypotézu a zapíšte ju.
3. Vytvorte variant B s jednou zmysluplnou zmenou.
4. Nastavte rozdelenie návštevnosti rovným dielom a skontrolujte zobrazenie na telefóne a počítači.
5. Spustite test na plánovaný počet celých týždňov bez zásahov.
6. Analyzujte výsledok, osobitne skontrolujte mobilnú a desktopovú návštevnosť, zaznamenajte záver.
7. Zavedte víťaza alebo si zapíšte, že rozdiel neexistuje, a prejdite na ďalšiu hypotézu.

Hypotéza

Hypotéza sa zapisuje vo formáte: ak urobíme X, metrika Y sa zmení, pretože Z. Napríklad: ak všeobecný nadpis nahradíme nadpisom s konkrétnym prínosom, podiel dopytov vzrastie, pretože návštevník rýchlejšie pochopí ponuku.

Trvanie a veľkosť vzorky

Test sa spúšťa na celé týždne, aby sa zohľadnil rozdiel medzi dňami v týždni. Ukončuje sa po dosiahnutí plánovaného počtu návštevníkov a konverzií; skorý priebežný výsledok sa často ukáže ako náhodný.

Kontrola pred spustením

• Sledovanie konverzií funguje v oboch variantoch: testovací dopyt alebo nákup sa dostane do reportu.
• Obe verzie sa načítavajú rovnako rýchlo, pretože pomalší variant prehrá kvôli oneskoreniu.
• Návštevnosť sa delí náhodne a rovným dielom, bez viazanosti na zdroj či zariadenie.
• Na tej istej stránke nie sú súčasne iné testy a zmeny dizajnu.
• Tím pozná obdobie testu a úpravy variantov robí až po jeho skončení.

Nástroje

Existujú služby na A/B testovanie, pluginy pre CMS, vstavané experimenty v reklamných platformách a v službách na rozosielanie newsletterov. Nástroj sa vyberá podľa CMS, návštevnosti a zloženia tímu. Na začiatok sa hodí najjednoduchšia možnosť, ktorá vie deliť návštevnosť a počítať konverzie.

A/B testy mimo webu

• Reklamné inzeráty: nadpisy, popisy, obrázky. Platformy majú vstavané experimenty.
• Predmety e-mailov a čas odoslania: výsledok je v newsletteroch vidieť rýchlo, pretože väčšina príjemcov otvorí e-mail v priebehu dňa.
• Landing pages pre reklamu: ponuka, štruktúra, formulár.
• Produktové karty v obchode: poradie blokov, blok doručenia a vrátenia.

Reklamné a e-mailové testy dávajú výsledok rýchlejšie, pretože zobrazení a e-mailov je zvyčajne viac než návštev jednej stránky webu.

Ako čítať výsledok testu

Po skončení sa porovná hlavná metrika v oboch variantoch. Nástroje ukazujú rozdiel a štatistickú významnosť: odhad, či sa tento rozdiel dá vysvetliť náhodnými výkyvmi. Vysoká hodnota významnosti hovorí o spoľahlivosti záveru. Dôležitosť rozdielu pre firmu sa hodnotí osobitne.

• Praktická významnosť. Nárast o malý zlomok percenta sa nevyplatí vzhľadom na úsilie pri zavedení.
• Segmenty. Mobilní a desktopoví návštevníci, noví a opakovaní, rôzne zdroje návštevnosti môžu reagovať rôzne.
• Efekt novosti. Čerstvá verzia niekedy vyhráva prvé dni len pre svoju nezvyčajnosť, preto na trvaní testu záleží.
• Vedľajšie metriky. Skontrolujte, že nárast dopytov neznížil kvalitu: podiel cieľových dopytov a tržby.

Ak je rozdiel nedostatočný na záver, test sa ukončí bez víťaza a hypotéza sa preformuluje.

Príklad plánu testov na štvrťrok

Plán pomáha nerozptyľovať sa a hromadiť poznatky. Napríklad pre web so službami s miernou návštevnosťou môže vyzerať takto.

Po každom teste sa výsledok zapíše do spoločnej tabuľky: hypotéza, dátumy, metriky, záver. Po štvrťroku sa takáto tabuľka stáva databázou poznatkov o tom, ako reagujú vaši zákazníci.

Typické chyby

• Menia sa viaceré prvky naraz a príčina výsledku zostáva neznáma.
• Test sa zastaví pri prvom priebežnom pluse.
• Test sa spustí na stránke s malým počtom návštevníkov a očakáva sa rýchly záver.
• Začína sa odtieňom tlačidla a inými drobnosťami.
• Hodnotí sa kliknutie na tlačidlo namiesto konečného dopytu alebo nákupu.
• Test sa spustí počas akcie, sviatkov alebo zmeny reklamných kanálov.
• Hypotézy a výsledky sa nezaznamenávajú, preto sa po pol roku testy opakujú.
• Nekontroluje sa zobrazenie variantu B na mobilných zariadeniach.
• Test sa spustí, keď je sledovanie konverzií nastavené s chybami.

Otázky a odpovede

Koľko návštevníkov je potrebných na A/B test?

Jediné číslo neexistuje. Závisí od aktuálnej konverzie a očakávaného nárastu: čím menší účinok treba zistiť, tým viac návštevníkov je potrebných. Veľkosť vzorky sa vypočíta v kalkulačke pred spustením.

Ako dlho trvá test?

Minimálne jeden až dva úplné týždne, často dlhšie. Trvanie určuje veľkosť vzorky a cyklus rozhodovania zákazníkov: pri drahých službách je dlhší.

Dá sa testovať viac zmien naraz?

Dá sa, ale to už je multivariantný test, ktorý vyžaduje podstatne viac návštevnosti. Pre malý web je jednoduchšie robiť postupné testy s jednou zmenou.

Čo robiť, ak test neukázal rozdiel?

Aj to je výsledok: hypotéza sa nepotvrdila. Zaznamenajte záver a overte ďalšiu, silnejšiu zmenu, napríklad inú ponuku.

Sú potrebné platené nástroje?

Na začiatok stačia vstavané experimenty v reklame a službách na rozosielanie newsletterov alebo jednoduchý plugin CMS. Platené nástroje majú zmysel, keď je testov veľa.

Záver

A/B testovanie funguje, keď existuje hypotéza, dostatok návštevnosti a jedna premenná naraz. Malej firme sa oplatí začať ponukou, nadpisom, výzvou na akciu a formulárom a tam, kde je návštevníkov málo, využívať testy v reklame a e-mailoch. Každý dokončený test pridáva poznatky o zákazníkoch, aj keď medzi verziami nie je rozdiel. LightSEO, digitálna agentúra z Mukačeva so skúsenosťami z viac ako 250 projektov, vám pomôže určiť, ktoré stránky je vhodné zlepšovať ako prvé. Landing page na overenie ponuky je vhodné vytvoriť v rámci vývoja landing page a štruktúru webu premyslieť pre firemný web na kľúč.

Prečítajte si aj

• E-mailové newslettery pre internetový obchod a malú firmu: ako začať
• Telegram kanál pre firmu: predaj a podpora zákazníkov
• Chyby v remarketingu: čo kazí výsledok reklamy