Testy A/B – Poradnik dla Początkujących

Testy A/B to jeden z najpopularniejszych i najprostszych sposobów na logiczne i podyktowane danymi zmiany na stronie. Obecne od lat 50. XX wieku głównie w środowisku naukowym, od kilku lat zapewniają setkom firm lepsze zwroty z inwestycji oraz wyższe przychody.

Testy A/B najlepiej przeprowadzać za pomocą specjalistycznych narzędzi, które umożliwią uczciwy podział grupy odbiorców w tym samym czasie.

Testy A/B są wykorzystywane w nauce od bardzo dawna. W laboratoryjnych testach o wiele łatwiej uzyskać wiążące i wiarygodne wyniki, bo nie istnieją tam elementy niekontrolowane przez badacza. Niestety, w przypadku żywego tworu jakim jest strona www, czy reklama, nigdy nie będziemy mieć 100% pewności, że nasz test jest w pełni wiarygodny.

To zależy. Jeżeli twoją stronę odwiedza 1000 użytkowników miesięcznie, to niestety posiadasz zbyt małą próbkę do ewentualnego testu. Natomiast, gdy odpowiadasz za duży sklep online, gdzie dziennie produkty przegląda 10 000 osób, to wtedy jak najbardziej powinieneś rozważyć zakup narzędzia do testów A/B.

Dlaczego?

Przypuśćmy, że twój sklep online generuje 100 zakupów dziennie, co daje 3000 zakupów na miesiąc. Postanawiasz poświęcić tydzień na przeprowadzenie testu A/B.

W jego wyniku jeden z twoich pracowników musi poświęcić swój czas na zaprojektowanie, przeprowadzenie i zanalizowanie testu. Zajmuje mu to również tydzień, a jego miesięczne zarobki to 4000 zł netto na miesiąc.

Test A/B okazał się sukcesem – teraz już wiesz, że zmiana wyglądu karty produktu spowodowała wzrost liczby zamówień ze 100 do 110 dziennie. W skali roku (12 miesięcy) uzyskasz więc aż 3600 zamówień więcej. Jeżeli średni koszyk w twoim sklepie wynosi 100 zł netto, to dodatkowy przychód zamknie się w okolicach 360 000 zł!

Z powyższych danych wynika, że koszt takiego testu to 1000 zł (tydzień pracy pracownika), natomiast przychód to aż 360 razy więcej (i to tylko w skali roku)! Całkiem niezłe ROI, prawda?

Oczywiście nie musisz ograniczyć się tylko do jednego wariantu. Równie dobrze możesz przeprowadzić test A/B/n, gdzie “n” to dowolna ilość dowolnych wariantów. Pamiętaj jednak, że zbyt duża liczba wariantów znacznie utrudnia podjęcie właściwej decyzji. Chcesz uniknąć błędów w testach A/B? Sprawdź mój wpis na ten temat.

Sporą popularnością cieszą się również testy wielowariantowe (MVT). W takim przypadku badamy kilka rozwiązań kilku niepowiązanych ze sobą funkcjonalności jednocześnie, np. na landing page sprawdzamy jednocześnie inny kolor przycisku, inny tekst nagłówkowy, czy inny sposób wyświetlania “testimoniali”. Testy MVT wymagają bardzo dużego ruchu na stronie, aby móc rozdysponować ruch pomiędzy bardzo wiele wariantów.

Który test wybrać, jeśli chcesz szybko wprowadzić rozwiązanie, które wygrało test? Oczywiście najlepiej jeśli skorzystasz z testu A/B, bo ograniczona liczba wariantów sprawi, że różnice w wynikach będą bardziej zauważalne.

Testuj zmiany, które twoim zdaniem odniosą najwyższy skutek w podwyższeniu żądanego KPI, nie skupiaj się na drobnych modernizacjach, których efekt zaobserwujesz dopiero po bardzo długim czasie (którego przecież nie masz). W przypadku standardowego testowania lepiej przeprowadzić kilka różnych testów A/B, a test MVT stosować tylko w wyjątkowych wypadkach.

Trzecim sposobem na przeprowadzenie testu jest tzw “multi-armed bandit test”. Działanie tego badania rozpoczyna się od wysłania ruchu na dwie (lub więcej) strony: oryginał i odmianę. Następnie algorytm sprawdza, która wersja w trakcie testu osiąga lepsze rezultaty i „w locie” kieruje na nią więcej ruchu. Dzięki temu jesteś w stanie w pełni wykorzystać najlepszą wersję strony.

Jedną z największych korzyści z “bandit testing” jest to, że łagodzi „żal” za utraconą konwersją, której doświadczasz podczas badania potencjalnie gorszej odmiany testu.

“Bandycki” algorytm przydaje się szczególnie, gdy chcesz sprawdzić:

• Nagłówki i krótkoterminowe kampanie
• Automatyzacja skalowalności
• Kierowanie
• Mieszanie optymalizacji z atrybucją

To zależy od celu, jaki sobie postawiłeś. Jeśli jest nim wzrost konwersji w sklepie online, to powinieneś się skupić na zupełnie innych elementach strony, niż w przypadku chęci poprawy bounce rate (odrzuceń).

Przykłady zmian na stronie www:

• różne układy karty produktu
• mniej skomplikowany checkout
• layout strony głównej
• różne rodzaje landing page
• ilość pól w formularzach

Jakie elementy możesz chcieć przetestować?

• nagłówki
• zdjęcia
• przyciski CTA (inny kolor, copy, rozmiar)
• opisy produktów/teksty na landing page (długie, krótkie, napisane w mniej lub bardziej formalny sposób itp.)
• testimoniale, czyli recenzje klientów

To, co testować i w jakiej kolejności powinno zależeć od mierzalnych danych. Nigdy nie opieraj swoich testów na bazie subiektywnych odczuć!

Po ustaleniu, który test powinieneś przeprowadzić w pierwszej kolejności nadszedł czas na utworzenie hipotezy. Ustal, dlaczego warto uruchomić test A/B (cel badania). Opieraj swoje osądy na mierzalnych danych i upewnij się, że wynik testu może poprawić konwersję oraz dostarczyć więcej informacji o twoich klientach. Następnie zmierz efekty podjętych działań.

Etapy uruchamiania testu A/B

1. Zbierz dane potrzebne do oceny, jakie błędy występują na stronie (cele testów)
2. Wyznacz cel każdego testu A/B (hipoteza) i ustal kolejność uruchamiania testów (priorytetyzacja)
3. Postaw hipotezę każdego testu -dlaczego go uruchamiasz, co chcesz nim osiągnąć oraz jak zmierzysz, czy ci się udało?
4. Wybierz narzędzie do testów.
5. Zbuduj warianty, które masz zamiar testować.
6. Analizuj wyniki testu.
7. Testuj i eksperymentuj – uruchamiaj nowe testy, zmieniając elementy na stronie i inne czynniki, które mogą zmienić wynik testu

Zanim zaczniesz cokolwiek testować, musisz poznać własnych użytkowników. Dowiedz się kim są, jakie działania wykonują na twojej stronie i dlaczego. Zbadaj też, jakie przeszkody mogą stawać na drodze użytkownikom twojej strony.

Odpowiedz sobie na kilka bardzo ważnych pytań:

• Jakie są moje cele biznesowe?
• W jakim celu powstała moja strona?
• Na jakich KPI chcę się skupić?
• Jakie typy konwersji spełnią moje KPI?

Po uzyskaniu odpowiedzi, zabierz się za zbieranie danych potrzebnych do realizacji twoich celów.
ConversionXL podaje, że najlepszym sposobem na to jest wdrożenie procesu, nazwanego przez nich ResearchXL.

Opiera się on na 6 etapach:

• Analizie heurystycznej – ocena strony na podstawie trafności, przejrzystości, wartości, stopnia rozkojarzenia oraz oporu
• Analizie technicznej – błędy techniczne to zabójcy konwersji – musisz się upewnić, że strona działa prawidłowo na każdej przeglądarce i działa odpowiednio szybko
• Analityce internetowej – konfiguracja Google Analytics to podstawa – musisz mieć poprawnie ustawione narzędzia analityczne, aby wpadające dane były wiarygodne
• Badaniach ruchów myszką – sprawdź, jak poruszają się klienci na stronie, korzystając z heatmap oraz analizuj kliknięcia na stronie (za pomocą np. Hotjar)
• Badaniach jakościowych – analiza jakościowa powinna być tak samo poważnie brana pod uwagę, jak dane z analityki – obejmuje ona ankiety na stronie oraz wywiady focusowe face to face
• Testach użytkowników – obserwuj, jak odbiorcy zachowują się na stronie i czy odbiega to od twoich domysłów – jeśli tak, wdrażaj zmiany

Jeżeli chcesz przeprowadzić z głową testy A/B, to musisz zastanowić się, które elementy strony chcesz zmienić w pierwszej kolejności. Po wykonaniu researchu według 6 powyższych punktów, z pewnością znalazłeś sporo błędów, które warto poprawić na stronie.

Jedną z możliwych struktur priorytetyzacji jest ta zaproponowana przez Craiga Sullivana.

Polega na wrzuceniu wszystkich błędów na stronie do jednego z 5 “pojemników”:

• Testowanie – problemy na stronie, które wymagają testowania
• Aranżacja – problemy wymagające poprawiania, dodawania, ulepszania
• Hipoteza – problemy, których jeszcze nie wiemy jak rozwiązać
• Po prostu zrób to – jeśli możesz naprawić błąd w tej chwili – do dzieła
• Badanie – problem, w który musisz się bardziej zagłębić, zadać więcej pytań

Następnie oceń każdy problem w skali od 1 do 5 (1 – najmniej istotny, 5 – krytyczny). Aby pomóc sobie w ocenie, odpowiedz sobie na 2 pytania:

• jak łatwo możesz zaimplementować rozwiązanie danego problemu?
• jak duże możliwości poprawy konwersji ma dane rozwiązanie?

Innym pomysłem na priorytetyzację podzielił się ConversionXL.

Polega na udzieleniu odpowiedzi na poniższe pytania:

• czy zmiana zajdzie powyżej linii przewijania ekranu? – jeśli tak, to potencjalnie będzie mieć większy wpływ na konwersję, niż gdyby było inaczej
• czy zmiana będzie widoczna w mniej niż 5 sekund? – jeżeli nie dostrzegasz zmiany w tym czasie, oznacza że nie była aż tak ważna
• czy zmiana doda lub coś usunie? – większe zmiany zwykle mają większy wpływ na konwersje
• czy test jest uruchomiony na stronach o dużym ruchu? – zmiana na tego typu stronach oznacza większy zwrot z inwestycji

Ostatni krok tego sposobu priorytetyzacji to ocena pilności wdrożenia każdego rozwiązania.

Pamiętaj, że odkrywanie problemów na stronie zawsze powinno być poparte danymi, a nie subiektywnymi opiniami. Analizy heatmap, kliknięć, ankiety dla klientów i zaglądanie w analitykę internetową pomogą znaleźć ci elementy, które naprawdę warto poprawić.

To zależy do tego, jak duży wzrost pragniesz odnotować oraz ile wariantów chcesz przetestować. Możesz skorzystać na przykład z tego kalkulatora. W pierwszym polu wpisz obecny współczynnik konwersji a w drugim żądany procentowy wzrost, który ma być zauważalny. Jeżeli wpiszesz tam małą liczbę, np. 1%, to próbka musi być o wiele bardziej liczna, niż w przypadku np. 10% – małe zmiany wymagają większej liczby osób, aby uzyskać wiarygodność.

W kolejnej sekcji możesz ustalić, jak długo powinien trwać test, bazując na dziennej liczbie odwiedzających oraz liczbie wariantów.

Tak, jeżeli nie testujesz bardzo ważnych zmian, które mają duży wpływ na przyszłe decyzje biznesowe lub przyszłość firmy.

Oczywiście, istnieje prawdopodobieństwo pojawienia się wyników tzw. “false positive”, ale testując równocześnie więcej zyskasz, niż stracisz.

Po pierwsze – nigdy nie zatrzymuj testu od razu, gdy osiągnie statystyczną istotność. Poczekaj do końca testu i dopiero wtedy wyciągaj wnioski.

Test A/B powinien trwać tak długo, ile wymaga osiągnięcie rzetelnych wyników. Nie istnieje żadna ogólna zasada, w rodzaju “uzyskaj 1000 konwersji” albo “10000 osób na wariant” – próbka powinna być reprezentatywna, niezależnie, czy obejmuje 10 000 osób, czy 100 000. Jedynym czego powinieneś unikać w tym kontekście jest prawo małych liczb.

Nie próbuj wysnuwać wniosków na podstawie 10 konwersji, kilku godzin trwania testu czy 100 wejść na stronę. Jeżeli próbka jest zbyt mała, to dane mogą okazać się bardzo przeszacowane lub mocno niedoszacowane.

Pamiętaj też, że poniedziałek różni się od wtorku, środy, czy niedzieli.
Dlatego czas trwania testu najlepiej by obejmował minimum tydzień.

Test powinien zostać uruchomiony w czasie, gdy istnieje małe ryzyko błędnej analizy wynikającej m.in z:

• dnia tygodnia – np. w weekend możesz odnotowywać więcej zamówień, niż w inne dni tygodnia
• źródła ruchu – uważaj na płatne kampanie reklamowe – jeżeli uruchomisz dużą akcję tuż przed startem testu,mocno zaburzysz dane
• publikacje newslettera i bloga – nowy wpis może oznaczać kolejne zaburzenie wyników
• sezonowe wyprzedaże, święta itp.

Pamiętaj o efekcie nowości w momencie uruchamiania testu A/B. Zawsze, gdy zmieniamy coś w reklamie, czy na stronie, zwracamy szczególną uwagę na początkową fazę adaptacji zmian. Takie zachowanie może doprowadzić do wysnuwania pochopnych wniosków, gdyż to właśnie na początku (za sprawą prawa małych liczb) może dochodzić do największych fluktuacji wyniku.

Podział użytkowników na grupy to bardzo ważny element przeprowadzania każdego testu lub analizy. Pamiętaj, że to że jakaś grupa źle performuje w danym teście, nie oznacza że stanie się tak samo w kolejnym.

Osoby trafiające na stronę np. z Facebooka mogą mieć inne preferencje odnośnie ułożenia elementów strony (np. są to odbiorcy młodzi, którzy wolą skanować treści, a nie je czytać). Natomiast jeżeli ktoś wchodzi bezpośrednio na stronę (ruch direct) może preferować zupełnie odmienny układ (odbiorca zna już twoją stronę i wchodzi na nią właśnie po to, aby zaznajomić się z treścią).

Użytkowników możesz podzielić na dowolne grupy, np.:

• urządzenie
• przeglądarka
• nowi vs powracający
• kanał pozyskania
• wiek
• płeć
• lokalizacja

I tak dalej. Pamiętaj, żeby przed testem sprawdzić, czy badana próbka jest odpowiednio duża.

Zawsze korzystaj z kilku źródeł do oceny działań. Google Analytics zawsze jest bardzo przydatnym narzędziem, a jego wartość rośnie, jeśli okaże się, że narzędzie do testów A/B nie działało prawidłowo.

Jakie działania podjąć, gdy okaże się, że oba warianty osiągnęły te same rezultaty?

• sprawdź, czy dobrze zaimplementowałeś warianty – pomysłów na poprawę danego błędu może być wiele, dlatego warto sprawdzić je za pomocą testowania wielokrotnego
• zmiany mogą nie być widoczne na pierwszy rzut oka, bo nakładają się na siebie – przykładowo, jeżeli nastąpił wzrost odwiedzin z kanału A, a spadek z kanału B, to z testu może wynikać, że liczba odwiedzin utrzymała się na średnio tym samym poziomie
• określ prawdziwych zwycięzców testu – jeżeli dołożyłeś/wymieniłeś warianty w trakcie trwania testu lub nie poczekałeś do uzyskania przez wszystkie 95% statystycznej istotności to cóż.. powinieneś powtórzyć test, gdyż dane zostały poważnie zaburzone
• zwracaj uwagę na konwersje, na których zależało ci uruchamiając test A/B – jeżeli chcesz osiągnąć większą liczbę zakupów, to patrz tylko na ten wynik testu, a nie np. na liczbę nowych subskrypcji do newslettera

• Skup się na efekcie, który chcesz osiągnąć. Sprawdzanie wszystkich możliwych wariantów dla wszystkich możliwych rodzajów zmiany w sklepie online spowoduje, że twoje wyniki rozmyją się na tyle, że nie odróżnisz, który wariant jest tym naprawdę najlepszym (patrz efekt “false positive”)
• Eksperymentuj – do każdego zagadnienia możesz podejść na różne sposoby, bo powodów spadku konwersji może być bardzo wiele. Jeżeli jeden test nie przyniesie rezultatów, zmień hipotezę (o ile oczywiście masz ku temu przesłanki logiczne) i spróbuj ponownie
• Przed uruchomieniem testów wykonaj test A/A, czyli uruchom badanie z dwoma tymi samymi stronami www – dzięki temu upewnisz się, że na wyniki testu nie ma wpływu np. źle działająca wtyczka, czy problemy z dokonywaniem płatności
• Testuj jedną zmienną jednocześnie, jeżeli nie jesteś wytrawnym analitykiem – w ten sposób unikniesz wielu błędnych decyzji oraz tzw. błędów “false positive”
• Wstrzymaj nowe akcje marketingowe na czas trwania testu – duże zmiany w odwiedzinach strony www mogą wynikać z działań reklamowych, przez co zaburzą wyniki badania
• Unikaj tych błędów (nie przeraź się długością tekstu!)

Istnieją dwa typy narzędzi do przeprowadzania testów A/B – uruchamiane po stronie serwera oraz po stronie klienta.

Ten pierwszy typ wymaga posiadania zespołu deweloperskiego, aby odpowiednio skonfigurować narzędzie. Drugi typ jest prostszy w obsłudze, ale też mniej elastyczny.

Program po stronie serwera tworzy nową wersję strony na serwerze i wysyła ją odbiorcy. Oprogramowanie działające po stronie klienta wysyła jedną wersję strony, a kod Javascript na komputerze odbiorcy odpowiednio modyfikuje stronę.

Które narzędzie będzie dla ciebie najlepsze? Dowiesz się tego tylko dzięki testom. Większość narzędzi oferuje wersję demo lub wersję próbną, więc możesz sprawdzić ich funkcjonalności na “żywym organizmie”.
Dla ułatwienia możesz skorzystać z recenzji takich jak ta.

Poniżej znajdziesz przykładowe narzędzia do testów A/B:

• VWO
• Optimizely
• AB Tasty
• Omniconvert
• Crazy Egg

Nie jestem ekspertem w dziedzinie analityki i pewnie nigdy nie będę. Dlatego też serdecznie polecam Ci zapoznanie się z blogami, gdzie znajdziesz mnóstwo rzetelnej i rozbudowanej wiedzy na temat każdego aspektu testowania A/B oraz optymalizacji konwersji ogółem.

Oto strony szczególnie mi bliskie:

https://conversionxl.com/blog/
https://moz.com/blog/category/conversion-rate-optimization
https://unbounce.com/blog/
https://www.wordstream.com/blog