Jak uniknąć błędów statystycznych w testach A/B?

Źle przeprowadzone testy A/B mogą znacznie bardziej zaszkodzić Twojemu sklepowi online (i każdej innej stronie), niż gdybyś siedział z założonymi rękoma, nie próbując nic zmienić na swojej stronie.

Błędna ocena wyników. Złe założenia podstawowe. Uruchomienie testu na tydzień i wyciąganie z niego wniosków na kolejne miesiące, czy nawet lata.

Istnieje tak dużo problemów z pozornie tak prostym sposobem na poprawę odbioru sklepu przez użytkownika. W poniższym artykule starałam się zebrać i wyjaśnić najpopularniejsze i najpoważniejsze błędy popełniane podczas przeprowadzania testów A/B.

Poradnik podzieliłam na trzy główne etapy – przygotowanie do testu, działania podczas trwania testu oraz etap wyciągania wniosków.

Przed uruchomieniem testu dokładnie zbadaj, które strony przynoszą najwięcej zysków. Bardzo możliwe, że twoja intuicja dotycząca strony X zupełnie nie sprawdzi się i nawet wzrost współczynnika konwersji o 100% w żaden sposób nie przełoży się na wzrost sprzedaży.

To, ile teoretycznie jest warta strona możesz w prosty sposób sprawdzić za pomocą Google Analytics, o ile oczywiście masz prawidłowo podpięty moduł e-commerce.

Jeżeli samodzielnie ustawiłeś wartość poszczególnych celów, to również w przypadku standardowej strony internetowej możesz sprawdzić wartość każdej strony.

Poniżej znajdziesz krótką instrukcję, gdzie znaleźć odpowiedni raport:

Nie jest łatwo ustalić, który element na stronie jest odpowiedzialny za słabą konwersję. Najprościej winić słabe copy, brzydką grafikę albo nieodpowiedni kolor buttona.

Oczywiście możesz przetestować każdy z wariantów zmiany na lepsze, ale istnieje szybszy i tańszy sposób, by się tego dowiedzieć.

Na rynku istnieją bardzo pożyteczne narzędzia do monitoringu zachowania twoich odbiorców na stronie. Najpopularniejsze z nich to HotJar (darmowy do uzyskania wyników maksymalnie 1000 obejrzeń strony) oraz Yandex Metrica (całkowicie darmowe..ale rosyjskie ;)). Nie każdą możliwą zmianę możesz ocenić w ten sposób, ale z pewnością sporo dowiesz się o tym, jak twoi potencjalni klienci przeglądają stronę – gdzie się cofają, gdzie klikają, jak długo pozostają na określonym fragmencie strony.

Zanim zaplanujesz test A/B wyklucz wszystkie możliwe rodzaje testów, które nie mają znaczenia dla twoich konwersji. Zmiana koloru buttonu ma o wiele mniejszy wpływ (jakieś setki razy mniejszy ;)) na wzrost konwersji, niż zmiana takich elementów jak: zdjęcia, długość opisów produktów, nagłówki, CTA, czy ceny.

(chyba, że masz duże doświadczenie i korzystasz z profesjonalnych narzędzi do split testów – patrz pkt 12).

Nawet jeżeli test zostanie zakończony pomyślnie, to jak ustalisz, który element odegrał najważniejszą rolę we wzroście konwersji? Ta zasada nie tylko dotyczy testów A/B na stronie internetowej, ale każdych tego typu eksperymentów.

Im więcej wariantów, tym wyższe prawdopodobieństwo, że wybierzesz niewłaściwy wariant. Takie ryzyko rośnie wykładniczo i w przypadku 1 wariantu wynosi 5%, a w przypadku np. 4 wariantów rośnie aż do 19%.

Istnieje proste wyjaśnienie, dlaczego tak się dzieje. Jeżeli poddajesz testowi np. 5 wariantów, to różnica w ich skuteczności może być marginalna – w granicy błędu statystycznego. Może się więc okazać, że zamiast rzetelnego testu przeprowadziłeś czasochłonną zgadywankę.

Na danego użytkownika powinien przypadać 1 test tego samego typu, aby nie doszło do błędów w pomiarze. Jeśli natomiast testujesz na tej samej próbce nowy format strony głównej oraz inny system komentarzy, to nie ma powodu do obaw.

Szersza grupa odbiorców i wiele innych czynników mogą doprowadzić do tego, że wzrost ruchu na stronie i inne mikrokonwersje nie przełożą się na większą liczbę zamówień.

Podczas testów A/B w pierwszej kolejności skup się na makrokonwersjach (zakup, rejestracja, kliknięcie w nr telefonu, wypełnienie formularza), a dopiero w kolejnych testach zbadaj mikrokonwersje (przejścia na landing page, dodania do koszyka, kliknięcia w baner).

Bez wyboru konkretnego celu swojego działania nie będziesz w stanie ocenić, czy test przebiegł pomyślnie. Dla e-commerce najważniejszym KPI jest współczynnik konwersji osób odwiedzających stronę na kupujących. Innym ważnym KPI może być wartość koszyka – jeśli testujemy nowy algorytm sekcji “podobne produkty” ważniejsze będzie sprawdzenie, jak zmieniła się wartość zakupów na użytkownika, niż współczynnik konwersji.

Popracuj nad odpowiednim opisem produktów, aby klient nie musiał zwrócić zbyt małych butów lub koca w innym kolorze, niż się spodziewał. Podczas analizy działań bierz pod uwagę współczynnik zwrotów.

Kliki, odwiedziny strony, czy współczynnik odrzuceń mają znaczenie, ale niech nie odciągają cię od ważniejszych celów – liczby zamówień, przychodu, zysku, czy konwersji.

Testując nowy wariant strony głównej, czy poprawki w ścieżce zakupowej użytkownika możesz w krótkim czasie zauważyć zmiany w mikrokonwersjach, takie jak współczynnik kliknięć, czy dodania do koszyka. W przypadku makrokonwersji na zauważalne zmiany możesz jednak czekać znacznie dłużej. Ten typ konwersji jest bardziej podatny na fluktuacje. Istnieje szereg czynników, które mają wpływ na to, czy odwiedzający kupi produkt, czy porzuci koszyk. Im jest ich więcej, tym większa niepewność tego wskaźnika KPI.
Aby zweryfikować bardziej skomplikowane zależności, takie jak np. wartość użytkownika (LTV), czy wpływ konkretnego KPI na zysk, musisz uzbroić się w jeszcze większą cierpliwość i wytrwałość – czas trwania testu musi być dłuższy a próbka większa.

Im więcej celów sobie wyznaczysz, tym trudniej będzie podjąć decyzję, który wariant wybrać podczas testów A/B. Rozwiązaniem może być nadanie odpowiednich priorytetów dla KPI, ale przede wszystkim zadaj sobie pytanie – które KPI są dla mnie naprawdę ważne? Mierząc zbyt wiele czynników tracisz z oczu najważniejszy cel, dla którego chcesz uruchomić badanie.

Takie działanie może doprowadzić do tego, że będziesz ofiarą jednego z błędów logicznych – teksańskiego strzelca wyborowego (bierzesz pod uwagę tylko te czynniki, które potwierdzają twoją tezę). Co więcej, bardzo duża liczba wskaźników prowadzi do zwiększenia prawdopodobieństwa znalezienia pożądanego efektu w metodzie, która powstała wyłącznie przez przypadek.

Często testerzy nie chcą uruchamiać wielowymiarowych testów A/B w obawie przed zbyt dużym skomplikowaniem i błędami w pomiarach. Wbrew pozorom, wykonanie takiego testu nie jest bardzo trudne – potrzebujesz do tego jedynie odpowiednich narzędzi i cierpliwości. Przede wszystkim nie testuj zbyt wielu wariantów dla każdego testowanego wymiaru.

Wykonując test MVT (wielowymiarowy) najpierw musisz sprawdzić, który wariant osiągnął najwyższy (i znaczący) wzrost. Przygotuj się na to, że otrzymasz tylko informację o tym, która kombinacja czynników osiągnęła wzrost. Ważne jest również przeanalizowanie wpływu poszczególnych czynników na współczynnik konwersji. Można to zrobić za pomocą tak zwanej analizy wariancji.

Ta metoda izoluje wpływ poszczególnych czynników (np. kolor, kształt przycisku) na współczynnik konwersji. Aby upewnić się, że wybrałeś odpowiednio, możesz przeprowadzić test A/B pomiędzy wygranym wariantem a odpowiednią próbką kontrolną.

Bardzo łatwo uzyskasz zupełnie niemiarodajny wynik, jeżeli zaczniesz porównywać wyniki testu A/B przeprowadzonego w lipcu (sezon ogórkowy) z wynikami grudniowego testu (świąteczny boom). Niezależnie od rodzaju analizy zawsze porównuj podobne okresy czasu, najlepiej miesiąc do miesiąca (np. listopad 2017 vs listopad 2018) lub rok do roku.

Niestety ten błąd, nazywany przez niektórych “dynamicznym dostosowaniem do sytuacji rynkowej” popełnia bardzo wielu marketerów. Niezależnie od tego, jak duża liczba osób odwiedza twoją stronę, obejrzy twoją reklamę, czy kliknie w przycisk CTA, test trwający mniej niż minimum tydzień (a najlepiej kilka tygodni) nie przyniesie rzetelnych rezultatów.

Pamiętaj, że im większa liczba wariantów, tym bardziej liczna musi być próba badawcza. Możesz skorzystać z kalkulatorów testów A/B, jak ten, aby łatwiej ocenić, czy dobrze dobrałeś warianty do próby.

Ten punkt również dotyczy przeprowadzania testów A/B, gdy tworzysz różne warianty reklam/grup reklam w Facebook Ads lub Google Ads.

W każdym biznesie poznanie potencjalnego odbiorcy jest bardzo ważnym etapem budowania strategii marketingowej. Analiza potrzeb i wymagań twojego przyszłego klienta może bardzo ułatwić ci ocenę, jaki element na stronie najlepiej przetestować.

Przykładowo, jeżeli prowadzisz portal dla seniorów, to możesz spróbować powiększyć czcionkę na stronie, aby ułatwić czytanie osobom starszym.

Jeśli twój sklep internetowy skierowany jest do zamożnych klientów po 30 roku życia, to możesz spróbować odpowiednio wyróżnić grafiki prezentujące informacje, że twój produkt jest zgodny z najnowszymi trendami w designie.

Ludzie często nie zdają sobie sprawy, jak dużą rolę w ich życiu odgrywają nawyki. Jeśli Grażynka odwiedza twój sklep online od 3 lat, to już dawno przyzwyczaiła się, że na twojej stronie nie ma filtrów, przycisk CTA ma czarny kolor i należy nacisnąć ten mało widoczny przycisk, aby wpisać kod rabatowy. Jeżeli panią Grażynkę wtłoczysz w test A/B, to może się okazać, że zmiana, którą chcesz przeprowadzić wcale nie jest dobra.

Pamiętaj więc, aby przeprowadzić osobne testy dla nowych i powracających użytkowników.

Chciałbyś przetestować wzrost liczby zakupów, pomimo że w skali miesiąca jest ich tylko 15? Nie rób tego. Według tego źródła powinieneś poczekać na takie ekperymenty do czasu, aż uzyskasz minimum 500 konwersji w skali miesiąca, a w przypadku testów MVT (multiwariantowych) aż 10 000 konwersji.

Twój produkt jest kiepskiej jakości? Twój newsletter nie dostarcza żadnej wartości dodatniej poza nachalną promocją produktów? W takich przypadkach żaden test A/B nie pomoże ci w poprawie współczynnika konwersji. Zanim zaczniesz testować obrazki, copy, czy CTA, zastanów się czy problem nie tkwi w twoim produkcie lub usłudze.

Nie zawsze fakt, że test nie przynosi żadnych pozytywnych rezultatów, a przecież “chodzi już 5 dni” powinien przesądzać o wyłączeniu go lub odrzuceniu jakiegoś wariantu. Aby upewnić się, że nie kończysz testu zbyt wcześnie, dobierz czas trwania do stopnia skomplikowania KPI, które chcesz poprawić oraz wybranych wariantów.

Przez pierwszych kilka dni możliwe, że zauważysz nagłe wzrosty i spadki, bo próbka jest jeszcze bardzo mała i nawet jeden duży zakup może spowodować gwałtowny wzrost lub spadek mierzonego KPI.

Jeśli przez kilka pierwszych dni nie zauważysz żadnego efektu to (po raz kolejny) – poczekaj i wyłącz test dopiero, gdy zaobserwujesz konkretny wzrost lub spadek.

Zanim wykonasz taki ruch sprawdź również kolumnę z procentowym wskaźnikiem poziomu istotności danego wariantu (eng. statistical significance). Jeśli wskaźnik procentowy wynosi mniej, niż 95% to znak, że musisz poczekać, aż rezultat osiągnie odpowiedni poziom rzetelności.

Już wiesz, że nie możesz kończyć testu za wcześnie. Dlaczego więc nie możesz skończyć go również… za późno? Ciągnięcie eksperymentu przez wiele miesięcy zaburza ogólny wynik i jest mało sensowne, gdyż poziom istotności wariantów osiągniesz dużo szybciej.

Jak więc masz ocenić, ile powinien trwać test A/B? To narzędzie szybko i w prosty sposób udzieli ci odpowiedzi na to pytanie.

Możesz dojść do wniosku, że wyłączenie lub zmiana niedziałającego wariantu na inny to dobry pomysł. Niestety, takie działanie spowoduje, że wiarygodność całego testu znacznie się obniży.

Próbka zostanie podzielona w inny sposób, niż na początku, co doprowadzi do anomalii w danych. Jeśli treść wariantu zostanie zmieniona, wynik testu będzie dziwną mieszaniną różnych hipotez i koncepcji, które ostatecznie nie dadzą ci żadnej wiarygodnej wiedzy.

Złym pomysłem będzie również nierównomierne rozdzielenie próbki na warianty lub zmiana wielkości próbki w trakcie trwania testu. Jeśli koniecznie chcesz wyłączyć wariant, uruchom test od nowa – w przypadku, gdy test trwa kilka dni, nie stracisz zbyt wiele czasu.

Jeżeli pomyślałeś sobie, że w takim razie ewentualnie możesz dodać wariant w trakcie trwania testu A/B, to niestety muszę wyprowadzić cię z błędu. Wprowadzenie nowego wariantu spowoduje, że do końca trwania testu nie osiągnie on wymaganego 95% poziomu istotności, a więc nie będziesz mógł rzetelnie ocenić, czy wariant zadział. Nawet, jeśli próbka (i odbiorców i konwersji) jest odpowiednio duża.

Wiele narzędzi tego typu obwieszcza zwycięzcę testu, gdy wiarygodność badania wyniesie 95%. Uradowany, wyłączasz test A/B i cieszysz się wynikiem. To bardzo duży błąd, gdyż możliwe, że nie uzyskałeś minimalnej liczby 500 konwersji, aby wynik był naprawdę wiarygodny. Pamiętaj – zanim wyłączysz test, sprawdź, czy próbka jest odpowiednio duża.

Wyniki testu zawsze warto skonfrontować z innymi narzędziami do analizy, którymi dysponujesz. Oprócz wyników makro, zwróć uwagę na zmiany w mikrokonwersjach.

Jeśli przed testem nie ustawiłeś konkretnego KPI, to nie wnioskuj na jego temat po odbytym teście. Dopiero jeśli twoje narzędzie analityczne jest połączone z webowymi statystykami strony, możesz ocenić te dane.

Bardzo możliwe, że wariant, który wygrał świetnie sprawdza się w przypadku wersji strony na komputery, natomiast bardzo źle zadziałał w przypadku strony mobilnej.

Co możesz zrobić w takim przypadku? Jeśli twój zespół IT jest w stanie zastosować zmianę tylko do konkretnej szerokości ekranu, to świetnie – wykorzystaj wygrany wariant tylko tam, gdzie naprawdę odniósł sukces. Natomiast jeżeli nie masz takiej możliwości, pozostanie obejść się smakiem i wybrać wariant, który najlepiej poradził sobie na obu wersjach strony.

Zawsze bierz pod uwagę, że odbiorca na telefonie czy tablecie ma sporo różnych ograniczeń, takich jak słabsze połączenie internetowe, czy po prostu mniejszy ekran.

Nie zawsze wzrost liczby konwersji może oznaczać wzrost dochodu. Jeżeli wcześniej twój przychód wynosił 700 zł dziennie i postanowiłeś obniżyć cenę produktu o 10%, ponieważ test wykazał wzrost konwersji o 2% to.. Tracisz pieniądze. Po obniżce twój przychód wyniósłby 630 zł * 1,02 = 642,60 zł, co oznacza dzienną stratę o ponad 50 zł! Zanim więc zdecydujesz się zaimplementować zmiany, “do your math”.

Zawsze może się też zdarzyć, że klient źle zrozumie twoje intencje i poczuje się zmuszony do zwrotu towaru.
Połącz swoje narzędzie do analizy z bazą danych sklepu online – informacja o zwrotach pomoże ci ocenić, czy większa liczba zakupów przełożyła się na wzrost przychodu firmy, czy wręcz przeciwnie.

Zwróć uwagę, kim są twoi klienci podczas testów A/B. Jeśli w ich czasie wpłynęło kilka zamówień hurtowych, to zaburzają one finalny wynik testów, doprowadzając do błędnych wniosków analitycznych.

W narzędziu do testów A/B, którego używasz, zaznacz, że nie chcesz brać pod uwagę wyników, które znacznie odbiegają od normy. Owszem, twoje wyniki nieco ucierpią, ale dzięki temu zabiegowi możesz odkryć ciekawe zależności, które inaczej zostałyby niezauważone.

Ocena skuteczności testu A/B na bazie konkretnych segmentów to na ogół bardzo dobry pomysł. Wyniki takiego badania zawsze pokazują ogólny zarys ewentualnych zmian i dopiero zagłębienie się w danych może pokazać, czy testowana zmiana przyniosła pożądany efekt.

Dobrym przykładem może być tutaj tzw. UVP, czyli unikalna wartość, którą chcemy dać klientom. W przypadku osoby, która nieraz nas odwiedziła, podkreślenie UVP nie przyniesie żadnego efektu, bo zna już ona nasze wyróżniające cechy. Tymczasem w przypadku osoby, która pierwszy raz widzi nasz sklep online, efekt może być zupełnie inny.

Warto więc łączyć narzędzie do testów A/B ze swoją bazą danych, aby móc wyciągnąć takie dane jak płeć, wiek, czy lokalizacja odbiorców. Pamiętaj, że jeśli chcesz analizować dane w oparciu o segmenty, musisz wydłużyć czas trwania testu przynajmniej dwukrotnie, aby wielkość danego segmentu była wystarczająco duża. Możesz sprawdzić, jak duża powinna być próbka w danym segmencie i czy wyniki będą wystarczająco pewne za pomocą tego kalkulatora.

To, skąd przychodzi odbiorca na testowaną stronę ma ogromne znaczenie. Potencjalny klient z reklamy na Facebooku może zobaczyć zupełnie inny przekaz, niż osoba, która znalazła Cię w wyszukiwarce Google. Z tego powodu ich decyzja o opuszczeniu strony lub wykonaniu na niej określonego działania może być zupełnie inna, zaburzając ogólny wynik badania.

Podczas analizy wyników testu A/B weź pod uwagę również ten czynnik.

Nawet jeśli twój test A/B poszedł świetnie, proszę, nie przekładaj tego na prognozy długoterminowe! Konwersje w sklepie online są zależne od tak dużej liczby czynników, że zupełnie bez sensu jest ocena, że dzisiejszy wzrost konwersji o 40% będzie się utrzymywać przez kolejne miesiące.

Dzisiejsza pozytywna zmiana nie ma nic wspólnego ze zmianą długoterminową. Jeśli chcesz zbadać długoterminowy wpływ zmiany na użytkowników, test musiałby trwać znacznie dłużej niż kilka tygodni. Brałby on pod uwagę również czynnik przyzwyczajenia odbiorcy do konkretnej zmiany.

Przyczynowość czy korelacja?

Przypisując wyższą konwersję wyłącznie zmianom z testu A/B popełniasz ogromny błąd. W dalszym ciągu istnieje wiele innych czynników, które mogą mieć wpływ na wzrost przychodów w twoim sklepie online (np. sezon, wyprzedaże, specjalne promocje, problemy z płatnościami czy dostawą itp.)

Ważne jest rozróżnienie między przyczynowością a korelacją. Korelacja określa tylko stopień, w jakim dwie charakterystyczne liczby podążają za wspólnym trendem. Jednak korelacja nie mówi nic o tym, czy jedna charakterystyczna liczba jest przyczynowa, czy jest źródłem zmiany w drugiej zmiennej.

Aby przeciwdziałać temu problemowi możesz wdrożyć zmianę dla 95% swoich odbiorców a pozostałe 5% zachować jako grupę kontrolną. Testuj nieustannie te 2 grupy, by ocenić, czy pozytywna zmiana wynika z wygranego wariantu, czy z zupełnie innego powodu.

Błędna interpretacja zaufania

Kolejnym problemem jest to, że nadal istnieją nieporozumienia w interpretacji zaufania. Załóżmy, że test wykazuje wzrost o 4,5% i poziom ufności 98%. To nie znaczy, że efekt wynosi 4,5% z prawdopodobieństwem 98%!

Każda analiza pewności dostarcza przedział, który zawiera oczekiwany wzrost z pewnym prawdopodobieństwem (zaufanie). To wszystko. W tym przykładzie może to oznaczać, że efekt oparty na zmierzonych wartościach mieści się w przedziale od 2% do 7% z prawdopodobieństwem 98%.

Jest zatem błędem zakładać, że rzeczywisty efekt odpowiada dokładnie wynikowi testu. Odstęp ten staje się jednak mniejszy, im dłużej trwa test, ale nigdy nie dociera do dokładnego oszacowania punktu. Poziom ufności po prostu podaje szacunek o tym, jak stabilny jest wynik.

Duża akcja marketingowa rywala. Nagły krach ekonomiczny. Afera z udziałem twojej firmy. Albo wręcz przeciwnie – filmik viralowy, który sprowadził na twoją stronę tysiące nowych odbiorców.

Podczas oceny wyników weź pod uwagę czynniki losowe, które mogą odegrać dużą rolę w powodzeniu lub niepowodzeniu testu A/B.

Każdy design strony www ma określone możliwości zmiany na lepsze. Nie przeprowadzaj setek testów A/B, bo po jakimś czasie skończysz z wynikami, gdzie jeden wariant od drugiego różni się ułamkiem procenta. Uwierz mi, nie chcesz marnować swojego czasu na takie eksperymenty.

Jeśli polegasz wyłącznie na liczbach z narzędzia do testowania, może to prowadzić do błędów i może zagrozić ważności wyników. Aby tego uniknąć, należy przestrzegać kilku podstawowych zasad dla każdej fazy testu.

W przypadku testów A/B istnieje regularny konflikt między zapotrzebowaniem naukowym na ważność testu a rzeczywistymi potrzebami biznesowymi. Powinieneś spróbować znaleźć dobrą środkową ścieżkę, aby twoje testy zawsze zapewniały praktyczne, trafne wyniki, podczas gdy wciąż masz wystarczającą wiarę w swoje dane testowe.