Testy A/B i wielowymiarowe – co to jest? Jak je przeprowadzić?

 Czym są testy A/B?

Testy A/B to testy przeprowadzane na ogół na stronach internetowych, mailach lub banerach reklamowych. Na czym polegają?

• Użytkownicy, którzy odwiedzają daną stronę lub widzą maila/baner, zostają w sposób losowy podzieleni na dwie grupy.
• Jednej z grup zostaje wyświetlona pierwsza wersja testu, a pozostałym osobom druga opcja. Zazwyczaj każdą wersję testu powinno zobaczyć 50% odwiedzających.
• Następnie dzięki analizie statystycznej można sprawdzić, która z wersji reklamy lub strony internetowej okazała się efektywniejsza. Liczy się obrany wcześniej cel (np. większa liczba kliknięć lub większa liczba zebranych leadów).

Testować można też więcej niż dwa warianty – przykładowo test A/B/C będzie miał 3 warianty i każdy z wariantów wyświetli się odpowiednio 33%, 33% i 34% użytkownikom.

Wersje strony powinny różnić się tylko jednym czynnikiem, by łatwo można było określić, co spowodowało zmianę. Dlatego w teście A/B nie testuj jednocześnie kilku zmian, np. ceny, zdjęcia i koloru buttona. W takim wypadku lepszym wyborem będzie test wielowymiarowy.

Testy A/B warto przeprowadzać przy wdrożeniach nowych rozwiązań, aby sprawdzić, czy nie będą mieć negatywnego wpływu na stronę, oraz w celu optymalizacji strony pod kątem konwersji.

Czym są testy wielowymiarowe?

Innym rodzajem testu jest test wielowymiarowy (MVT – multivariate testing). Działaon podobnie do testów A/B, ale porównywana jest w nim większa liczba zmiennych. W takim teście tworzone są warianty, które zawierają różne kombinacje elementów, które chcemy przetestować. Pozwala on nam się dowiedzieć, jaka kombinacja kilku elementów na stronie (np. nagłówka, tekstu i zdjęcia) jest najskuteczniejsza.

Test wielowymiarowy wymaga bardzo dużego ruchu, dlatego tylko duże serwisy mogą sobie pozwolić na jego przeprowadzenie (osiągnięcie istotności statystycznej jest bardzo trudne).

Po co robić testy A/B i wielowymiarowe?

Najczęściej celem testu jest podniesienie współczynnika konwersji. Nie jest to jednak jedyna korzyść, jaką możemy wynieść z takiego testu. Testy witryny pozwalają również na podejmowanie lepszych decyzji opartych na wysokiej jakości danych. Efektem testów A/B może też być lepsze poznanie naszego użytkownika, bo dzięki analizie wpływu danych elementów strony na jego zachowanie możemy dowiedzieć się, jakie są jego potrzeby i oczekiwania.

Przykładowe pytania, na które mogą pomóc odpowiedzieć testy A/B:

• Jakie CTA działa skuteczniej na naszych odwiedzających?
• Czy skuteczniejsza jest ścieżka koszyka jednostronna, czy wieloetapowa?
• Czy należy wprowadzić nową funkcjonalność, czy nie?
• Czy zmiana koloru buttona wpłynie na jego CTR?

Źródło: szablon uCommerce

Czy testy A/B i wielowymiarowe są dla mnie?

Nawet jeśli dostrzegasz potencjał do przeprowadzenia testu na swojej stronie, nie oznacza to jeszcze, że musisz go przeprowadzić. Jeśli ruch na badanej stronie jest zbyt mały, to nie powinieneś korzystać z testu A/B. W takim wypadku możesz wprowadzić zmiany bez ich wcześniejszego testowania. Przy małym ruchu niemożliwe będzie wykazanie istotności statystycznej wygranej odmiany testu.

Jeśli masz wątpliwości, czy Twoja strona będzie odpowiednia do przeprowadzenia na niej testu AB, możesz skorzystać z kalkulatora: https://abtestguide.com/abtestsize/.

Jak korzystać z kalkulatora do testów A/B?

1. Wprowadź współczynnik konwersji Twojej witryny i tygodniową liczbę użytkowników. Nie musisz zmieniać pozostałych danych.
2. Moc (Power) to zdolność testu do wykrycia efektu, jeśli jest tam efekt do wykrycia.
3. Im wyższy poziom ufności [Required confidence level (1 – alpha)], tym lepiej. Przykładowo – ustawiając poziom ufności na 95%, możesz mieć pewność w 95%, że wyniki testu są wynikiem Twoich zmian, a nie dziełem przypadku.

• Czas trwania jest zależny od wielu czynników, m.in. ruchu na testowanej stronie oraz względnego wzrostu współczynnika konwersji, który osiągnęliśmy w teście A/B, jednak test zawsze powinien trwać pełny tydzień. Z uwagi na różne zachowania zakupowe użytkowników w poszczególne dni tygodnia zadbajmy o to, żeby trwał 1, 2, 3 lub 4 tygodnie (raczej nie dłużej). Dokładnie możesz to sprawdzić we kalkulatorze testów A/B.

Warto również przeprowadzić test A/A, czyli test dwóch tych samych odmian strony. Jego celem jest sprawdzenie, czy współczynnik konwersji dla obu grup będzie porównywalny, a w konsekwencji:

• Czy narzędzie, którego używasz, działa poprawnie?
• Jaki jest bazowy przedział wysokości współczynnika konwersji?
• Jaka jest minimalna liczba użytkowników, którą powinieneś przetestować?

Co testować?

Ustal KPI Twojej strony (np. transakcje, rejestracje, czas spędzony na stronie) i na ich podstawie zastanów się, które miejsca w witrynie są najważniejsze w jego osiągnięciu.

Strony i elementy strony, które warto wziąć pod uwagę:

• Strony docelowe.
• Formularze kontaktowe.
• Strona rejestracji.
• Ścieżka koszyka.
• Strony produktu.
• Cennik.

Jakich narzędzi  używać do testów A/B i innych?

Google Optimize to narzędzie od Google do tworzenia testów A/B, MVT i personalizacji. Jego największą zaletą jest bezpłatna wersja podstawowa oraz połączenie z Google Analytics, dzięki czemu dane z Analytics znajdziesz w Optimize, a dane z Optimize w Analytics. Wersja płatna narzędzia – Google Optimize 360 – sprawdzi się na większych stronach. Dla małych i średnich stron oraz dla osób, które rozpoczynają przygodę z testami A/B, wersja bezpłatna będzie wystarczająca.

Dla poszukujących dodatkowych funkcjonalności i dla użytkowników bardziej obeznanych w analityce internetowej i optymalizacji współczynnika konwersji lepszym wyborem może być Optimizely lub VWO.

Jak przeprowadzić testy A/B w Google Optimize?

Instalacja Google Optimize

1. Na stronie https://optimize.google.com/ kliknij „Wypróbuj” i utwórz konto oraz kontener.

2. Zainstaluj na stronie (bezpośrednio w kodzie lub przez Google Tag Manager) kod Google Optimize.

Warto również wdrożyć na stronę kod zapobiegający migotaniu (anti-flicker snippet), który należy umieścić w części <head> witryny.

Szczegóły znajdziesz [tu].

3. Kliknij w „Ustawienia” i połącz utworzony kontener z usługą Google Analytics Twojej witryny.

Tworzenie testu A/B

1. Konfigurację rozpocznij od nadania nazwy i wyboru strony edytora. Strona edytora to strona, która będzie służyć jako swoisty „szablon” – to na niej będziesz edytować zmiany. Z kolei strony, na których prowadzony będzie test (czyli strony, które odwiedzą użytkownicy), wybierzesz później.

2. Dodaj wariant, który będziesz testować względem wersji kontrolnej.

Możesz zmienić wagę danego wariantu, czyli zmienić odsetek użytkowników, którym wyświetli się dany wariant.

Edycja wariantu:

Aby skorzystać z edytora, najpierw zainstaluj wtyczkę do Chrome Google Optimize.

Edytor pozwala w intuicyjny sposób wprowadzać zmiany na stronie. Kliknij w element, który chcesz zmienić, a następnie skorzystaj z palety edytora (okna w prawym dolnym rogu), by łatwo zmienić jego wygląd czy położenie. Aby zmienić treść elementu, kliknij na niego prawym przyciskiem myszki i wybierz „Edytuj tekst”.

Możesz także dodać kod HTML, CSS i JavaScript.

Gdy zmiany będą gotowe, kliknij „Gotowe”.

3. Ustawienie kierowania

• Kierowanie na strony – w tym miejscu ustawiasz, które strony ma objąć eksperyment.
• Kierowanie na odbiorców – masz możliwość skorzystania z wielu szczegółowych typów reguł kierowania. Przykładowo możesz wyświetlić swój test tylko mieszkańcom Warszawy czy użytkownikom, którzy przed wejściem na Twoją witrynę wpisali konkretne słowo w kampanii Google Ads.

4. Dodanie celu testu

Najlepiej, by celem testu była konwersja (transakcja czy przesłanie formularza). W zależności od liczby konwersji możesz wybrać inny cel testu. Jeśli na stronie jest niewiele konwersji, możesz również próbować optymalizować stronę pod kątem liczby kliknięć w dany element.

Jak czytać wyniki testu A/B?

Kalkulatory przydają się nie tylko na etapie przygotowania do testu, ale również przy sprawdzaniu jego wyników.

We wcześniej wspomnianym kalkulatorze AB Testguide wybierz „Test-evaluation” i wpisz liczbę użytkowników i liczbę konwersji dla każdego z wariantów. Nie musisz zmieniać pozostałych danych.

Na podstawie wprowadzonych danych kalkulator sam obliczy, czy Twój test jest istotny statystycznie, a więc sprawdzi, jakie jest prawdopodobieństwo, że uzyskany wynik był dziełem przypadku.

Podsumowanie

Testy A/B i MVT pozwalają w szybki sposób odpowiedzieć na pytania dotyczące efektywności treści i designu naszej witryny. Mogą też zredukować zagrożenia, które potencjalnie pojawią się w procesie optymalizacji witryny. W efekcie teksty A/B i MVT mogą odnaleźć najlepszą wersję naszej strony.

Pamiętaj, że testowanie to nieustanny proces, a wiele testów A/B może skończyć się niepowodzeniem – niekoniecznie dlatego, że zostały źle przeprowadzone lub ustawione.

Jeśli czujesz, że potrzebujesz pomocy przy ustawianiu i przeprowadzaniu testów A/B – odezwij się do nas!