Testy A/B są bardzo ciekawą metodą badawczą, która pozwala przetestować jednocześnie dwie alternatywne wersje danego rozwiązania. Przeczytaj artykuł, aby dowiedzieć się, jak przeprowadzić testy A/B oraz poznać związane z nimi korzyści i ograniczenia.
Czym są testy A/B w badaniach UX – spis treści:
- Czym są testy A/B? w kontekście badań UX?
- Kiedy wykorzystać testy A/B?
- Jak przeprowadzać testy A/B?
- Podsumowanie
Czym są testy A/B w kontekście badań UX?
Testy A/B pozwalają na przetestowanie dwóch wersji produktu/rozwiązania (wersji A i wersji B) oraz ocenę, która z nich spotka się z większą aprobatą ze strony użytkowników. Może być to mierzone w oparciu o ustalony współczynnik konwersji, czas spędzany na stronie czy opinie użytkowników i ich skłonność do polecenia strony/produktu innym. Przed rozpoczęciem testów należy zdefiniować i ustalić co będzie oznaczało „sukces” danej wersji.
Kiedy wykorzystać testy A/B?
Testy A/B mogą być wykorzystywane do badania prototypu, w fazie rozwoju produktu oraz do budowania strategii marketingowych i promocyjnych. Doskonale sprawdzają się przy podejmowaniu mniejszych, jak i większych decyzji, które mogą mieć wpływ na wynik finansowy organizacji. Testy A/B warto stosować w sytuacji, kiedy mamy już opartą na wcześniejszych badaniach hipotezę i chcemy potwierdzić, że jest to właściwe rozwiązanie.
Pytania badawcze skonstruowane do testów A/B mogą brzmieć np.:
- Która wersja produktu generuje wyższy współczynnik konwersji?
- Która z dwóch różnie sformułowanych powiadomień push zwiększa zaangażowanie użytkowników w aplikacji?
Dobry test A/B powinien zawierać jak najprostsze porównania np. zamiast porównywać dwie zupełnie różne wersje witryny lepiej przetestować dwa różne style nagłówka czy dwie różne lokalizacje przycisku CTA. Dzięki drobnym porównaniom będziemy w stanie realnie określić, która czcionka, kolor, element czy jego lokalizacja lepiej wpływa na doświadczenia użytkowników.
W tej metodzie badawczej wyróżnić możemy testy jednowariantowe i wielowariantowe. Test jednowariantowy bada różnice pomiędzy dwoma wariantami danego elementu — np. przycisk czerwony i przycisk niebieski. Z kolei test wielowariantowy może porównywać jednocześnie więcej niż 2 warianty przycisku — np. czerwony, niebieski, zielony i biały (a dodatkowo mogą jeszcze różnić się nagłówkami np. „Sprawdź to” i „Zobacz więcej”).
Testy A/B są bardzo dobrą metodą badawczą, ponieważ w stosunkowo krótkim czasie i niskim kosztem możemy przetestować kilka wariantów produktu na dużej grupie realnych użytkowników. Nie porównuj jednak losowych elementów— skup się na aspektach, które faktycznie mogą mieć duży wpływ na ogólny odbiór produktu. Postaw hipotezę, przeprowadź inne, uzupełniające badania, skonsultuj się z zespołem projektantów i developerów, aby ustalić, które elementy faktycznie warto będzie sprawdzić w kilku wersjach, przeprowadzając jednowariantowe lub wielowariantowe testy A/B.
Testy A/B mogą być szybką formą badawczą – chociaż nie zawsze. Może pojawić się konieczność przeprowadzania ich nawet przez kilka tygodni, aby uzyskać wystarczającą ilość danych do analizy user experience (ale równie dobrze może Ci się to udać w ciągu kilku dni, czy nawet kilku godzin). Czas potrzebny na przeprowadzenie badanie zależy od wielu różnych czynników.
Jak przeprowadzać testy A/B?
- Zidentyfikuj swój problem.
- Dowiedz się jak najwięcej na temat problemu i użytkowników, poznaj ich.
- Sformułuj hipotezę, odpowiadając na pytanie, jak rozwiązać problem.
- Zdefiniuj swój cel.
- Zdefiniuj trafność statystyczną.
- Zdefiniuj wymaganą skalę wyników.
- Stwórz wersję B i przetestuj swoją hipotezę.
- Analizuj i działaj na podstawie wyników testu.
- Czym są badania UX?
- Rodzaje badań UX
- Czym są pytania badawcze i jak je formułować?
- Proces zbierania wymagań dla projektów UI/UX
- Jak wykorzystać dane już posiadane przez klienta?
- Jak napisać plan badań UX?
- Jak wybrać odpowiednią metodę badawczą?
- Jak testowanie pilotażowe może poprawić badania z użytkownikami?
- Jakie narzędzia i kanały wykorzystywać przy rekrutacji uczestników badania UX?
- Ankiety przesiewowe dla badań UX
- Zachęty do badań UX
- Badania UX z udziałem dzieci
- Metody badań odkrywczych
- Czym jest desk research?
- Jak przeprowadzać wywiady z użytkownikami?
- Jak przeprowadzać badania dzienniczkowe?
- Czym jest grupa fokusowa w badaniach?
- Czym są badania etnograficzne?
- Czym są badania kwestionariuszowe?
- Czym jest sortowanie kart (card sorting)?
- Czym są badania ewaluacyjne?
- Czym są testy użyteczności?
- Kiedy i jak przeprowadzać testy preferencji?
- Czym są testy A/B w badaniach UX?
- Eyetracking w testowaniu UX
- Czym jest test drzewa w badaniach UX?
- Testy pierwszego kliknięcia w badaniach UX
- Czym jest analiza zadań w badaniach UX
Zadbaj o wykorzystanie odpowiednich narzędzi analitycznych, aby mieć pewność, że znasz problem i wiesz, na czym dokładnie polega.
Dowiedz się, gdzie w procesie występuje problem i dlaczego sprawia on trudności użytkownikom. Szczegółowe zrozumienie problemu przyczyni się do bardziej wnikliwej analizy.
Hipoteza to możliwe do przetestowania przypuszczenie. Zasadniczo można go sformułować w formie warunku – “jeśli wydarzy się X to Z”, czyli np. „jeśli nagłówek będzie napisany czcionką 22, zamiast 18, konwersja wzrośnie”. Testy A/B pozwolą ci dowiedzieć się, czy twoje przypuszczenia przedstawione w hipotezie są słuszne.
Określ, co chcesz osiągnąć poprzez badanie i cały proces badawczo-projektowy – np. chcesz, aby więcej użytkowników klikało w przycisk CTA na stronie głównej.
Ustal jakie liczby są Ci potrzebne do skutecznej analizy badania oraz jakich liczb wymaga biznes (interesariusze) – np. czy wzrost konwersji o 2% będzie dla nich satysfakcjonujący i warto inwestować w badanie?
Jaka liczba użytkowników zapewni trafność statystyczną? Jaki procent dziennej, tygodniowej czy miesięcznej bazy użytkowników sprawi, że te wyniki będzie można uznać za wartościowe i rozstrzygające? Koniecznie ustal to przed przystąpieniem do badania.
Przygotuj wariant strony/produktu/funkcjonalności dla twojej hipotezy (wariant B) i rozpocznij testy. Na tym etapie wkraczają deweloperzy, którzy wdrażają drugie, alternatywne rozwiązanie dla istniejącego już produktu – a użytkownicy nieświadomie podzieleni na dwie grupy badawcze (grupę A i grupę B) i korzystają ze strony/aplikacji tak jak dotychczas. W czasie trwania testów postaraj się nie zaglądać do swoich danych, dopóki nie zbierzesz ich wystarczająco dużo, aby uzyskać wiarygodność statystyczną i realny wynik.
Jeśli twoja wersja B spełnia ustalony próg skuteczności i potwierdzą twoją hipotezę, możesz przystąpić do jej wdrożenia dla wszystkich użytkowników (już bez podziału na wersje A i B). Jeśli jednak hipoteza zostanie obalona, pozostań przy pierwotnej wersji A lub stwórz i przetestuj nową hipotezę. Skorzystaj też z alternatywnych metod badawczych w celu uzupełnienia danych.
Podsumowanie
Testy A/B są zagadnieniem dość technicznym. Niezbędna do zaprojektowania takiego testu może okazać się dobra znajomość statystyki, a także bardziej specjalistyczna wiedza techniczna / programistyczna (lub dobre stosunki z firmowym zespołem programistów). Jest to jednak bardzo bezpośrednia metoda — do tego dość prosta, szybka i tania. Pozwala porównać dwie alternatywne wersje produktu niewielkim kosztem i uzyskać satysfakcjonujące wyniki, w oparciu o testy z realnymi użytkownikami. Warto jednak pamiętać, że nie będziemy w stanie przetestować każdego elementu i drobiazgu na stronie — dlatego przeprowadzając testy A/B dobrze jest wesprzeć się dodatkowo innymi, uzupełniającymi metodami badawczymi.
Jeśli podobają Ci się treści, które tworzymy, sprawdź również: Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest,TikTok.