Jak testowanie pilotażowe może poprawić badania z użytkownikami?

Przeczytaj ten tekst aby dowiedzieć się czym jest testowanie pilotażowe i jak ma się do przeprowadzania badań z użytkownikami. Dowiedz się jak badania pilotażowe mogą poprawić cały proces badań UX i uzyskać satysfakcjonujące, rzetelne wyniki.

Jak testowanie pilotażowe może poprawić badania z użytkownikami?

1. Co oznacza pilotaż?
2. Czym jest testowanie pilotażowe kontekście badań UX?
3. Jak testowanie pilotażowe może poprawić badania z użytkownikami?
4. Podsumowanie

Co oznacza pilotaż?

Pilotaż z definicji oznacza realizację projektu wstępnego, ma na celu rozpoznanie barier i zebranie cennych informacji niezbędnych do dalszej realizacji projektu na szerszą skalę. Najprościej mówiąc, jest to wstępne, nieoficjalnie sprawdzenie danego produktu, rozwiązania i wyłapanie błędów — aby usprawnić go w przyszłości przed właściwym jego wypuszczeniem, zastosowaniem. W artykule określenia „pilotaż” będziemy używać zamiennie z „testowanie pilotażowe” i wyjaśnimy czym jest pilotaż w kontekście badań user experience.

Czym jest testowanie pilotażowe kontekście badań UX?

Testy pilotażowe w badaniach user experience to testowe sesje badawcze przeprowadzane raz lub dwa przed właściwym testem czy wywiadem. Pozwala „dostroić” użyteczność badania do respondenta, co pozwala na późniejszym etapie łatwiej i sprawniej przeprowadzić właściwe badanie. Pozwala zwalidować treści zadań — czy są zrozumiałe i jasne dla użytkowników, poznać szacowany czas badania co pozwoli na lepsze, bardziej realne zaplanowanie go, a w przypadku jeśli sam test pójdzie sprawnie, możemy zyskać dodatkowe dane do analizy badawczej.

W teście pilotażowym przeważnie przeprowadza się sesję lub dwie przed głównym, zaplanowanym badaniem. Taka niewielka liczba sesji zazwyczaj wystarczy, aby przygotować się do właściwego badania i upewnić się, że wszystko jest w porządku. Celem takiego testu jest przetestowanie badania i zapewnienie, że pełne, właściwe badanie przebiega tak gładko, jak to tylko możliwe. Istnieje kilka sytuacji, w których testy pilotażowe mogą być szczególnie istotne:

• Kiedy projektant jest nowy w organizacji czy w zespole lub nie ma doświadczenia w przeprowadzaniu testów użyteczności. Pozwala to na pierwszą próbę z sesją testową, której wyniki możemy zawsze pominąć w oficjalnej analizie w razie niepowodzenia.
• Testowanie w nieznanym obszarze tematycznym. Jeśli nie jesteś ekspertem w danej dziedzinie, testy pilotażowe mogą pomóc Ci się lepiej przygotować.
• Prowadzenie zdalnego, nie moderowanego badania. Za każdym razem, gdy instrukcje do testu nie wychodzą z ust badacza, a są np. przesyłane do testujących użytkowników, którzy muszą działać samodzielnie, należy je przetestować, aby ograniczyć możliwości błędnej interpretacji. W przypadku testów niemoderowanych użytkownik nie ma możliwości zadać pytania czy poprosić o wyjaśnienie czegoś jeśli napotka problem w trakcie badania.
• Przeprowadzenie badania ilościowego. Te zazwyczaj wykonuje się na większą skalę, aby można było obliczyć statystycznie istotne wyniki. W takich badaniach każda sesja musi przebiegać w ten sam sposób, w związku z czym należy stworzyć scenariusz i solidnie go przetestować.

Jak testowanie pilotażowe może poprawić badania z użytkownikami?

Testy pilotażowe pozwalają znacząco poprawić faktyczne badania z użytkownikami — tym samym wpływają na końcowy efekt projektu. Jednym z głównych benefitów pilotażu jest to, że są tak zwaną „próbą generalną” przed badaniem. Pozwala to upewnić się, że moderator i cały zespół badawczy są przygotowani na wszystkie ewentualności, sprawdzić, czy wszelkie potrzebne materiały są wydrukowane, strona działa i jest funkcjonalna, przygotowano formularz zgody i ustawiono (działające) kamery pod odpowiednim kątem. Próba generalna przed badaniem jest doskonałym sposobem na sprawdzenie gotowości zespołu.

Badania pilotażowe mają też inną cenną zaletę — pozwalają przetestować zadania. Jeśli użytkownik nie poradzi sobie z testem (tak jak zakładaliśmy) z powodu źle napisanego zadania to wpływamy niekorzystnie na wyniki badania. Zbyt skomplikowana, niejasna treść zadania zabiera czas na studiowanie interfejsu, wymaga przeredagowania treści zadania i dodatkowych wyjaśnień, a także rozprasza zarówno użytkownika jak i facylitatora. Często zadania, które nam (badaczom, projektantom) mogą wydawać się jasne i proste, mogą być trudne i mylące z punktu widzenia użytkownika. Testowanie pilotażowe pozwala zidentyfikować takie punkty zapalne przed prawdziwym badaniem. Pozwoli to na spokojnie zmodyfikować treść czy zakres zadań i zapewnić płynność badania — i lepsze wyniki!

Testy pilotażowe są istotne także z powodu czasu — pozwalają z lepszą dokładnością ustalić, ile rzeczywiste badanie potrwa i lepiej zaplanować spotkania z testującymi użytkownikami. Oszacowanie czasu na wykonanie zadania na podstawie własnych doświadczeń może często mijać się z rzeczywistym potrzebnym czasem. Dlatego przeprowadzenie pilotażu z jednym lub dwoma pilotażowymi użytkownikami pozwala określić to z dużo większą dokładnością.

Ostatnią zaletą testów pilotażowych, o której chcemy opowiedzieć jest fakt, że jeśli pójdą one sprawnie, zyskujemy dane, które możemy wykorzystać w finalnej analizie badawczej. Jeśli sesja pilotażowa nie wykryje większych błędów w przygotowaniach zespołu, nasz tester-użytkownik wykona wszystkie zaplanowane zadania i nie będzie miał problemu z interpretacją ich treści zyskujemy wartościowe dane, które mogą zostać. Testowanie pilotażowe – mimo, że pilotażowe – może dostarczyć nam nie tylko cennych informacji o przebiegu badania i naszym przygotowaniu ale też o samym produkcie, użyteczności interfejsu i jego funkcjonowaniu.

Podsumowanie

Mamy nadzieję, że udało nam się przekonać was, że testy pilotażowe są bardzo istotne w badaniach UX oraz że niosą za sobą wiele korzyści dla zespołu projektowego, przebiegu dalszych badań, ich wyników i efektu finalnego projektu w szerszym znaczeniu. Na koniec mamy dla was dwie wskazówki dotyczące planowania badań pilotażowych:

• aby jak najlepiej wykorzystać sesje pilotażową, zaplanuj ją przynajmniej 1 dzień przed docelowym badaniem, taki zapas czasu pozwoli tobie i twojemu zespołowi na spokojne wprowadzenie potrzebnych modyfikacji przed kolejnym badaniem
• rekrutując użytkowników testowych do badania szukaj osób, które pokrywają się z profilem twojego użytkownika, dzięki temu jego feedback będzie bardziej istotny (takie działanie pozwoli też na dodanie tego badania do ostatecznej analizy wyników – ponieważ testowy użytkownik będzie zgodny z profilem naszego docelowego użytkownika)

Wiemy, że przeprowadzanie testów pilotażowych to dodatkowy czas i wysiłek zespołu: trzeba zrekrutować dodatkowych uczestników, przygotować materiały kilka dni wcześniej, zaplanować i przeprowadzić dodatkową sesję (lub nawet kilka). Pamiętaj jednak o płynących z niej korzyściach – decydując się na pilotaż zwiększasz szanse na to, że końcowe badanie przebiegnie sprawniej, co ułatwi uzyskanie wyników ważnych dla Twojego zespołu, a ostatecznie dla Twojego produktu.

Przeczytaj także nasz artykuł z serii Wprowadzenie do UX

Jeśli podobają Ci się treści, które tworzymy, sprawdź również: Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest,TikTok.

Badania UX:

1. Czym są badania UX?
2. Rodzaje badań UX
3. Czym są pytania badawcze i jak je formułować?
4. Proces zbierania wymagań dla projektów UI/UX
5. Jak wykorzystać dane już posiadane przez klienta?
6. Jak napisać plan badań UX?
7. Jak wybrać odpowiednią metodę badawczą?
8. Jak testowanie pilotażowe może poprawić badania z użytkownikami?
9. Jakie narzędzia i kanały wykorzystywać przy rekrutacji uczestników badania UX?
10. Ankiety przesiewowe dla badań UX
11. Zachęty do badań UX
12. Badania UX z udziałem dzieci
13. Metody badań odkrywczych
14. Czym jest desk research?
15. Jak przeprowadzać wywiady z użytkownikami?
16. Jak przeprowadzać badania dzienniczkowe?
17. Czym jest grupa fokusowa w badaniach?
18. Czym są badania etnograficzne?
19. Czym są badania kwestionariuszowe?
20. Czym jest sortowanie kart (card sorting)?
21. Czym są badania ewaluacyjne?
22. Czym są testy użyteczności?
23. Kiedy i jak przeprowadzać testy preferencji?
24. Czym są testy A/B w badaniach UX?
25. Eyetracking w testowaniu UX
26. Czym jest test drzewa w badaniach UX?
27. Testy pierwszego kliknięcia w badaniach UX
28. Czym jest analiza zadań w badaniach UX