Testowanie pilotażowe - wypływ na badania UX

Przeczytaj ten tekst aby dowiedzieć się czym jest testowanie pilotażowe i jak ma się do przeprowadzania badań z użytkownikami. Dowiedz się jak badania pilotażowe mogą poprawić cały proces badań UX i uzyskać satysfakcjonujące, rzetelne wyniki.

Jak testowanie pilotażowe może poprawić badania z użytkownikami?

Co oznacza pilotaż?
Czym jest testowanie pilotażowe kontekście badań UX?
Jak testowanie pilotażowe może poprawić badania z użytkownikami?
Podsumowanie

Co oznacza pilotaż?

Pilotaż z definicji oznacza realizację projektu wstępnego, ma na celu rozpoznanie barier i zebranie cennych informacji niezbędnych do dalszej realizacji projektu na szerszą skalę. Najprościej mówiąc, jest to wstępne, nieoficjalnie sprawdzenie danego produktu, rozwiązania i wyłapanie błędów — aby usprawnić go w przyszłości przed właściwym jego wypuszczeniem, zastosowaniem. W artykule określenia „pilotaż” będziemy używać zamiennie z „testowanie pilotażowe” i wyjaśnimy czym jest pilotaż w kontekście badań user experience.

Czym jest testowanie pilotażowe kontekście badań UX?

Testy pilotażowe w badaniach user experience to testowe sesje badawcze przeprowadzane raz lub dwa przed właściwym testem czy wywiadem. Pozwala „dostroić” użyteczność badania do respondenta, co pozwala na późniejszym etapie łatwiej i sprawniej przeprowadzić właściwe badanie. Pozwala zwalidować treści zadań — czy są zrozumiałe i jasne dla użytkowników, poznać szacowany czas badania co pozwoli na lepsze, bardziej realne zaplanowanie go, a w przypadku jeśli sam test pójdzie sprawnie, możemy zyskać dodatkowe dane do analizy badawczej.

W teście pilotażowym przeważnie przeprowadza się sesję lub dwie przed głównym, zaplanowanym badaniem. Taka niewielka liczba sesji zazwyczaj wystarczy, aby przygotować się do właściwego badania i upewnić się, że wszystko jest w porządku. Celem takiego testu jest przetestowanie badania i zapewnienie, że pełne, właściwe badanie przebiega tak gładko, jak to tylko możliwe. Istnieje kilka sytuacji, w których testy pilotażowe mogą być szczególnie istotne:

Kiedy projektant jest nowy w organizacji czy w zespole lub nie ma doświadczenia w przeprowadzaniu testów użyteczności. Pozwala to na pierwszą próbę z sesją testową, której wyniki możemy zawsze pominąć w oficjalnej analizie w razie niepowodzenia.
Testowanie w nieznanym obszarze tematycznym. Jeśli nie jesteś ekspertem w danej dziedzinie, testy pilotażowe mogą pomóc Ci się lepiej przygotować.
Prowadzenie zdalnego, nie moderowanego badania. Za każdym razem, gdy instrukcje do testu nie wychodzą z ust badacza, a są np. przesyłane do testujących użytkowników, którzy muszą działać samodzielnie, należy je przetestować, aby ograniczyć możliwości błędnej interpretacji. W przypadku testów niemoderowanych użytkownik nie ma możliwości zadać pytania czy poprosić o wyjaśnienie czegoś jeśli napotka problem w trakcie badania.
Przeprowadzenie badania ilościowego. Te zazwyczaj wykonuje się na większą skalę, aby można było obliczyć statystycznie istotne wyniki. W takich badaniach każda sesja musi przebiegać w ten sam sposób, w związku z czym należy stworzyć scenariusz i solidnie go przetestować.

Jak testowanie pilotażowe może poprawić badania z użytkownikami?

Testy pilotażowe pozwalają znacząco poprawić faktyczne badania z użytkownikami — tym samym wpływają na końcowy efekt projektu. Jednym z głównych benefitów pilotażu jest to, że są tak zwaną „próbą generalną” przed badaniem. Pozwala to upewnić się, że moderator i cały zespół badawczy są przygotowani na wszystkie ewentualności, sprawdzić, czy wszelkie potrzebne materiały są wydrukowane, strona działa i jest funkcjonalna, przygotowano formularz zgody i ustawiono (działające) kamery pod odpowiednim kątem. Próba generalna przed badaniem jest doskonałym sposobem na sprawdzenie gotowości zespołu.

Badania pilotażowe mają też inną cenną zaletę — pozwalają przetestować zadania. Jeśli użytkownik nie poradzi sobie z testem (tak jak zakładaliśmy) z powodu źle napisanego zadania to wpływamy niekorzystnie na wyniki badania. Zbyt skomplikowana, niejasna treść zadania zabiera czas na studiowanie interfejsu, wymaga przeredagowania treści zadania i dodatkowych wyjaśnień, a także rozprasza zarówno użytkownika jak i facylitatora. Często zadania, które nam (badaczom, projektantom) mogą wydawać się jasne i proste, mogą być trudne i mylące z punktu widzenia użytkownika. Testowanie pilotażowe pozwala zidentyfikować takie punkty zapalne przed prawdziwym badaniem. Pozwoli to na spokojnie zmodyfikować treść czy zakres zadań i zapewnić płynność badania — i lepsze wyniki!

Testy pilotażowe są istotne także z powodu czasu — pozwalają z lepszą dokładnością ustalić, ile rzeczywiste badanie potrwa i lepiej zaplanować spotkania z testującymi użytkownikami. Oszacowanie czasu na wykonanie zadania na podstawie własnych doświadczeń może często mijać się z rzeczywistym potrzebnym czasem. Dlatego przeprowadzenie pilotażu z jednym lub dwoma pilotażowymi użytkownikami pozwala określić to z dużo większą dokładnością.

Ostatnią zaletą testów pilotażowych, o której chcemy opowiedzieć jest fakt, że jeśli pójdą one sprawnie, zyskujemy dane, które możemy wykorzystać w finalnej analizie badawczej. Jeśli sesja pilotażowa nie wykryje większych błędów w przygotowaniach zespołu, nasz tester-użytkownik wykona wszystkie zaplanowane zadania i nie będzie miał problemu z interpretacją ich treści zyskujemy wartościowe dane, które mogą zostać. Testowanie pilotażowe – mimo, że pilotażowe – może dostarczyć nam nie tylko cennych informacji o przebiegu badania i naszym przygotowaniu ale też o samym produkcie, użyteczności interfejsu i jego funkcjonowaniu.

Podsumowanie

Mamy nadzieję, że udało nam się przekonać was, że testy pilotażowe są bardzo istotne w badaniach UX oraz że niosą za sobą wiele korzyści dla zespołu projektowego, przebiegu dalszych badań, ich wyników i efektu finalnego projektu w szerszym znaczeniu. Na koniec mamy dla was dwie wskazówki dotyczące planowania badań pilotażowych:

aby jak najlepiej wykorzystać sesje pilotażową, zaplanuj ją przynajmniej 1 dzień przed docelowym badaniem, taki zapas czasu pozwoli tobie i twojemu zespołowi na spokojne wprowadzenie potrzebnych modyfikacji przed kolejnym badaniem
rekrutując użytkowników testowych do badania szukaj osób, które pokrywają się z profilem twojego użytkownika, dzięki temu jego feedback będzie bardziej istotny (takie działanie pozwoli też na dodanie tego badania do ostatecznej analizy wyników – ponieważ testowy użytkownik będzie zgodny z profilem naszego docelowego użytkownika)

Wiemy, że przeprowadzanie testów pilotażowych to dodatkowy czas i wysiłek zespołu: trzeba zrekrutować dodatkowych uczestników, przygotować materiały kilka dni wcześniej, zaplanować i przeprowadzić dodatkową sesję (lub nawet kilka). Pamiętaj jednak o płynących z niej korzyściach – decydując się na pilotaż zwiększasz szanse na to, że końcowe badanie przebiegnie sprawniej, co ułatwi uzyskanie wyników ważnych dla Twojego zespołu, a ostatecznie dla Twojego produktu.

Przeczytaj także nasz artykuł z serii Wprowadzenie do UX

Jeśli podobają Ci się treści, które tworzymy, sprawdź również: Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest,TikTok.

Autor: Klaudia Kowalczyk
Graficzka i UX designerka, która za pomocą projektów przekazuje to, co trudno ująć w słowach. Zwraca uwagę na najmniejsze detale – każdy użyty kolor, linia czy czcionka ma znaczenie. Klaudia pasjonuje się projektowaniem grafiki i stron internetowych.

Zobacz wszystkie posty