Test & Feedback – część 2 – narzędzie do testów eksploracyjnych

W poprzednim wpisie pokazałem wam czym Test & Feedback jest. Dzisiaj opowiem wam o nim w trybie Connected, który zawiera więcej możliwości. Szczególnie polecam ten wpis, jeżeli w firmie korzystacie z VSTS.

Czym jest VSTS?

Platforma firmy Microsoft, która zawiera w sobie:

  • Możliwość tworzenia repozytorium Gita (Jest możliwość dołączenia istniejącego repozytorium). TFVC jest wspierany.
  • Wspiera Agile, więc możemy dodawać zadania poprzez wbudowany kanban board.
  • Również zawiera w sobie wsparcie dla testów, o którym dziś chcę opowiedzieć.
  • CI / CD możliwość budowania aplikacji na wew.  lub zew. build serwerze.
  • Realesowanie paczek NPM czy NuGet packages.

Czym jest Test & Feedback?

Aplikacja pomagająca przeprowadzać proces testowania eksploracyjnego naszych aplikacji www (Jeżeli nie czytałeś pierwszego wpisu zachęcam link).

Jakie ma plusy Test & Feedback w trybie connected?

  • Tworzenie video z testów – jedno video maksymalnie 10 minut (Możemy załączyć video do naszego zadania).
  • Szybkie tworzenie przypadków testowych podczas sesji eksploracyjnej – jak wpadniemy na ciekawy pomysł możemy szybko go dodać.
  • Załączanie informacji z przeglądarki np. ile ładowała się strona.
  • Dodawanie błędów jako zadania.
  • Dodawanie zadań.

Czego potrzebujemy?

Test & Feedback

 

 

 

Tworzymy konto na stronie (Link). VSTS jest darmowy do 5 osób, więc jeżeli jesteście małą firmą lub sami chcecie nauczyć się tej platformy to zachęcam. Są ograniczenia, jeśli chodzi kwoty rocznego dochodu firmy w wersji bezpłatnej. Najlepiej skontaktować się z kimś z Microsoftu, jeżeli chcielibyście korzystać z VSTS komercyjnie w firmie.

 

 

Podstawowa konfiguracja projektu

Gdy się zalogujemy, wówczasz musimy podać adres url do naszego VSTS. W tym kroku również wybieramy, czy chcemy korzystać z Gita, czy z TFVC (System kontroli wersji stworzony przez Microsoft).

Test & Feedback

Przechodzimy do założenia teraz board przy naszym koncie VSTS.

Po założeniu boardu przechodzimy do instalacji pluginu. (Również Firefox jest wspierany)

https://chrome.google.com/webstore/detail/test-feedback/gnldpbnocfnlkkicnaplmkaphfdnlplb

W tym miejscu przechodzimy do dodania naszego adresu VSTS do pluginu Test & Feedback.

Klikamy na ikonę pluginu. Następnie wybieramy ustawienia i wprowadzamy adres naszego VSTSa.

 

Dashboard

Jeżeli chcemy mieć bardziej dostosowany do naszych potrzeb wygląd dashboardu możemy ułożyć go, tak jak nam pasuje.

Test & Feedback

 

W tym miejscu możemy nasz dashboard dostosować, tak aby wyświetlał dla nas informacje związane z testami.

 

Do boardu dodajemy przykładowe zadanie

Przechodzimy do naszego boardu (Work – > Backlog -> Stories -> Board)  gdzie mamy możliwość dodawania zadań i powiązanych z nimi testów.

Test & Feedback

Gdy dodaliśmy zadanie do naszego boardu możemy najechać myszką na to zadanie. W menu kontekstowym pojawia się opcja zrobienia sesji eksploracyjnej. Jeżeli klikniemy z tego miejsca nasz plugin, Test & Feedback będzie migać w obszarze pluginów w przeglądarce i automatycznie, gdy rozpoczniemy sesję powiążę ją nam z tym zadaniem.

 

Sesja eksploracyjne z Test & Feedback – Gdy nie chcemy łączyć jej z zadaniem

Oprócz łączenia naszej sesji z instniejącym już zadaniem możemy rozpoczać sesje bez zadania, a w razie potrzeby stworzyć je podczas sesji.

Przechodzę na testową stronę https://courseofautomationtesting.wordpress.com. Uruchamiam „play” w Test & Feedback.

Dalej przechodzę do formularza kontaktowego i wypełnieniu go podstawowymi, prawidłowymi danymi.

W tym miejscu możemy stworzyć test case z podstawowego wprowadzania danych. Dzięki tej możliwości możemy szybko dodać zadanie dla osoby, która ma zautomatyzować ten obszar.

Przechodzę do 

Automatycznie to, co klikałem i wprowadzałem podczas sesji będzie zmienione na test case, który możemy uruchamiać gdy załączymy nasz test case pod dany stories.

Gdy uruchomimy dany test case (Run Test) zostanie otwarty popup, który pozwala nam krok po kroku uruchamiać test.

Jest to wygodna forma realizowania test case’u.  Zrzuty ekranu, które są w popupie dodały się podczas, tego gdy stworzyliśmy test case. Test & Feedback sam je dodaje.

Dodawanie błędów przez Test & Feedback

Przyjmujemy scenariusz, że ikonka Instagrama, która znajduje się na testowej stronie, powinna przenosić do profilu tej strony, a nie do instagram.com. Po kliknięciu powinna otwierać ten link i przenosić do nowej karty, a nie otwierać link w bieżącej karcie.

Gdy dodajemy błąd możemy wpisać jego nazwę. Test &Feedback szuka, czy podobnego błędu nie dodał np. ktoś inny w systemie.

Gdy wykonujemy jakieś akcje automatycznie są one załączane jako zrzut ekranu:

  • Wpisywanie treści do pól.
  • Klikanie w określony element na stronie. Dodawana jest również ikonka celownika.

Tekst również jest dodawany, w zależności od tego, jaki to typ akcji był (w języku angielskim) np. Gdy klikamy w nagłówek –  Test & Feedback dodaje nam tę akcje jako „Click on” również jak wpisujemy, czy aktualizujemy tekst w polu jest on dodawany.

Observations – w tej sekcji dodał się czas ładowania strony instagram.com. W zgłoszeniu tego błędu raport jest również załączony. (Przydatna funkcja możemy od razu sprawdzić, czy strona nie ładuje się zbyt wolno.)

 

Gdy dodamy nasz błąd, będzie on widoczny w Session Timeline gdzie, po kliknięciu w nazwę przenosi nas do zgłoszenia tego błędu.

Tak jak widzimy automatycznie załączane są informacje na temat systemu, którego używamy, są one dość szczegółowe, więc przy trudno odtwarzalnych błędach może nam to pomóc.

Raport ładowania stron wygłąda tak:

Generuje się w htmlu. Jest możliwy do pobrania z zadania, które stworzyliśmy.

Czy warto korzystać z trybu Connected?

Connected jest znacznie bardziej rozwiniętym trybem od Standalone. Myślę, że Microsoft chce zachęcić nas do korzystania z VSTS.

Czy warto korzystać? Odpowiem – to zależy. Jeżeli korzystacie z Jiry i  wam się ona sprawdza, a nie korzystacie zbytnio ze stacku technologicznego Microsoftu – prawdopodobnie nie warto.

Warto na pewno, jeżeli korzystacie z VSTS w waszej firmie. Będziecie mogli użyć narzędzia, które pomoże wam w testach eksploracyjnych. Polecam samemu wypróbować i zdecydować. Tym bardziej, że jest dostępna pełnowartościowa, darmowa wersja do 5 osób.

Podsumowanie

W dzisiejszym wpisie dowiedzieliśmy się, w jaki sposób użyć Test & Feedback w trybie Connected, który pozwala nam na tworzenie jeszcze bardziej pełnych sesji eksploracyjnych. Zachęcam do spróbowania.

Jeżeli macie jakieś pytania zachęcam do kontaktu kontakt@testingplus.me.

 

Test & Feedback przydatne narzędzie do testów eksploracyjnych część 1.

W dzisiejszym wpisie chce przedstawić wam narzędzie Test & Feedback, które przydaje się podczas sesji eksploracyjnych i uważam, że jest jednym z najlepszych narzędzi tego typu i do tego jest jeszcze bezpłatne.

Czym jest Test & Feedback?

Jest to aplikacja w formie pluginu do przeglądarki, pomagająca śledzić proces testowania eksploracyjnego naszych aplikacji www.  Wspieranymi przeglądarkami są:

  • Chrome
  • Firefox

Edge ma planowane wsparcie.

Przeglądarki Chrome lub Firefox :

Mamy dwie możliwości na uruchamianie Test & Feedback

  • Connected – Gdy chcemy podłączyć się do istniejącego konta Visual Studio Team Services warto, jeżeli korzystacie z niego w zespole, jeżeli nie, polecam tryb Standalone.
  • Stadalone – Opcja dla osób, które nie korzystają z Visual Studio Team Services. Gdzie po sesji eksploracyjnej tworzony jest raport htmlowy, który możemy dodać do naszego ticketu np. w Jirze. Opcja zawiera ograniczenia, ale możliwe tworzenie jest raportu htmlu z testów, który możemy załączyć.

Jakie plusy ma Test & Feedback?

Moim zdaniem znacznie wspiera nasze skupienie, podczas testów eksploracyjnych. Dodatkowo pozwala robić szybkie screenshoty wraz z podpisem co jest nie tak i generować raport z naszej sesji eksploracyjnej. Tworzony jest jasny raport z naszych testów (Wiem, że często może być to bolączka podczas testów eksploracyjnych, a są organizacje, które potrzebują mieć bardziej standaryzowany proces, więc to narzędzie może być odpowiedzią na to).

Czego nie zawiera tryb Standalone?

Nie mamy możliwości nagrywania video podczas testów:

Wiem, że nie wszyscy są wielkimi zwolennikami video z testu, czasami może to pomóc programiście uchwycić dany problem. Z drugiej strony dobrze udokumentowane screenshoty mogą pomóc jeszcze bardziej. W trybie Connected długość video maksymalnie może wynosić 10 minut.

Możliwości tworzenia test caseów, zadań podczas sesji eksploracyjnej:

Podczas naszej sesji w szybki sposób możemy dodać zadanie powiązane z naszą sesją eksploracyjną. Jeszcze bardziej przydatną opcją jest tworzenie test caseów z sesji eksploracyjnej, które mogą być w przyszłości używane do testów regresji i być zautomatyzowane.

Kolejną różnicą jest to, że w trybie connected mamy możliwość załączenia naszego raportu z testów do danego ticketu. W trybie standalone, jeżeli nie korzystamy z TFS Services możemy to zrobić poprzez załączenie naszego raportu w htmlu do ticketu w jirze lub innym narzędziu do prowadzenia projektów.

Brak możliwości załączenia czasu ładowania strony

Podczas testów możemy dodać informacje z przeglądarki o tym jak długo nasza strona ładowała się. Przydatne do szybkiego spojrzenia na wydajność. W trybie Standalone tej opcji nie mamy.

 

Dziś zaczniemy od opcji „standalone”, która potrafi mniej niż connected, ale nie wymusza na nas używania VSTS (Visual Studio Team Services).

Jak korzystać z Test & Feedback?

Udajemy się w naszej przeglądarce na stronę, która chcemy testować. W moim przypadku jest to jakiś czas temu postawiony testowy blog https://courseofautomationtesting.wordpress.com.

Następnie klikamy na plugin Test & Feedback.

W tym momencie nasza sesja testowa rozpoczeła się. Podczas, której możemy dodawać notatki pomiędzy poszczególnymi krokami.

Jak dodać notatki?

Dodawanie notatek podczas sesji.

Jak dodać błąd?

Dodawanie błędów polega robimy poprzez kliknięcie w  ikonę:Następnie w menu „Create bug”

Tworzenie błędu w Test & Feedback.

 

Jak dodać screenshot?

Sprawa jest prosta. Znowu rozpoczynamy naszą sesję testową klikając w przycisk „play”. Następnie klikamy w ikonę znajdującą się obok „Play”. Podczas nagrywania mamy kilka opcji dodawania screensotów:

  • Screenshot z przeglądarki
  • Screenshot z ekranu (nie tylko przeglądarka)
  • Screenshot z aplikacji
Narzędzie do testów eksploracynych

Dodawanie screenshota (Przeglądarki, Ekranu, Aplikacji).

Kilka opcji, które umożliwiają nam opisać w lepszy sposób screenshot.

Do screenshota mamy kilka opcji edycji go przed dodaniem do raportu.

Gdy zatrzymamy naszą sesję testową zostanie utworzony raport w htmlu z podsumowanie naszych testów.

 

Przykładowy raport

Przykładowy raport z Test & Feedback (tryb standalone).

Podsumowanie

Dzisiaj poznaliśmy narzędzie Test & Feedback, które rozwijane jest przez Microsoft. Poznaliśmy tryb Standalone dla osób, które nie korzystają z technologii Visual Studio Team Services. Również pokaże wam w jednym z następnych wpisów jak używać wersji connected i co ona zawiera.