UX / Vyhodnocovanie použiteľnosti, zber dát a meranie výkonu používateľa

Vyhodnocovanie použiteľnosti

Vyhodnocovanie použiteľnosti

• Posúdenie vplyvu používateľského rozhrania na výkon a spokojnosť používateľa
• Identifikácia problémov použiteľnosti
• Vyhodnotenie prístupu používateľa k funkcionalite systému
• Porovnanie alternatívnych návrhov alebo prototypov

Kedy vyhodnocovať?

• V počiatočnom návrhu
• V priebežnom návrhu
• Pri úplnom návrhu
• Po nasadení

Počas celého životného cyklu, nielen na konci: iteratívny dizajn.

Inšpekčné metódy vyhodnocovania

Kognitívny prechod

Metóda hodnotenia použiteľnosti UX špecialistami bez účasti reálnych používateľov.

• Simulujú sa myšlienkové procesy nového používateľa
• Krok po kroku sa prechádza konkrétnym scenárom v systéme
• Môže robiť aj odborník na kognitívnu psychológiu

Cieľ: overiť intuitívnosť, orientáciu používateľa v systéme

Kognitívny prechod

Pri každej úlohe zvážte:

• Aký vplyv bude mať interakcia na používateľa?
• Aké kognitívne procesy sú potrebné?
• Aké problémy pri učení môžu vzniknúť?

Zamerajte sa na ciele a vedomosti používateľa:

• Vedie návrh používateľa k vytvoreniu správnych cieľov?

Heuristická evaluácia

Heuristická evaluácia „debuguje“ dizajn.

• Odborníci na použiteľnosť skontrolujú produkt/službu vzhľadom na princípy použiteľnosti (heuristiky)

• Príklady heuristík:

  • správanie systému je konzistentné,
  • systém poskytuje spätnú väzbu.

Kontrola podľa odporúčaní

Pri väčších projektoch

• Rozloženie obrazovky
• Vzhľad objektov
• Terminológia
• Formulácia výziev a chybových správ
• Akcie priamej manipulácie a spätná väzba
• Online pomoc a ďalšia dokumentácia, ...

Testovanie použiteľnosti

Testovanie použiteľnosti

Testovanie produktu alebo prototypu s reprezentatívnymi používateľmi.

• Laboratórny experiment vs terén
• Používateľ vykonáva vopred určené úlohy
• Pozorovatelia sledujú, počúvajú a zapisujú

Postup

• Pripravte kvalitný plán testovania
• Získajte účastníkov
• Analyzujte zistenia
• Vytvorte správu

Výhody testovania použiteľnosti

• Zistíte, či používatelia dokážu dokončiť dôležité úlohy
• Zistíte, ako dlho im úlohy trvajú
• Zistíte, ako sú používatelia spokojní
• Identifikujete potrebné zmeny
• Overíte, či výkon spĺňa ciele použiteľnosti

Účastníci testovania použiteľnosti

Vy nie ste váš používateľ.

• Účastníci sa majú podobať na používateľov vášho produktu/služby
• Nemajú byť zapojení do návrhu ani vývoja
• Majú reprezentovať cieľovú skupinu
• Interní pracovníci nenahradia cieľových používateľov
  • môžu však pomôcť pri pilotnom testovaní

Guerillové testovanie

Sumatívne metódy

Experimenty s použiteľnosťou

• Viac experimentálnych prototypov alebo variánt
• Jednotlivé prototypy testujú s rôznymi skupinami používateľov
• Kontrolovaný experiment skúma malé, dôležité rozdiely
• Vyhodnocuje sa, ktorý návrh bol lepší
• Príklad: A/B test
  • Porovnanie dvoch verzií stránky pomocou nástroja na experimentovanie.

Masívne online testovanie

• UXTweak - masívne testovanie v strednej Európe (SK-CZ)
• Maze - bleskové overenie Figma prototypov - číselné reporty
• UserTesting - globálny výskum s veľkým rozpočtom
• Loop11 - pokročilá štatistika pre živé weby - chyby a čas plnenia

Zber dát

Metódy zberu dát

• Papier a pero: lacné, ale obmedzené
• Zvuk alebo video: vyžaduje vybavenie a môže pôsobiť rušivo
  • Dostupné sú aj automatizované nástroje
• Počítačové logovanie: automatické a nenápadné, náročné na analýzu - záznam obrazovky
• Denníky používateľov: nepresné a subjektívne, ale môžu priniesť užitočné poznatky

Ďalšie metódy

Ďalšie metódy

• Rozhovory,
• Fokusové skupiny,
• Dotazníky a prieskumy,
• Pozorovanie v teréne,
• Nepriame pozorovanie,
• Experimenty.

Fokusové skupiny

Fokusové skupiny

• Kvalitatívny výskum
• Skupina ľudí odpovedá na otázky o vnímaní, názoroch, presvedčeniach a postojoch k existujúcemu alebo pripravovanému produktu
• Otázky sa kladú v interaktívnom skupinovom prostredí
• Účastníci môžu voľne diskutovať s ostatnými členmi
• Cieľom je skúmať ľudí v prirodzenejšom rozhovore než pri individuálnom interview

Dotazníky a prieskumy

• Záujem o potenciálne nové funkcie
• Hodnotenie existujúcich funkcií
• Demografické charakteristiky a preferencie
• Likertova škála alebo otvorené otázky

Pozorovanie používateľov

• Výskumník sleduje používateľov pri práci v teréne
• Zapisuje priebeh vykonávanej činnosti
• Kvalitatívny výskum
• Vhodné v počiatočnej fáze špecifikácie požiadaviek alebo pri skúmaní existujúcich úloh a procesov
• Výhoda: kontext, možnosť špecifického zamerania

Pozorovanie používateľov

• Priame: výskumník je počas úlohy prítomný v teréne
• Nepriame: úloha sa sleduje pomocou iného prostriedku
  • videozáznam,
  • záznam obrazovky,
  • eye tracking,
  • laboratórium použiteľnosti.

Meranie výkonu používateľa

Meranie naučiteľnosti

• Čas potrebný na dokončenie sady úloh nováčikom
• Kompromis medzi naučiteľnosťou a efektívnosťou

Meranie efektívnosti

• Čas potrebný na dokončenie úloh skúseným používateľom
• Ako definovať a nájsť „skúsených“ používateľov?

Meranie zapamätateľnosti

• Najnáročnejšie meranie, pretože príležitostných používateľov je ťažké získať pre experiment
• Pamäťové kvízy môžu byť zavádzajúce

Meranie spokojnosti používateľov

• Likertova škála
• Sémantický diferenciál
• Psychologické meranie stresu

Meranie chýb

• Klasifikácia menších a závažných chýb
• Frekvencia chýb pri jednotlivých úlohách

Po testovaní

• Retrospektíva
• Poznámky o tom, čo používatelia robili
• Ciele, nejasnosti a nedorozumenia, chyby, reakcie
• SUS

Ďalšie zaujímavé metódy

Test prvého kliknutia

• Kam účastník klikne prvý krát, aby vykonal zamýšľanú úlohu
  • na funkčnom systéme, prototype alebo drôtovom modeli
• Prečo?
  • Pri správnom prvom kliknutí používatelia úspešne dokončia úlohu v 87 % prípadov
  • Pri nesprávnom prvom kliknutí ju úspešne dokončia v 46 % prípadov

Eye tracking

Meranie miesta, na ktoré sa oko zameriava, a pohybu pohľadu.

• Kam sa používatelia pozerajú?
• Ako dlho sa pozerajú?
• Ako sa ich pozornosť presúva medzi prvkami stránky?
• Ktoré časti rozhrania prehliadnu?
• Ako prechádzajú stránkou?
• Ako veľkosť a umiestnenie prvkov ovplyvňujú pozornosť?

Výsledok: tepelné mapy, dráhy sakád, gaze plots

Vzdialené testovanie

• Používatelia sú vo svojom prirodzenom prostredí
• Podporný softvér:
  • zdieľanie obrazovky,
  • záznam obrazovky,
  • online služby na testovanie použiteľnosti.
• Trvanie približne 15 až 30 minút
• Tri až päť úloh
• Moderované alebo nemoderované

System Usability Scale (SUS)

• Rýchly a spoľahlivý nástroj na meranie použiteľnosti
• Desať štandardných otázok s Likertovou škálou - 5 možností
• Odpoveď na každú otázku sa prepočíta na číselnú hodnotu
• Skóre nad 68 je nadpriemerné
• Pozor na štatistickú relevantnosť

Výpočet SUS

Finálne SUS skóre sa vypočíta nasledovne:

$$SUS = (X + Y) \times 2,5$$

• X = súčet skóre nepárnych otázok $(1, 3, 5, 7, 9) - 5$
• Y = $25 -$ súčet skóre párnych otázok $(2, 4, 6, 8, 10)$

Výsledné skóre sa pohybuje v rozsahu 0 až 100 bodov.

Card sorting

• Vyhodnocovanie informačnej architektúry
• Účastníci usporiadajú témy do kategórií, ktoré im dávajú zmysel
  • môžu tiež pomenovať skupiny
• Prínosy:
  • návrh štruktúry
  • rozhodnutie, čo umiestniť na domovskú stránku
  • pomenovanie kategórií a navigácie

Metóda „používateľ je opitý“

Predstavte si, že používateľ je opitý:

• vidí rozmazane,
• má slabú pozornosť,
• je emocionálny.

Ako v takom stave pôsobí webová stránka?

Koľko účastníkov?

Počet účastníkov závisí od cieľa, metódy a rôznorodosti cieľovej skupiny.

• Kvalitatívne testovanie použiteľnosti - +-5 účastníkov v jednej iterácii (pre každú výrazne odlišnú cieľovú skupinu)
• Kvantitatívne testovanie - Počet určíme podľa požadovanej presnosti a štatistickej sily
• Card sorting - záv. od rozsahu inf. architektúry a rôznorodosti používateľov
• Eye tracking - záv. od výskumnej otázky a požadovanej stability výsledkov

Päť účastníkov neplatí vždy

5 účastníkov je vhodný východiskový bod, ak:

• hľadáme problémy použiteľnosti,
• pracujeme s jednou cieľovou skupinou,
• návrh budeme upravovať a znovu testovať.

Päť účastníkov neplatí vždy

Na spoľahlivé meranie výkonu a porovnávanie variantov potrebujeme dostatočne veľkú vzorku a výsledky vyhodnotiť pomocou štatistických metód.

Poznámka: Pri porovnávaní dvoch variánt môžete potrebnú veľkosť vzorky odhadnúť pomocou kalkulačky pre A/B testovanie.