UX / Vyhodnocovanie použiteľnosti, zber dát a meranie výkonu používateľa
Používateľské rozhrania a používateľský zážitok
Vyhodnocovanie použiteľnosti, zber dát a meranie výkonu používateľa
Michaela Bačíková
Vyhodnocovanie použiteľnosti
Vyhodnocovanie použiteľnosti
Overujeme, či používatelia dokážu pomocou rozhrania dosiahnuť svoje ciele úspešne, efektívne a s primeranou spokojnosťou.
- Identifikujeme problémy použiteľnosti
- Meriame výkon a spokojnosť používateľov
- Porovnávame návrhy alebo prototypy
Kedy vyhodnocovať?
- Pri skúmaní problému a existujúcich riešení
- Pri papierovom prototype
- Pri digitálnom prototype
- Počas implementácie
- Po nasadení
Vyhodnocovanie prebieha počas celého životného cyklu produktu.
Výber metódy
- Expertná inšpekcia: problémy odhaľuje UX špecialista
- Testovanie použiteľnosti: používatelia vykonávajú pripravené úlohy
- Pozorovanie v teréne: skúmame prácu v prirodzenom kontexte
- Experiment: porovnávame výkon rôznych variantov
Výber závisí od otázky, fázy návrhu a požadovaného typu údajov.
Kognitívny priechod
UX špecialista prechádza scenár krok po kroku z pohľadu nového používateľa.
Pri každom kroku skúma:
- Bude používateľ vedieť, čo chce dosiahnuť?
- Všimne si správnu akciu?
- Pochopí, že táto akcia vedie k cieľu?
- Rozpozná zo spätnej väzby, že postupuje správne?
Cieľ: overiť naučiteľnosť a intuitívnosť rozhrania.
Heuristická evaluácia
Odborníci kontrolujú produkt alebo službu podľa princípov použiteľnosti.
Príklady:
- systém sa správa konzistentne,
- systém poskytuje zrozumiteľnú spätnú väzbu,
- používateľ môže chybe predísť alebo ju napraviť.
Heuristická evaluácia „debuguje“ dizajn.
Kontrola podľa odporúčaní
Kontrolujeme súlad s normou, odporúčaniami alebo dizajnovým systémom:
- rozloženie a vzhľad prvkov,
- terminológiu a formuláciu správ,
- ovládanie a spätnú väzbu,
- pomoc a dokumentáciu.
Testovanie použiteľnosti
Testovanie použiteľnosti
Reprezentatívni účastníci vykonávajú realistické úlohy pomocou produktu alebo prototypu.
Sledujeme:
- úspešnosť dokončenia úloh,
- problémy, chyby a zaváhania,
- čas a vynaložené úsilie,
- reakcie a spokojnosť používateľov.
Postup testovania
- Určiť cieľ a výskumné otázky
- Pripraviť scenáre, úlohy a spôsob záznamu
- Získať účastníkov
- Uskutočniť pilotné a následne hlavné testovanie
- Analyzovať zistenia
- Upraviť návrh a znova ho overiť
Účastníci testovania
- Reprezentujú cieľovú skupinu
- Nie sú zapojení do návrhu ani vývoja
- Výrazne odlišné skupiny testujeme osobitne
- Kolegovia môžu pomôcť pri pilotnom testovaní
Výskumník ani dizajnér nereprezentujú používateľa.
Koľko účastníkov?
Počet závisí od cieľa, metódy a rôznorodosti cieľovej skupiny.
- Kvalitatívne testovanie použiteľnosti: približne 5 účastníkov na jednu cieľovú skupinu a iteráciu
- Kvantitatívne testovanie: počet určí požadovaná presnosť a štatistická sila
- Card sorting: závisí od rozsahu informačnej architektúry a rôznorodosti používateľov
- Eye tracking: závisí od výskumnej otázky a požadovanej stability výsledkov
Päť účastníkov neplatí vždy
Približne 5 účastníkov je vhodný východiskový bod, ak:
- hľadáme problémy použiteľnosti,
- pracujeme s jednou cieľovou skupinou,
- návrh upravíme a znova otestujeme.
Na spoľahlivé meranie výkonu a porovnávanie variantov potrebujeme dostatočne veľkú vzorku a štatistické vyhodnotenie.
Pri porovnávaní dvoch variantov možno použiť kalkulačku veľkosti vzorky pre A/B testovanie.
Prostredie a spôsob realizácie
- Laboratórne testovanie: kontrolované podmienky
- Terénne testovanie: prirodzený kontext používateľa
- Vzdialené testovanie: účastník a výskumník sú oddelení
- Guerillové testovanie: rýchle testovanie s dostupnými účastníkmi
Vzdialené testovanie
- Moderované alebo nemoderované
- Zdieľanie a záznam obrazovky
- Približne 15 až 30 minút
- Tri až päť úloh
Účastník môže zostať vo svojom prirodzenom prostredí. Výskumník však má menšiu kontrolu nad podmienkami.
Guerillové testovanie
- Rýchle a lacné
- Vhodné na odhalenie zjavných problémov
- Účastníci nemusia reprezentovať cieľovú skupinu
- Výsledky nemožno zovšeobecňovať
Nástroje na vzdialené testovanie
- UXTweak – výskum a testovanie v slovenskom a českom prostredí
- Maze – testovanie prototypov a číselné reporty
- UserTesting – nábor a vzdialený výskum
- Loop11 – nemoderované testovanie webov a prototypov
Záznam testovania
- Poznámky pozorovateľa: rýchle, ale selektívne
- Zvuk a video: zachytia kontext, môžu pôsobiť rušivo
- Záznam obrazovky: zachytí priebeh interakcie
- Interakčné udalosti a logy: automatické, ale náročnejšie na interpretáciu
- Denník používateľa: vhodný na dlhodobejšie skúsenosti
Metódy získavania údajov
- Testovanie použiteľnosti
- Pozorovanie
- Rozhovor
- Dotazník
- Fokusová skupina
- Denníková štúdia
- Experiment
Fokusové skupiny
Fokusové skupiny
Moderovaná diskusia skupiny o postojoch, očakávaniach a skúsenostiach.
Vhodné na:
- skúmanie názorov a jazyka používateľov,
- hľadanie tém a hypotéz.
Nevhodné na:
- overenie, či človek dokáže rozhranie použiť,
- spoľahlivé meranie výkonu.
Dotazníky a prieskumy
Používame ich na zisťovanie:
- potrieb a preferencií,
- hodnotenia existujúcich funkcií,
- spokojnosti a vnímanej náročnosti,
- charakteristík respondentov.
Otázky môžu používať škálu alebo otvorenú odpoveď.
Pozorovanie používateľov
Sledujeme používateľov pri skutočnej činnosti v jej prirodzenom kontexte.
- Priame: výskumník je počas činnosti prítomný
- Nepriame: video, záznam obrazovky, eye tracking alebo logy
Pozorovanie ukazuje, čo používatelia skutočne robia, nielen čo o svojej práci hovoria.
Meranie výkonu používateľa
Ukazovatele výkonu
- Úspešnosť: dokončenie úlohy
- Efektívnosť: čas, počet krokov a vynaložené úsilie
- Chyby: počet, frekvencia a závažnosť
- Naučiteľnosť: zlepšenie pri opakovaní úloh
- Zapamätateľnosť: výkon po prestávke
Spokojnosť používateľov
- Hodnotenie po úlohe
- Likertova škála
- Sémantický diferenciál
- System Usability Scale (SUS)
Spokojnosť dopĺňa údaje o výkone. Sama nepotvrdzuje, že používateľ úlohu zvládol.
System Usability Scale (SUS)
- Desať štandardných výrokov
- Päť možností odpovede od úplného nesúhlasu po úplný súhlas
- Výsledné skóre od 0 do 100
- Skóre nie je percento úspešnosti
- Výsledok treba interpretovať vzhľadom na vzorku a kontext
Výpočet SUS
Finálne SUS skóre:
$$SUS = (X + Y) \times 2,5$$
- X = súčet skóre nepárnych otázok $(1, 3, 5, 7, 9) - 5$
- Y = $25 -$ súčet skóre párnych otázok $(2, 4, 6, 8, 10)$
Výsledné skóre sa pohybuje v rozsahu 0 až 100 bodov.
Od pozorovaní k zmenám návrhu
- Zoskupiť súvisiace pozorovania
- Opísať problém a jeho možnú príčinu
- Určiť frekvenciu a závažnosť
- Navrhnúť zmenu rozhrania
- Priradiť zistenie k obrazovke a scenáru
- Upraviť prototyp a znova ho overiť
Experimenty a porovnávanie
Experimenty s použiteľnosťou
Experiment kontrolovane porovnáva varianty a zisťuje, či rozdiel pravdepodobne spôsobil návrh.
- A/B test: porovnanie dvoch alebo viacerých variantov
- Split URL test: varianty sú dostupné na rôznych adresách
- Multivariačný test: porovnanie kombinácií viacerých prvkov
Testovanie použiteľnosti pomáha vysvetliť problém. Experiment meria rozdiel medzi variantmi.
Metóda podľa výskumnej otázky
- Kam používateľ klikne ako prvé? Test prvého kliknutia
- Ako zoskupuje obsah? Card sorting
- Kam smeruje jeho pozornosť? Eye tracking
- Ako vníma použiteľnosť? SUS
- Ktorý variant dosahuje lepší výsledok? A/B test
Test prvého kliknutia
Sleduje, kam účastník klikne ako prvé pri plnení úlohy.
Možno ho vykonať na:
- funkčnom systéme,
- prototype,
- drôtovom modeli.
Ukazuje, či informačná architektúra a vizuálna hierarchia vedú používateľa správnym smerom.
Card sorting
- Vyhodnocuje informačnú architektúru
- Účastníci zoskupujú témy do kategórií
- Pri otvorenom card sortingu pomenúvajú aj skupiny
Pomáha navrhnúť štruktúru obsahu a pomenovať kategórie alebo navigáciu.
Eye tracking
Meria miesto zamerania oka a pohyb pohľadu.
Pomáha skúmať:
- kam sa používatelia pozerajú,
- ako dlho venujú prvkom pozornosť,
- ktoré časti rozhrania prehliadnu,
- ako sa pozornosť presúva po obrazovke.
Výstupy: tepelné mapy, dráhy sakád a gaze plots.
Metóda „používateľ je opitý“
Simulácia zhoršenej pozornosti a vnímania pomáha skontrolovať:
- vizuálnu hierarchiu,
- čitateľnosť,
- jednoznačnosť hlavných akcií.
Ide o rýchlu kontrolnú techniku. Nenahrádza testovanie s používateľmi.