V článku bližšie popisujeme metódy, ktoré zohľadňujú a kombinujú rôzne prvky testovania použiteľnosti aplikácií. Prehľad metód je výsledkom analýzy metód používaných v oblasti testovania použiteľnosti. V prípade testovania použiteľnosti nejde o testovanie v pravom zmysle slova, ide skôr o získavanie názorov na použiteľnosť aplikácie. V pomerne veľa prípadoch ide o subjektívne vnímanie aplikácie používateľmi, nie je vždy možné nájdené nedostatky vnímať ako „chyby“ testovanej aplikácie.

Definícia cieľa – Použiteľnosť

Podľa normy STN EN ISO 9241-11 sú hlavné parametre použiteľnosti:

• Používatelia – orientácia na používateľa, používateľ a jeho postoj ku aplikácií je základným parametrom použiteľnosti.
• Cieľ – cieľ ktorý chce používateľ dosiahnuť, prípadne cieľ, ktorý by mu mala stránka umožniť dosiahnuť.
• Užitočnosť – vlastnosť aplikácie, ktorá definuje, či je možné pomocou tejto aplikácie dosiahnuť daný cieľ.
• Účinnosť – efektivita použitia aplikácie pri dosahovaní používateľských cieľov, vyššia účinnosť znižuje námahu používateľa pri dosahovaní cieľov.
• Uspokojenie – subjektívny pocit používateľa po použití aplikácie.
• Kontext – prostredie, v ktorom sa aplikácia používa.

Ďalšie parametre definujúce použiteľnosť, ktoré sa vzťahujú k subjektívnemu vnímaniu používateľov, majú vplyv na výsledok sú:

• Výkon – koľko času a krokov je potrebných na dosiahnutie cieľa.
• Presnosť – koľko chýb používateľ spraví pri dosahovaní cieľa.
• Zapamätateľnosť – do akej miery je možné používanie stránky po určitom čase zautomatizovať a následne zrýchliť bez toho, aby sa používateľ musel detailne zaoberať každým krokom, ktorý vedie k cieľu.
• Spokojnosť – subjektívny používateľský pocit pri práci.

Výber testovacích metód

Z pomerne veľkého množstva dostupných metód testovania sme vybrali najpoužívanejšie metódy z danej oblasti. Metódy testovania použiteľnosti je možné rozdeliť z dvoch pohľadov:

• Spôsob výberu používateľov – akým spôsobom a z akého prostredia budú vyberaní používatelia pre testovanie
• Spôsob testovania – akým spôsobom bude testovanie realizované

Spôsoby výberu používateľov

Všetky dostupné metódy výberu používateľov používané na testovanie je možné zaradiť do jednej z nasledujúcich skupín.

Hallway testing

Jedná sa o náhodný výber používateľov z ulice. Výber ľudí z anonymnej skupiny je realizovaný náhodným výberom. Testovanie následne prebieha ľubovoľným spôsobom: formou otázok, priamej komunikácie a diskusie, formou moderovanej alebo nemoderovanej práce s aplikáciou a podobne. [1,2]

Remote testing

Touto metódou je možné na diaľku osloviť veľké množstvo aj anonymných používateľov prostredníctvom e-mailu alebo internetu (online formuláre). Je možné osloviť aj štruktúrovanú, aj neštruktúrovanú skupinu používateľov. Testovanie pri tomto spôsobe výberu používateľov je zamerané v prvom rade na kladenie otázok a následné štatistické vyhodnocovanie odpovedí. [1,3]

Expert review

Na rozdiel od predchádzajúcich dvoch metód výberu sa pri tejto metóde kladie dôraz na odbornosť vyberaných používateľov. Ide o používateľov, ktorí majú rozsiahle skúsenosti a odborné znalosti v danej problematike (vo vývoji a používaní aplikácií). Znalosť biznis prostredia aplikácie je tiež dôležitá, najmä pri posudzovaní užitočnosti aplikácie. [1,4,5]

Priebeh testovania

Možnosti testovania sa odlišujú v niekoľkých základných rysoch. Moderované/nemoderované testovanie – pri testovaní môže, alebo nemusí byť prítomný koordinátor alebo moderátor testov. Pri niektorých spôsoboch výberu používateľov prítomnosť moderátora nie je nutná alebo možná (napríklad pri remote testing výbere). Úloha moderátora v rámci testovania môže byť rôzna. Nemusí do testov zasahovať, môže testy aktívne riadiť, prípadne odpovedať na otázky, alebo dokonca používateľom pomáhať. Bez ohľadu na samotnú realizáciu testovania vo všetkých prípadoch prebieha na začiatku praktická časť, v ktorej používateľ nadobudne praktickú skúsenosť s aplikáciou. Následne je možné postupovať viacerými spôsobmi:

• Priebežná komunikácia a získavanie informácií – počas praktickej práce s aplikáciou sa používateľ má možnosť vyjadriť k práci s aplikáciou.
• Komunikácia po skončení testovania – po skončení testovania dostane používateľ možnosť sa vyjadriť k testovanej aplikácii.

Získanie informácií od používateľa môže byť realizované:

• osobným rozhovorom,
• dotazníkom s vopred vyplnenými odpoveďami,
• voľne položené otázky, na ktoré používateľ odpovedá písomne.

Metódy testovania

Bližšie popisujeme metódy, ktoré kombinujú vyššie spomenuté prvky testovania. Prehľad metód je výsledkom analýzy metód používaných v oblasti testovania použiteľnosti aplikácií.

1. Overovacie vyhodnocovanie (diagnostic evaluation)
2. Subjektívne hodnotenie (testovanie a post-release)
3. Heuristické vyhodnocovanie (Heuristic evaluation)
4. Analýza kritických miest aplikácie (Critical Incident Technique Analysis)
5. Skúmanie spokojnosti užívateľov (Pleasure based approach)
6. Používateľské hodnotenie dizajnu (User survey for design)

1. Overovacie vyhodnocovanie (diagnostic evaluation) [6]

Užívateľsky založené vyhodnocovanie práce systému, kde je hlavným zámerom identifikovať problémy s použiteľnosťou. V tejto metóde je definovaný pomerne presný postup krokov, ako treba postupovať. Každá troch hlavných častí obsahuje činnosti, ktoré je odporúčane pri použití metódy vykonať. Hlavnými oblasťami, ktorými sa táto metóda zaoberá sú:

• identifikácia najdôležitejších problémov s použiteľnosťou,
• pochopenie prečo majú používatelia ťažkosti s používaním aplikácie,
• zistenie predbežných opatrení pre zaistenie užívateľskej efektívnosti a účinnosti používania aplikácie.

Samotný postup metódy sa skladá z troch hlavných častí:

• Plánovanie
• Samotné testovanie
• Formulácia výstupov

Plánovanie

Pri testovaní je dôležité, aby používatelia, úlohy a prostredie používané pri testovaní reprezentovali zamýšľaný kontext používania. V inom kontexte môžu byť výsledky iné, čo znižuje výpovednú hodnotu testovania. V prvom kroku je potrebné vybrať najdôležitejšie úlohy a skupiny používateľov vhodných pre testovanie. Odporúča sa vyberať používateľov tak, aby reprezentovali hlavné skupiny reálnych používateľov aplikácie. Pre identifikovanie hlavných cieľov a otestovanie ich splnenia postačujú skupiny po 3-5 používateľov. Pre získanie štatisticky hodnoverných informácií sú vhodnejšie skupiny s viacerými, napríklad 8 používateľmi. Pre testovanie komplexnejších systémov (napríklad e-commerce projekty) sú potrebné väčšie skupiny používateľov.

Pri použití uvedenej metódy sa odporúča zvážiť použitie predefinovaných úloh. Používatelia sú vyzvaní na určenie si ich vlastných cieľov pri overovaní funkčnosti aplikácie. Nasleduje tvorba testovacích scenárov, výber vstupných dát a inštrukcie pre používateľov. Dôležité je používateľom povedať čo majú dosiahnuť a čo nie. Je potrebné jednoznačne stanoviť, čo je ich úlohou a čo má byť výsledkom ich činnosti. Ak je to dôležité pre dosiahnutie cieľa testovania, určíme postup, ako majú používatelia cieľ dosiahnuť. Ak boli dosiahnuté požadované výsledky, nie je potrebné klásť testerom žiadne ďalšie otázky.

V plánovaní testovacích sedení je potrebné myslieť na dostatok času pre zadanie inštrukcií, realizáciu testu, odpovede na otázky a rozhovor s používateľom po ukončení testu. Odporúča sa pozvať vývojárov, aby dohliadali na priebeh testu, sledovali ho. Alternatívou je vytvorenie videonahrávky a jej následná analýza. Ak neboli dosiahnuté požadované výsledky, je potrebné nechať používateľa vysvetliť jednotlivé činnosti, ktoré na konkrétnych obrazovkách vykonával a dôvody rozhodnutia, ktoré urobil.

Priebeh testovania

Nasledovné odporúčania definujú, akým spôsobom má prebiehať samotný test.

• Privítanie používateľov, zadanie testovacích úloh.
• Nie je vhodné dávať žiadne pomôcky, nápoveď ani pomoc, iba v prípade, že používateľ naozaj nevie ako ďalej.
• Je potrebné obmedziť spoluprácu a možné ovplyvňovanie. V rámci testovania je potrebné zaznačiť všetky problémy používateľov.
• Ak je to nutné, meriame čas splnenia jednotlivých úloh.
• Používateľa môžeme požiadať, aby premýšľal nahlas a vyzvať ho, aby komentoval svoje rozhodnutia na každej obrazovke, prípadne komentoval obsah obrazovky.
• Po ukončení testovacieho sedenia požiadame používateľa o vyplnenie formulára hodnotiaceho testovacie sedenie.
• Na záver realizujeme rozhovor s používateľom, aby bolo isté, či bol reprezentantom vhodnej skupiny používateľov pre testovanie. Zistíme jeho všeobecný názor na vykonané testovanie, ale aj na špecifické problémy, na ktoré narazil počas testovania.
• Vyhodnotenie výsledkov požadovaných úloh z pohľadu presnosti a kompletnosti ich vykonania.

Po testovaní nasleduje formulovanie výstupov. Pre výstupy metóda dáva nižšie uvedené odporúčania.

Vyhodnotenie

V metóde sa odporúča:

• Zostavenie zoznamu problémov s použiteľnosťou kategorizovaného podľa dôležitosti, prehľad typov zaznamenaných problémov.
• Zorganizovanie stretnutia projekt manažérov a vývojárov kvôli prediskutovaniu spôsobu odstránenia problémov.
• Ak boli dosiahnuté porovnateľné výsledky, sumarizovanie výsledkov formulárov obsahujúcich hodnotenie uspokojenia používateľov, času splnenia úlohy, a efektívnosti (časovej, funkčnej).

2. Subjektívne hodnotenie (Subjective Assessment) [6]

Metóda subjektívneho hodnotenia poskytuje informácie o názoroch používateľov na testovaný softvér. Nejde o zisťovanie ako účinne a efektívne dokážu pracovať s testovaným softvérom. Zvyčajne ide použitie štandardizovanej sady otázok pre dodržanie objektivity hodnotenia. Vyhýbame sa otázkam s formulovaním odpovedí vlastnými slovami. Hlavné výhody použitia metódy:

• Orientácia na spokojnosť používateľa, nie na jeho efektívnu prácu. V ľubovoľnom teste použiteľnosti je spokojnosť používateľa najdôležitejším faktorom, ktorý ovplyvňuje rozhodnutie či pokračovať alebo nepokračovať v používaní aplikácie.
• Direktívny spôsob používania aplikácie a slabá spokojnosť s aplikáciou vedie k obchádzaniu používania aplikácie, opakujúcim sa sťažnostiam na použiteľnosť aplikácie a dokonca odchodom zamestnancov.
• Metóda subjektívneho hodnotenia porovnáva informácie o meraniach efektivity a efektívnosti.
• Zvyčajným výsledkom subjektívneho hodnotenia je zoznam vyhovujúcich a nevyhovujúcich vlastností a častí aplikácie, ktoré sú veľmi dobre použiteľné najmä počas vývoja aplikácie.

Popis metódy

Metóda poskytuje overenie informácii o tom, ako sa používatelia cítia pri práci s testovanou aplikáciou. Metóda nezisťuje:

• ako dobre vykonávajú používatelia prácu s aplikáciou – účinnosť,
• ako užitočne používatelia pracujú s aplikáciou – efektívnosť.

V rámci tejto metódy je obvyklé používať uzatvorené dotazníky. Používateľ dostane k dispozícii zoznam otázok a odstupňovaných odpovedí. Nie je možné formulovať vlastnú odpoveď. V opačnom prípade by výsledky testovacích aktivít mohli byť nejasné, alebo by ich bolo možné rôzne interpretovať.

Plánovanie

Existujú dva hlavné typy scenárov, ktoré môžu byť pri tomto type testovania použité:

• Používatelia sú požiadaní o vyplnenie dotazníka ihneď po ukončení sedenia.
• Používateľom je zaslaný formulár poštou, alebo e-mailom a sú požiadaní o ohodnotenie testovanej aplikácie na základe podrobnejšieho pochopenia a ohodnotenia aplikácie s pomocou dotazníka.

Supervízor alebo manažér testovania distribuuje zadania testovacím skupinám, zhromažďuje vyplnené formuláre a vracia ich zadávateľovi. Pomerne často je potrebné použiť pri použití tejto metódy aj „pomocné doplnkové formuláre“ pre získanie doplnkových informácií od používateľov (úroveň skúseností práce s PC, pracovná pozícia, frekvencia používania PC aplikácií…). Tieto informácie môžu vychádzať z „Context of Use“ štúdie pre danú aplikáciu. Príklad použitia získavania doplnkových informácii je uvedený na webovej stránke SUMI (http://sumi.ucc.ie/). Zvyčajne nepostačuje zistiť úroveň spokojnosti používateľa s aplikáciou. Rovnako je potrebné nájsť časti aplikácie, ktoré spôsobujú zvýšenie alebo naopak zníženie spokojnosti s používaním aplikácie. Pre zistenie týchto informácií je ideálne mať prístup k zúženej množine testovacích úloh, častí aplikácie, pre vykonanie ďalšieho kola testovania, ktoré môže zahŕňať i interview s používateľom.

Priebeh testovania

Ak je testovanie realizované prostredníctvom elektronickej pošty, predpokladaná návratnosť dotazníkov je 20%. Pri realizácii testovania prostredníctvom webového formulára je úroveň vyššia. Ak je zámerom zvýšiť úroveň zodpovedania, je vhodnejšie použiť telefonický prieskum. Ak používatelia poukážu na to, že otázka je nezrozumiteľná alebo nesprávna, je možné im naznačiť zmysel otázky, prípadne rozsah odpovede, ale takým spôsobom, aby si vytvorili svoj vlastný názor, hodnotenie a tak odpovedali na zadanú otázku. Používateľov je potrebné uistiť, že neexistujú dobré, alebo zlé odpovede a vysvetliť im, že nie je vhodné preskakovať otázky.

Vyhodnotenie

Dotazníkové testovacie metódy majú obyčajne hodnotiacu schému založenú na Likert-style hodnotiacej technike . [8] Pre väčšinu dotazníkov obyčajne sumarizujeme dosiahnuté skóre každého respondenta. SUMI a WAMMI dotazníky majú vlastné hodnotiace programy, ktoré spracujú výsledky do štandardizovaných reportov. Hlavná časť hodnotiaceho reportu obsahuje:

• štatistický prehľad,
• diagnostické dáta testovanej aplikácie, ktoré podľa vášho názoru ovplyvnili hodnotenie používateľov.

3. Heuristické vyhodnocovanie (heuristic evaluation) [6]

Heuristické vyhodnocovanie je forma kontroly použiteľnosti, pri ktorej špecialisti na oblasť použiteľnosti posudzujú jednotlivé elementy systému a používateľského prostredia prostredníctvom prechádzania a používania zaužívaných heuristík.

Výhody

• Poskytuje rýchlu a relatívne lacnú odozvu pre dizajnérov aplikácie.
• Výsledky poskytujú dobré idey vylepšenia používateľského prostredia. Vývojový tím takto dostane k dispozícii dobrý odhad toho, ako veľmi sa môže používateľské prostredie vylepšiť.
• Je všeobecne uznávané, že výsledky posúdenia dizajnu poskytnuté touto metódou sú opodstatnené a užitočné. Metóda je aplikovateľná aj veľmi skoro na začiatku procesu tvorby aplikácie. Jej výsledky môžu pomôcť overiť, či sa v procese vývoja tím drží zaužívaných postupov, čo zabezpečí kompatibilitu s podobnými systémami.
• Je vhodné vykonať heuristické vyhodnocovanie už v ranných prototypoch aplikácie, ešte predtým ako sú používatelia zapojení do testovania.
• Problémy s použiteľnosťou sa zvyčajne obmedzujú na nedostatky používateľských rozhraní a sú jednoducho demonštrovateľné. Napríklad chybné používanie farieb, chybná štruktúra informácii a podobne. Je vo všeobecne známe, že problémy nájdené inšpekčnou metódou a testovaním výkonu sa do určitej miery prekrývajú, pričom každý z testovacích prístupov vie nájsť skupiny chýb, ktoré druhý nenájde.
• Táto metóda sa môže zdať nadmerne kritická a dizajnéri môžu dostávať odozvy hlavne o chybách aplikácie. Metóda nie je určená pre identifikáciu „dobrých“ miest aplikácie.

Popis metódy

Metóda Heuristické vyhodnocovanie identifikuje problémy s použiteľnosťou založených na princípe ľudského faktora. Dodáva odporúčania pre vylepšenie dizajnu aplikácie. Keďže metóda je založená na posúdení expertmi, výstup kladie dôraz viac na funkcionalitu rozhraní a dizajn, ako na vlastnosti interakcie medzi produktom a používateľom.

Plánovanie

Experti by mali pracovať s vopred dohodnutou množinou vyhodnocovacích kritérií. Všeobecne je dobré použiť pri testovaní troch až päť expertov.

Priebeh testovania

Experti by mali byť vopred informovaní o všetkých aspektoch používateľského prostredia, úloh a nárokov na výsledný produkt (aplikáciu). Vyhodnocovacie kritériá by mali byť vopred schválené. Počas testovania si experti robia poznámky, spisujú zoznam problémov, s ktorými sa stretli. Ak pracujú na systéme dvaja a viacerí experti, nemali by spolu počas práce komunikovať. Po ukončení celku by mali experti svoje zoznamy spojiť a prediskutovať, prípadne vyhodnotiť závažnosť jednotlivých chýb.

Vyhodnotenie

Výsledkom testovania je zoznam problémov zoradených a ohodnotených podľa kritickosti, respektíve závažnosti pre fungovanie aplikácie. Problémy sa vyhodnocujú aj vzhľadom na teoreticky očakávanú množinu problémov z praxe. Tak isto je možné pridať zoznam očakávaných problémov, ktorých výskyt sa predpokladá pri ďalšom testovaní. Výsledný report s označenou odporúčanou prioritou problémov je následne doručený vývojovému tímu.

4. Analýza kritických miest aplikácie (Critical Incident Technique Analysis) [6]

Pri tejto metóde sú koncoví používatelia požiadaní o identifikovanie špecifických kritických miest, ktoré poznajú z ich osobných skúseností z práce s aplikáciami a ktoré majú zásadný význam pri koncovom hodnotení aplikácie. Dôraz je kladený na reálne, typické prípady, nejasné dohady sa neberú do úvahy. Rovnako je možné zisťovať súvislosti, ktoré vedú k týmto kritickým miestam, problémom. Dáta získané od vybranej skupiny používateľov sú následne podrobené analýze.

Výhody

Analýza kritických miest je otvorená retrospektívna metóda zistenia toho ako sa používatelia stavajú ku kritickým miestam a vlastnostiam systému a ich hodnoteniu. Je flexibilnejšia ako kladenie otázok a zbieranie odpovedí. Odporúčaná je v situáciách kde jedinou alternatívou je kladenie otázok alebo hodnotenie aplikácie od začiatku jej realizácie. Zameraná je na používateľské hodnotenia, názory, takže je vhodná pre situácie, keď nie je vhodné využitie nahrávania video záznamov zisťujúcich správanie používateľov.
Ďalšie výhody metódy CIT:

• variabilná metóda, ktorá môže byť použitá na zlepšenie multipoužívateľských systémov,
• údaje z testovania sú zhromažďované z pohľadu účastníka testovania a sú popísané jeho vlastnými slovami,
• metóda nenúti účastníka použiť akýkoľvek zabehnutý postup alebo štruktúru,
• metóda dokáže identifikovať aj zriedkavé udalosti, ktoré by sme inak prehliadli, vďaka použitiu iných metód, ktoré sa zaoberajú bežnými incidentmi,
• metóda je užitočná keď sa nájde problém, ale jeho príčina a okolnosti nie sú známe,
• metóda nie je drahá a vie poskytnúť množstvo informácií,
• metóda dokáže zvýrazniť chyby systému, ktoré by spôsobili zraniteľnosť systému a vie priniesť veľa úžitku (napr. zvýšenie bezpečnosti),
• metóda môže byť použitá ako formou dotazníkov i pohovorov.

Popis

CIT metóda je určená pre získanie subjektívneho hodnotenia, ktoré minimalizuje deformácie vznikajúce stereotypnými reakciami alebo prevládajúcimi väčšinovými názormi. Používateľ je požiadaný, aby sa zameral na jeden, alebo viac kritických incidentov, s ktorými mal osobnú skúsenosť v priebehu testovania aplikácie. Ako kritický incident je definovaný jeden z incidentov, ktorý mal dôležitý vplyv na koncový výsledok. Kritické incidenty je preto možné zisťovať až retrospektívne, po skončení testovania aplikácie. CIT analýza používa metódu známu ako Analýza obsahu za účelom zhrnutia skúseností viacerých používateľov alebo viacerých skúseností toho istého používateľa. Alternatívne metódy dosahujúce podobné výsledky sú osobné dotazníky alebo hromadné dotazníky. CIT metóda sa používa aj ako prvotný pokus pre vytvorenie dotazníkov. Keďže sledujeme správanie a chovanie účastníkov testu, súčasťou alternatívnych metód môže byť aj videozáznam. Zmyslom CIT testovania je používateľské hodnotenie založené na spontánnych reakciách.

Plánovanie

Na začiatku je potrebné definovať aktivity v aplikácii, ktoré budú testované a získať prístup k používateľom čo najskôr po ukončení ich testovania. V prípade laboratórneho testovania by sa tieto úkony mali udiať po skončení testovania ale ešte pred rozhovormi, ktoré nasledujú po ukončení testovania. V prípade prirodzeného testovania, by to malo hneď potom, ako používateľ ukončil prezeranie a skúmanie aplikácie.

Priebeh testovania

Samotný CIT test je možné realizovať prostredníctvom pohovorov s účastníkmi testovania alebo aj formou vyplnenia dotazníkov. Účastník testu je vyzvaný, aby sa riadil tromi postupmi v popísanom poradí:

• zamerajte sa na incident, ktorý mal silne pozitívny vplyv na výsledok úlohy a popíšte ho,
• popíšte čo viedlo k incidentu,
• popíšte ako incident napomohol k úspešnému dokončeniu úlohy.

Zvyčajne sú vyžiadané 2-3 takéto incidenty, no jeden z nich je možné vylúčiť. Keď je toto vykonané, procedúra sa opakuje, ale tentoraz je účastník testovania požiadaný o zameranie sa na incidenty, ktoré mali silne negatívny vplyv na výsledok testovacej úlohy. Je potrebné, aby sa riadil rovnakým postupom ako bol uvedený vyššie. Takto sa dostaneme k niekoľkým variáciám pozitívnych a negatívnych incidentov, s ktorými sa účastník testovania stretol. Zvyčajne sa začína s hľadaním pozitívnych incidentov, aby sa navodila konštruktívna atmosféra.

Vyhodnotenie

Zo získaného objemu testovacích dát kategorizujeme incidenty a priradíme relatívnu dôležitosť každému z nich (niektoré incidenty sa vyskytli častejšie a niektoré menej často). Kvôli dôveryhodným výsledkom je potrebné zozbierať dostatok kritických incidentov, ktoré umožnia formulovať vyhlásenia ako “X percent používateľov zistilo, že vlastnosť Y v kontexte Z bola nápomocná/rušivá”. Rovnako je potrebné zozbierať dostatočné informácie o kontexte týkajúcom sa situácie okolo každého incidentu, aby dizajnéri mohli lokalizovať každý z kritických incidentov v rámci testovacieho scenára, alebo testovanej situácie. CIT metóda je obyčajne použitá ako náhrada iných menej subjektívnych metód sledujúcich správanie používateľov. Ďalším krokom je zahrnúť zistenie z CIT analýz do ďalších informácií týkajúcich sa testovania použiteľnosti. Týmto spôsobom získame plnohodnotný používateľský test report.

5. Skúmanie spokojnosti používateľov (Pleasure based approach) [6]

Metódu hodnotenia používateľskej spokojnosti je možné použiť ako doplnok metód založených na testovaní použiteľnosti pre overenie toho, či produkt spĺňa alebo nespĺňa požiadavky používateľa. Ide o novú sériu prístupov, pričom niektoré z nich rozširujú bežne používané metódy testovania použiteľnosti.

Výhody

Tieto prístupy môžu byť považované za ďalšiu úroveň umiestnenú nad použiteľnosť aplikácie. Ide o zistenia:

• Aplikácia je funkčná.
• Je testovaná jej použiteľnosť (expertný test, laboratórny test, subjektívny test).
• Aplikácia je použiteľná k spokojnosti používateľa. Tento prístup nemá byť použitý namiesto kontroly použiteľnosti, jeho použitie je doplnkom k realizovaným kontrolám použiteľnosti pre dosiahnutie lepšej vedomosti o aplikácii.

Zistenia a odporučenia z testovania spokojnosti používateľov smerujú k tomu, že napomáhajú iba pri riešení problémov s aplikáciou a nie sú prostriedkom k zvýšeniu obchodnej hodnoty testovanej aplikácie. Všeobecnou myšlienkou je holistický prístup ku vzťahu medzi používateľom a aplikáciou, poskytne pridanú hodnotu k používateľskej spokojnosti s aplikáciou a týmto spôsobom zvýši trhovú hodnotu aplikácie.

Popis

Z definície hodnotenie spokojnosti používateľa nie je metóda založené na otázkach, požiadavkách, ako tradičné metódy testovania použiteľnosti, ale je smerované bližšie k marketingovému testovaniu. Existuje niekoľko rozdielov, ktoré je potrebné mať na zreteli pri samotných testoch spokojnosti používateľa:

• Význam štruktúry úloh – premýšľanie v pojmoch “úloha” a “aktivita” v spojitosti s počítačovými produktmi je bežné v radoch používateľov. Náš koncept chápania spokojnosti je však niečo, čo je opakom práce. Preto zdôrazňujúc existujúcu prirodzenú orientáciu na úlohy a zadania, ktoré sa môžu vyskytnúť počas testovania, je potrebné sa pojmu „práce“ vyvarovať, pretože by negoval každý dojem a každú skúsenosť, o ktorú sa zaujímame v rámci testovania.
• Testovací personál – zatiaľ čo by si v testovaní použiteľnosti hodnotiaci používatelia mali udržiavať psychologický odstup od ostatných účastníkov, v záujme objektívneho zaznamenania údajov o skúsenostiach z testovacích aktivít, v testovaní používateľskej spokojnosti, môže byť toto paradoxne nevyhovujúci a neproduktívny postup. Chladný odstup, ktorý sa vyžaduje pri iných typoch testovania, môže utlmiť “zábavné” a “vzrušujúce” aspekty skúseností používateľa z testovania.
• Spôsoby zhromažďovania údajov – používateľské testovanie použiteľnosti pozná meradlá ako: čas na úlohu, počet nájdených chýb, subjektívny názor, úplnosť cieľového výsledku. Tieto sú samozrejme nevhodné pre meranie spokojnosti. Spokojnosť môže byť meraná, hodnotená, použitím zoznamu otázok zisťujúcich postoj a vzťah testujúceho k aplikácii. Je nanajvýš vhodné použiť netradičnejšie postupy pre zachytenie spokojnosti používateľa (napríklad kladenie otázok dvojici používateľov, alebo nahranie krátkeho video záznamu zachytávajúceho ich skúsenosti s aplikáciou).

Existuje niekoľko typov dotazníkov, ktoré je možné použiť pre zhodnotenie použiteľnosti aplikácie. Tieto nie sú veľmi vhodné pre zistenie dôvodov spokojnosti. Na sledovanie spokojnosti je vhodný dotazník prezentovaný Patrick W. Jordanom v jeho knihe Designing Pleasurable Products: an introduction to the new human factors. Tieto dotazníky merajú “všeobecnú” spokojnosť. Podľa autora knihy je toto dôkladne potvrdené a disponuje historickými skúsenosťami s dizajnom výrobkov. [9]

6. Používateľské hodnotenie dizajnu (User survey for design) [6]

Používateľské skúsenosti sú prostriedkom pre zistenie s akým postojom používateľov sa stretáva aplikácia počas používania špecifickými skupinami a aké skupiny by to vlastne mali byť. Odpovede, ktoré poskytuje používateľské hodnotenie musia súvisieť s otázkami, ktoré sú dôležité pre tím dizajnérov aplikácie. Používateľské hodnotenia sú zvyčajne doručované poštou, ale stále častejšie sa realizuje prostredníctvom internetu.

Výhody

Používateľské hodnotenia poskytujú prínos iba v tom prípade, ak dajú odpovede na otázky, ktoré nastolil dizajnérsky tím. V rámci testovania je možné osloviť veľké množstvo používateľov. Je vhodné realizovať vytvorenie profilov používateľov. Používateľské výsledky sú štatisticky analyzované a poskytujú (moderately hard) objektívna dáta. Avšak je tu množstvo zdrojov skreslenia a nesprávne navrhnuté hodnotiace kritériá môžu urobiť viac zla ako dobra.

Popis

Metóda spracovania prehľadu je popisovaná rozdielne v rôznych zdrojoch. Je potrebné vyhľadať hlavné body, v ktorých sa vykonávajú rozhodnutia alebo oblasti, v ktorých sa prejavujú pochybnosti v dizajnérskom tíme týkajúce sa použiteľnosti produktu. Následne sa odporúča zamerať sa na tieto oblasti a hľadať veci, ktoré sa musia vyjasniť. Do skúmania treba zahrnúť osoby dôležité pri vývoji aplikácie. Je dôležité zistiť, kedy potrebujú informácie a ktoré časti organizácie vývoja môžu byť zasiahnuté prezentovanými výsledkami výskumu. Je na zvážení, či niektoré (prípadne všetky) z týchto otázok môžu byť jednoduchšie zodpovedané použitím technickej metódy, ako použitím pozorovania. Napríklad technologické pomôcky, ako sú počítadlá prístupov, alebo skúmanie šablón chovania návštevníkov stránok.

Plánovanie

Existuje pomerne veľa návodov, ktoré hovoria o tom, ako formulovať otázky a ako zložiť hodnotenia tak, aby boli používateľsky príjemné. Vo všeobecnosti platí, že ak sa otázky v dotazníkoch začnú „zaujímať“ o postoje a stanoviská používateľov, budú ich výsledky ťažšie interpretovateľné. Je dobré zamerať sa na osvedčené otázky, jednoduché problémy, ktoré sa často opakujú a na výber odpovede z pevne danej sady možností. Dôležitým elementom hodnotenia dizajnu je vytvorenie konceptu dôvery medzi vami a účastníkmi testovania. Podstatné je realizovať hodnotiace testovanie pred spustením alebo zverejnením aplikácie, produktu. Hodnotiaci test musí byť vykonaný v podmienkach čo najbližších reálnemu používaniu.

Zhrnutie

Vyššie popísaný zoznam predstavuje najpoužívanejšie metódy v oblasti testovania použiteľnosti. Využívajú sa v nich rôzne spôsoby výberu používateľov i vykonávania testov. Zo skupiny sme vybrali hlavné znaky a princípy, ktoré sme použili v rámci projektu. Nasledujúca tabuľka predstavuje stručné zhrnutie vyššie popisovaných metód:

Obr.1 Zhrnutie

Na základe štúdia popísaných metód boli formulované základné vlastnosti metodiky, ktorá bola použitá pre testovanie v rámci projektu:

• testovanie používateľmi z rôznych vekových skupín, skupín s rôznou úrovňou skúseností s prácou s počítačom – takýmto výberom používateľov bude dosiahnuté pokrytie čo najširšej vrstvy možných používateľov,
• neanonymné testovanie za prítomnosti koordinátora testovania – časť testovania bude prebiehať za účasti koordinátora, ktorý môže byť zdrojom následných informácii o priebehu testov a zároveň koordinovať priebeh v potrebnej miere,
• samostatná práca s aplikáciou pri počítači (plnenie jednoduchých úloh v aplikácii) – je dôležité mať aj výsledky, ktoré nie sú ovplyvnené nikým iným, okrem používateľa, ktorý testuje,
• asistovaná práca s aplikáciou pri počítači (plnenie jednoduchých úloh v aplikácii) – okrem celkového dojmu z aplikácie je dôležitá aj dostupnosť a použiteľnosť základnej funkcionality, ktorá sa očakáva od webových aplikácií (napríklad registrácia), aby sa používateľ nezdržoval s úlohami, ktoré nevie splniť, koordinátor, ktorý mu asistuje ho môže usmerniť, prípadne nasmerovať na ďalšiu úlohu,
• vyplnenie dotazníka s otázkami k praktickej časti testovania – takýmto spôsobom sa získa informácia v presne takom znení, ako zadávateľ testu potrebuje, konkrétnymi otázkami a odpoveďami je možné obmedziť nejasné a všeobecné formulácie odpovedí,
• používatelia dotazovaní aj na klady, aj na zápory aplikácií – takýmto spôsobom sa dostaneme aj k subjektívnemu slovne vyjadrenému postoju používateľa k aplikácii.

Vybrané vlastnosti v zásade tvoria prienik viacerých vyššie popisovaných metód. Takýto výsledok výberu zaručí čo najširší rozsah informácií získaných z testovania. Na základe vyššie spomínaných vlastností bol formulovaný následný postup testovania ergonómie a použiteľnosti. Testovacie scenáre boli navrhnuté podľa vybranej metodiky tak, aby spĺňali stanovené vlastnosti.

Poďakovanie

Článok vznikol v rámci projektu „Priemyselný výskum v oblasti efektívnej práce s rozsiahlymi dátami v používateľsky orientovaných aplikáciách“. Projekt je spolufinancovaný zo zdrojov EÚ, ITMS kód projektu: 26240220029. Podporujeme výskumné aktivity na Slovensku/Projekt je spolufinancovaný zo zdrojov EÚ.

Zoznam použitej literatúry a zdroje

1. en.wikipedia.org/wiki/Usability_testing
2. http://www.openhallway.com/
3. http://internotredici.com/article/remoteusabilitytesting/
4. http://www.webcredible.co.uk/user-friendly-resources/web-usability/website-review.shtml
5. http://www.humanfactors.com/services/expertreview.asp
6. http://www.usabilitynet.org/
7. http://sumi.ucc.ie/
8. http://en.wikipedia.org/wiki/Likert_scale
9. Patrick W. Jordanom v jeho knihe Designing Pleasurable Products: an introduction to the new human factors, ISBN 0-415-298873, 2000.
10. Alkin, MC, K Dalliak and P White: Using evaluations: does evaluation make a difference? Sage: Newbury Park CA, 1969.
11. Patton, QM: Utilization-focused evaluation. Sage: Newbury Park CA, 1986.
12. Dillman, DA: Mail and internet surveys: the tailored design method (2^nd Ed) Wiley, 2000
13. Jordan, Patrick W. (2000) Designing pleasurable products: an introduction to the new human factors, Taylor & Francis Books Ltd, UK
14. Critical incidents technique (EMMUS)
    http://www.ucc.ie/hfrg/emmus/methods/cit.html
15. http://www.ul.ie/~infopolis/methods/incident.html
16. http://medir.ohsu.edu/~carpentj/cit.html
17. http://www.useit.com/papers/heuristic/heuristic_evaluation.html
18. www.wammi.com
19. www.usability.serco.com/trump/documents/Suschapt.doc
20. www.cs.umd.edu/hcil/quis/
21. http://www.useit.com/papers/heuristic/heuristic_list.html

---

Spoluautormi článku sú Lacika Miloš, Bílik Peter, Ohrablo Michal, Vozár Martin a Ladislav Hluchý