Analýza nebo uživatelské testování?
Uživatelské testování není všespasitelné, ačkoliv expertní analýza také ne. Je potřeba je vyvážit.
Dočetl jsem knihu Web Anatomy: Interaction Design Frameworks that Work od pánů Spoola a Hoekmana. Hned v úvodu knihy pánové připravují půdu pro svůj výtvor – designové frameworky – a opírají se při tom o výsledky testů CUE – konkrétně CUE-2 a CUE-4. Recenzi na knihu napíšu někdy jindy a zůstanu jen u tohoto úvodu, který se dá mmj. částečně najít v článku Usability Testing Best Practices: An Interview with Rolf Molich.
Vyplývají z něj totiž zajímavé závěry.
Test CUE-2
Pro tento test bylo v roce 1998 najato Rolfem Molichem 9 týmů, které měly během 3 týdnů otestovat použitelnost webového emailu Hotmail libovolnou metodou. Týmy reportovaly celkem 310 různých problémů použitelnosti, nejvíce se vyskytující problém byl uveden sedmi týmy, šest problémů bylo reportováno více než polovinou týmů a 232 problémů bylo zcela unikátních. Mnoho z nich bylo označeno jako „vážné“.
Test CUE-4
V testu CUE-4 bylo najato celkem 17 týmů na otestování webu hotelpenn.com. 9 týmů používalo různé typy uživatelského testování, 8 expertní analýzu. Celkem nalezli 340 problémů použitelnosti, 9 z nich bylo hlášeno více než polovinou týmů a 60% všech problémů bylo unikátních – mnoho z nich (61) opět označeno jako „vážné“ nebo „kritické“.
Teď nad tím chvíli přemýšlejte.
Důsledky
- uživatelské testování vám neodhalí všechny vážné problémy použitelnosti webu, pravděpodobně neodhalí ani zlomek z nich (najměte 17 týmů :-) – většina projektů nikdy neuvidí ani jednu iteraci uživatelského testování se třemi uživateli)
- expertní analýza může být pro použitelnost webu stejně přínosná jako uživatelské testování – nedá se jasně říct, že je lepší nebo horší – v obou případech ovšem předpokládám, že testování i analýzu dělá expert (na druhou stranu nutno podotknout, že v ČR jsem se setkal PŘEVÁŽNĚ s analýzou a minimem testování, což je stav, který je rovněž trvale neudržitelný)
Co s tím?
Spool a Hoekman nabízí designové frameworky. Osobně vidím frameworky jako velmi přínosné (a dobře se pomocí nich argumentuje a vytváří obsah stránek), ale tady v ČR nás pálí právě to uživatelské testování. Ani ne tak z pohledu nalezení konkrétních chyb na konkrétních webech jako z hlediska změny úhlu pohledu tvůrců webů.
Komentáře
Nahodis, jak se od sebe lisi navrhove vzory a designove frameworky? Je to to same? Nebo maji mezi sebou nejakou zasadni rozlisovaci vlastnost. http://delicious.com/…signpatterns
A s tim pohledem tvurcu me napada jedinna (lec podstatna) vec, ktera tomu brani: maly rozpocet a malost klientu samotnych, kvuli cemuz neni mozne testovat apod.
[3] Ano, mám to v plánu v recenzi, nebo to proberem zítra. Koneckonců tohle JE analytika GUI :-)
Analýzy i testování mají svůj smysl. Nelze říct, že jedno z toho je lepší. Vždy záleží na tom, s čím pracujeme a co chceme zjistit.
Analýza může být daleko podrobnější, zaměřena na všechny části webu a i ty nejmenší nedostatky. Odborník zpravidla odhalí problémy, které jsou jasně identifikovatelné – nepodtržené odkazy, chybové hlášky, ovladatelnost navigace, struktura atd. Zlepšení těchto věcí většinou najisto pomůže, rozhodně neuškodí.
Testování pomůže odhalit problémy na jiném levelu. Tam, kde není jisté, zda uživatelům bude vyhovovat to, a nebo ono řešení. Testuje se hlavně porozumění webu, cesta k určitému cíli.
Výsledek toho pokusu CUE je velmi zajímavý. Nabízí se laciné vysvětlení, že oslovené agentury byly břídilové :-) Určitě by bylo velmi zajímavé ho zopakovat, je už hodně starý. Jen se obávám, že u nás máme málo agentur a nebudou ochotné nám jen tak pro legraci něco testovat.
Zkušenost mě naučila, že nástroje a metody je dobré volit podle očekávaného efektu. Testování — když se ho jako pozorovatelé zúčastní vývojáři — je mnohem přesvědčivější než tisíc checklistů, heuristik, desk-analýz a expertních posudků.
Pokud byste nechtěli přijmout můj pragmatický pohled na věc, pak testování se hodí tam, kde potřebujete ověřit hypotézu. Například příští týden testujeme míru použitelnosti návrhových vzorů zvolených pro administraci, abychom — dokud to ještě jde — mohli případně od ribbonu a widgetů s in-place editováním na dashboardu ustoupit k zažitějším způsobům ovládání (dialogy, formuláře, rozbalovací nabídky ap.).
V ověřování inovativních přístupů je testování nezastupitelné. Experti mají tendenci prosazovat spíše konzervativní řešení na úkor lepší user-experience.
Ostatně — přijďte se podívat k nám do laboratoře. :-)
Ten výzkum, o kterém píšeš, je moc zajímavý. Zajímala by mě ale metodická správnost všech těch testů, resp. možná to celé vypovídá hlavně o tom, že ne každý umí a může dělat uživatelské testování :-)
Ale každopádně inspirativní myšlenka.
Zajímavé výsledky i tip na literaturu. Díky.
Není mi úplně jasné, kdo určoval „vážnost“ či „kritičnost“
nalezených chyb. Pokud to byly samy testovací týmy, tak to může svědčit
spíše o jejich nezkušenosti či snaze za každou cenu něco zásadního
najít. Pokud to určovala nějaká nezávislá autorita, pak to může
naznačovat, že testeři testování asi nevěnovali dostatečnou péči či
neměli dostatek zkušeností.
Souhlasím s Adamem Fendrychem, že by bylo zajímavé podobný výzkum
zopakovat. Myslím, že by reportované chyby dnes nebyly tak unikátní…
Trochu mi tady chybí odkaz na Hoekmanovo jiné shrnutí http://www.alistapart.com/…ity-testing/ – mám dojem, že hlavně komentáře stojí za shlédnutí. Udělal jsem si z toho závěr, že ty závěry, které uvádíš, jsou přinejmenším pochybné… :-)
Tak na břídily to úplně nevypadá – je tam třeba Steve Krug (Dont make me think).
Mě k tomu z první ruky napadá, že CUE-4 bylo zadání na Hotel Pennsylvania’s website, http://www.hotelpenn.com a bylo prováděno v březnu 2003. Od té doby se konsenzus nad tím co je možné nebo standard ve webových aplikacích posunul o dost dále.
Zajímavé je, že to porovnání nezopakovali v pozdějších setkáních (dotáhli to až na CUE-8) – že v pozdějších verzích přímo a znovu neporovnávali výsledky usability testů a expert reviews, ale zkoušeli jiné věci.
Napadá mě, jestli náhodou 60% unikátnost závěrů nevychází z toho, že šlo v podstatě o kompetitivní záležitost. Týmy věděli, že budou jejich výsledky srovnávány. Pak by těch 60% mohlo být prostě jen v korelaci s tím, že se týmy „fakt snažili“.
Jinak na Google Books je kniha k nahlédnutí. Sice ve velmi omezeném
rozsahu, ale rozhodně lze zachytit ducha, jakým je psaná.
http://books.google.com/books?…
[8] díky za odkaz. Co se závěrů týče – pokud je vyvrátíš, rád je přepíšu :-)
[10] Zeptám se jinak. Zřejmě jsi nějaké ty interpretace CUE-4 četl. Jsi přesvědčen o tom, že je logicky správné vytvářet závěry, jaké uvádíš ke konci článku? Jsou to tvé závěry anebo převzaté? Proč jsi také, alespoň letmo, neuvedl fakta, z kterých byly tyto závěry vyvozeny?
Závěry jsou to moje a ze mě dostupných informací mi přijdou logicky správné :-)
Díky za tip, kniha objednána :-)