Tehtäville ei ollut asetettu tarpeeksi selkeää tavoitetta.
Yksi testihenkilö kaipasi tehtäviin "kansantajuisempaa" kieltä. Esimerkiksi sana parametri oudoksutti television käytön yhteydessä.
Tehtävän sanamuoto saattoi ohjata testikäyttäjän ajatukset harhaan. Niinpä tehtävien tulisi olla yksiselitteisiä ja niukkasanaisia.
Annoimme kaikki tehtävät yhdellä kertaa paperilla käyttäjälle. Näin käyttäjät tuntuivat keskittyvän erillisiin osatehtäviin eivätkä kehystarinan tavoitteiden täyttämiseen. Ripotellen annetut suulliset ohjeet olisivat saattaneet toimia paremmin.
Pilottitestisssä tehtävien tekoon todettiin menevän liian pitkä aika. Niinpä tehtäviä karsittiin. Lisäksi tehtävät päätettiin antaa yksitellen, jotta osa voitaisiin ajan loppuessa jättää väliin.
Peräkkäisissä testitehtävissä ei voi olettaa käyttäjien päätyvän sopivaan tilaan seuraavaa tehtävää varten, sillä käyttäjät toimivat eri tavoin: jotkut esimerkiksi sulkevat ikkunoita heti käytön jälkeen ja jotkut jättävät kaikki auki näytölle.
Testin vaikeat tehtävät olisi voinut siirtää loppuun ja helpot alkuun, koska helpot tehtävät olivat lähes triviaaleja vaikeiden, melkoista yritystä ja toimintojen hakemista vaativien tehtävien jälkeen.
Haastattelu
Loppuhaastattelun kysymyksiä ei ehditty pohtia perusteellisesti, joten tulos oli melko laiha.
Haastattelun kysymykset saattoivat olla liian teknisiä. Esimerkiksi termi palaute ei ollut television käytön yhteydessä kaikille selvä.
Haastattelu olisi ollut hyvä nauhoittaa. Tärkeää haastattelutietoa ei jäänyt puuttumaan kirjaamisen vuoksi, mutta vastauksien kirjaaminen oli hidasta.
Jos mahdollista, haastattelu kannattaa käydä järjestelmän ääressä siten, että käyttäjä voi osoittaa tarkoittamansa osan käyttöliittymästä tai selailla vielä esimerkiksi valikkoja ja käytettyjä termejä.
Ääneenajattelu
Ääneenajattelu sujui kahdelta käyttäjältä vain välttävästi. Tulosta olisi ehkä voinut parantaa näyttämällä paremmin mallia ennen testin alkua testikäyttäjälle.
Parin käyttäminen testissä oli erittäin toimiva, koska parin mudostivat henkilöt, jotka tavallisestikin tekevät samoja tehtäviä. Ääneenajattelukin toimi näin hyvin.
Pyysimme käyttäjiä kertomaan tarkasti teoistaan (mitä nappia painaa jne.). Tämä saattoi korostaa liiaksi tekemisestä kertomista, sillä käyttäjät kertoivat melko vähän ajatuksistaan ja odotuksistaan.
Joillain käyttäjillä menee kymmenisen minuuttia "alkukankeuteen", jolloin esimerkiksi ääneenajattelu ei suju. Kovin lyhyitä testejä ei siis kannata järjestää.
Nauhoitus
Eräs käyttäjä ei antanut lupaa kuvata itseään, mutta silti häneltä saatiin hyviä kommentteja.
Äänen laatuun videoinnissa ja haastatteluissa on kiinnitettävä erityistä huomiota.
Näytön kuvaus on melko hankalaa tavallisella kameralla. Kuvakaapparia kannattaa käyttää, mutta sen sopivuus käytettyyn koneeseen pitää tarkistaa hyvissä ajoin.
Testauksessa kannattaa käyttää toista kameraa näppäimistön kuvaamiseksi. Jotta näytöstä sai selvää, kuva piti ottaa hyvin läheltä. Näin näppäimistön painallukset jäivät arvailujen varaan.
Kun kuvataan kahdelle erilliselle nauhalle, nauhojen synkronointiin pitää kiinnittää erityistä huomiota. Kuvauksen alkuun molemmille nauhoille pitäisi saada mielellään sama kuva ja ääni, esim. klaffin kopautus, jotta nauhat saataisiin samaan kohtaan. Kahden kameran käynnistys yhtä aikaa ei yleensä onnistu eikä onnistuessaankaan ole kovin tarkka.
Erillinen, suuntaava mikrofoni olisi parempi kuin videonauhurin oma mikrofoni, koska erillisen saa lähelle käyttäjää ja taustamelua saadaan rajattua pois.
Yhden testikäyttäjän kohdalla mikrofoni jäi pois päältä. Vahinko ei ollut kovin suuri, koska teimme tarkkoja muistiinpanoja testin aikana.
Ovet ja kalusteet ovat meluisia, joten niiden siirtelyä nauhoituksen aikana tulisi välttää.
Lisävalaistusta käytettiin vain ensimmäisessä testissä, sillä valoa oli tarpeeksi ilmankin. Lisävaloista oli lähinnä vain haittaa, sillä ne saivat käyttäjän kuvan heijastumaan näytöltä.
Testiympäristö
Testaukseen tulisi varata oma suljettu tila, sillä nauhalle tulee yllättävän voimakkaina esimerkiksi taustan askelten äänet. Ohikulkevat ihmiset jäävät myös helposti ihmettelemään, mistä on kysymys.
Testien ilmapiiri oli varsin vapautunut alusta saakka, koska testit tehtiin käyttäjien omissa työpisteissä.
Testit suoritettiin videonauhurin normaalissa käyttöympäristössä eli kotona. Näin tunnelma testeissä oli vapautunut eivätkä tilanteet olleet kankeita tai keinotekoisia.
Järjestelyt
Testiryhmässä pitää olla kullekin toiminnolle oma vastuuhenkilö:
a) testin johtaja
b) yksi kameramies kutakin kameraa kohti (mikäli kameraa tarvitsee käännellä tai zoomailla testin aikana)
c) kyselyn ja haastattelun suorittaja
d) testiavustajien vastaanottaja
Pilottitestin jälkeen on oltava riittävästi aikaa muuttaa tehtäviä ja laittaa tekniikka kuntoon, mikäli kuvan tai äänen kanssa tuli ongelmia.
Aikatauluun on jätettävä jouston varaa, mikäli jonkin testin alku viivästyy tai testi venyy.
Testille oli laadittu aikataulu, jossa tehtävänannot, tehtävien eteneminen ja loppuhaastattelut oli limitetty rinnakkain. Aikataulussa pysyttiin hyvin ja testi saatiin päätökseen jopa etuajassa. Tässä auttoi huolellinen etukäteissuunnittelu.
Kaikki muistiin jäävät tiedot ja asetukset pitäisi poistaa ennen seuraavaa testiä.
Tarvikkeiden, kahvin ja lisukkeiden saatavuus pitää varmistaa hyvissä ajoin. Tarkistuslistaan kuuluvat mm. nauhat, akut tai jatkojohto, tehtäväpaperit, kyselykaavakkeet, haastattelukysymykset, ohjaajan omat ohjeet, kahvi, tee, sokeri, maito, mukit, lusikat, mahdolliset piparit tai pullat.
Jos testien aikana olisi tehty enemmän muistiinpanoja, analysointivaiheeseen olisi mennyt vähemmän aikaa.
Videonauhoja analysoitaessa oli hyvä ajatus käyttää apuna lomakkeita, joihin kirjattiin havaitut käytettävyysongelmat, mittaukset ja muistiinpanot havaituista yksityiskohdista. Lomakkeiden käyttö yhdenmukaisti kahden erillisen analysointiryhmän tuloksia.
Testissä käytetty aineisto oli todellista aineistoa huomattavasti pienempi, joten järjestelmän soveltuvuutta todelliseen käyttöympäristöön on vaikea arvioida. Todellisessa tilanteessa esimerkiksi tarvittavan tiedon etsiminen selaamalla ei onnistuisi.
Jos testitehtävissä tarvitaan nimiä, keksitään todellisen oloiset nimet eikä Henkilö Yksi, Henkilö Kaksi jne, jotta ei tulisi turhia väärinkäsityksiä. Jokaiselle käyttäjälle voisi myös luoda oman käyttäjätunnuksen tilanteen elävöittämiseksi.
Ohjelmat ja ikkunat, jotka eivät vielä ole käytössä, hämäävät käyttäjiä, mikäli ne ovat näkyvissä.
Lehteen olisi pitänyt teipata mainos, johon tehtävässä viitattiin.
Testin ohjaus
Testin vetäjän rooli on turhauttava, raskas ja antoisa. Jokainen testaaja opettaa vetäjälle uusia asioita testattavasta tuotteesta ja ihmisen käyttäytymisestä uusissa tilanteissa.
Emme olleet itse harjoitelleet tarpeeksi testitehtäviä. Niinpä testikäyttäjät onnistuivat pari kertaa luomaan tilanteita, joita meidänkin oli vaikea selvittää.
Testin aikana oli yllättävän vaikeaa olla neuvomatta liikaa käyttäjää tai hillitä kokeilunhaluisen käyttäjän yrityksiä.
Mikäli ohjaajaa vaihdetaan testien välissä, toimintatavat tulisi sopia mahdollisimman tarkkaan, jotta tulokset olisivat vertailukelpoisia.
Testien aikana testin vetäjienkin pitäisi antaa työrauha käyttäjille ja välttää turhaa höpötystä tai vitsailua. Tuppisuuna ei sentään tarvitse olla.
Käyttäjien valinta
Järjestelmän suunnittelijoiden kollegat eivät ole kovin hyviä testikäyttäjiä. He saattavat olla kiusaantuneita ja arastella mielipiteitään tietäessään, että nauhat päätyvät myös suunnittelijoille.
Asiakkaan valitsema asiantuntijakäyttäjä osoittautui järjestelmän suunnitelun alkuvaiheeseen osallistuneeksi. Hänen kommenttinsa olivatkin melko puolueellisia.
Television käytön testissä 9-vuotias oli liian nuori joidenkin tehtävien suoritukseen, sillä hän ei pystynyt lukemaan käyttöohjetta tarpeeksi sujuvasti.
Suuressa testissä, jossa on erilaisia käyttäjäryhmiä, pitäisi olla useampi pilottikäyttäjä.
Verkon käyttö testissä
Verkko-ongelmat saattavat yllättää testien aikana. Tehtävien suoritukseen kuluva aika saattaa vaihdella hyvin paljon verkon kuormituksen mukaan.
Ohjelman ikkunoista on hyvä olla varalla paperikuvat, jotta testiä voidaan jatkaa palvelimen kaatuessa.
Ryhmäläpikäynnissä oli hyvä kysyä jokaiselta, miten kukin olisi tehtävän suorittanut. Näin kaikki pääsivät keskusteluun mukaan. Käyttäjien mielipide kysyttiin ensimmäisenä.
Valikon sisältö kirjoitettiin piirtoheitinkalvolle kaikkien näkyviin. Tämä toimi hyvin.
Ryhmäläpikäynnissä yhteiset muistiinpanot tehtiin liian ohuella tussilla taululle, joten ne eivät näkyneet tarpeeksi hyvin.
<sirpa.riihiaho@hut.fi>