T-121.600 Harjoitustyöohjeet

1. Ensimmäisessä vaiheessa laaditaan testaussuunnitelma ja arvioidaan käyttöliittymän käytettävyyttä jollakin asiantuntijamenetelmällä (esim. heuristinen arvio tai kognitiivinen läpikäynti).
   
2. Toisessa vaiheessa tehdään pilottitesti ja varsinaiset testit käyttäjien kanssa sekä analysoidaan testien tulokset. Tulosten pohjalta esitetään jo alustavat parannusehdotukset.
   
3. Kolmannessa vaiheessa mallinnetaan muutosehdotukset ja arvioidaan niiden toimivuutta esimerkiksi kevyellä käyttäjätestauksella.
   

Raportin lisäksi työtä esitellään kurssin yhteisissä tilaisuuksissa. Jotta ryhmät tutustuisivat myös toiseen aiheeseen ja sen arviointiin ja samalla todennäköisesti toisenlaiseen raportointityyliin, kukin ryhmä kommentoi toisen ryhmän raporttia työn kahdessa viimeisessä vaiheessa.

Ryhmän työnjako ja ajankäyttö

• kuka tai ketkä hoitavat yhteydenpidon ryhmän sisällä, yritykseen ja ohjaajaan?
• kuka huolehtii missäkin vaiheessa siitä, että raportin osat saadaan ajoissa kasaan?
• kuka pitää huolen projektin seurannasta eli laatii yhteenvedon kunkin käyttämästä ajasta eri vaiheissa eri tehtäviin?
• kuka tai ketkä huolehtivat opponoinnista toisessa ja kolmannessa vaiheessa?
• kuka on päävastuussa parannusehdotusten mallintamisesta ja mahdollisesta demon rakentamisesta?

Työn alussa kannattaa sopia myös, miten ryhmän jäsenet pitävät yhteyttä toisiinsa. Sähköposti on pieniin asioihin näppärä, mutta ryhmäpalaverit ovat tehokkaita asioista päätettäessä ja ideoiden luonnissa.

Kullekin ryhmälle nimetään ohjaaja, joka tukee harjoitustyön tekoa.

Raportointi

Ryhmän toivotaan itse huolehtivan yhteyksistä aiheen antaneeseen yritykseen. Ohjaajan lisäksi raportit tulisi siis lähettää myös yrityksen yhteyshenkilölle, jos toisin ei ole sovittu.

Kirjallisessa esityksessä kuvataan testaussuunnitelma ja asiantuntija-arviot, esitetään testin analysoidut tulokset ja alustavat parannusehdotukset, ja lopuksi ehdotus uudesta käyttöliittymästä arviointeineen. Tutkimustyöstä kootaan yksi raportti, jota täydennetään työn edetessä. Raportin ohjeellinen laajuus on noin 40 sivua (+ liitteet). Koska raportti on suunnattu myös yrityksille, muutaman sivun tiivistelmä on tarpeen. Raportti laaditaan suomeksi, jos ei toisin sovita.

Raporttia saa korjailla vielä viimeisen luentokerran jälkeen noin viikon ajan. Kurssi arvostellaan lähinnä tämän loppuraportin perusteella.

Raportin rakenne

Raporttiin kuuluu sisällysluettelo ja sivunumerot. Kuvat ja taulukot parantavat raportin luettavuutta. Listoja tulee puolestaan välttää: joissain tilanteissa listat ovat tarpeen, mutta koko raportti ei saa olla pelkkää luetteloa.

Käytettävyystutkimuksen raportoinnissa tulisi noudattaa tieteellisen tutkimuksen yleisiä periaatteita. Niinpä tiedot tutkimuksesta, testitehtävistä ja esitetyistä kysymyksistä tulisi antaa niin tarkkaan, että muut kurssille osallistujat pystyisivät toistamaan testit.

Näissä ohjeissa luetellaan, millaisia asioita missäkin vaiheessa tulisi raportoida. Raportin rakenne ja otsikot tulee miettiä erikseen, tilanteen mukaan. Mallina voi käyttää esimerkiksi ISO-standardin 13407 "Human-centred design processes for interactive systems" liitteessä B esitettyä käytettävyyden arvioinnin raportin rakennetta.

Vaihe 0.5: alustavat suunnitelmat

Jatkossa sisällysluettelo voi toimia niin raportin kuin suunnitteluperustan runkona.

Ensimmäinen osa: testaussuunnitelman määrittely

Aiheen esittely

• Testattavan tuotteen lyhyt esittely:
  Keitä ovat tyypilliset käyttäjät?
  Mitkä ovat tyypilliset toiminnot?
  Mikä on tyypillinen käyttöympäristö?
  Millainen nykyinen käyttöliittymä on ja miten sitä käytetään? Havainnollistakaa kuvilla mahdollisuuksien mukaan.

Käytettävyystutkimuksen tavoite

• Miksi tuotetta arvioidaan?
  Mitä tuotteesta tutkitaan, tiettyä osaa vai kokonaisuutta?

• Käytettävyyskriteerien määrittely
  Mitä ominaisuuksia tutkitaan ja miten niitä mitataan?

  Kriteerien tulisi olla mielellään mahdollisimman konkreettisia ja mitattavia, mutta ei silti vain aikoja. Valitut käytettävyystekijät eivät rajoita tulosten analysointia, vaan testejä analysoitaessa voi hyvinkin ilmaantua uusia mitattavia kriteerejä. Alla joitain esimerkkejä mahdollisista kriteereistä.

• Mitä laadullista tietoa halutaan kerätä?

Arviointimenetelmät

• Sopivan menetelmän valinta asiantuntija-arviointiin perusteluineen. Myös arvioinnin tulokset esitetään jo ensimmäisessä vaiheessa sopivaksi katsotun otsikon alla. Valitun menetelmän soveltuvuutta olisi hyvä arvioida myös jälkeenpäin.

• Käyttäjätestauksessa lähtökohtana on käytettävyystesti, ääneenajattelu sekä haastattelu ja kyselyt, mutta muitakin vaihtoehtoja kannattaa pohtia.

Arvioinnin kohderyhmä

• Eri käyttäjäryhmien soveltuvuuden arviointi asetettujen tavoitteiden kannalta.
  Sopivatko käytettävyystestiin esimerkiksi parhaiten noviisit, perehdytyskurssin käyneet, tietyn ammattiryhmän edustajat vai tietyn ikäiset käyttäjät?

• Kuinka monta testikäyttäjää tarvitaan?
  Suositeltava määrä on 3-6 henkilöä (+pilotti). Pienemmistä ja suuremmista määristä on sovittava erikseen ohjaajan kanssa.

Testitehtävät

• Testikäyttäjille annettavat kirjalliset ja suulliset ohjeet mahdollisimman tarkasti. Tehtäviä voidaan muokata pilottitestin perusteella. Kullekin tehtävälle pitäisi määritellä maksimiaika, jonka ylittyessä käyttäjää voidaan tarpeen mukaan ruveta varovasti neuvomaan. Joissain tapauksissa voi olla tarpeen myös keskeyttää tehtävä. Tällöinkin tulisi tarkasti selvittää käyttäjän ongelma. Tällaisten tilanteiden varalta tehtävät tulisi mahdollisuuksien mukaan suunnitella siten, että ne eivät ole toisistaan riippuvaisia.

• Tehtävien tueksi kannattaa miettiä sopiva skenaario, joka auttaa käyttäjää luomaan kuvan käyttötilanteesta ja antaa mahdollisuuden eläytyä tehtävään.

Testiin liittyvä kysely ja haastattelu

• Mahdollisen kyselykaavakkeen malli
  Kyselykaavakkeessa kannattaa kysyä asioita, joita voidaan mitata tietyllä skaalalla (esim. 1-5).

• Kysymykset, jotka vaativat vapaamuotoisia vastauksia (esim. parannusehdotukset), kannattaa esittää haastattelussa. Suullisia kommentteja saa yleensä huomattavasti enemmän kuin kirjallisia.

• Haastattelut kannattaa myös videoida analysointia varten.

Testitilanne

• Yksittäisen testi-istunnon aikataulun suunnittelu ja maksimipituuden määrittely
  Testitehtävien määrä pitäisi mahdollisuuksien mukaan rajoittaa siten, että niiden tekemiseen ei kulu tuntia kauempaa. Haastattelut ja kyselyt venyttävät testin kokonaisajan usein tuntia pidemmäksi.

• Testikäyttäjien hankinta
  Miten hankitaan, voidaanko antaa jokin liikelahja tms?

• Testipaikan valinta
  Paikan valintaa kannattaa miettiä myös testikäyttäjien kannalta

• Testikäyttäjien, ohjaajien, testattavien laitteiden, kameroiden ja mikrofonien asettelu
  Kuva kertoo asian parhaiten.
  Laitteiden sijoittelu todennäköisesti muuttuu ja tarkentuu pilottitestin perusteella, mutta alustava suunnitelma on hyvä olla valmiina. Tässä vaiheessa pitäisi siis päättää, mitä kuvataan (pelkkää näyttöä, näyttöä+näppäimistöä+hiirtä, yleisnäkymää vai mitä? Käytettävyyslaboratorion laitteilla voi yhdistää kaksi kuvaa.)

Toinen osa: käytännön testaus ja tulosten analysointi

Pilottitesti

• Ohjaaja seuraa pilottitestiä mahdollisuuksien mukaan. Jos ohjaaja ei pääse testiin, ryhmän edustajan on esiteltävä testin nauha ohjaajalle ennen varsinaisia testejä.

• Miten pilottitesti järjestettiin?
• Mitä opittiin; Mitä muutoksia piti tehdä?

Testikäyttäjät

• Testikäyttäjien taustatiedoista yhteenveto ainakin niiltä osin kuin niitä on käytetty valintakriteereinä (ikä, ammatti, kokemus tms.)

• Kolme testiä päivässä on jo melko raskasta. Testien väliin kannattaa jättää riittävästi aikaa seuraavan testin valmisteluille ja ryhmän hengähtämiseen.
• Testikohtaista aikataulua voidaan myös tarkentaa aiemmista suunnitelmista.

• Jos testit tehdään TKK:n käytettävyyslaboratoriossa, videokamerat ja mikrofoni ovat valmiiksi paikan päällä. Laboratorion varaukset sovitaan Mikan tai Hannun kanssa.

• Jos ryhmä käyttää kahta videokameraa testien kuvaamiseen ja haluaa yhdistää nämä yhdeksi nauhaksi, sen kannattaa käyttää mikseriä jo kuvausten aikana, mutta voi tarvittaessa yhdistää nauhat myöhemminkin. Miksattaessa nauhat vasta jälkeenpäin on tärkeää, että nauhoilta löytyy jokin yhteinen kohta, jonka mukaan ne voidaan synkronoida.

  Testitilanteessa: Yrittäkää saada testikäyttäjät rentoutumaan ja motivoitumaan. Opettakaa ääneenajattelu näyttäen itse mallia. Tarkistakaa, että ääneenajattelu kuuluu nauhalla! Käyttäjän pitäisi itse saada päättää, koska tehtävä on suoritettu loppuun, joten tehtävänannossa pitäisi kertoa tehtävän tavoite. Jos käyttäjä tarvitsee apua, kertokaa vain tarpeellinen tieto. Älkää viekö ohjauslaitteita käyttäjän käsistä tai puuttuko tehtävän suoritukseen, jos se ei ole täysin välttämätöntä!

• Miten testaus onnistui?
  Olisiko jotain pitänyt tehdä toisin? Miksi?

• Yleisvaikutelma tehtävien suorituksista ja haastatteluista sekä kiinnostavia yksityiskohtia

Testitulokset

• Testien tulokset käyttäjittäin kannattaa laittaa liitteisiin. Itse raporttiin laitetaan yhteenveto testeistä ja tärkeimmät havainnot.
  Sekä laadulliset että määrälliset tulokset ovat arvokkaita ja tulisi esittää kattavasti, mutta tiiviisti raportissa.

• Tuloksista on hyvä laatia sanallisten selitysten lisäksi taulukoita erilaisia jaottelukriteereitä käyttäen. Jos käyttäjinä on esimerkiksi ollut sekä aloittelijoita että kokeneita käyttäjiä, heidän tuloksensa kannattaa esittää erikseen. Joskus asenne tekniikkaan ja kokemus teknisten laitteiden käytöstä voi vaikuttaa tuloksiin.

• Ongelmakohdat, havaitut virheet ja puutteet käyttöliittymässä
  Ongelmat kannattaa priorisoida esimerkiksi vakaviin ongelmiin, pienempiin virheisiin ja kosmeettisiin virheisiin.

• Käyttöliittymän hyviä puolia ei sovi unohtaa, koska ne voidaan korvata huonommilla vaihtoehdoilla, jos niitä ei erikseen mainita.

• Haastattelujen tulokset

• Käytettävyyskriteerien täyttyminen

• Kuvat helpottavat lukemista ja arviointia

Kolmas osa: parannusehdotukset ja niiden arviointi

Parannusehdotukset

• Miten havaitut virheet ja puutteet voidaan korjata?
  Esittäkää sanallisten selitysten lisäksi kuva uudesta käyttöliittymästä tai sen osasta. Parannusehdotukset tulee konkretisoida siten, että niistä voidaan pyytää ulkopuolisen käyttäjän kommentteja.

• Jos käyttöohjeisiin tarvitaan muutoksia, esittäkää selkeä esimerkki siitä, miten niitä voidaan parantaa.

• Jos tietyt termit olivat ongelmallisia, koettakaa löytää parempia vaihtoehtoja.

Parannusehdotusten arviointi

• Miten muutokset arvioitiin, miten hyvin valittu menetelmä soveltui tehtävään, mitä havaittiin?
  Suositeltava menetelmä muutosehdotusten arviointiin on muutaman tehtävän läpikäynti yhden tai kahden käyttäjän kanssa esimerkiksi paperiversion avulla. Tämän arvioinnin on tarkoitus olla melko kevyt, joten istuntoja ei tarvitse videoida. Tarkoituksena on vain saada arvio muutosehdotusten toimivuudesta.

• Mikäli aikataulu antaa myöten, yrityksen edustajien kommentit parannusehdotuksista
  Ovatko muutokset toteutettavissa? Miksi on päädytty toisenlaiseen ratkaisuun?

Vaihe 3.5

Takaisin kurssin kotisivulle.