Tik-76.115 Käyttöohje

Cluster     -    WWW-palvelujen käyttäjätietojen klusterointi

Sisällysluettelo

1. Johdanto
2. Järjestelmän käyttöönotto
3. Toiminnot
4. Ongelmatilanteet
5. Ylläpito
6. Liitteet
7. Kirjallisuusviitteet
8. Sanasto
9. Hakemisto
 

Yhteenveto

Kyseessä olevan projektin tarkoituksena on laatia ohjelmisto, joka lukee www-palvelimen lokitietoja sekä tiedot www-palvelun rakenteesta ja muodostaa näistä tiedoista käyttäjäklustereita, ts. jakaa www-palvelimella käyneet käyttäjät erilaisiin ryhmiin perustuen siihen, mitä, milloin, missä järjestyksessä jne. käyttäjät ovat palvelimelta hakeneet. Palvelimen käyttäjätietojen rajauksessa sekä saatujen klusterien jälkitarkastelussa voidaan käyttää hyväksi niitä henkilötietoja, jotka käyttäjät ovat itsestään antaneet rekisteröityessään palvelun käyttäjiksi. Ohjelmiston kehityksessä käytetään esimerkkipalvelimena Kauppalehti Online-palvelua, sen www-palvelimen lokitietoja sekä käyttäjätietokantaa.

Järjestelmän varsinaiset klusterointia suorittavat osat sekä käyttöliittymäkomponentit on suhteellisen helppo asentaa, käytännössä tiedostot kopioidaan käytettävälle koneelle, client-sovellus asennetaan http-palvelimen alle ja tehdään siihen tarvittavat linkit. Suurin työ järjestelmän asentamisessa ja ylläpidossa onkin tarvittavien tietokantojen laatiminen, päivittäminen ja ylläpito. Tietokantojen tulee olla serverisovelluksen saavutettavissa sekä niissä tulee olla tuki järjestelmän käyttämälle JDBC-ohjelmointirajapinnalle. Tietokantojen nimet ja sijainnit kerrotaan klusterointijärjestelmälle erillisessa initialisointitiedostossa. Lisäksi serverikoneeseen tulee olla asennettuna Java Development Kit:n 1.1.x-versio sekä sen RMI Registry-osio.

Ohjelmiston kaikkia toimintoja käsitellään ja hallitaan client-sovelluksen kautta, joka toimii koko järjestelmän käyttöliittymänä. Se välittää toiminnoista käskyt serveriprosessille, joka tekee tarvittavat operaatit, laskee uusia klustereita, suodattaa www-palvelimen käyttölogia sekä tekee tarvittavat haut tietokantoihin sekä välittää client-prosessille takaisin sen tarvitsemat tiedot. Proto1 vaiheessa toteutetaan MakeNewRun operaatio joka on ohjelmiston perustoiminto. Se sisältää toimivan klusteroinnin ilman tulosten tallennusta kantaan. Myöskin demografiadatan toteutus on jätetty proto2 vaiheeseen.

1. Johdanto

Tämä dokumentti on tarkoitettu käyttöohjeeksi projektin johdolle sekä asiakkaille. Lukijoiden oletetaan tietävän projektin tavoitteet sekä laadittavalle järjestelmälle asetetut vaatimukset ainakin pääpiirteissään. Näitä asioita on käsitelty lähemmin erillisessä toiminnallisessa määrittelyssä.

Dokumentti käsittelee ohjelmiston sitä versiota, joka on saatu Ohjelmatyö-kurssin puitteissa valmiiksi ja luovutetaan asiakkaalle kurssin viimeisessä luovutus-vaiheessa.

Ohjelmisto käsittää kaksi prosessia, käyttöliittymästä huolehtiva client, joka on kokonaan Javalla toteutettu ja joka toimii ohjelmiston käyttäjän oman työaseman selaimessa sekä varsinaisessa klusterointikoneessa toimiva serveri. Clientin edellytetään toimivan netscape-selaimen versioilla 3 ja 4. Serveriohjemisto kaavailtiin alkuperäisissä suunnitelmissa toteutettavaksi Javan lisäksi C++:lla siten, että varsinainen klusterointi sekä liitynnät ohjelmiston käyttämiin tietokantoihin olisi tehty C++:lla ja liityntärajapinta client-prosesiin Javalla käyttäen Javan tarjoamaa RMI-tekniikkaa, jossa funktiokutsuja voidaan välittää prosessilta toiselle.. Sittemmin havaittiin Javan tarjoavan myös kätevän tietokantaliittymän ( JDBC -kirjasto). JDBC:hen siirtyminen aiheutti luonnollisesti sen, että myös tietokantoja käsittelevät osat serveristä toteutettaisiin Javalla. Lopulta on päädytty koko ohjelmiston toteutukseen Javalla, mikä vähentää tarvittavien konversioiden määrää huomattavasti sekä selkiyttää rajapintoja ohjelmistomodulien välillä kun aina voidaan välittää suoraan Java-objekteja tarvitsematta huolehtia eri ohjelmointikielten erilaisista tiedon esitystavoista.

Ohjelmiston käyttöliittymä on toteutettu Javalla ja sitä voi käyttää browserilla eri ympäristöissä. Ohjelman varsinainen klusterointiosa käyttää monia erilaisia tietokantoja, joihin tapahtuva liikenne toteutetaan JDBC:llä. Ohjelmisto lukee www-käyttäjätiedot raakana tekstidatana, jota se prosessoi esim. karsimalla inline-kuvia yms. pois sekä rajaamalla lähdeaineistoa käyttäjän ohjeiden mukaan kulloistakin klusterointianalyysia varten. Näin saatu lokitieto tallennetaan omaan tietokantaansa. Analyysit muodostavat Run-tyyppisiä objekteja, jotka koostuvat analyysissa muodostuneista klustereista. Nämä ajot talletaan omaan tietokantaansa, josta niitä voidaan lukea myöhemmin tapahtuvaa analyysia varten. Lisäksi ohjelmisto käyttää analysoitavan datan esiprosessoinnissa sekä valmiiden klustereiden visualisoinnissa www-asiakkaiden demografiatietoja sisältävää tietokantaa. Kaikkiin tietokantoihin käytetään tässä projektissa Solidin SQL-servereitä, joihin on tarjolla JDBC-ajurit.

Kysymykset, ehdotukset, virheraportit ym. tulee lähettää osoitteeseen cluster@smartpush-4.cs.hut.fi.

2. Järjestelmän käyttöönotto

Serverisovellus
Serverin tarvitsemat Java-tiedostot kootaan yhteen jar-tiedostoon (server.jar), joka käynnistetään jollakin JDK 1.1:ä tukevalla tulkilla. Lisäksi mukan tulee script start_server, jolla serverin käynnistäminen automatisoidaan.
Serverin konfigurointi tapahtuu erillisellä initialisointitiedostolla tai vaihtoehtoisesti käyttöliittymäsovelluksen (Clientin) välittämillä parametreilla.
Initialisointitiedosto
Ohjelmiston toimintaan vaikuttavia parametreja voidaan välittää erityisessä konfigurointitiedostossa. Siihen kirjataan mm. klusterointialgoritmin tarvitsemia parametreja, intervalleja jne. sekä esimerkiksi ohjelmiston käyttämien kantojen osoitteet. Ohjelmisto etsii konfigurointitiedostoa serverin binnäärihakemistosta nimellä "ConfigurationFile.txt". Konfigurointitiedosto koostuu useista seuraavanmuotoisista blokeista:
 
// Kommentit
start <keyword>
<keyword-spesifinen data>
end <keyword>
 
Keywordien keskinäisellä järjestyksellä ei ole merkitystä ja start, end sekä keywordit ovat case-insensitiivisiä. Ohessa on kuvaus sallituista keywordeistä sekä niiden edellyttämistä dataformaateista. Se, mitä klusterointialgoritmin parametrit varsinaisesti tarkoittavat, käy parhaiten ilmi erillisestä klusterointialgoritmin dokumentoinnista.
 
 

ConfigurationFile.txt: hyväksytyt tokenit
TrashFilter	Yksi rivi, regular expression, joka sisältää algoritmin pois filtteröittävät tiedostonimet, kuten inline-kuvat jne.
SectionRules	Www-palvelimen "section"it eli erilliset osastot sillä tarkkuudella kuin ne halutaan erotella toisistaan klusteroitaessa. Eri osastot ovat eri riveillä jokainen omana regular expressioninaan.
IntervalsAveragePathLength   IntervalsMegaUserPerHit   IntervalsMegaUserPerSession   IntervalsVisitStartTimeFrequency   IntervalsSessionPathLengthFrequency   IntervalsSessionLengthFrequency	Klusterointialgoritmin tarvitsema intervallivälit, rivi pilkuilla toisistaan eroteltuja integerejä  Esim.  0,3,10,20    tarkoittaa intervalleja  [0-3],[3-10],[10-20],[20...]
DBPort ClusterDB   DBPort UserDB   DBPort LogDB	Ohjelmiston käyttämien tietokantojen portit (proto olettaa vielä kantojen olevan samassa koneessa)
VisitThreshold	Yksittäinen Integer, aika, jonka pituinen hiljainen jakso erottaa kaksi erillistä sessiota.
MaxNumOfLogUsers	Integer, määrittää montako käyttäjää kerrallaan haetaan tietokannasta. Parametrilla voi vaikuttaa toiminnan tehokkuuteen, käytännössä optimaalinen arvo riippuu tietokantatoteutuksesta ja yhteyksistä tietokantaan.
Components	Klusterointialgotimin hyväksymät komponentit, jokainen, joka halutaan tähän klusterointiin mukaan, kirjoitetaan omalle rivilleen Components-osaan. Hyväksytyt komponentit ovat:  SectionFrequency  MostFrequentlyVisitedSection  SecondMostFrequentlyVisitedSection  StartSectionFrequency  MostFrequentPathStart  StopSectionFrequency  MostFrequentPathEnd  SessionPathLengthFrequency  MostFrequentPathLength  AveragePathLength  MegaUserPerHit  MegaUserPerSession  HourFrequency  DayFrequency  WeekEndFrequency  SessionLengthFrequency  MostFrequentLength  VisitStartTimeFrequency

 
Katso myös esimerkkiä konfigurointitiedostosta.
Client-sovellus
Client-sovellus koostuu kahdesta tiedostosta, cluster.jar sekä cluster.html. Jar-tiedostoon on pakattu kaikki client-sovelluksessa tarvittavat Java-luokat, kuvat jne. Html-tiedosto sisältää aloitussivun, josta on linkki varsinaiseen sovellukseen.

Tässä luvussa kuvataan perusasiat järjestelmän asentamisesta, tarkimmat viime hetken tiedot ovat aina ohjelmiston mukana olevassa README-tiedostossa.

Tietokannat
Järjestelmän vaatimat tietokannat asennetaan joko samaan koneeseen serverisovelluksen kanssa tai siten, että kannat ovat verkon kautta käytettävissä. Tietokannat voivat olla periaatteessa mitä tahansa SQL-kantoja, joihin on saatavilla tuki JDBC-rajapintaa varten. Asennuksen yksityiskohdat ovat tietokannasta riippuvaisia, järjestelmän kehityksessä on käytetty Solid:n tietokantoja. Tietokantojen nimet ja tiedot siitä, mistä ne löytyvät, määritellään ohjelmiston initialisointitiedostossa. Tietokannoilta vaadittu rakenne on selvitetty omassa erillisessä dokumentissaan.
JDBC
Edellämainittujen tietokantojen yhteyteen on asennettava JDBC-ajurit, jotta järjestelmä pystyy lukemaan tietokantoja. Asennuksen tarkemmat yksityiskohdat ovat jälleen tietokantakohtaisia riippuen kunkin kannan JDBC-liittymän toteutuksesta.
Client-sovellus
Clientin aloitussivu sekä javaluokat asennetaan serverikoneelle siten, että niihin päästään käsiksi www-palvelimen kautta. (joko suoraan tai symbolisen linkin kautta). Mikäli pääsyä sovellukseen halutaan rajoittaa, tehdään se rajoittamalla pääsy http:llä kyseiseen hakemistoon (esim. firewallien avulla). Näin client-ohjelmistoa pystytään käyttämään www-selaimella verkon yli.
Serveri
Server.jar sekä ConfigurationFile.txt asennetaan samaan hakemistoon serverikoneelle. Ko. hakemisto tulee olla järjestelmän classpathissa (tai tarkemmin ottaen ajettavan client-appletin näkemässä classpath:ssa). Selkeintä lienee asentaa server- ja client-sovellukset samaan hakemistoon. Serverin käynnistys automatisoidaan 'start_server'-scriptillä, johon konfiguroidaan www:n kautta näkyvä client-sovelluksen sisältävän hakemiston nimi.

Serveripuolen toimintaa varten tarvitaan JDK 1.1-ympäristö (tulkki, RMI registry) sekä www-palvelin (mikäli klusteroinnin tuloksia halutaan tarkastella client-sovelluksella muutenkin kuin paikallisesti). Lisäksi tarvitaan tietokannat, jotka tarjoavat sovelluksen käyttämän JDBC-ohjelmointirajapinnan. Tietokannaksi käy periaatteessa mikä tahansa SQL-palvelin, jolle on saatavissa JDBC-ohjelmointirajapinta.
Serverissä käytetään regular expressioneja, joiden käsittely on suoritettu Original Reusabe Objects Inc:n OROMatcher-paketilla. Lisenssin mukaan pakettia saa käyttää ja levittää oman ohjelmistonsa osana, joten asiakkaan ja käyttäjän ei tarvitse erikseen huolehtia tästä.
Client vaatii toimiakseen JDK-1.1:stä tukevan selaimen kuten www-selaimen tai JDK:n mukana tulevan appletviewerin.
 

3. Toiminnot

Serverin ja RMI-registryn käynnistys
Serveri käynnistetään start_server-scriptillä, johon on konfiguroitu tarvittava classpath sekä www-palvelimen läpi näkyvä hakemisto, jossa on client-sovelluksen aloittava html-sivu.
Clientin käynnistys ja käyttö
 
Järjestelmää hallitaan client-sovelluksen kautta,  mistä voidaan selata aiempien klusterointiajojen tuloksia, suorittaa uusia klusterointiajoja sekä poimia erilaisia demografisia tietoja klusterointien tuloksista. Esim. uutta klusterointia laadittaessa Client-sovellus välittää käyttäjän antamat parametrit serverisovellukselle, joka suorittaa varsinaisen klusteroinnin ja tallettaa tulokset. Vastaavasti kun käyttäjä haluaa tarkastella aiempien klusterointiajojen tuloksia, välittää client-ohjelma käskyt serverille, joka hakee tiedot tietokannasta ja välittää ne edelleen clientille.
 
Clientin oletusnäkymässä on on toimintonäppäinten ja -valikoiden lisäksi visuaalinen esitys senhetkisestä tarkasteltavana olevasta klusterointiajosta, mikäli sellainen on valittuna:

Kuva 1: Clientin perusnäkymä
 
Oheisessa kuvassa on valittuna ajo, jossa on eroteltu toistakymmentä clusteria, joita kuvataan värillisillä palloilla. Klusterien käyttäjämäärät on kirjoitettu palloihin. Näistä yksi on valittuna demografia- ym. tarkasteluja varten, mikä erottuu sinisestä kehästä. Klusteri valitaan klikkaamalla, jolloin kuva piirretään uudetaan valittu klusteri keskitettynä. Näin kuvaa saadaan pyöriteltyä ympäri ja myös tässä projektiossa toisten taakse jäävät klusterit näkymään.
 
• Klusteriajon laatiminen

 
Uuden klusterointiajon laatiminen voidaan aloittaa joko toimintinäppäimestä 'uusi'  (demossa pyramidi) tai 'Ajo'-valikon toiminnosta 'uusi'. Tällöin avautuu oheisen kuvan mukainen ikkuna.

Kuva 2. Uuden klusteriajon käynnistäminen

Klusteroinnin aloitusdialogi koostuu kolmesta välilehtien tapaan toteutetusta runnakkaisesta osasta, joista jokaista vastaa yksi dialogin ylälaidassa oleva toimintonäppäin. 'Ajo'-kenttä, joka avautuu ensiksi, on esitetty kuvassa 2. Tähän kenttään voidaan syöttää ko. ajolle kuvaava nimi sekä se, kuka klusteroinnin on tehnyt. Lokidataa voi käsitellä sen mukaan, keitä käyttäjistä halutaan mukaan tämänkertaiseen klusterointitarkasteluun. Periaatteena on, että oletuksena tutkitaan kaikkia käyttäjiä, mutta klusteroinnin laatija voi tarpeen mukaan suodattaa osan käyttäjistä pois (tai oikeastaan suodattaa lokidatasta pois näiden käyttäjien tekemäät haut). Suodatuksen hallintaan on laadittu oheinen dialogi:

 

Kuva 3. Lokidatan suodatusdialogi
 
Uuden suodatuskriteerin valinta
Alimpana olevassa pudotusvalikossa on valiittavana kaikki käytettävissä olevat suodatusparametrit; aika, jolta www-haut huomioidaan, käyttäjän sukupoli, ikä, ammatti jne. Kun valikosta lisätään uusi parametri, lisää ohjelma sen listaan alimmaiseksi.
Suodatuskriteerin poisto
Mikä tahansa listassa olevista suodatuskriteereistä voidaan poistaa klikkaamalla kriteerin edessä olevaa 'X':ää.
Suodatuskriteerin määrittely
Kriteerien määrittely ja ehtojen tarkennus riippu luonnollisesti siitä, millainen kriteeri on. Jokaisella kriteerillä on spesifiset määrittelynsä, jotka näkyvät samalla rivillä kriteerin nimen kanssa.
Klusterointiparametrien määrittely
Uuden klusterointiajon kolmas välilehti käsittelee sitä, minkä parametrien mukaan klusterointi suoritetaan ja missä tärkeysjärjestyksessä parametreja sovelletaan. Välilehdellä on lueteltu valittavissa olevat klusterointiparametrit, joiista jokaista vastaa checkbox, joiden avulla klusteroinnin laatija voi määritellä haluamansa parametrit klusteroinnissa huomioitavaksi.
Klusterointiajon käynnistys
Jokaisella 'Uusi'-dialogin välilehdellä on alhaalla sama kolmen toimintonäppäimen rivi; Start, Cancel ja Reset. Start aloittaa klusteroinnin senhetkisten määritysten mukaan, Cancel luonnollisesti peruuttaa uuden klusterointiajon luomisen ja sulkee dialogin ja Reset palauttaa klusterointiasetukset oletustilaan.
 
• Aiemmin laadittujen klusterointiajojen tarkastelu
 
Päävalikon 'Selaa´-toiminnolla (tiedostolaatikon kuva) tai 'Ajo'-valikon Selaa-toiminnolla avautuu dialog box, jolla ohjelmiston käyttäjä pääsee käsiksi klusteriajoja sisältävään tietokantaan. Dialogi näyttää kannassa olevat ajot, niiden nimet, laatijat sekä laatimispäivämäärät. Käyttäjä voi valita ajon tarkasteltavaksi tai määrätä sen tuhottavaksi sekä luonnollisesti peruuttaa takaisin päävalikkoon.

• Laadittujen ajojen tallentaminen ja poistaminen

Jokainen laadittu klusteriajo tallennetaan oletusarvoisesti tietokantaan välittömästi valmistuttuaan. Mikäli ajon todetaan epäonnistuneen tai sen sisältämän informaation oleellisesti vanhentueen, voidaan ajo tuhota 'Selaa'-toiminnon avulla kuten edellä on esitetty.
 
• Klustereiden lähempi tarkastelu sekä demografiatiedot
 
Kun klusteriajo on valmistunut tai haettu tietokannasta tarkasteltavaksi, tulostaa päävalikko kuvan 1 mukaisen esityksen ajon sisältämistä klustereista. Kun käyttäjä on valinnut esillä olevista klustereista aktiiviseksi ne, joita hän haluaa tarkastella, saadaan 'Demografia'-napilla (käyttäjäryhmä-ikoni) tai valikon 'Klusteri' toiminnalla demografia näkyviin erillinen oheisen kuvan mukainen demografiaikkuna.

Kuva 4. Klusterin demografian tarkastelu.
 
Demografiatoiminto tulostaa valitu(i)sta kluster(e)ista erilaisia tietoja sen mukaan, mikä ominaisuus valitaan yläosasta esitettäväksi. Ylläolevassa kuvassa tarkasteltavana teollisuudenala niilta, jotka ovat sen ilmoittaneet. Alla on esimerkin vuoksi myös kuva tilanteesta, jossa tarkasteltavana on käyttäjien ikäjakauma
 
 
Kuva 5. Demografiatietojen tarkastelua

4. Ongelmatilanteet

Ensimmäisen proton vaiheessa on keksitytty perustoimintojen toteutukseen ja ongelmatilanteiden käsittely jätetään seuraavaan, proto2-vaiheeseen.

5. Ylläpito

Ohjelmiston ylläpito
Klusterointisovellus sinänsä ei vaadi varsinaisia ylläpitotoimenpiteitä, mutta on huomioitava, että sen käsittelemä tiedon, www-palvelun asiakkaiden käyttäytymisen tarkastelun www-palvelimen lokin perusteella, käyttökelpoisuus ja hyödyllisyys on suoraan verrannollinen ohjelmiston käsiteltäväkseen saamien loki- ja käyttäjätietojen tuoreuteen, ajantasaisuuteen ja oikeellisuuteen. Näinollen järjestelmä vaatii ylläpitotyötä varsinaisen ohjelmiston ulkopuolella käyttäjä- ja lokitietokantojen ajantasaisina pitämisessä.
Ohjelmiston päivitys
Ohjemiston päivitystä sekä uusia ominaisuuksia koskevat kysymykset tulee lähettää osoitteeseen cluster@smartpush-4.cs.hut.fi
Virheet
Havaitut virheet, puutteet ja bugit tulee raportoida osoitteeseen cluster@smartpush-4.cs.hut.fi
Muutokset
Ohjelmiston käyttäytymistä voi tietyin osin konfiguroida erillisen initialisointitiedoston avulla.

6. Liitteet

• Järjestelmän tarvitsemat tietokannat sekä niiden muoto.
• Esimerkki konfigurointitiedostosta.

7. Kirjallisuusviitteet

• Solid-tietokantapalvelinten dokumentaatio
• Java Home Page
• JDK Online Documentation
• JDBC-kirjasto
• RMI-tekniikka
• Java RMI Registry

8. Sanasto

9. Hakemisto

- A -

- C -

- D -

- I -

- J -

- L -

- K -

- R -

- S -

- T -

- Y -

- V -