Lueskelin omia blogimerkintöjäni tässä heräsin miettimään omaa kirjoittamistani. Kirjoituksissani on selvästi ajatusta ja oivalluksia - osa niistä muiden oivalluksista johdettuja, mutta silti. Kuitenkin osa tekstistäni on huttua - siitä puuttuu punainen lanka. Olen aloitteleva blogaaja, joten se ei varmasti ole mikään suuri epäkohta tässä, mutta lukiessani enemmän ja enemmän muiden testausblogeja huomaan toisten kirjoittavan pitkiä ja selkeitä kokonaisuuksi, siinä missä omani ovat lyhyitä ja katkonaisia.
Olen löytänyt siis kehittymisen mahdollisuuden omista virheistäni, joita en edes tiennyt niiden tekohetkellä tekeväni. Joku voi olla eri mieltä siitä, onko kirjoitustyylini sinänsä virheellinen, mutta ehkä "puutteellinen" on se sana, joka kuvaa sitä parhaiten. Ehkä tämän kirjoituksen syntymiseen johti James Bachin teksti kyseenalaistamisesta (johon olen aiemmin viitannutkin). Olen siis löytänyt kyseenalaisen toimintamallin ja se kaipaa parantamista.
Miten siis parannan asiaa, joka ei oikeastaan ole virheellinen - tai ainakaan haitallinen? Miten motivoitua asian korjaamiseen, minkä korjaus ei sinänsä ole tarpeellinen.
-
Kun testaaja tutkii sovellusta (eli siis tutkiva testaaja), hän löytää siitä vikoja. Hän löytää myös poikkeamia. Vika tässä blogin tapauksessa olisi ehkä aiheen vierestä kirjoittaminen ja/tai kirjoitusvirheet. Mahdollisesti asiavirheet.
Kirjoitusvirheet tässä tapauksessa ovat pienimmän vakavuuden virheitä, joiden korjaus ainoastaan parantaa kosmeettista ulkoasua. Ne vaikeuttavat blogin "käytettävyyttä", kun käyttäjä (l. lukija) joutuu jatkuvasti miettimään onko jokin kirotusvirhe vai tarkoituksella väärin (tai jopa eri sana). Korjaus on helppoa tässä tapauksessa, joten matalasta vakavuudesta huolimatta korjaus on syytä tehdä jos vian huomaa.
Asiavirhe on korkeamman vakavuuden virhe. Se saattaa johtaa lukijaa harhaan, joka ei ole tämän blogin tarkoitus. Lisäksi se vähentää kirjoittajan nauttimaa luottamusta, joten hänen totena julkaisemiaan tekstejä ei pidetä totena vaan virheellisenä. Asiayhteyksien tarkistus on siis erittäin tärkeää! Korkea vakavuus! Korjaus näissä tapauksissa on siis uusi versio tekstistä tai tekstin hyllytys. Jos sovelluksesta löytyy sellainen vika, joka estää sovelluksen käytön siihen tarkoituseen mihin se on suunniteltu, se poistetaan käytöstä ja siihen tehdään tarvittavat korjaukset, jotta se toimisi halutulla (oletetulla) tavalla.
Poikkeama on tässä tapauksessa poikkeama todellisesta tai oletetusta totuudesta. Jos jokin asia ei vastaa lukijan ennakko-odotuksia, hän pitää sitä poikkeamana. Poikkeama ei sinänsä ole virhe, se on tavalla toteutettu eri tavalla kuin käyttäjä olettaa. Jos joku julkaisee tekstiä, joka on valtavirrasta poikkeavaa hänen täytyy pystyä perustelemaan valintansa käyttäjää tyydyttävällä tavalla (jolloin siitä tulee ominaisuus tekstille) tai poikkeama muuttuu virheelliseksi (eli viaksi tekstissä). Sama pätee sovelluksiin, joissa jokin ominaisuus tehdään määrittelyiden (ennakkoasenteiden, -oletusten, -odotusten) vastaisesti.
Tästä johdettuna: Onko aiemmat blogimerkintäni siis viallisia? Tekeekö (turhaan viljelty) saarnaamista muistuttava blogaaminen tekstistä viallista, virheellistä vai poikkeavaa? Ennakkoasenne omalla kohdallani on se, että se on sekä viallista että poikkeavaa. Katsotaan pitääkö se paikkansa...
Tarkoitukseni alunperin tekstissä "Kuinka haastattelen uutta testaajaa?" oli laittaa ajatuksia ylös ja luoda suuntaviivoja itselleni ja muille asiasta kiinnostuneille, jotka painivat saman asian kanssa. Teksti on puutteellinen moneltakin osaa, johtuen näkökulman puutteesta. Viittaukset olemassaoleviin teksteihin ja niiden vertaaminen omaan todellisuuteeni olisivat lisänneet tekstin syvyyttä. Esimerkiksi Software Testing Clubin hassu kirja "The Ridiculously Simple Guide Building A Test Team" olisi ollut hyvä vertailumateriaali... Hävettää tunnustaa, että tein varmasti suurimman osan kirjassa mainituista "hyviksi todetuista" asioista ja kysyin aivan vääriä asioita. (Tästä viisastuneena saatan kirjoittaa ko. blogimerkinnän uudelleen ennen seuraavan testaajan haastattelua.)
"Suorituskykytestaus integraatioprojektissa" tarkoitus oli luoda selkeä runko suorituskykytestaukselle alueella, jossa en ennen ole ollut. Blogaus tutkikin tätä asiaa teknisestä näkökulmasta ja voi jopa toimia referenssimateriaalina asiasta kiinnostuneille. Tästä johtuen blogaus oli mielestäni varsin onnistunut yksilö. Se pohjautui olemassaolevaan suorituskykytestausmalliin. Tämän olisi kuitenkin voinut mainita tekstissä eikä pitää koko roskaa omana ideana.
Jottä tämä blogaus ei muutu puolustelevaksi, tahdon pitää sen kriittisellä linjalla. Kuten tuossa ilmaisin, nämä olivat siis oletuksia ja toteutumia. Toteutumat olivat jokseenkin poikkeavia oletuksistani, mutta joissakin tapauksissa (kuten "Suorituskykytestaus integraatioprojektissa") poikkeamat olivat pieniä. Vaikkakaan ne eivät olleet hyvin perusteltuja, ne olivat sellaisia ettei niiden korjaamiselle ole suurta tarvetta. Sen sijaan "Testauksen Jin ja Jang!" epäonnistuu täyttämään odotukseni. Kuten tekstissä sanon "Ajatukseni alkoivat rullata kuin hullu tuolloin -", joka on oli sillä hetkellä totta, tuo päässäni kehittynyt punainen lanka ei välittynyt tekstiin. Jälkikäteen arvioiden tekstistä voisi suodattaa sen saarnaosuuden ja keskittyä olennaisiin ja faktoihin. Olisinko pystynyt esittämään omia kokemuksiani tai viitata muiden kokemuksiin aiheesta? Olisiko tästä materiaalista saatu kasattua hyvä ja ytimekäs, muiden ajatuksia "hullun lailla" kiihottava blogaus? Tekstistä puuttuu kosketus todellisuuteen, joka estää tekstin ottamisen todesta. Tämä vaatii siis uudelleenkirjoittamista sekä blogauksen vikojen että poikkeamien takia.
-
Miten siis motivoitua asian korjaamiseen, minkä korjaus ei sinänsä ole tarpeellinen. Itsensä kehittäminen! Jos on mahdollisuus kehittää itseään, niin se tulee ilman muuta tehdä. Koskaan ei tiedä, mihin omien puutteellisuuksiensa tarkastelu voi johtaa.
Sen sijaan että tämäkin blogaus muuttuu saarnaamiseksi itsensä kehittämisen puolesta, haluan painottaa sitä, että kaikki viat, virheet ja poikkeamat tulee tunnistaa ja tutkia. Niiden korjaus saattaa tapahtua itsestään tutkimalla ja etsimällä niitä. Tämä saattaa olla kuin aavikon tutkimista: tutkiminen johtaa hiekassa olevan poikkeaman (pyramidin kärjen) löytämiseen, joka tutkimisen (kaivamisen) jälkeen paljastuu maailman mahtavimmaksi hautamonumentiksi jumalaisine aarteineen.
Wednesday, 25 August 2010
Tuesday, 17 August 2010
Testauksen Jin ja Jang!
Lueskelin taas kerran gurujen blogeja ja päädyin (ensin James Bachin blogista johdettuna) Michael Boltonin blogilla olleeseen käsikirjoitukseen näiden kähden keskustelusta koskien IEEE:n määritelmää testitapauksesta tai ainakin Lanette Cramerin tulkinta aiheesta:
Ajatukseni alkoivat rullata kuin hullu tuolloin, vaikkakin hän puheessaan viittasi ainoastaan ajatusmallien ennakoitavuuteen se pätee mielestäni myös testaustaitoihin. Jos testaaja erikoistuu liikaa yhteen aihealueeseen (sanotaan suorituskykytestaukseen) hänen diversiteettinsä testausmaailmassa katoaa. Testaajan kyky toimia tehokkaana testaajana perustuu juuri sille, että hän osaa ajatella sitä, mitä muut eivät osaa - hän löytää asioita mitä muut eivät löydä.
En sano kuitenkaan, että älkää erikoistuko - päinvastoin! Hankkikaan tietämystä erikoisaloilta ja tulkaa parhaaksi siinä, mitä teette! Muistakaa kuitenkin pitää mielessä se, että ei kaikki testaus ole puristettavissa siihen yhteen alueeseen, johon erikoistut. Tietoja ja taitoja tulee omata muualtakin testauksen piiristä. Manuaalisen testaajan on hyvä osata automatisointia, tutkivan testaajan testitapaustestausta, jne.
Kun pystyy hallitsemaan (ei erikoistumaan) mahdollisimman suureen ja mieluusti toistensa vastapainona toimiviin testaustekniikoihin ja -näkemyksiin, löytyy tie Nirvanaan! Se, joka pystyy tasapainottamaan itsessään ne vastavoimat (Rex Black vs. James Bach) on kuningas testaajien joukossa.
Tämä johtaa myös väistämättä puolueettomuuden tukemiseen. Kun päästään eroon vastakkaisista leireistä, voidaan yhteisellä päämäärällä päästä suurempiin tavoitteisiin!
Clinically defined a test case is an input and an expected result...Mutta tämä on aivan toinen asia käsiteltäväksi. Kuitenkin seurasin Jamesin ja Michaelin keskustelua ja totesin, että herrat ovat hyvällä asialla, joten ei siitä sen enempää. Sen sijaan erä kommentti Michael Boltonin blogimerkinnässä sai minut ajattelemaan:
“Over-specialize and you breed in weakness"eli ylierikoistuminen johtaa heikkouteen. Tämä metafora oli alunperin animaatio elokuvasta “Ghost in the Shell", mutta kuten Petteri Lyytikäinen sanoo kommentissa, tämä pätee sekä taistelulajeihin että testaamiseen.
Ajatukseni alkoivat rullata kuin hullu tuolloin, vaikkakin hän puheessaan viittasi ainoastaan ajatusmallien ennakoitavuuteen se pätee mielestäni myös testaustaitoihin. Jos testaaja erikoistuu liikaa yhteen aihealueeseen (sanotaan suorituskykytestaukseen) hänen diversiteettinsä testausmaailmassa katoaa. Testaajan kyky toimia tehokkaana testaajana perustuu juuri sille, että hän osaa ajatella sitä, mitä muut eivät osaa - hän löytää asioita mitä muut eivät löydä.
En sano kuitenkaan, että älkää erikoistuko - päinvastoin! Hankkikaan tietämystä erikoisaloilta ja tulkaa parhaaksi siinä, mitä teette! Muistakaa kuitenkin pitää mielessä se, että ei kaikki testaus ole puristettavissa siihen yhteen alueeseen, johon erikoistut. Tietoja ja taitoja tulee omata muualtakin testauksen piiristä. Manuaalisen testaajan on hyvä osata automatisointia, tutkivan testaajan testitapaustestausta, jne.
Kun pystyy hallitsemaan (ei erikoistumaan) mahdollisimman suureen ja mieluusti toistensa vastapainona toimiviin testaustekniikoihin ja -näkemyksiin, löytyy tie Nirvanaan! Se, joka pystyy tasapainottamaan itsessään ne vastavoimat (Rex Black vs. James Bach) on kuningas testaajien joukossa.
Tämä johtaa myös väistämättä puolueettomuuden tukemiseen. Kun päästään eroon vastakkaisista leireistä, voidaan yhteisellä päämäärällä päästä suurempiin tavoitteisiin!
Monday, 9 August 2010
Oppiminen on kaksisuuntainen tie
Yritykseemme on saatu taistelun jälkeen toinen testaaja (jee!) ja sain kunnian olla hänen kouluttajansa testauksen ihmeelliseen maailmaan. Hän mielestäni (yhden päivän kokemuksella) lahjakas kaveri, joka ei haasteita pelkää. Oikea asenne testaajalle!
Koulutuksen lomassa tuli puheeksi testaustermit, jotka olivat hänelle hieman epäselvät. Ja ovathan ne kaikille. Miten voit järkevästi kääntää suomeksi testaustermejä, jotka ovat epäselkeitä ja organisaatiokohtaisia (parhaimmillaan) englanniksikin. Ja vaikka sana olisikin hallussa, niin tarkoittaako se yrityksessä sitä mitä kirjassa tai kurssilla?
James Bach sanoo blogissaan, että testaus ei ole sitä, että opetellaan täyttämään valmiiksi luotuja kaavakkeita ja suunnitelmapohjia ja hoetaan valmiiksi opeteltuja testaussana litanioita. Hän kehottaa kehittämään itseään aina paremmaksi testausalalla ja viettämään aikaa niiden kanssa, jotka tuntevat samoin. Jos useammat ajattelisivat näin, niin näiden oppivien testaajien määrä ylittäisi näiden "kaavaketestaajien" määrän, ja näin "oppimishaluiset tulevat perimään maailman".
Testausmaailmaan pääsy on jokseenkin helppoa ja jokainen voi sanoa testanneensta jotakin elämänsä aikana - joko systemaattisesti tai AdHoc - mutta jokainen on testannut jotakin joskus. Se mikä erottaa testaajan tavallisesta ihmisestä, on se että testaaja pyrkii systemaattisesti etsimään virheitä ja kehittämään testauskykyään jokaisen testin yhteydessä.
Se mikä Bachin mukaan erotta hyvän testaajan testaajasta on se, että hyvä testaaja jakaa mielipiteitään ja haastaa toisia testaajia.
Kuinka siis saan parhaan mahdollisen tuloksen tästä testausharjoittelijasta ilman, että hänestä muodostuu geneerinen kaavaketestaaja? Menin jo (mielestäni) tekemään yhden virheen: annoin hänelle esimerkkidokumentin. Todellisuudessa tämä kaveri ei täyttänytkään testaussuunnitelmaa suoraan olemassaolevaan dokumenttiin vaan oikeasti käytti mielikuvotustaan ja taitojaan, jotta saisi testitapauksista ja suunnitelmasta järkevän. Jatkossa minun täytyy antaa hänelle vapaat kädet ja hän saa tarvittaessa pyytää apua, mutta kokeilla myös omia siipiään. Näin syntyy mehukkaita ideoita ja oivalluksia, joita kokenut testaaja ei välttämättä osaa löytää.
Kaikesta huolimatta, tulen kuitenkin kokeneempana testaajana haastamaan ja kyseenalaistamaan hänen tekemisiään, jotta hän oppii tekemästään ja minä opin samalla. Oppiminen on siis kaksisuuntainen tie, jossa sekä opettaja että oppilas oppivat. Kun vain nyt muistaisi pysyä tuolla tiellä, niin tämänkin yrityksen testaus alkaisi näyttää valoisammalta! =)
Koulutuksen lomassa tuli puheeksi testaustermit, jotka olivat hänelle hieman epäselvät. Ja ovathan ne kaikille. Miten voit järkevästi kääntää suomeksi testaustermejä, jotka ovat epäselkeitä ja organisaatiokohtaisia (parhaimmillaan) englanniksikin. Ja vaikka sana olisikin hallussa, niin tarkoittaako se yrityksessä sitä mitä kirjassa tai kurssilla?
James Bach sanoo blogissaan, että testaus ei ole sitä, että opetellaan täyttämään valmiiksi luotuja kaavakkeita ja suunnitelmapohjia ja hoetaan valmiiksi opeteltuja testaussana litanioita. Hän kehottaa kehittämään itseään aina paremmaksi testausalalla ja viettämään aikaa niiden kanssa, jotka tuntevat samoin. Jos useammat ajattelisivat näin, niin näiden oppivien testaajien määrä ylittäisi näiden "kaavaketestaajien" määrän, ja näin "oppimishaluiset tulevat perimään maailman".
Testausmaailmaan pääsy on jokseenkin helppoa ja jokainen voi sanoa testanneensta jotakin elämänsä aikana - joko systemaattisesti tai AdHoc - mutta jokainen on testannut jotakin joskus. Se mikä erottaa testaajan tavallisesta ihmisestä, on se että testaaja pyrkii systemaattisesti etsimään virheitä ja kehittämään testauskykyään jokaisen testin yhteydessä.
Se mikä Bachin mukaan erotta hyvän testaajan testaajasta on se, että hyvä testaaja jakaa mielipiteitään ja haastaa toisia testaajia.
Kuinka siis saan parhaan mahdollisen tuloksen tästä testausharjoittelijasta ilman, että hänestä muodostuu geneerinen kaavaketestaaja? Menin jo (mielestäni) tekemään yhden virheen: annoin hänelle esimerkkidokumentin. Todellisuudessa tämä kaveri ei täyttänytkään testaussuunnitelmaa suoraan olemassaolevaan dokumenttiin vaan oikeasti käytti mielikuvotustaan ja taitojaan, jotta saisi testitapauksista ja suunnitelmasta järkevän. Jatkossa minun täytyy antaa hänelle vapaat kädet ja hän saa tarvittaessa pyytää apua, mutta kokeilla myös omia siipiään. Näin syntyy mehukkaita ideoita ja oivalluksia, joita kokenut testaaja ei välttämättä osaa löytää.
Kaikesta huolimatta, tulen kuitenkin kokeneempana testaajana haastamaan ja kyseenalaistamaan hänen tekemisiään, jotta hän oppii tekemästään ja minä opin samalla. Oppiminen on siis kaksisuuntainen tie, jossa sekä opettaja että oppilas oppivat. Kun vain nyt muistaisi pysyä tuolla tiellä, niin tämänkin yrityksen testaus alkaisi näyttää valoisammalta! =)
Wednesday, 21 July 2010
Testaustyön riittävyys
Meillä on projektit sellaisia pienehköjä kehitysprojekteja, joissa on yleensä 2-3 kehittäjää ja ne kestävät noin 1-4 viikkoa per projekti. Sitten meillä on sellaisia mammuttiprojekteja, jotka vievät koko tulosyksikön henkilöresurssit ja kestävät 6-9 kuukautta. Eli kehittäjät puskevat kovalla syötöllä koko ajan tavaraa ulos ja asiakkaalle.
Tähän soppaan kaadetaan testaaja. Testattavaa on vaikka kuinka paljon, mutta sitä ei aina ole mahdollista laskuttaa, jos sitä ei ole asiakkaalle myyty. Asiakkaalle on myyty ainoastaan kehitystestaus ja hän hoitaa itse testuaksen. Tämä malli on hyvin järkevää pienissä projekteissa ja asiakaskohtaisissa mutoksissa. Testaajat siis sijoitetaan suuriin projekteihin, joissa on paljon testtattavaa ja joka on laskutettavaa.
Ah, tullos tilanne, jossa viikon aikana ei tulekaan mitään testattavaa ominaisuutta tai käyttöliitymänäyttöä tms. jolloin testaaja kyselee pitkin toimistoa, olisiko kenelläkään testattavaa. JA KAIKILLA ON!!!! Testattavaa on simppeleistä käyttöliittymätestauksista aina monimutkaisiin integraatio hässäköihin ja suorituskykytesteihin, joita kukaan kehittäjä ei osaa/ehdi tehdä projektin puitteissa. Ja tämän ajan testaajan täytyisi tehdä 100% laskutettavaa työtä ja samalla pysyä kärryillä uusimmissa työkaluissa ja tekniikoissa (sekä testaus- että kehitysrintamalla).
Miten tästä siis selvitään?
Testaukselle pitäisi asettaa jonkinmoinen "puskuri", joka on laskuttamatonta työtä (esim. 5 tuntia viikossa) Tämän määrä vaihtelee 5-25% välillä riippuen viikosta. Tähän voidaan siis ympätä hankalat "testauksettomat" projektit, joita on todellisuudessa pakko testata, mutta niitä ei voi asiakkaalta laskuttaa. Lisäksi tähän voidaan lukea esim. työkalututoriaalit, webinaarit, blogien lukeminen (nykypäivänä helkkarin tärkeä *wink*) ym. ei suoranainen testaus, mutta testaukseen liittyvä.
Tällätavoin laatu paranee sekä yleisellä tasolla (ihmsiet ymmärtävät testauksen tärkeyden ja osaavat myydä sitä asiakkaalle) ja testausresurssitasolla (henkilökohtainen tieto-/taitotaso nousee ja tietämys alan suunnasta lisääntyy). Tämä maksaa kuitenkin yritykselle, joten sen kannattavuus kannattaa laskea tarkkaan.
Vaihtoehtona on tietenkin peukaloiden pyörittäminen ja se, että testaaja ei voi merkata tunteja joita ei voi laskuttaa...
Pureskelkaapa sitä...
Tähän soppaan kaadetaan testaaja. Testattavaa on vaikka kuinka paljon, mutta sitä ei aina ole mahdollista laskuttaa, jos sitä ei ole asiakkaalle myyty. Asiakkaalle on myyty ainoastaan kehitystestaus ja hän hoitaa itse testuaksen. Tämä malli on hyvin järkevää pienissä projekteissa ja asiakaskohtaisissa mutoksissa. Testaajat siis sijoitetaan suuriin projekteihin, joissa on paljon testtattavaa ja joka on laskutettavaa.
Ah, tullos tilanne, jossa viikon aikana ei tulekaan mitään testattavaa ominaisuutta tai käyttöliitymänäyttöä tms. jolloin testaaja kyselee pitkin toimistoa, olisiko kenelläkään testattavaa. JA KAIKILLA ON!!!! Testattavaa on simppeleistä käyttöliittymätestauksista aina monimutkaisiin integraatio hässäköihin ja suorituskykytesteihin, joita kukaan kehittäjä ei osaa/ehdi tehdä projektin puitteissa. Ja tämän ajan testaajan täytyisi tehdä 100% laskutettavaa työtä ja samalla pysyä kärryillä uusimmissa työkaluissa ja tekniikoissa (sekä testaus- että kehitysrintamalla).
Miten tästä siis selvitään?
Testaukselle pitäisi asettaa jonkinmoinen "puskuri", joka on laskuttamatonta työtä (esim. 5 tuntia viikossa) Tämän määrä vaihtelee 5-25% välillä riippuen viikosta. Tähän voidaan siis ympätä hankalat "testauksettomat" projektit, joita on todellisuudessa pakko testata, mutta niitä ei voi asiakkaalta laskuttaa. Lisäksi tähän voidaan lukea esim. työkalututoriaalit, webinaarit, blogien lukeminen (nykypäivänä helkkarin tärkeä *wink*) ym. ei suoranainen testaus, mutta testaukseen liittyvä.
Tällätavoin laatu paranee sekä yleisellä tasolla (ihmsiet ymmärtävät testauksen tärkeyden ja osaavat myydä sitä asiakkaalle) ja testausresurssitasolla (henkilökohtainen tieto-/taitotaso nousee ja tietämys alan suunnasta lisääntyy). Tämä maksaa kuitenkin yritykselle, joten sen kannattavuus kannattaa laskea tarkkaan.
Vaihtoehtona on tietenkin peukaloiden pyörittäminen ja se, että testaaja ei voi merkata tunteja joita ei voi laskuttaa...
Pureskelkaapa sitä...
Tuesday, 6 July 2010
Suorituskykytestaus integraatioprojektissa
Projektipäällikkö pyysi minua tekemään suorituskykytestaussuunnitelman integraatioprojektiin. Ongelma on vain se, että meiltä puuttuu kokonaan NFR:t. En ole koskaan aiemmin tehnyt suorituskykytestaussuunnitelmaa, joten nyt pitäisi sellaisen tekemiseen paneutua.
Ensiksi täytyy löytää vastaus kysymykseen "Miksi testaamme suorituskykyä?". Tässä tapauksessa varmaankin pyritään ensikädessä luomaan ne raamit, missä järjestelmä tällä hetkellä on. Tämän takia täytyisi siis siis rajata se alue, jossa suorituskykytestit tehdään ja selvittää arvio sielttä liikkuvista massoista. Jos suorituskyvyssä ilmenee ongelmia, niin ne on helpompi paikata ennen kun niistä muodostuu tuontannollisia ongelmia. Lisäksi tulevaisuuden kannalta tulee selvittää millaisia pullonkauloja saattaa olla tiedossa ja missä vaiheessa tuotteen elinkaarta.
Pullonkaula saattaa vääristää end-to-end prosessin kaikkien komponenttien suorituskykyä. Jos yhdessä kohdassa on pullonkaula, se tulee eristää ja poistaa. Tämä voi lisäksi vapauttaa yhden pullonkaulan aiheuttamia lisäpullonkauloja edempänä prosessissa.
Toinen kysymys mihin tarvitaan vastaus on "Miten testaamme suorituskykyä?". Integraatioprojektissa testaus kannattaa suorittaa työkalulla, joka pytyy muodostamaan halutun määrän sanomia halutussa ajassa ja lähettämään niitä haluttuun end-pointiin.
Lisäksi täytyy tietää, millaisilla testeillä testaamme suorituskykyä.
Käyttäjämäärätestaus (Performance): Integraatiotestauksessa on harvoin kysymys käyttäjän/käyttäjien suorittamasta toiminnasta vaan kahden järjestlemän keskenäisestä kommunikoinnista. Integraatiotestauksessa ei tarvitse siis ottaa huomioon käyttäjämäärätestausta sellaisenaan, vaan käyttäjien sijaan lisätäänkin kommunikoivia järjestelmiä (lähteitä/threadeja). Pyritään siis etsimään se kohta, jolloin lähteiden määrä alkaa aiheuttaa hitautta tai sovelluksen toiminta muuttuu.
Massatestaus (Volume): Intergaatio testauksessa on tärkeä tietää, kuinka paljon sanomia järjestelmä pytyy käsittelemään kerrallaan. Lisäksi on tärekää, että pyritänkö luomaan suorituskykytesti niin, että syötetään yhdestä lähteestä sanomia samanaikaisesti vai useasta yhtäaikaa. Tässä pyritään siis selvittämään,e ttä suoriutuuko järjetelmä vaadituista arvoista. Tässä tapauksessa emme tiedä, mitä vaatimuksia on, joten tämä jää tällä kertaa pimentoon.
Kuormitustestaus (Stress): Integraatiotestauksessa on tärkeää löytää ne tilanteet, jolloin sanomien/tapahtumien määrä on siis suuri, että se vaikuttaa järjestelmän käyttäytyimiseen. Tässä testauksessa voidaankin ottaa arvioitu sanomamäärä ja lisätä sitä 20% joka kierroksella (mahdolliseseti lisätä säikeiden määrää aina välillä). Pyritään lisäämään niin kauan, että järjestelmä ei enää toimi.
Yhtäaikaisuus (Concurrency): Integraatiotestauksessa yhtäaikaiset käyttäjät ei ole oleellisia, mutta yhtäaikaiset (toisensa kumoavat) tapahtuman ovat. Pyritään siis luomaan testi, jolla luodaan yhtaisiaisia, toisensa kumoavia toimintoja. Tällä voidaan selvittää esim. jonoihin kasaantuvia ristiriitaisia tapahtumia.
Suorituskykyä testatessa voidaan yhdistää sekä sanomien määrällä että lähteiden määrällä testausta, jolloin voidaan saada erilaisia testituloksia. Integraatiotestauksessa täytyy myös pyrkiä siihen, että testidata on tuotantoa vastaavaa.
Ensiksi täytyy löytää vastaus kysymykseen "Miksi testaamme suorituskykyä?". Tässä tapauksessa varmaankin pyritään ensikädessä luomaan ne raamit, missä järjestelmä tällä hetkellä on. Tämän takia täytyisi siis siis rajata se alue, jossa suorituskykytestit tehdään ja selvittää arvio sielttä liikkuvista massoista. Jos suorituskyvyssä ilmenee ongelmia, niin ne on helpompi paikata ennen kun niistä muodostuu tuontannollisia ongelmia. Lisäksi tulevaisuuden kannalta tulee selvittää millaisia pullonkauloja saattaa olla tiedossa ja missä vaiheessa tuotteen elinkaarta.
Pullonkaula saattaa vääristää end-to-end prosessin kaikkien komponenttien suorituskykyä. Jos yhdessä kohdassa on pullonkaula, se tulee eristää ja poistaa. Tämä voi lisäksi vapauttaa yhden pullonkaulan aiheuttamia lisäpullonkauloja edempänä prosessissa.
Toinen kysymys mihin tarvitaan vastaus on "Miten testaamme suorituskykyä?". Integraatioprojektissa testaus kannattaa suorittaa työkalulla, joka pytyy muodostamaan halutun määrän sanomia halutussa ajassa ja lähettämään niitä haluttuun end-pointiin.
Lisäksi täytyy tietää, millaisilla testeillä testaamme suorituskykyä.
Käyttäjämäärätestaus (Performance): Integraatiotestauksessa on harvoin kysymys käyttäjän/käyttäjien suorittamasta toiminnasta vaan kahden järjestlemän keskenäisestä kommunikoinnista. Integraatiotestauksessa ei tarvitse siis ottaa huomioon käyttäjämäärätestausta sellaisenaan, vaan käyttäjien sijaan lisätäänkin kommunikoivia järjestelmiä (lähteitä/threadeja). Pyritään siis etsimään se kohta, jolloin lähteiden määrä alkaa aiheuttaa hitautta tai sovelluksen toiminta muuttuu.
Massatestaus (Volume): Intergaatio testauksessa on tärkeä tietää, kuinka paljon sanomia järjestelmä pytyy käsittelemään kerrallaan. Lisäksi on tärekää, että pyritänkö luomaan suorituskykytesti niin, että syötetään yhdestä lähteestä sanomia samanaikaisesti vai useasta yhtäaikaa. Tässä pyritään siis selvittämään,e ttä suoriutuuko järjetelmä vaadituista arvoista. Tässä tapauksessa emme tiedä, mitä vaatimuksia on, joten tämä jää tällä kertaa pimentoon.
Kuormitustestaus (Stress): Integraatiotestauksessa on tärkeää löytää ne tilanteet, jolloin sanomien/tapahtumien määrä on siis suuri, että se vaikuttaa järjestelmän käyttäytyimiseen. Tässä testauksessa voidaankin ottaa arvioitu sanomamäärä ja lisätä sitä 20% joka kierroksella (mahdolliseseti lisätä säikeiden määrää aina välillä). Pyritään lisäämään niin kauan, että järjestelmä ei enää toimi.
Yhtäaikaisuus (Concurrency): Integraatiotestauksessa yhtäaikaiset käyttäjät ei ole oleellisia, mutta yhtäaikaiset (toisensa kumoavat) tapahtuman ovat. Pyritään siis luomaan testi, jolla luodaan yhtaisiaisia, toisensa kumoavia toimintoja. Tällä voidaan selvittää esim. jonoihin kasaantuvia ristiriitaisia tapahtumia.
Suorituskykyä testatessa voidaan yhdistää sekä sanomien määrällä että lähteiden määrällä testausta, jolloin voidaan saada erilaisia testituloksia. Integraatiotestauksessa täytyy myös pyrkiä siihen, että testidata on tuotantoa vastaavaa.
Monday, 5 July 2010
Kuinka haastattelen uutta testaajaa?
Olen huomenna joutumassa tulikokeeseen saralla, josta minulla ei ole minkäänlaista kokemusta: joudun haastattelemaan kahta mahdollista testaajaa ja valitsemaan heistä pätevämmän (tai ehdottamaan molempia mukaan, jos molemmat ovat järkevä ottaa mukaan).
Nyt minun pitäisi yrittää löytää ne kysymykset, millä saan kaivettua tarvittavan testausosaamisesta kertovan tiedon. Koska en muualta löytänyt informaatiota (suomeksi) kuinka testaajia kannattaa haastatella, kirjoitan siitä pienen muistion tänne.
Ensimmäiseksi haastateltavan tulisi omin sanoin kertoa omasta testauskokemuksestaan. Tässä tulisi tulla ilmi seuraavaa:
- projektimallit (SCRUM, Waterfall, jne)
- testaustasot (yksikkötestaaja, systeemitestaaja)
- tekniikat (manuaalinen, automaatio, suorituskyky)
- metodit (tutkiva, kokemuspohjainen, testitapauspohjainen)
Jos hakija ei itse huomaa kertoa näitä asioita, häneltä voi kysyä näitä asioita.
Lisäksi on hyödyllistä tiedustella seuraavia asioita (riippuen mahdollisesta tulevasta roolista):
- testaustyökalut (mitä ja miten on käyttänyt, minkälaisissa ympäristöissä)
- testauksen suunnittelukokemus (testitapaukset, -suunnitelmat, automaatioarkkitehtuurit)
- koodauskokemus (skriptaus, valkolaatikkotestaus)
- testauksen hallinta (raportointi, jne)
Jos hakijalla on olemassa testausta tukevaa koulutusta, sitä voi tiedustella, jos se ei ole tullut ilmi. Lisäksi mahdolliset sertifikaatit ja todistukset testausalalta (ja IT-alalta yleensä) tulee tiedustella. Lisäksi kaikki mahdolliset esimerkit luoduista testitapauksista ja/tai testiskripteistä ovat hyviä kertomaan taidoista.
Jos hankitaan testausryhmän jäsentä ryhmään, jossa painotetaan erilaisuutta testaustaidoissa, -kokemusessa ja -näkökulmissa, täytyy haastattelija pystyä arvioimaan testaajan sopeutuminen testauryhmään ns. kovien kykyjen lisäksi. Testaus on ennen kaikkea sosiaalinen prosessi, jossa testaajan tulee voida antaa kritiikkiä kehittäjille. Tästä jöhtuen hyvät kirjalliset ja suulliset taidot (käytettävillä kielillä) ovat tärkeät.
Näiden lisäksi voidaan tutkia erikoisosaamiseen liittyviä asioita lyhyillä kokeilla esim. testitapaussuunnitelijalle: "Muodosta kaksikymmentä testitapausta MS-Wordin fontti näytöltä."
Nyt minun pitäisi yrittää löytää ne kysymykset, millä saan kaivettua tarvittavan testausosaamisesta kertovan tiedon. Koska en muualta löytänyt informaatiota (suomeksi) kuinka testaajia kannattaa haastatella, kirjoitan siitä pienen muistion tänne.
Ensimmäiseksi haastateltavan tulisi omin sanoin kertoa omasta testauskokemuksestaan. Tässä tulisi tulla ilmi seuraavaa:
- projektimallit (SCRUM, Waterfall, jne)
- testaustasot (yksikkötestaaja, systeemitestaaja)
- tekniikat (manuaalinen, automaatio, suorituskyky)
- metodit (tutkiva, kokemuspohjainen, testitapauspohjainen)
Jos hakija ei itse huomaa kertoa näitä asioita, häneltä voi kysyä näitä asioita.
Lisäksi on hyödyllistä tiedustella seuraavia asioita (riippuen mahdollisesta tulevasta roolista):
- testaustyökalut (mitä ja miten on käyttänyt, minkälaisissa ympäristöissä)
- testauksen suunnittelukokemus (testitapaukset, -suunnitelmat, automaatioarkkitehtuurit)
- koodauskokemus (skriptaus, valkolaatikkotestaus)
- testauksen hallinta (raportointi, jne)
Jos hakijalla on olemassa testausta tukevaa koulutusta, sitä voi tiedustella, jos se ei ole tullut ilmi. Lisäksi mahdolliset sertifikaatit ja todistukset testausalalta (ja IT-alalta yleensä) tulee tiedustella. Lisäksi kaikki mahdolliset esimerkit luoduista testitapauksista ja/tai testiskripteistä ovat hyviä kertomaan taidoista.
Jos hankitaan testausryhmän jäsentä ryhmään, jossa painotetaan erilaisuutta testaustaidoissa, -kokemusessa ja -näkökulmissa, täytyy haastattelija pystyä arvioimaan testaajan sopeutuminen testauryhmään ns. kovien kykyjen lisäksi. Testaus on ennen kaikkea sosiaalinen prosessi, jossa testaajan tulee voida antaa kritiikkiä kehittäjille. Tästä jöhtuen hyvät kirjalliset ja suulliset taidot (käytettävillä kielillä) ovat tärkeät.
Näiden lisäksi voidaan tutkia erikoisosaamiseen liittyviä asioita lyhyillä kokeilla esim. testitapaussuunnitelijalle: "Muodosta kaksikymmentä testitapausta MS-Wordin fontti näytöltä."
Subscribe to:
Posts (Atom)