Itä kohtaa lännen mielisuunnitelmaa toteuttamassa 2010 2013
Hankekortti ja paikallinen ohjausryhmä kehittämistyön tukena
Yüklə 256,62 Kb.
|
- Bu səhifədəki naviqasiya:
- Hankekortti kehittämistyön tukena
- Monialainen ohjausryhmä hanketyön tukena Raisiossa
- 4.6 Arviointi kehittämistyön tukena - ongelmien tunnistamisen strategian kokeilua
- Arvioinnin lähestymistapa
- Arvioinnin toteutus
- Arvioinnin tuloksia ja pohdintaa
- Kirjallisuutta
4.5 Hankekortti ja paikallinen ohjausryhmä kehittämistyön tukena Erityissuunnittelija Matti Mäkelä, Pikassos Oy, Länsi-hankkeet Projektityöntekijä Pia Pelkonen, Länsi-hankkeiden Raisio-Rusko -pilotti Tässä artikkelissa kuvaamme kahta tapaa tukea hanketyötä. Länsi 2012 ja 2013 -hankkeissa päätettiin ottaa käyttöön Välittäjä 2009 -hankkeessa hyväksi koettu hankekortti pilottien kehittämistyön tueksi. Raisio-Ruskon pilotissa jo ennen hanketta toiminut kuntien moniammatillinen päihdehuollon yhteistyöryhmä päätettiin nimetä pilotin ohjausryhmäksi. Hankekortti kehittämistyön tukena Matti Mäkelä Länsi-hankkeissa toimi osa-aikainen erityissuunnittelija kolmentoista pilotin kehittämistyön tukena. Tuen sisältönä oli muun muassa yhteistyö hankekorttien ja Innokylän sivujen täytössä ja päivityksessä sekä varhaisvaiheen mielenterveys- ja päihdetyön toimintamallin siirtäminen. Mielenterveys- ja päihdehankkeiden yhteisen Kaste-ohjausryhmän suosituksesta päätettiin Välittäjä 2009 -hankkeessa käytetty hankekortti ottaa käyttöön Länsi 2012- ja 2013 -hankkeissa (kuva 1). Hankekortti sisältää: -kehittämisprosessin nimen ja omistajan sekä lyhyen kuvauksen kehittämisprosessista -kehittämisprosessin tavoitteet, yhteyden koko hankkeen, Kaste-ohjelman ja Mielenterveys- ja päihdesuunnitelman tavoitteisiin -pilotin toimenpiteet, tuotokset, tulokset ja vaikutukset -pilotin yhteistyökumppanit ja sovitun vastuunjaon näiden välillä -tehtävien jaon pilotissa -suunnitelman pilotin tulosten juurruttamisesta. Pilotit täyttivät ja päivittivät hankekorttejaan hankkeen alussa ja lopussa sekä tarvittaessa. Hankekortin kysymykset ohjaavat kehittämistyötä ja auttavat kehittämistyötä pysymään asetettujen tavoitteiden suunnassa. Hankekorttia päivitettäessä joudutaan palaamaan hankkeen tavoitteen asetteluun ja voidaan nähdä mitkä tavoitteet on saavutettu ja missä on parannettavaa. Hankekorttien kysymysten avulla pilottien kehittäjien on mahdollista arvioida aikaansaannoksiaan ja päivitettäessä nähdä muutos pilotin saavuttamissa tuloksissa. Hankekorttia on käytetty hankkeessa pohjana pilottien välisissä vertaisarvioinneissa. Arvioivan pilotin kehittäjät voivat rakentaa arviointikysymyksensä hankekortissa tiivistettyjen tavoitteiden ja aikaansaannosten pohjalta. Vertaisarvioinneissa arvioitavan pilotin kehittäjät ja koko ohjausryhmä on vastaamassa arviointikysymyksiin. Arvioitavan pilotin kehittäjät ja ohjausryhmä voivat valmistautua arviointiin mm. hankekorttia apunaan käyttäen. Hankekortti on täytettynä tiivis paketti informaatioita pilotin kehittämisprosessin vaiheesta ja tilasta. Hankekorttia voidaan käyttää informoitaessa hankkeen johtoa tai ohjausryhmää sekä muita pilotteja tai uutta työntekijää, annettaessa väliraporttia sosiaali- ja terveysministeriölle ja osana hankkeen loppuraporttia. Monialainen ohjausryhmä hanketyön tukena Raisiossa Projektityöntekijä Pia Pelkonen, Länsi-hankkeiden Raisio-Rusko -pilotti Toimintamallien, uusien menetelmien ja käytäntöjen tai vaikkapa ”vain” tiedon levittäminen ja juurruttaminen organisaatioissa on haasteellista. Mitä laajemmin uusi toimintamalli halutaan ottaa käyttöön ja saada se juurtumaan, ja mitä useampaa sektoria uudistus koskee, sitä haasteellisempaa se on. Sektori- ja hallintokuntarajoja on toki monenlaisia, mutta aika usein rajat tuntuvat olevan selkeitä, vahvoja ja rautaa rajalla on enemmän kuin riittävästi. Sama pätee yllättävän usein myös hallintokuntien sisällä, missä työyksiköiden välinen yhteistyö ei aina ole sujuvaa ja auvoista. Raisiossa sosiaali- ja terveyspuolen yhteiselo on jatkunut jo -90-luvulta saakka, joten eri sektorien välistä yhteistyötä on opeteltu pitkään. Vuonna 2009 Raisio ja Rusko yhdistivät sosiaali- ja terveyspalvelunsa yhteistoiminta-alueeksi niin, että Raisio toimii isäntäkuntana. Jo ennen yhteistoiminta-alueen perustamista Raision sosiaali- ja terveyskeskuksessa oli toiminut moniammatillinen päihdehuollon johtoryhmä. Yhteistoiminta-alueen lähtiessä mukaan Länsi-Suomen päihde- ja mielenterveystyön kehittämishankkeeseen (Länsi 2012 ja Länsi 2013 -hankkeet), päihdehuollon johtoryhmä otti myös Raisio-Rusko -pilotin ohjausryhmän tehtävät. Aiemmin päihdehuollon johtoryhmänä toiminut työryhmä siis laajensi näkökulmaansa myös mielenterveyteen ja siirsi painopistettään enemmän ehkäisevän työn ja varhaisen puuttumisen suuntaan hankkeen tavoitteiden mukaisesti. Näkökulman avartumisen ja painopistemuutosten lisäksi johtoryhmän monialaisuus vahvistui, kun edustajia hankkeen ohjausryhmään haluttiin myös koulumaailmasta. Ohjausryhmässä oli edustus seuraavista yksiköistä: aikuissosiaalityö, terveyskeskusvastaanotto, terveyskeskuksen vuodeosastot, kotihoito, päihde- ja mielenterveysyksikkö, terveysneuvonta, perhepalvelut, nuorisopalvelut ja poliisi. Pilotin aikana mukaan tulivat vielä koulukuraattori ja edustajat alakouluista ja työterveyshuollosta. Pilotin aloittaessa työskentelynsä oli ohjausryhmässä siis jotain vanhaa, jotain uutta ja paljon odotuksia. Mikä on sitten tehnyt Raisio-Rusko -pilotin ohjausryhmästä toimivan? Se, että ohjausryhmänä toimi jo olemassa oleva ryhmä, jonka jäsenet olivat tehneet aiemmin samaan aihepiiriin liittyen yhteistyötä, oli suuri etu. Joistain henkilömuutoksista huolimatta ohjausryhmä oli heti toimintakykyinen ja sen jäsenillä oli selkeästi mielessä ne yhteiset haasteet, joihin hankkeelta odotettiin apua. Jäsenet olivat sitoutuneita ohjausryhmätyöskentelyyn ja toivat ryhmään yhteisen näkemyksen lisäksi myös oman toimialansa haasteet ja toiveet. Sitoutuneisuus näkyi muun muassa siinä, että kokouksissa oli aktiivinen osallistumisprosentti, vaikka ryhmä kokoontui suhteellisen usein, noin kerran kuukaudessa. Raisio-Rusko -pilotissa ohjausryhmän vahvuutena pidän myös sitä, että edustus oli laaja pilotin tavoitteiden mukaisesti, ja että edustajina oli sekä esimiehiä että perustason työntekijöitä. Uusien toimintamallien juurruttaminen ei onnistu ilman lähiesimiesten panosta ja sitoutumista. Toisaalta perustason työntekijöiden näkemystä tarvitaan muun muassa vastarinnan loiventamiseksi ja työn käytännön haasteiden näkyväksi tekemiseksi. Uudet toimintamallit tarkoittavat aina jonkin tason ajattelun ja toiminnan muutosta ja muutos aiheuttaa aina jonkinasteista, luonnollista vastarintaa. Hankkeen ajamien toimintamallien juurtumista ja joltain osin myös hanketyön jatkuvuutta tukee Raisio-Rusko yhteistoiminta-alueella se, että hankkeen päättymisen jälkeenkin työryhmä jatkaa toimintaansa. Nähtäväksi jää, palaako ryhmä päihdehuollon johtoryhmäksi vai saako kansallinen suuntaus päihde- ja mielenterveysasioiden yhdistämisestä myös työryhmätyöskentelyn jatkamaan laajemmalla pohjalla. Jälkimmäinen vaihtoehto näyttää todennäköisemmältä. Raisio-Rusko -pilotin kolmen vuoden ohjausryhmätyöskentely on osoittanut käytännössä sen, että moniammatilliset ja monialaiset työryhmät ovat omiaan madaltamaan raja-aitoja, edistämään yhteistyötä ja edesauttamaan yhteisten toimintamallien levittämistä ja juurtumista. Vaikka työryhmää ei aina koeta hyödylliseksi työmuodoksi – eikä se aina sitä olekaan – se on monessa kohtaa hyvä tapa aidosti keskustellen ja kuunnellen löytää yhteinen ymmärrys asioista ja levittää tätä yhteistä ajatusta, ja parhaassa tapauksessa muuttaa toimintamalleja vaikuttavampaan suuntaan.
Projektipäällikön (hankejohtaja) omien opintojen myötä käynnistyi arviointia koskeva yhteistyö Tampereen yliopiston Porin yksikön kanssa heti hankkeen käynnistyessä keväällä 2010. Arviointisuunnitelmaa ryhdyttiin laatimaan arvioinnin vastuuhenkilöksi nimetyn professori Ilmari Rostilan, projektipäällikön ja hankkeen arviointiryhmän yhteistyönä. Arviointiryhmän työskentelyyn osallistuivat hankkeen pilottien edustajat sekä muutama hankealueen arvioinnista kiinnostunut asiantuntija. Arviointisuunnitelma vahvistettiin hankkeen ohjausryhmässä syykuussa 2010. Arviointiryhmä jatkoi toimintaansa koko hankkeen ajan. Arvioinnista on valmistunut alkutilannetta koskeva raportti (Rostila 2011) ja väliarviointi (Rostila 2012). Arviointisopimus jatkuu jatko- ja juurruttamishankkeessa siten, että koko hanketyötä koskeva loppuarviointi laaditaan kesällä 2013 ja se on myöhemmin luettavissa hankkeen kotisivuilta (www.satshp.fi). Tässä artikkelissa kuvaamme arvioinnin lähtökohtia ja arviointiprosessia sekä lyhyesti arvioinnin kahden ensimmäisen vaiheen tuloksia. Edellä mainituista raporteista voi tarkemmin perehtyä arviointituloksiin. Hankekokonaisuutta on selostettu tämän julkaisun johdannossa sekä Mieli-suunnitelman toimeenpanoa selostavassa Terveyden ja hyvinvoinnin laitoksen vuoden 2010 raportissa (Komminaho 2011). Arvioinnin lähestymistapa Arviointityön taustalla on yhdysvaltalaisen Huey-Tsyh Chenin (2005) ajatukset ohjelmateoriasta. Ohjelmateoria lähestymistapa on kehitetty ohjelmien ja projektien arvioinnin kehikoksi. Ohjelmateoriassa kuvataan, miten eri kypsyysvaiheessa olevien projektien arvioinnissa tarvitaan erilaisia lähestymistapoja ja tiedonkeruun menetelmiä. Chen luonnehtii ohjelmateoriaa samanaikaisesti ohjailevaksi ja kuvailevaksi sekä statukseltaan käytännönläheiseksi ja toimintaan suuntautuvaksi. Periaatteessa sekä interventiota koskeva muutosteoria että ohjelman tai projektin toteuttamista koskeva toimeenpanon teoria voivat ohjata tiedon keruuta ja analyysia arviointitutkimuksessa. (Rostila 2012.) Kuvio 1. avaa kahta edellä mainittua ohjelmateoria ulottuvuutta (Ks. Komminaho 2012). KUVIO 1. Ohjelmateorian käsitteellinen viitekehys (Chen 2005) Lähtökohtaisesti arvioinnin tulee palvella arvioitavaa toimintaa. Länsi 2012 -hankkeen muutosteoria ja projektiteoria eivät olleet vielä valmiita ulkoiseen selontekoarviointiin, jossa pyrittäisiin osoittamaan ulkopuolisille, että muutosteoria ja toimintaa koskeva teoria pitävät paikkansa. Se olisi ajankohtaista vasta kun interventio on saanut suhteellisen koetellun ja vakaan muodon. Länsi 2012 -hankkeen arviointi onkin tarkoitettu ensisijaisesti käytettäväksi sisäisesti projektin kehittämiseen. Tällöin sopivia arviointistrategioita ovat ’ongelmien tunnistamisen strategia’ ja ’kehittämiskumppanuuden strategia’ (Chen 2005). Näissä lähestymistavoissa painotetaan arvioinnin niitä tehtäviä, joiden avulla voidaan oppia mahdollisimman selkeästi näkemään haasteita, sekä myös korjaamaan toimintaa. Tällaisessa arvioinnissa arviointitiedon tulee täyttää kaksi kriteeriä: tiedon on oltava oikea-aikaista ja tiedon on oltava merkityksellistä toiminnan (toiminnan ohjaus) kannalta (relevanssi). (Arviointisuunnitelma 2010.) Arviointisuunnitelmassa päädyttiin edellä olevan teorian pohjalta siihen, että arvioinnin tarkoituksena on ensinnäkin tukea kehittämistyötä tekeviä pilottien työntekijöitä ja vastuuhenkilöitä antamalla oikein ajoitettua palautetta keskeisistä implementointiin liittyvistä keinoista, niiden toteutuksesta ja kestävyydestä. Tämänkaltainen tieto voi arviointiin valitun teorian mukaan auttaa toimijoita tunnistamaan ja ratkaisemaan implementointiin liittyviä ongelmia ja näin saadulla tiedolla voi ohjata hanketyötä tavoitteen mukaiseen suuntaan. Toiseksi arvioinnin tarkoituksena oli tuottaa tietoa kehittämistyön tuloksista ja vaikutuksista hankkeessa mukana olevien organisaatioiden johdolle, hankkeen hallinnolle ja rahoittajatahoille. Asiakkaat nähtiin arvioinnin välillisinä hyödyn saajina kehittämistyön oikean kohdentumisen lopputuloksen kautta. Kyselyjen rakentamista ja tulkintaa ohjasi muutosteoria. Hanke pyrkii lisäämään ongelmien varhaisen tunnistamisen ja niihin puuttumisen menetelmien käyttöä. Kyselyt koskivat siten varhaisen tunnistamisen ja niihin puuttumisen menetelmien käyttöä ja menetelmien käytön edistämistä koskevia tekijöitä. Kyselyillä pyrittiin selvittämään, onko ongelmien varhaisen tunnistamisen ja niihin puuttumisen menetelmien käyttö lisääntynyt ja ovatko ne tekijät, joiden oletetaan käynnistävän tai edistävän menetelmien todellista käyttöä, vahvistuneet. (Rostila 2012.) Pilottien toiminnasta vastaavien oletukset pilottien onnistumiseen vaikuttavista tekijöistä toimeenpanon teoriana tulivat sen sijaan esille vertaisarvioinnissa. Länsi 2012 -hankkeen pilottien vertaisarviointi on tarkoitettu osaksi pilottien itsearviointia ja antamaan samalla tietoa hankkeen yhteiseen arviointiin (ks. vertaisarvioinnista Seppänen-Järvelä 2005). Vertaisarvioinnilla pyritään luomaan kuvaa kehittämistyön kokonaisuuden toteutumisesta. (Rostila 2012.) Kokonaisuudessaan arviointi koskee siten sekä kehittämistyön prosessin hallintaa että kehittämistyön tavoitteiden saavuttamista ja sen tarkoituksena on auttaa pilotteja näkemään kehittämistyön mahdolliset tarkistustarpeet. Piloteilla oli arviointipalautteen perusteella käytännössä mahdollisuus muuttaa kehittämistyön suuntaa, koska hankkeelle on saatu jatkoa lokakuuhun 2013 asti. (Rostila 2012.) Arvioinnin toteutus Arviointi tehtiin yhdistäen hankkeen ulkopuolista ja sisäistä arviointia. Ulkopuolinen arviointi painottui sekä hankkeen yleiseen osuuteen että pilotteihin. Ulkopuolisesta arvioinnista vastasi Tampereen yliopiston Porin yksikkö vastuuhenkilönä hyvinvointipalvelujen maisteriohjelman professori Ilmari Rostila. Ulkoisen arviointitiedon ensimmäisen vaiheen kerääjinä, analyysin tekijöinä ja raportoijina toimivat pääosin Tampereen yliopiston Porin yksikön hyvinvointipalvelujen maisteriohjelman opiskelijat. Projektipäällikkö (hankejohtaja) ja pilotit huolehtivat, opiskelijoiden työpanosta täydentäen, pilotteja koskevan tiedon keruusta, analyysin tekemisestä ja raportoinnista. Projektipäällikkö kokosi sisäisen arvioinnin tietoa pilottien seurantaraporteista. Arviointi toteutettiin kolmessa vaiheessa vuoden välein alkuvuodesta 2011, 2012 ja 2013. Ensimmäisessä vaiheessa keskityttiin painotetusti toimeenpanon ongelmiin ja haasteisiin, sekä tähän liittyen mitattiin myös lähtötilannetta hankkeen tavoitteiden toteutumista koskevien indikaattoreiden avulla. Arvioinnin toisessa ja kolmannessa vaiheessa oli lisäksi mahdollista saada tietoa hankkeen aikaisen muutoksen suunnasta tavoitealueilla. Sosiaali- ja terveystoimen asiakaspalvelutyössä toimiville tehdyn menetelmien käyttöön liittyvän kyselyjen lisäksi toteutettiin ensimmäisessä vaiheessa fokusryhmäkeskustelu sekä toisessa ja kolmannessa vaiheessa vertaisarviointi pilottipareittain. (Rostila 2011; Rostila 2012.) Ensimmäinen vaihe alkoi siten, että hankkeesta ja piloteista vastaavilta kysyttiin suurimmat huolenaiheet pilotin toteuttamisessa ajatellen seuraavaa 6–9 kuukauden aikaa. Näin etsittiin pilottien toteuttamisessa ennakoitavat alkuvaiheen pullonkaulat. Tämän ja hankesuunnitelman perusteella täsmennettiin kuvaa hankkeen muutos- ja projektiteoriasta. Kyselylomake laadittiin siten, että se kattoi mahdollisimman hyvin koko hankkeen tavoitteet ja niiden toteutumista mittaavat mittarit. Tarkoituksena oli tehdä kaikille piloteille yhteinen kyselylomakepohja, joka mahdollistaisi kuitenkin pilottikohtaisen räätälöinnin. Kyselylomakkeen oli tarkoitus palvella siinä mielessä tulosarviointia, että sen avulla saadaan tietoa ennaltaehkäisevien työmuotojen käyttöönotosta, jota tietoa voidaan käyttää hyväksi arvioinnin toisessa ja kolmannessa vaiheessa, kartoitettaessa hankeen aikaista muutosta. Ensimmäisessä vaiheessa pilotit saivat valita omaan kehittämistyöhön soveltuvat kyselyn patteristot. (Arviointisuunnitelma 2010.) Toisessa ja kolmannessa vaiheessa patteristot olivat kaikille samoja, mutta vertailu alkutilanteeseen ei ole siis kaikilta osin mahdollista kaikkien pilottien osalta eräiltä piloteilta puuttuvien kysymyspatteristojen vuoksi. Arviointitutkimuksen lähestymistapana on tarkastella hankkeen piirissä vallitsevia oletuksia arvioinnin ja hanketyön kehittämiskumppanuuden puitteissa (ks. ohjelmien/hankkeiden teoriaan perustuva kehittämiskumppanuus arvioinnissa, Chen 2005). Alku- ja väliarvioinnin tarkoituksena oli antaa hankkeessa toimiville tietoa, jonka perusteella he voisivat tarkentaa ja kohdentaa toimintaansa suhteessa hankkeen tavoitteisiin. Tätä varten ensimmäisessä arviointiraportissa muodostettiin kyselyn tulosten perusteella yleiskuva hankkeen lähtötasosta (hankkeen alkuvaiheen tilanne) tavoitteen suhteen ja niiden tekijöiden suhteen, jotka vaikuttavat menetelmän juurtumiseen. Raportissa selostetaan hankkeen muutosteoriaa ja tehdään tähän liittyen kyselyyn perustuvia yleisiä huomioita menetelmien käytöstä hankkeessa ja pilottien välisistä eroista. Raportissa on myös menetelmäkohtainen tarkastelu. Lopussa on alustavia kehittämisehdotuksia, joista hankkeen ja pilottien piirissä viritettiin kehittämistyötä tukevaa keskustelua. (Rostila 2011.) Arvioinnin ensimmäisessä vaiheessa toteutettu fokusryhmä kohdistui pilottien haasteisiin tavoitteisiin pääsemisessä. Fokusryhmähaastattelujen tulkinta koskee sitä mitä Chen kutsuu ohjelman tai hankkeen toimeenpanon teoriaksi (”model of action”). Kiinnostuksen kohteena on tällöin se, miten käytännössä – millaisia käytännöllisiä haasteita kohdaten – muutosteoriaan kuuluvien asioiden käynnistäminen on saatu aikaan. Fokusryhmähaastattelujen tuloksia käsiteltiin erikseen pilottien omien ohjausryhmien kokouksissa. Kyselyn ja fokusryhmähaastattelujen tuloksia ei siis yhdistetty alkuvaiheen kartoituksessa toisiinsa, vaan tähän yhdistämiseen pyrittiin tarkoituksenmukaiselle tavalla vasta arvioinnin toisessa vaiheessa. (Rostila 2011.) Ensimmäisessä vaiheessa kysely toteutettiin paperikyselynä, joka kohdennettiin pilotin valinnan mukaisesti otantana koko sosiaali- ja terveydenhuollon henkilöstölle tai osalle henkilöstöryhmiä. Toisessa vaiheessa kyselyaineiston keruu toteutettiin wepropol-kyselynä, pyrkien vertailukelpoisuuden vuoksi pitämään mahdollisimman suuressa määrin kiinni ensimmäisen kyselyn kysymysten sanamuodoista. Lisäksi ensimmäisessä vaiheessa opiskelijoiden toteuttaman fokusryhmähaastattelu korvattiin pilottiparien vertaisarviointina. (Rostila 2012.)
Arvioinnin toisen vaiheen raportissa on kuvaus pilottien vertaisarvioinnista ja sen esille nostamista näkökohdista. Pääasiassa raportissa tarkastellaan helmikuussa 2012 toteutetun seurantakyselyn tuloksia verrattuna aikaisempaan lähtötasoa mittaavan kyselyn tuloksiin (tilanne noin vuotta aikaisemmin: joulukuu 2010 – helmikuu 2011). Raportissa kuvataan mainittuihin kvantitatiivisiin kyselymittauksiin perustuen (1) miten varhaisen puuttumisen menetelmien käyttöönotossa on edetty, (2) miten on edetty ajatellen niitä tekijöitä tai asioita, jotka oletettavasti vaikuttavat menetelmän käyttöönottoon ja (3) ovatko menetelmän käyttöä tukevat toimintatavat vahvistuneet aikaisempaan verrattuna. Raportti kokosi kyselyjen vastaukset kokonaiskuvaksi, joka välitettiin raportin, arviointiryhmän keskustelujen ja keväällä 2012 toteutetun vertaisarviointiin liittyvien palaverien kautta palautteena piloteille ja hankkeelle. (Rostila 2012.) Arvioinnin tuloksia ja pohdintaa Hankkeen alkuarvioinnissa todettiin, että hankkeen tavoitteen mukaisia ehkäisevän työn menetelmiä ja ryhmämenetelmiä käytetään parhaimmillaankin vain jossain määrin tai ei lainkaan. Ehkäisevän työn menetelmien ja ryhmätoimintojen käyttöä edistävissä tekijöissä oli myös pilottikohtaisia eroja, joihin alkuarviointiraportin mukaan kannattaa kiinnittää huomiota hankkeen sisäisissä keskusteluissa. Onko esimerkiksi koulutus jossain kyetty järjestämään muita paremmin vai mistä on kysymys? Arviointikeskustelun tuloksena alkuarviointia koskevaan raporttiin koottiin hanketyöhön liittyviä kehittämisehdotuksia. Ne kuvaavat arvioinnin ja kehittämistyön elävää vuoropuhelua:
Arvioinnin toisen vaiheen tulosten mukaan menetelmien käytössä oli hankeaikana tapahtunut positiivista muutosta pääasiassa aikuisväestön kohdalla, vaikka tavoiteltua tasoa ei saavutettukaan. Vertaisarvioinnin ja ohjausryhmän antaman palautteen mukaan hankkeessa on yleisesti ottaen onnistuttu hyvin omien toimintamallien kehittämisessä ja suhteessa yleisiin tavoitteisiin ottaen huomioon hankkeessa käytettävissä olleet resurssit ja aika. (Rostila 2012.) Arvioinnin kolmannen vaiheen tulosten analyysi on tätä artikkelia kirjoitettaessa kesken. Alustavien tulosten mukaan muutos on edelleen ollut halutun suuntaista. Vertaisarviointitilaisuuksissa käydyissä keskusteluissa korostuivat onnistumiset ja sitä kautta kehittämistyön jatkamiseen innostaminen. Onnistumisiin keskittyminen, joka on sinänsä myönteistä, saattoi johtaa siihen, että vertaisarvioinnissa saatiin jossain määrin ”liian kilttiä” arviointia, kuten erään pilotin edustaja osuvasti totesi. Yleisesti ottaen pilotit arvioivat, että kehittämistyössä on onnistuttu tavoitteisiin nähden hyvin. Joidenkin tavoitteiden osalta yksittäiset jäsenet antoivat myös erinomaisen arvion onnistumisesta, mutta myös tyydyttäviä ja välttäviä arvioita annettiin. Vain yksittäistapauksessa tavoitteena olleita kehittämistoimia ei ollut vielä aloitettu. (Rostila 2012.) Pilottien vertaisarviointitilaisuudet osoittautuivat hyväksi keinoksi sitouttaa ohjausryhmän jäseniä kehittämistyön tueksi. Kyselyjen tulosten yhteinen arviointi hankkeen työntekijöiden ja pilottien vastuuhenkilöiden kesken tuotti keskustelua ongelmien tunnistamisen ja puheeksioton juurtumisen vaikeuksista ja niiden voittamiseksi löydetyistä menetelmistä. Samalla keskustelu auttoi pilotteja suhteuttamaan oman tilanteensa koko hankealueella. Kyselyn kohdistumista menetelmien käyttöön arvosteltiin siitä, että se kaventaa erityisesti sosiaalityön sisällön tarkastelun sosiaalityön luonteen mukaisesta kokonaisvaltaisesta tarkastelusta menetelmien käytön tarkasteluun. Toisaalta todettiin, että menetelmien käytön kysymisen sijaan vaihtoehtoinen laajempi tarkastelu olisi vaatinut huomattavasti työläämmän arviointiasetelman, mikä ei olisi ollut tässä hankkeessa mahdollista. Arvioinnin kokonaisuuden kannalta kriittinen kysymys koskee kyselyjen hyödyntämistä pilottien itsearvioinnissa. Tämä ei kovin suuressa määrin toteutunut vielä arvioinnin toisessa vaiheessa. Vastoin odotuksia webropol-kyselyn tuloksista syntyi vain vähän keskustelua vertaisarviointitilaisuuksissa. Hankkeen itsearviointi ja kyselytulokset hankkeen puitteissa tapahtuneesta kehityksestä puhuvat siis ikään kuin eri kieltä ja osin toistensa ohi. Pyrimme toisen vaiheen raportissa saattamaan näitä näkökulmia yhteen kuvaamalla sekä vertaisarviointia ja sen tuloksia että kyselyjen tuloksia. Raportin pohdinnassa tarkastellaan myös arvioinnin kokonaisuutta kehittämisarviointina. (Rostila 2012.) Vertaisarvioinneissa todettiin, että kyselyjen avulla on saatu pilottien ja hankkeen käyttöön tietoa hankkeen tavoitteena olevien menetelmien käytöstä ja käyttöön vaikuttavista tekijöistä. Vaikka kyselyn hanketason tuloksia ei siis asetettu kyseenalaiseksi, vertaisarviointitilaisuuksissa ja pyydetyissä palautteissa kyselyn vertailtavuutta oman pilotin edellisen vuoden tuloksiin ja myös toisten pilottien tuloksiin arvioitiin kriittisesti. Vertaisarviointi auttoi pilotteja suhteuttamaan oman kyselyn tulokset koko aineiston tuloksiin ja helpotti siten kyselytiedon kommentointia oman pilotin kannalta. Tämä tapahtui kuitenkin enemmän ottamalla kyselyn tuloksiin kriittistä etäisyyttä, epäilemällä tiedon osuvuutta ja luotettavuutta oman pilotin kannalta, kuin käyttämällä tietoa pilottikohtaisesti merkityksellisenä informaationa. Tietoa menetelmien käytön kehityksestä ja tähän vaikuttavien tekijöiden kehityksestä pilotissa, verrattuna toisiin pilotteihin, ei kommentoitu kovin tarkasti, vaan selostettiin oman pilotin tilannetta kunkin menetelmän käytön osalta suhteellisen yleisesti. Ei siis pohdittu tarkemmin esimerkiksi kyseisen menetelmän käyttöä edistäviä tekijöitä. Kyse ei ilmeisesti ollut vain tiedon luotettavuudesta. Pilottien varauksellisuus kyselyn tuloksiin ei siten selity luultavasti vain tiedon tekniseen luotettavuuteen ja osuvuuteen liittyvillä seikoilla. Näyttäisi siltä, että kyselyn pohjana ollut muutosteoria ei ollut pilottien toimijoille kovin merkityksellinen. Oma toimeenpanon teoria oli läheisempi. (Rostila 2012.) Voidaan ajatella, että menetelmien käyttöön ja vastaavasti käytön mittaamiseen, sisältyy erilaisia merkityksiä. Suhtautumisessa kyselytiedon painoarvoon näyttäisi siis olevan kyse myös tiedon osuvuudesta (käytännön relevanssista) syvemmässä mielessä. Pilottien tulkinnat ja itsearviointi viittaa siihen, että kyselyn menetelmäkeskeinen ote ja muutosteorian näkökulma kytkeytyy ”tekniseen rationaalisuuteen”, jossa menetelmä on toimintaan ja sen tarpeisiin nähden suhteellisen irrallinen asia. Tämä näkökulma eroaa toiminnallisesta rationaalisuudesta, jossa menetelmä asettuu periaatteessa tarkoituksenmukaiseksi osaksi toimintaa. Kytkentä tekniseen rationaalisuuteen herättää myös helposti kokemuksen ”ylhäältä alas” suuntautuvasta ohjaamisesta ja kontrollista. Ja tästähän menetelmien käyttöönoton edistämisessä ja muutoksen seuraamisessa on toden totta osaltaan kyse. Silti kyselyissä kertyvä tieto etenkin menetelmien käytön lisääntymisestä ja suhtautumisesta menetelmiin tulee ryhdittämään jatkossakin hankkeen arvioivaa tarkastelua. Tämän lisäksi on syytä kiinnittää huomiota erityisesti niihin asioihin menetelmien käytössä, joissa pilotit itse perustellen lupaavat parannusta. (Rostila 2012.) Kaste-hankkeisiin varattu aika on lyhyt asenteellisten muutosten tai väestötason vaikutusten aikaan saamiseen. Koko hanketyötä koskeva arviointi tehdään kesällä 2013 tämän artikkelin kirjoittamisen jälkeen. Arviointiraportti on luettavissa hankkeen päättyessä lokakuussa 2013 Satakunnan sairaanhoitopiirin kotisivuilta www.satshp.fi. Kirjallisuutta Chen, Huey-Tsyh 2005: Practical program evaluation. Assessing, Improving, Planning, Implementation, and Effectivenes. Thousand Oaks, CA: Sage Publications. Komminaho Alpo 2011: Länsi 2012 – Länsi-Suomen päihde- ja mielenterveystyön kehittämishanke. Teoksessa Juha Moring – Anne Martins – Airi Partanen – Viveca Bergman – Esa Nordling – Veijo Nevalainen (toim.) (2011) Kansallinen mielenterveys- ja päihdesuunnitelma 2009–2015. Toimeenpanosta käytäntöön vuonna 2010. Terveyden ja hyvinvoinnin laitos. Raportti 6/2011. Tampere: Juvenes Print, 142–144. Komminaho Alpo 2012: Päihde- ja mielenterveysstrategian ohjausvaikutukset – onko niitä? Sosiaalityön pro gradu -tutkielma. Tampereen yliopisto Yhteiskunta- ja kulttuuritieteiden yksikkö: Pori, 2012. Saatavilla internetissä osoitteessa http://tutkielmat.uta.fi/pdf/gradu05878.pdf
Länsi 2012 hankesuunnitelma. Saatavilla internetissä osoitteessa http://www.satshp.fi/portal/page?_pageid=106,155667&_dad=wportal&_schema=WPORTAL&p_calledfrom=1 Länsi 2012 loppuraportti. Saatavilla internetissä osoitteessa http://www.satshp.fi/portal/page?_pageid=106,153506&_dad=wportal&_schema=WPORTAL&p_calledfrom=1 Länsi 2013 hankesuunnitelma. Saatavilla internetissä osoitteessa http://www.satshp.fi/portal/page?_pageid=106,123257&_dad=wportal&_schema=WPORTAL&p_calledfrom=1 Rostila Ilmari 2011: Länsi 2012 – Länsi-Suomen päihde- ja mielenterveystyön kehittämishanke. Väliarviointiraportti 2011. Saatavilla internetissä osoitteessa http://www.satshp.fi/portal/page?_pageid=106,123730&_dad=wportal&_schema=WPORTAL&p_calledfrom=1 Rostila Ilmari 2012: Länsi 2012 –hankkeen arviointiraportti 2012. Itsearviointia kehittämisen tueksi. Saatavilla internetissä osoitteessa http://www.satshp.fi/portal/page?_pageid=106,123730&_dad=wportal&_schema=WPORTAL&p_calledfrom=1 Seppänen-Järvelä Riitta 2005: Vertaismenetelmät kehittävän arvioinnin välineinä. Sosiaali- ja terveysalan tutkimus- ja kehittämiskeskus STAKES. Hyvät käytännöt, menetelmäkäsikirja. Helsinki. 1 Ks. www.innokyla.fi Yüklə 256,62 Kb. Dostları ilə paylaş:
|