Pöördumine

21-12-2012 ESTES hindamise hea tava mustand Hindamise hea tava Preambula Hea tava koondab põhimõtteid, milles on kokku leppinud Eesti Hindamise Ühingu ESTES1 liikmed ja riigiasutuste hindamiskoordinaatoreid koondav Hindamise Juhtkomisjon2, ning on kasutusel suunisena, millest mainitud osapooled oma tegevuses lähtuvad. Hea tava on sündinud kollektiivse arutelu tulemusena ja täieneb rakendamise käigus. Hea tava eesmärk on aidata kaasa hindamiste kvaliteedi tõusule ning arendada ühiseid arusaamu hindamise sisust ja protsessist. Tava taotleb Eesti hindamiskultuuri arengut ja hindamistegevuse professionaalsemaks muutumist. Hindamise all peetakse silmas süsteemset ja sõltumatut hinnangute andmist tegevusele, projektile, programmile, strateegiale, institutsiooni toimimisele jms. Tavaliselt on hindamise eesmärk kogemustest õppida ja anda otsustajatele teavet oma tegevuste tulemuslikkuse kohta. Hea tava on järgimiseks kõigile, kes hindamises osalevad või seda mõjutavad — tellijatele, hindajatele, hinnatavatele osapooltele, koostööpartneritele ja kasutajatele. Tava annab ülevaate põhimõtetest, millest hindamise osapooled lähtuvad. Hea tava on tegevussuuniste raamistik, mitte hindamise metoodiline juhis, mis pakub parimate praktikate najal tuge Eestis enamlevinud hindamisega seotud kitsaskohtade leevendamisele. Hindamise häid praktikaid kirjeldatakse hindamisprotsessi osade kaupa: hindamisprojektide planeerimine, hindamisülesande püstitus, hindamise teostamine ning hindamistulemuste levitamine ja rakendamine. 1. Hindamisprojektide planeerimine Hindamisprojektide Hindamis - Hindamise Levitamine ja planeerimine ülesande püstitus teostamine rakendamine 1.1. Hindamine on hästi ajastatud ning selle vajadus ja eesmärgid on üheselt mõistetavad ning selged 1.1.1. Hindamist planeeritakse aegsalt, et tulemusi saaks kasutada (tulevaste) tegevuste parendamiseks. Ühelt poolt tuleb arvestada kvaliteetse hindamise teostamise ajamahukuse ja ettenägematute asjaoludega ja teisalt tõsiasjaga, et tegevuste mõju ei pruugi ilmneda kohe, mistõttu ei saa mõjusid enamasti kohe pärast tegevuste lõppu hinnata. 1.1.2. Hindamist tasub ette võtta üksnes siis, kui ollakse valmis hindamistulemusi kasutama. 1.1.3. Hindamise fookus ja eesmärgid on selged (st mida ja milleks hinnatakse). 1.2. Enne hindamist veendutakse selle võimalikkuses 1.2.1. Hindamise planeerija veendub enne hindamise ette võtmist, kas seda on valitud tingimustel võimalik teostada (st kas püstitatud küsimustele on võimalik etteantud 1 Eesti Hindamise Ühing ESTES loodi 2010. aasta lõpus eesmärgiga toetada hindamisvaldkonnas tegutsevate või vastavaid kompetentse evivate organisatsioonide ja inimeste koostööd, soodustada teadmiste- ja kaasamispõhise poliitika ja strateegiate kujundamist ja arengut Eestis ning tõsta Eestis läbiviidavate hindamiste professionaalset ja eetilist taset ning hindamisalast teadlikkust ja kultuuri. 2 Hindamise Juhtkomisjon (HJK) koondab avaliku sektori organisatsioonide hindamiste koordinaatoreid. Hindamise juhtkomisjonis osalevad … 1  21-12-2012 ESTES hindamise hea tava mustand konkreetsusastmel vastata, kas hinnangute andmiseks vajalikud andmed on olemas või hangitavad jne.) 1.2.2. Hindamist lihtsustab see, et hindamisele on mõeldud juba tegevusi planeerides, neid ellu viies on regulaarselt kogutud seireandmeid ja hindamisega on arvestatud ka tegevuste eelarves. 1.2.3. Kvaliteetse tulemuse tagamiseks peavad hindamise mahukus ja ressursid olema omavahel kooskõlas. 1.3. Hindamise osapooled on erapooletud ja eelarvamusteta ning huvirühmadele mõeldakse varakult 1.3.1. Hindamise meetoditesse, analüüsi tulemustesse ja erinevatesse osapooltesse suhtutakse eelarvamustevabalt. 1.3.2. Erapooletus eeldab kõigi osapoolte arvamuste ära kuulamist. 1.3.3. Et hindamine tooks suuremat kasu, arvestatakse huvirühmadega juba lähteülesande koostamisel. Selleks täpsustatakse huvirühmad ja nende vajadused ning kaasatakse erinevad osapooled varakult. 1.4. Hindajad on oma tegevuses sõltumatud 1.4.1. Hindamise funktsioon tuleks eristada tegevuste elluviimise funktsioonist, et tagada läbipaistvus ja sõltumatus hinnangute andmisel ning vähendada järelduste kallutatuse riski. 1.4.2. Hindaja ei ole varem isiku tasandil olnud seotud hinnatavate poliitikameetmete ja tegevuste väljatöötamise ega elluviimisega. 1.4.3. Hindaja ei ole olnud ega ole lähitulevikus kasusaaja hinnatavast tegevusest. 1.4.4. Alati ei ole huvide konflikti võimalik vältida. Sel puhul on oluline osapooli võimalikust konfliktist varakult teavitada ning probleemiga läbipaistvalt ja ausalt tegeleda, et see kompromiteeriks hindamise protsessi ja tulemusi võimalikult vähe. 2. Hindamisülesande püstitus3 ja pakkumuste koostamine Hindamisprojektide Hindamis - Hindamise Levitamine ja planeerimine ülesande püstitus teostamine rakendamine 2.1. Protsess lähteülesande koostamisest kuni hindaja väljavalimiseni on avatud ja õiglane 2.1.1. Hindamise lähteülesande koostamisel, teostaja otsimisel ja valikul ja pakkumuste koostamisel lähtutakse avatuse, õigluse ja võrdse kohtlemise põhimõtetest. 2.1.2. Austatakse intellektuaalomandit ja autori isiklikke ja varalisis õigusi nii pakkumuste kui analüüsitulemuste kasutamisel. 2.2. Vajadusel korraldab Tellija hanke ulatuse määratlemiseks võimalike pakkujate või ekspertidega avatud ja läbipaistvaid eelkonsultatsioone 2.2.1. Asjakohase, realistliku ja praktilise lähteülesande koostamiseks võib Tellija vajadusel konsulteerida hindamisülesande püstitamisel huvitatud osapooltega. 2.2.2. Eelkonsultatsioonid on avatud ja läbipaistvad. 3 Hindamisülesande püstituse all mõeldakse hindamise lähteülesande kirjeldust. Juhul, kui hindamine ostetakse sisse organisatsoonivälistelt osapooltelt, loetakse ülesandepüstituse hulka ka tellija kirjeldust täpsustav pakkumus. 2  21-12-2012 ESTES hindamise hea tava mustand 2.3. Hindamise teostamisele eelneb lähteülesanne, mis kirjeldab selgelt ja piisava põhjalikkusega hindamise eesmärki ja ootuseid, hindamise protsessi, oodatavat väljundit ja piiranguid 2.3.1. Lähteülesanne on sõnastatud selgelt ja täpselt, pidades silmas huvitatud osapoolte infovajadust. See aitab vältida valedest ootustest tekkivaid arusaamatusi. 2.3.2. Lähteülesanne kirjeldab täpselt ja piisavalt hindamise konteksti, vajalikkust, eesmärki, ulatust, hindamiskriteeriumeid ja -küsimusi, ootusi metoodika osas, ajakava, töökorraldust, eelarvet, oodatavat väljundit, aruandlust ning hindamistulemuste kasutamist. 2.3.3. Eesmärgid ja uurimisküsimused on omavahel seotud, selged ja hästi struktureeritud. 2.3.4. Lähteülesanne kirjeldab teadaolevaid hindamise jaoks olulisi andmeid ja nende allikaid. Seejuures täpsustatakse olemasolevate andmete kättesaadavust. 2.3.5. Lähteülesanne kirjeldab hindamisega seotud piiranguid, mis võivad rakenduda nt ajakavale, eelarvele, andmete kättesaadavusele, hindamistulemuste avalikustamisele ja kasutamisele. 2.4. Ajakava arvestab hindamise tegevuskava või pakkumuse koostamise ning hindamise mahukuse ja ulatusega 2.4.1. Pakkumuse koostamise ajakava arvestab lähteülesandes toodud nõuete keerukusega (sh nõuded ekspertmeeskonnale, metoodika kirjeldamise mahukus, nõutavate dokumentide koostamiseks ja saamiseks kuluv aeg). 2.4.2. Hindamise teostamise kavandatav ajakava arvestab hindamise ettevalmistuse ja analüüsi ajakulu, tulemuste saamise ajalise vajaduse, andmekogumise keerukuse, andmete olemasolu ja kvaliteedi, hindamise ja osapooltega seotud piirangute (nt osapoolte puhkusteperiood, valdkondlikest eripäradest tulenevad intensiivsed perioodid jms) ning aruandluse koostamise ning kommenteerimisperioodiga. 2.5. Nõuded Hindajale vastavad hindamise mahule ja keerukusele 2.5.1. Nõuded Hindajale on kooskõlas töö sisu, hindamisvaldkonna ning ülesannete keerukusega. Seejuures arvestatakse seda, milline kogemus, erialane taust ja hindamismeeskonna suurus on töö tegemiseks vajalik (sh pööratakse tähelepanu hariduse ja kogemuse tasakaalule). 2.5.2. Nõuded hindamist läbiviivale organisatsioonile ning ekspertidele on asjakohased ning ei välista ega eelista ühtegi hindajat ega pakkujat. 2.6. Nõuded metoodikale ei ole liialt piiravad 2.6.1. Kindlad nõuded metoodika osas on täpsustatud, kuid Hindajatele jääb ülejäänu osas võimalus pakkuda välja hindamise eesmärgist, piirangutest ja ressurssidest lähtuv lahendus. 2.6.2. Juhul, kui metoodika on lähteülesandes väga detailselt määratletud, on mõttekas jätta Pakkujale võimalus pakkuda soovi korral välja sama tulemust tagav alternatiivne metoodika, et mitte välistada teisi võimalikke häid lahendusi. 2.7. Pakkumus lähtub tellija eesmärkidest ning kajastab nende saavutamist realistlikult 2.7.1. Pakkumus lähtub hindamise tellija huvidest ja eesmärkidest. 2.7.2. Hindaja esitab pakkumuse, mida ta on valmis ja võimeline ellu viima. 2.7.3. Pakkumuses toodud informatsioon on tõene ja kallutamata. 2.7.4. Pakkuja on pakkumuse esitamisel hoolikas ning järgib kvalifitseerimisnõudeid. 2.7.5. Pakkumuses lubatud eksperdid osalevad hindamistöös pakkumuses väljatoodud mahus. 3  21-12-2012 ESTES hindamise hea tava mustand 2.8. Pakkumus on terviklik ning selge 2.8.1. Pakkuja peegeldab pakkumuses oma arusaama lähteülesandest. 2.8.2. Pakkumus kirjeldab selgelt, terviklikult ja piisava põhjalikkusega hindamise teostamise metoodikat, protsessi, ajakava, meeskonda ning meeskonna rolle hindamise läbiviimisel. 2.8.3. Hindaja toob pakkumuses välja võimalikud hindamisega seotud riskid ja nende ennetamise viisid. 2.8.4. Pakkumus on läbipaistev ja üheselt arusaadav. 2.9. Pakkumuste hindamiskriteeriumid on selged ja tasakaalustatud 2.9.1. Hindaja valimise kriteeriumid on läbipaistvad, piisavalt lahti kirjutatud ja üheselt arusaadavad. 2.9.2. Hindamiskriteeriumid on tasakaalus (nt hinna ja sisukriteeriumite tasakaal) ja sobituvad hanke olulisimate aspektidega. 2.9.3. Välditakse metoodikat moonutavaid kriteeriume (nt punktide otsene sõltumine intervjuude arvust). 2.10. Lähteülesande ja pakkumuse koostamisel on läbivaks põhimõtteks säästlikkus 2.10.1. Lähteülesande ja pakkumuse koostamisel arvestatakse kõigi osapoolte aja säästmise ning keskkonnasõbralikkusega. 2.10.2. Lähteülesandes ja pakkumuses kirjeldatakse vaid vajalikku. Seejuures arvestatakse vormide ühtsusega organisatsiooni korraldatavate erinevate hindamiste ning võimalusel ka organisatsioonide vahel (nt ühtse EuroPass CV vormi kasutamine). 2.10.3. Hindamisele esitatavates nõuetes arvestatakse nõuete vajalikkust ja eesmärgipärasust, sh kirjaliku aruandluse maht ja ajastatus jms. 2.10.4. Pakkumuses esitavad pakkujad lähteülesande seisukohalt olulist informatsiooni võimalikult selgelt ja täpselt. 2.10.5. Pakkumusega väljapakutud tegevused on vajalikud ja eesmärgipärased ning arvestavad osapoolte aja ning ressursi säästmise põhimõttega. 3. Hindamise teostamine Hindamisprojektide Hindamis - Hindamise Levitamine ja planeerimine ülesande püstitus teostamine rakendamine 3.1. Hindamisprotseduurid on praktilised ja väldivad asjatut kahju 3.1.1. Hindamise teostamiseks valitakse tõenduspõhised ja praktilised meetodid ning protseduurid, millega kaasneb võimalikult vähe lisatööd ja hinnatavate häirimist. 3.1.2. Hindamistulemused ei pruugi alati toetada hinnatavate huve ja soove. Sellisel juhul püüab Hindaja maksimeerida kasu ja vähendada asjatut kahju (nt liigset negatiivset kriitikat) hinnatavatele (eeldusel, et see ei riku hindamise järelduste ühtsust ega ole olemuselt kriminaalne). 3.2. Tellija ja Hindaja tagavad sujuva infovahetuse ja koostöö 3.2.1. Sujuvaks koostööks määravad Tellija ja Hindaja hindamisprojekti kontaktisikud, kes lepivad hindamise alguses kokku ka koosolekute vajaduse ja läbiviimise sageduse. 3.2.2. Hindamise aruandlus tagab piisava infovahetuse, kuid ei ole osapooltele koormav ega suuna hindamisprojekti ressursse hindamise sisult eemale. 3.2.3. Hindamistulemused ning aruanded tehakse hinnatavatele kättesaadavaks selliselt, et neid saab vajalike otsuste langetamiseks õigeaegselt kasutada. 3.2.4. Hindaja teavitab Tellijat õigeaegselt hindamise käigus ilmnevatest asjaoludest, mis nõuavad muudatuste tegemist esialgsetesse hindamisküsimustesse, nendele vastamise metoodikasse vms. Hindaja ja Tellija ühise arutelu tulemusena otsustatakse muudatuste tegemise otstarbekus ja mõju ning vastavad asjaolud fikseeritakse kirjalikult. 4  21-12-2012 ESTES hindamise hea tava mustand 3.3. Mõlemad osapooled annavad endast parima, et tagada andmete kättsaadavus ja usaldusväärsus 3.3.1. Hindamise edukaks teostamiseks on oluline, et Hindajale võimaldatakse ligipääs dokumentidele ja infole, mis on hindamise eesmärgi täitmiseks olulised ja piisavad. 3.3.2. Hindaja veendub, võimaluste piires, andmete usaldusväärsuses ning kirjeldab hindamise allikaid sellises ulatuses, mis võimaldaks hinnata nende usaldusväärsust. 3.4. Välditakse hindamisel kogutud andmete väärkasutamist ja tagatakse hindamisse panustanute konfidentsiaalsus 3.4.1. Osapooled lähtuvad andmekaitsereeglitest ning väldivad andmete väärkasutamist. 3.4.2. Tagatakse hindamisse panustanud isikutele konfidentsiaalsus isiku tasandil, kui ei ole kokku lepitud teisiti. 3.5. Hindamine teostatakse terviklikult ja tasakaalustatult, tuginedes metoodilisele mitmekesisusele ja rakendades vigade süstemaatilist kontrolli 3.5.1. Hindamistulemuste kallutatuse vältimiseks analüüsitakse kvalitatiivset ja kvantitatiivset infot süstemaatiliselt ja sobivalt, et vastata hindamisküsimustele piisava põhjalikkusega. Konkreetse hindamismetoodika valik sõltub hindamisküsimustest, andmete kvaliteedist ja kättesaadavusest. Valitud metoodikat kirjeldatakse selgelt, põhjendatakse, ning tuuakse välja võimalikud piirangud. 3.5.2. Metoodilise usaldusväärsuse tagamiseks on oluline erinevate infoallikate kasutamine, et võimaldada erinevatest allikatest tuleneva info võrdlemist ning põhjendatud järeldusteni jõudmist. 3.5.3. Kogutud, analüüsitud ja esitletud informatsiooni kontrollitakse võimalike vigade tuvastamiseks süstemaatiliselt, kasutades paralleelselt infokogumist, usaldusväärsuse teste vms. See aitab tagada hindamisjärelduste ja soovituste usaldusväärsust. 3.5.4. Hindamine on terviklik ja tasakaalus, kui see käsitleb nii hindamisobjekti tugevusi kui nõrkusi. Viimaseid saab sageli leevendada olemasolevate tugevuste abil. 3.6. Hindamise järeldusteni ja soovitusteni jõudmine on läbipaistev ja põhjendatud 3.6.1. Hindamisaruanne on analüütiline. Järeldused ja soovitused tulenevad otseselt hindamistulemustest ning on piisavalt põhjendatud. Hindaja selgitab, millistel eeldustel ning milliseid protseduure kasutades nendeni jõuti. 3.6.2. Hindaja kirjeldab hindamist oluliselt mõjutanud piiranguid: miks need ilmnesid, kas ja milliseid alternatiive käsitleti, millised olid piirangute tagajärjed ja kuidas need analüüsi ning järeldusi mõjutada võisid. 3.7. Tellijal on võimalus kõiki hindamistulemusi kommenteerida. Hindamistulemuste vastuvõtmisest võib keelduda juhul, kui planeeritust on esinenud olulisi kõrvalekaldeid 3.7.1. Tellijal on võimalik anda tagasisidet kõikidele tulemustele. Iga aruannet kommenteeritakse üldjuhul ühel korral, kirjalikult ning hindamise algul kokkulepitud viisil. Kui Tellija ja Hindaja jäävad mõne kommentaari osas eriarvamusele, kajastatakse seda aruandes eraldi eriarvamuste lehel. 3.7.2. Tellija ei või keelduda aruande vastuvõtmisest, kui see on koostatud kvaliteetselt, vastavalt kokkulepitud struktuurile, selleks on kasutatud usaldusväärseid andmeid ja kokkulepitud metoodikat ning hindamise järeldused ja soovitused põhinevad loogilisel voolul. 5  21-12-2012 ESTES hindamise hea tava mustand 4. Tulemuste levitamine ja rakendamine Hindamisprojektide Hindamis - Hindamise Levitamine ja planeerimine ülesande püstitus teostamine rakendamine 4.1. Hindamistulemused avalikustatakse ja neid levitatakse aktiivselt sellises vormis, et teave oleks olulistele huvirühmadele selgesti mõistetav ja lihtsasti kasutatav 4.1.1. Hindamistulemused on avalikud, kui ei ole olulist põhjust vastupidiseks. 4.1.2. Hindamistulemustest teavitamine on järjepidev ja dünaamiline osa hindamisprotsessis. Osapoolte kursishoidmine hindamisprojekti edenemisest aitab kaasa hindamisse positiivse suhtumise kujunemisele ja soovituste hilisemale ellurakendamisele. 4.1.3. Hindamistulemuste levitamisel lähtuvad osapooled põhimõttest, et need panustaksid hinnatavas valdkonnas olevate teadmiste ja hinnatud organisatsiooni arengusse. 4.1.4. Tellija ja Hindaja jagavad vastutust kõigile hindamisel mingil moel osalenutele või sellest mõjutatutele hindamistulemustele kasutajasõbraliku ligipääsu tagamise ja tulemuste levitamise eest. Levitamisel pööratakse tähelepanu võimalikult suure ühiskondliku kasu toomisele. Soodustatakse poliitilise, akadeemilise ja muu asjakohase arutelu tekitamist. 4.1.5. Hindajad esitavad hindamistulemused lihtsas ja selges keeles, et Tellija ja teised huvirühmad saaksid hindamisprotsessi, -tulemusi ja soovitusi raskusteta mõista. 4.2. Hindamistulemuste avalikustamisel tagatakse nende terviklikkus ja läbipaistvus ning pööratakse tähelepanu väärtõlgendamise riskile 4.2.1. Hindamistulemuste terviklikkust austatakse igas olukorras, ükskõik mis formaadis või meetodiga neid levitatakse (nt ei tsiteerita või publitseerita tulemusi nende konteksti arvestamata). Hindamistulemuste esitamine mõnele huvirühmale sisaldab alati kõiki olulisi tulemusi, mis võivad sellele huvirühmale huvi pakkuda, ja viiteid võimalikele teistele huvirühmadele kohaldatud esitlustele. 4.2.2. Hindamistulemused esitatakse asjakohase ulatusega, pöörates tähelepanu väär- ja eelarvamuste, erapoolikuse, moonutamise ja vigade ning mittesoovitud negatiivsete tagajärgede ennetamisele. Mõistlikkuse piirides üritavad Hindaja ja Tellija ennetada ja vältida oma töö väärkasutust teiste poolt. 4.2.3. Teades, et hindamine võib teatud huvirühmi negatiivselt mõjutada, viib Hindaja hindamise läbi ja esitleb tulemusi moel, mis peab lugu huvirühmade aust ja väärikusest. Ligipääs hindamistulemustele tagatakse viisil, mis austab konfidentsiaalsuslubadusi. 4.3. Tellija kindlustab asjakohase hindamise järeltegevuste süsteemi ja selle toimimise, et tagada töössevõetud hindamissoovituste sihipärane ja õigeaegne elluviimine ning hindamistulemuste seotus tulevikutegevustega 4.3.1. Hindamisaruande valmimise järel on soovitatav korraldada hindamisprotsessis osalenud peamistele osapooltele lõppkoosolek, mille eesmärk on ühiselt hinnata hindamistulemusi, hindamise eesmärkide saavutamist ning arutada esitatud soovitusi ja nende elluviimisplaane. Osapooled annavad üksteisele tagasisidet hindamise lõpparuande ja kogu hindamisprotsessi kvaliteedi kohta. See aitab järgmisi hindamisprojekte paremini planeerida ning tõstatada edasist hindamist või uurimist nõudvaid teemasid. 4.3.2. Tellija vastutab heakskiidetud hindamissoovituste sihipärase ja õigeaegse ellurakendamise ning selle tõhususe hindamise eest. Pärast hindamisprojekti lõppu võivad Tellija ja Hindaja kokkuleppel arutada plaanitud järeltegevusi. 6  21-12-2012 ESTES hindamise hea tava mustand Kokkuvõte Kõigis hindamisprotsessi osades juhindutakse järgmistest üldistest väärtustest.  Inimväärikuse austamine: hindamised viiakse läbi selliselt, et osalejatevahelisi kontakte iseloomustab vastastikune austus. Austatakse osapoolte õigusi, turvalisust, erinevusi ja eneseväärikust ning võetakse arvesse huvide ja väärtuste mitmekesisust. See aitab vältida osapoolte negatiivset suhtumist hindamisse, suurendab inimeste soovi hindamisse panustada ning tulemusi rakendada.  Praktilisus: hindamised võetakse ette vaid juhul, kui on valmidus nende tulemusi aktiivselt kasutada. Kogu hindamisprotsess on üles ehitatud selliselt, et see aitaks maksimaalselt kaasa õppimisele ning hindamistulemuste kasutuselevõtule, mis omakorda aitab tagada hindamise eesmärgi saavutamist.  Süsteemsus: hindamised ajastatakse selliselt, et nende tulemusi oleks võimalik õigel ajal arvesse võtta, ning hindamine viiakse läbi süsteemselt, tuginedes usaldusväärsetele andmetele. See aitab tagada hindamistulemuste kvaliteeti ning hindamistulemuste rakendatavust.  Asjatundlikkus: hindajad ja tellijad on asjatundlikud ja professionaalsed ning täiendavad järjepidevalt oma ametialaseid oskuseid.  Erapooletus: hindamine kaalub tasakaalustatult erinevaid arvamusi hinnatava tegevuse osas, kaasates eri osapooli, ja aitab seeläbi tagada hindamise tasakaalustatust.  Sõltumatus: huvide konflikti ja kohatu surve vältimiseks peavad hindajad olema hindamise teostamisel sõltumatud, st nad ei tohi otseselt vastutada hinnatavate tegevuste või süsteemide kujundamise või elluviimise eest.  Läbipaistvus: hindamisprotsess on avatud ja õiglane ning hindamistulemused avalikustatakse.  Säästlikkus: hindamise teostamisel püütakse minimeerida koormust (nt aja- ja materiaalset kulu), kõigile osalejatele ühiskonnale ja keskkonnale. 7  Mario Jose Cueto Faus European Commission Our ref. 21.05.2023 No 9.2-4.3/21- empl-g5-esf-evaluation- 27/01/3631-1 [email protected] Approved Structural Funds Evaluation Plan for the period 2021-2027 Dear Ms Cueto Faus, Please find enclosed the Estonian Evaluation Plan. The Evaluation Plan for the period 2021- 2027 contains the main document with the general framework of Estonian evaluation co- ordination system (roles of different institutions, co-operation, stakeholder involvement, evaluation working group functions), including regulations (EU and national), definitions, objectives, differentiation of evaluation from other analytical tools like monitoring, spending review etc, evaluation criteria, quality requirements, data, methods, expected results, requirements related to publication and follow-up activities. The evaluation plan also contains 7 annexes. The first and fifth are enclosed in separate files since they are in different format (Excel and pdf). The first one is the actual evaluation list in Excel with the planned evaluations including name, coverage, objectives, questions, methods, data, timing, commissioner and involved entities. In Estonian evaluation plan there are 36 evaluations with the overall budget of 3,8 million EUR. Including as required the ex-post evaluation in 2029 and the evaluations of the Just Transition Mechanism (including the Just Transition Fund). The second is the rules of procedures of the evaluation working group, which is the committee led by the Ministry of Finance and including members form Managing Authority, Implementing Bodies, and Implementing Agencies. This committee is responsible for preparing the evaluation plan, which was approved by the Monitoring Committee of the Operational Programme on 11th of May 2023 and ensuring good quality evaluations. The members of the committee are passing evaluation expertise in their institution enabling the fulfilment of the requirements foreseen in the Common Provision Regulation (EU) 2021/1060 for conducting evaluations. For example, each time a Terms of Reference is prepared for one of the evaluations mentioned in the plan, each member must comment it and if needed make suggestions for improvement. This enables in one hand the high-quality Terms of Reference leading to good quality evaluations and on the other hand building evaluation competencies as the members themselves are involved in the evaluation to be commissioned in their institution. Suur-Ameerika 1 / 10122 Tallinn / Estonia / +372 611 3558 / [email protected] www.rahandusministeerium.ee / Reg. code: 70000272 The third is the checklist for preparing the Terms of Reference. The fourth is the evaluation criteria and respective evaluation questions related to the evaluation of gender equality, equal treatment, and accessibility. The fifth is the Good Evaluation Standards agreed between the public sector and private evaluation market in Estonia already in 2012, to guarantee the best practice while commissioning and conducting evaluations. These standards are always mentioned in the Terms of Reference as necessary quality standards to be followed. The sixth is the checklist for evaluation report. The seventh is the form for the follow-up activities. This is used while sending final evaluation reports to the Ministry of Finance. The recommendations and follow-up activities are publicly available on the website of the State Shared Service Center together with the evaluation reports and respective annexes. So not only reports are published but also separately the recommendations and follow-up activities, which can this way be filtered and searched for by keyword of interest. The web page can be found here - https://www.rtk.ee/toetusfondid-ja- programmid/toetuste-rakendamise-kontroll/hindamissoovitused. Yours sincerely, (signed digitally) Kadri Tali (Head of the Structural Funds Monitoring Committee Head of the State Budget Department) Encl. Hindamiste kava_kinnitatud, Hindamise kava 2021-2027, Hindamiste hea tava_ hindamiste kava Copy to European Commission DG REGIO Evaluation Unit Miryam Vahtra + 3725885 1451 [email protected] 2 3  HINDAMISTE KAVA 2021-2027 Rahandusministeerium Tallinn, 2023 1 Sisukord 1. Kasutatavad lühendid ............................................................................................. 3 2. Hindamiste kava ..................................................................................................... 3 3. Hindamise eesmärk ja definitsioon ......................................................................... 4 4. Hindamiste tüübid ja mõisted ................................................................................. 6 5. Hindamiskriteeriumid ............................................................................................. 8 6. Hindamisi reguleerivad õigusaktid ja juhendid ...................................................... 10 7. Eesti hindamisraamistik ........................................................................................ 12 8. Hindamiste tellimine ja kvaliteedinõuded ............................................................. 16 9. Hindamisel kasutatavad andmed .......................................................................... 18 10. Hindamismetoodika ............................................................................................. 20 11. Hindamise väljundid ja tulemuste avalikustamine ................................................. 21 12. Hindamiste järeltegevused ................................................................................... 22 13. LISA 1 Planeeritud hindamised .............................................................................. 23 14. LISA 2 Hindamiste juhtkomisjoni töökord.............................................................. 23 15. LISA 3 Lähteülesande koostamiseks kontroll-küsimustik ....................................... 26 16. LISA 4 Üldised hindamisküsimused soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse lõimimiseks hindamiste läbiviimisesse .................................................... 28 17. LISA 5 Hindamiste Hea Tava .................................................................................. 30 18. LISA 6 Hindamisaruande kvaliteedikontrolli vorm ................................................. 31 19. LISA 7 Hindamise järeltegevuste esitamise vorm ................................................... 32 2  1. Kasutatavad lühendid EK – Euroopa Komisjon EL – Euroopa Liit HHT – Hindamiste Hea Tava HTM – Haridus- ja Teadusministeerium KA – korraldusasutus KeM – Keskkonnaministeerium KuM - Kultuuriministeerium MEM - Maaeluministeerium MKM – Majandus- ja Kommunikatsiooniministeerium RA – rakendusasutus RHS – riigihangete seadus RM – Rahandusministeerium RM RO – Rahandusministeeriumi riigieelarve osakond RTK – Riigi Tugiteenuste Keskus RÜ – rakendusüksus SFCS – struktuurifondide kesksüsteem aruandluse koostamiseks SFC – Euroopa Komisjoni struktuurivahendite dokumendihaldussüsteem SFOS – struktuurifondide operatiivsüsteem SiM - Siseministeerium SOM – Sotsiaalministeerium SV – struktuurivahendid VV – Vabariigi Valitsus ÜKP – ühtekuuluvuspoliitika ÜM - perioodi 2021-2027 Euroopa Liidu ühtekuuluvus- ja siseturvalisuspoliitika fondide rakenduskavade vahendite andmise ja kasutamise üldised tingimused ÜSM - Euroopa Parlamendi ja Nõukogu määrus (EL) 2021/1060 ÜSS2021_2027 – perioodi 2021-2027 Euroopa Liidu ühtekuuluvus- ja siseturvalisuspoliitika fondide rakendamise seadus 2. Hindamiste kava Perioodi 2021-2027 hindamiste kava (edaspidi hindamiste kava) on strateegiline dokument, millega määratakse Euroopa Liidu (edaspidi EL) struktuurifondide kasutamise hindamistega (edaspidi hindamised) seotud eesmärgid Eestis, kavandatud hindamised perioodil 2023-2029 ja selleks planeeritud finantsressursid. Hindamiste kava on valminud struktuurivahendite hindamiste juhtkomisjoni liikmete koostöös vastavalt perioodi 2021-2027 Euroopa Liidu ühtekuuluvus- ja siseturvalisuspoliitika fondide rakendamise seaduse (edaspidi ÜSS2021_2027) § 17 lõikele 4, mis näeb ette, et hindamiste kava koostab Rahandusministeerium koostöös korraldusasutuse ja rakendusasutustega. Liikmesriik esitab hindamiste kava vastavalt Euroopa Parlamendi ja Nõukogu määruse (EL) 2021/1060 (edaspidi ÜSM) artikkel 44 lõikele 6 seirekomisjonile kinnitamiseks hiljemalt ühe aasta jooksul pärast Ühtekuuluvuspoliitika fondide rakenduskava 2021-2027 (edaspidi 3 rakenduskava) heakskiitmist Euroopa Komisjoni poolt. Rakenduskava kiideti heaks 4. oktoobril 2022. Hindamiste kava on võtmetähtsusega, et tagada prioriteetide määratlemine hindamistel, hindamiste süsteemne ja tulemuslik läbiviimine ja hindamistulemuste kasutamine. Hindamiste kava koostamise eesmärgiks on:  tõsta hindamisalast suutlikkust osapoolte seas, sh hindamistulemuste kasutajate seas, hindamise tähenduse ja vajaduse mõistmist;  määratleda hindamisvajadused, need prioriseerida ning hindamisteks planeeritud eelarve parimal moel jaotada;  tõsta hindamiste kvaliteeti läbi pikaajalise planeerimise, andmevajaduste identifitseerimise ja alusandmete õigeaegse kogumise;  toetada struktuurivahendite rakendamise tulemuslikkust ja eesmärkide saavutamist võimaldades hindamistulemustele tuginevaid juhtimisotsuseid;  tagada aruandlusesse õigeaegne sisend, sh Euroopa Komisjoni liikmesriikide üleste aruannete jaoks;  tagada piisav pädevus hindamiste läbiviimiseks ning edendada hindamistel parimat praktikat;  tõsta avalikkuse teadlikkust struktuurivahendite rakendamise tulemustest ja EL vahendite kasutamise efektiivsusest;  võimaldada sotsiaalpartneritel ja välistel hindamisekspertidel planeerida oma ressursse. Struktuurivahendite administratsioonile on hindamiste kava hindamiste läbiviimisel tööjuhiseks ja abimaterjaliks sisaldades muuhulgas viiteid reguleerivatele määrustele, kontrollküsimustikke ja vorme. Hindamiste kava sisaldab lisaks õigusraamile, Eesti hindamisraamistikule ja juhistele ka üksikasjalikku infot planeeritavate hindamiste kohta lisas 1. Planeeritavate hindamiste tabel annab tervikliku nimekirja kõigist 2021-2027 rakendusperioodi hindamistest koos eelarve, eesmärkide, esialgsete hindamisküsimuste, alusandmete ja metoodikaga. Hindamiste kava ja kõik selles ette nähtud hindamised avaldatakse Riigi Tugiteenuste Keskuse kodulehel - https://www.rtk.ee/hindamine vastavalt ÜSM artiklile 44. Hindamiste kava täitmist kontrollib rakenduskava seirekomisjon vastavalt ÜSM artiklile 40, mis näeb seirekomisjoni ülesandena ette kontrollida hindamiste, nende kokkuvõtete ja hindamistulemuste järelmeetmetega seotud edusamme. 3. Hindamise eesmärk ja definitsioon Hindamise eesmärgiks kõige laiemas mõttes on saada rakendamise kohta sõltumatu hinnang ja soovitusi, tagamaks käimasolevate programmide tulemuslik ja kvaliteetne rakendamine ning tulevaste programmide hea planeerimine. 4 ÜSM artikkel 44, lõige 1 toob välja, et hindamise eesmärk on parandada programmide (rakenduskava) kavandamise ja rakendamise kvaliteeti. Täpsemalt on hindamise eesmärgiks teada saada, kas poliitika, meede või tegevus töötab, millistel tingimustel, kas sel on olnud oodatud positiivne mõju, tulemused on saavutatud ja rakendamine on pakkunud lisandväärtust või on vajadus tegevusi muuta ja kui on, siis kuidas. Hindamine püüab tuvastada puhasmõju. Millise osa saavutatud tulemusest võime omistada konkreetsele teenusele või tegevusele? Kas realiseerunud olukord, saavutatud mõju tuleneb kasutatud meetmest või on vahepeal toimunud muud struktuursed muutused? Hindamise tulemused toetavad programmi, meetme haldamist edaspidi, olles ühtlasi aluseks juhtimisotsustele ja edasiste poliitikate, programmide väljatöötamisele ning institutsionaalse suutlikkuse tõstmisele. Hindamise võtmeküsimused: mis töötab, kelle jaoks ja millistel tingimustel? Hindamine ilma õppimiseta on kasutu. Et hindamisest saaks õppida nii käimasolevate programmide juhtimisel ja rakendamisel kui tulevaste planeerimisel, siis on esmalt oluline mõista hindamise tähtsust ja sellest tulenevalt pöörata suurt tähelepanu asjakohaste hindamisküsimuste formuleerimisele. Eeldusel, et esitatud on praktilist tähtsust omavad küsimused ja neile on vastatud loetavas ja kontsentreeritud vormis, on tõenäosus, et hindamistulemusi ka juhtimis- ja rakendamisprotsessis kasutatakse, suurem. Seega võibki hindamistest õppimise võtmeküsimuseks pidada suutlikkust esitada olulised hindamisküsimused ja hindamisaruannetele seada võimalikult täpsed kvaliteedikriteeriumid. 5  Hindamise mõistet on defineeritud erinevalt, mõned näited. Hindamine on avaliku raha kasutamisele hinnangu andmine teatud kriteeriumitest ja standarditest lähtudes. Hindamise peamiseks fookuseks on vajadused, mille lahendamiseks on projekt ellu kutsutud ja tulemused, mida see toodab. Hindamine põhineb spetsiaalselt kogutud infol (MEANS). Hindamise peamiseks ülesandeks on anda informatsiooni poliitika, programmi või projekti edukuse kohta. Hindamise kaudu antakse „objektiivne“ hinnang poliitika/programmi/projekti tulemuslikkusele sellele püstitatud eesmärkide suhtes (Dunn). Hindamine on vahend, millega määratakse ühiskonnale suunatud programmide väärtus ja maksumus ning mille eesmärk on anda otsustajatele vajalikku teavet ja parandada asutuste toimimist, rakendades mineviku kogemusi tuleviku kavandamisel (Vendung 1997). Hindamist tuleb seega käsitleda kui kriitikameelega sõpra, kellest on tegevuste kujundamisel ja rakendamisel kasu. Hindamise kokkuleppeline definitsioon struktuurivahendite hindamiste kavas alates rakendusperioodis 2007-2013, kehtib jätkuvalt 2021-2027: „Hindamine on sõltumatu hinnangu andmine poliitikate, arengukavade, programmide ja tegevuste tulemustele ja mõjudele lähtuvalt probleemidest, mille rahuldamiseks nad olid suunatud. Hindamine on süstemaatiline, tugineb tunnustatud sotsiaalteaduslikele uuringustandarditele, esitatud järeldused ja hinnangud on tõendatud ja tuginevad kindlatele kriteeriumitele (asjakohasus, tulemuslikkus, tõhusus, mõju ja jätkusuutlikkus jne.)“. 4. Hindamiste tüübid ja mõisted Ühtekuuluvuspoliitika hindamisel keskendume ÜSM artikkel 44 kohastele hindamistele, kus hindamine on mõeldud katma inglise keelset mõistet „evaluation“. Kui hindamine on planeeritud ja ette teada, jääme lihtsalt mõiste „hindamine“ juurde. Kasutame vajadusel hindamiskriteeriumi täpsustust mõiste ees, nt tulemuslikkuse hindamine. Kui hindamisvajadus ei ole ette planeeritud ja ilmneb perioodi kestel ajendatuna nt seire raames tehtud tähelepanekutest, siis võib hindamine kanda nime ad-hoc hindamine, aga võib jätkuvalt olla ka lihtsalt hindamine, evaluation. Kui hindamine on planeeritud rakendamise lõppu ja võimalik on hinnata mõju, siis kasutame juba mõistet järelhindamine ehk ex-post evaluation ja see on olemuslikult sama, mis mõjuhindamine. Silmas peab pidama, et hindamine ehk evaluation erineb hinnangu andmisest, kuigi kasutame sageli sama terminit. Hinnangut võib anda rakendaja ise ja tegemist ei pea olema sõltumatu tegevusega. Lisaks ei kasutata sel juhul reeglina täiendavat andmekorjet nt küsitluste näol ega rakendata tehniliselt keerukamaid analüüsimeetodeid. 6 Hindamine erineb ka tulemusauditist, kus kriteeriumid on küll osaliselt samad, vaadatakse samuti tõhusust, tulemuslikkust ja mõju, aga fookus on eelkõige teguritel, mis on auditeeritava mõjuulatuses. Lisaks auditi vajaduse üle reeglina ei otsusta rakendaja ise erinevalt hindamisest, kus hindamise algatab vajaduspõhiselt asutus ise ja eesmärgiks enamasti on saada rakendatavaid soovitusi, mille arvestamine toetab seatud sihtide suunas liikumist. Struktuurivahendite puhul on ka regulatsioonist tulenev nõue hinnata, kuid ka sel juhul tellib hindamise tulemustest huvitatud osapool ise arvestades kokkuleppelisi kvaliteedistandardeid. Sel põhjusel on Eestis detsentraliseeritud struktuurivahendite hindamissüsteem, hindamiste kavas olevaid hindamisi tellivad Eestis reeglina Rahandusministeerium liikmesriigi funktsioonis ja rakendusasutused, mitte korraldusasutus keskselt, sest eesmärk on olla osa poliitikakujundamisest, kus tekib tegelik vajadus tulemuste järele ja ühtlasi omanditunnetus tulemuste osas ning soov ettepanekuid ja soovitusi arvestada. Hindamine erineb ka tõhustamiskavast (spending review), kus keskendutakse eelkõige tõhususe kriteeriumile. Hindamine erineb seirest eelkõige ulatuse ja ajastuse poolest. Seire on pidev protsess, hindamine aga leiab aset üksnes sekkumise elutsükli teatud etappidel. Hindamine on oma olemuse poolest seirega võrreldes rohkem sügavuti minev tegevus, mis keskendub mitmekesisematele küsimustele programmi toimimise ning mõju kohta. Hindajad kasutavad seireteavet, kuid tavaliselt on seda tarvis lisaandmetega täiendada.1 Uurimisest erineb hindamine eelkõige selle poolest, et hindamistelt ootame lisaks analüüsi tulemustele ka soovitusi, uuring on aga konkreetsete teadmiste tootmiseks ja nende mõistmiseks. Ka ei kasutata uuringute puhul reeglina antud juhise peatükis 5 nimetatud hindamiskriteeriume ning erinevused on ka sotsiaalteaduslike uurimistehnikate kasutamises. Sellegipoolest kohtab sageli olukorda, kus neid mõisteid kasutatakse sünonüümina. Mõjude tuvastamine, millele eelkõige keskendub Vabariigi Valitsuse poolt kinnitatud „Mõjude hindamise metoodika“, kannab rahvusvahelises mõistes impact assessment vastet ja sõltuvalt analüüsi ulatusest ka ex-ante evaluation mõistet. 2021. aasta muudatustega viidi ka mõjude hindamise metoodikasse sisse järelhindamise ehk ex-post evaluation mõõde, et dokument kataks kogu hindamistsüklit. 1 „Hindamiste käsiraamat“ 7  Mõjude tuvastamine - HÕNTE = impact assessment Põhjalikum mõjude analüüs Mõjude (järel)hindamine = vastavalt mõjude hindamise ex-post evaluation metoodikale = ex-ante evaluation Mõjude vahehindamine Rakendamine ja või ad-hoc hindamine = väljundite ning evaluation tulemuste seire 5. Hindamiskriteeriumid Hindamistelt ootame hinnanguid rakenduskava, poliitikaeesmärgi, meetme või tegevuste kohta. Hinnangu andmiseks on otstarbekaim siduda hindamine konkreetsete rahvusvaheliselt üldtunnustatud hindamiskriteeriumidega. Euroopa Komisjon suunab kasutama järgnevalt toodud kriteeriume, mis ühtivad Euroopa Komisjoni sisemiste suunistega – Better Regulation Guidelines2. Asjakohasus (relevance) tuvastatud probleemide lahendamiseks. Valdkonna vajadustele ja strateegiatele vastavus, adekvaatne ülesehitus vajaduste rahuldamiseks, ülesehituse vastavus projektitsükli loogikale – soovitav mõju-tulemused- väljundid-sisendid-tegevused. Efektiivsus/tõhusus (efficiency) ehk sisendite võrdlus saavutatud tulemustega. Kas valitud meetodid ja vahendid tulemuste saavutamiseks on sobivad? Kas neid meetodeid ja vahendeid on kasutatud otstarbekalt? Kas tulemused saavutatakse vastuvõetava hinnaga (inimressurss, rahaline ressurss, aeg)? Tulemuslikkus (effectiveness) ehk väljundite panuse olulisus tulemuste saavutamisse. Mil määral on saavutatud soovitavad tulemused? Mil määral on programmi/projekti väljundid aidanud kaasa kavandatud tulemuste saavutamisele? 2Better Regulation Guidelines - https://commission.europa.eu/law/law-making-process/planning-and- proposing-law/better-regulation/better-regulation-guidelines-and-toolbox/better-regulation-toolbox_en 8 Sidususe (coherence) kriteeriumi raames uuritakse seotud tegevuste, meetmete, arengukavade või ka eesmärkide kokkusobivust. Ühe sekkumise kavandamise või rakendamise viisi muudatused võivad põhjustada muutusi, parendusi või tekitada vastuolusid teiste käimasolevate sekkumistega. Sisemise sidususe analüüsil selgitatakse, kuidas rakenduskava eri sekkumised toimivad koos, et saavutada rakenduskava eesmärke. Sidusus rakenduskava poliitikavaldkonna sees või poliitikavaldkondade vahel, sidusus erieesmärkide vahel jne. Välise sidususe analüüs võib hõlmata struktuurivahendite ja teistest rahastusallikatest kaetud tegevusi või erinevaid valdkondi, mis peaksid hästi koos toimima, n. ettevõtlusega seotud sekkumised ja keskkonnapoliitika või regionaalareng. Euroopa Liidu lisandväärtus (EU added value), siin otsitakse muutusi, mida saab põhjendatult seostada Euroopa Liidu sekkumisega, lisaks sellele, mida tavaliselt oodatakse liikmesriikide riiklikelt meetmetelt. Lisandväärtust võib tõendada näidates ELi rahastamise rolli selliste meetmete rahastamisel, mida muidu ei oleks rahastatud ja mida muidu ei toimuks või mis tänu EL vahenditele on võimalik ellu kutsuda suuremas ulatuses või varem. Kuidas ühtekuuluvuspoliitika vahendid aitavad kaasa EL strateegiliste eesmärkide ja prioriteetide saavutamisele? Millise tulemuse toovad kaasa uuenduslikud meetmed ja poliitika, mis on EL suunistest tulenevalt rakendamisele võetud? Teoreetiliselt peaks lisandväärtuse analüüs välja tooma, kas toetatud sekkumised toovad kaasa suurema kasu kui sama rahastamisel siseriiklikest vahendistest, kuna aga rahastamisel panustatakse nii riikliku kaasfinantseerimise kui omafinantseeringuga, siis on puhtal kujul lisandväärtuse välja toomine keeruline. Mõju (impact) laiemale keskkonnale ja panus eesmärkide saavutamisse. Mil määral on mõõdetavad projekti üldised eesmärgid ehk mõju? Kui suur on väliste tegurite osatähtsus? Milliseid soovitud sotsiaalmajanduslikke, keskkonnaalaseid jne mõjusid on programm/projekt kaasa toonud ja mil määral? Millised on ettenägematud mõjud? Läbi aegade on traditsiooniks kujunenud koos tulemuslikkuse ja mõjuga analüüsida ka jätkusuutlikkust. Jätkusuutlikkus (sustainability) ehk projektist sündinud kasu kestvus. Milline on programmi/projekti jätkuv kasu ühiskonnale? Kas soovitud mõjud kestavad ka peale rahalise abi lõppu? Hindamiste tellimisel kasutagem kohaldumise korral ÜSM artiklis 44 määratud kriteeriume nii konteksti loomisel ja hindamisküsimuste rühmitamisel lähteülesandes kui hindamistulemuste kajastamisel aruannetes. 9  6. Hindamisi reguleerivad õigusaktid ja juhendid ÜSM artikkel 44 näeb ette, et liikmesriigid teostavad rakendusperioodi vältel hindamisi lähtudes alati kui vähegi kohaldub järgmistest kriteeriumidest – tulemuslikkus, tõhusus, asjakohasus, sidusus ja liidu lisandväärtus, et toetada planeerimist ja parandada sekkumiste rakendamise kvaliteeti. Hindamised võivad hõlmata ka muid kriteeriume, nagu kaasatus, mittediskrimineerimine ja nähtavus. ÜSM artikkel 9 lõigete 2 ja 3 kohaselt tuleb hindamiste läbiviimisel samuti arvesse võtta soolise võrdõiguslikkuse ja võrdse kohtlemise aspekte ning hinnata tegevuste asjakohasust, efektiivsust, tulemuslikkust, tõhusust, EL lisandväärtust, sidusust ja mõju ka soolisele võrdõiguslikkusele ja võrdsele kohtlemisele, sh ligipääsetavusele. Soolise võrdõiguslikkuse ja võrdse kohtlemise lõimimiseks on kriteeriumide lõikes abistav materjal hindamiste kava lisas 4. Üks hindamine ei pea katma kõiki kriteeriume. Hindamiste kavandamisel jälgime, et nimetatud kriteeriumide kasutamise otstarbekus on kaalutud ning kohalduvusel hindamisel kasutatud. Ühtlasi näeb ÜSM artikkel 44 lõige 2 ette, et 30. juuniks 2029 tuleb teostada programmi mõju hindamine. ÜSM artikkel 18 (2) näeb ette, et 31. märtsiks 2025 tuleb esitada Euroopa Komisjonile hinnang vahehindamise tulemuste kohta. Selle artikli puhul ei peeta silmas hindamist „evaluation“ mõistes, tegemist on pigem vaheülevaatusega, mille üheks sisendiks on ka hindamiste kavas planeeritud hindamised. Hindamiste kava koostamise käigus vaatasid hindamiste juhtkomisjoni liikmed üle, kas ja milliste tegevuste puhul oleks võimalik ajastada hindamised 10 selliselt, et oleks vaheülevaatuse tarbeks sisendit anda. Kahjuks siiski rakendamise hetkeseis ei võimalda selleks hetkeks veel lõppenud hindamisi ja valminud aruandeid. 2025. aastast hakkavad lõppema alles hindamiste kava kohased esimesed hindamised ning selguma tulemused. Struktuurivahendite hindamisi peavad vastavalt ÜSM artikli 44 lõikele 3 teostama rakendamisest sõltumatud sise- või väliseksperdid. Eestis loeme parimaks praktikaks kui hindamist teostavad väliseksperdid, mis tähendab, et hindamised on hangetega sisse ostetud. Hindamiste kavas on eranditult kõik hindamised planeeritud läbi viia hanke alusel. ÜSM artikli 44 lõige 4 näeb ette, et liikmesriik või korraldusasutus tagab vajalikud menetlused, et koostada ja koguda hindamiseks vajalikke andmeid. Selleks on ESF andmekorje raames Statistikaametiga sõlmitud lepingus arvestatud, et tuge on võimalik saada andmete edastamiseks hindamistel. Ühtlasi on selleks puhuks määratletud ka ÜSS2021_2027, et hindamiste läbiviimiseks võib toetuse taotleja kontaktandmeid avaldada. Sama märge on kajastatud „Perioodi 2021-2027 Euroopa Liidu ühtekuuluvus- ja siseturvalisuspoliitika fondide rakenduskavade vahendite andmise ja kasutamise üldistes tingimustes“ (edaspidi ÜM), kus § 4 lõike 2 punkt 2 näeb ette, et taotlus peab sisaldama taotleja kinnitust, et ta on teadlik vastavate andmete avalikustamisest ja taotlusega seotud info kasutamisest hindamise korral. Kõik hindamised tuleb avaldata kesksel struktuurivahendite rakendamist kajastaval kodulehel, milleks on Riigi Tugiteenuste Keskuse koduleht - https://www.rtk.ee/hindamine. ÜSM artikkel 45 näeb ette, et ka Euroopa Komisjon teostab rakendusperioodi vältel hindamisi – hiljemalt 2024. a lõpuks vahehindamise ning 31. detsembriks 2031 järelhindamise. Eesti toetab nimetatud hindamiste läbiviimist läbi asjakohase sisendi andmise. Euroopa Komisjoni hindamiseksperdid võivad paluda erinevas vormis sisendit, nt küsimustike täitmine või kasusaajatele täitmiseks suunamine, intervjuud või materjalide koondamine ning fookusgrupi aruteludes osalemine, samuti aruande eelnõude kommenteerimine. Euroopa Komisjoni hindamistele sisendi koondamise vajadus on reguleeritud ühtlasi läbi ÜSS2021_2027 § 17 lõike 2, mis näeb ette, et rakendusasutused ja rakendusüksused annavad Rahandusministeeriumile tema nõudmise korral ÜSM artiklite 44 ja 45 kohasteks hindamisteks vajalikku sisendit. Selle sisendi edastab Euroopa Komisjonile Rahandusministeerium. Sisendi võib anda ka rakendusasutus või korraldusasutus vahetult, sel juhul teavitatakse sellest ka Rahandusministeeriumit hindamiste juhtkomisjoni liikme kaudu. Siseriiklikult reguleerib hindamist ÜSS2021_2027. Rahandusministeerium vastutab hindamisfunktsiooni toimimise eest tervikuna ja vastavalt § 17 lõikele 1 korraldab Rahandusministeerium ÜSM artikli 44 kohaseid kogu rakenduskava hõlmavaid ja valitsemisalade üleseid hindamisi. Vastavalt ÜSS2021_2027 § 17 lõikele 3 korraldavad rakendusasutused oma valitsemisala piires hindamiste kavasse arvatud hindamisi ning vastavalt lõikele 6 esitavad nimetatud hindamisaruanded, järeldused ja soovitused ning otsustatud järeltegevused Rahandusministeeriumile. 11 Rahandusministeerium esitab hindamiste järeldused ja soovitused ning teabe nendega arvestamise kohta rakenduskava seirekomisjonile. Hea tava kohaselt tutvustavad hindamistulemusi seirekomisjonis või Euroopa Komisjoniga peetaval aastakoosolekul sõltumatud eksperdid kui hindamisprojekti kestus ja sõlmitud hankeleping ning seirekomisjoni ja aastakoosoleku toimumise aeg seda võimaldab. Hindamiste läbiviimisel saame tugineda Euroopa Komisjoni juhistele või siseriiklikult välja töötatud suunistele sh:  Euroopa Komisjoni juhised hindamiste läbiviimiseks, kus on defineeritud hindamise mõiste, antud näited tehnilise kirjelduse koostamiseks ja kvaliteedikontrolli tegemiseks a. https://ec.europa.eu/regional_policy/sources/evaluation/guide/guide_evalse d.pdf; b. https://ec.europa.eu/regional_policy/sources/evaluation/guide/evaluation_s ourcebook.pdf;  projekti ”Ekspertabi hindamisalase teadlikkuse ja kompetentsuse tõstmiseks” raames valminud ”Hindamiste käsiraamat” ja hindamiste töövihikud (teoreetiline osa ja praktika) - https://www.rtk.ee/hindamine#metoodika-ja-juhised-2014-2020;  DG REGIO (Euroopa Komisjoni regionaalarengu peadirektoraat) hindamiste lehel uuendatavatele arvukatele metoodilistele juhistele - https://ec.europa.eu/regional_policy/policy/evaluations/guidance_en;  DG EMPLOYMENT (Euroopa Komisjoni tööhõive, sotsiaalküsimuste ja sotsiaalse kaasatuse peadirektoraat) poolt koostatud juhisele „Vastupidise stsenaariumi mõju hindamiste väljatöötamine ja tellimine“ - Design and commissioning of counterfactual impact evaluations - Publications Office of the EU (europa.eu). Avalikud juhised on leitavad Riigi Tugiteenuste kodulehelt - https://www.rtk.ee/hindamine#metoodika-ja-juhised-2014-2020. Avaldamispiirangutega juhised ja koolitusmaterjalid ning töögruppide ja kohtumiste memod on leitavad Riigi Tugiteenuste Keskuse ekstranetist hindamisjuhiste alt. 7. Eesti hindamisraamistik Eestis on detsentraliseeritud hindamisraamistik. Hindamiste omanditunnetuse suurendamiseks, soovituste rakendamiseks ja õppetundidega arvestamiseks tellib hindamise selle vajaduse ette näinud asutus ise. Rahandusministeerium tellib valitsemisalade üleseid ja ÜSM ette nähtud hindamisi. Hindamisi koordineerivaid ametnikke on struktuurivahendite administratsioonis ligikaudu 10. RMis on üks täiskohaga hindamiste nõunik riigieelarve osakonna (edaspidi RM RO) välisvahendite talituses. RTKs, igas rakendusasutuses ning rakendusüksuses koordineerib üks isik reeglina nii seiret kui hindamist. Kõik hindamisi koordineerivad ametnikud on hindamiste juhtkomisjoni liikmed. Hindamiste läbiviimist toetavaid ametnikke on oluliselt enam. Rakendusasutustes toetavad hindamiste läbiviimist enamasti analüüsiosakonnad. 12  1.1. Kaasatud asutused, töökorraldus ja kohustused 1.1.1. Rahandusministeeriumi riigieelarve osakond Rahandusministeeriumi riigieelarve osakond vastutab tervikuna hindamisfunktsiooni eest ning ÜSM artikli 44 nõuete täitmise eest ja on esmaseks kontaktiks Euroopa Komisjonile artikli 45 kohastel hindamistel. RM RO esitab kõik hindamiste kavas olevad hindamisaruanded Euroopa Komisjonile läbi elektroonilise infosüsteemi SFC. Hindamisaruanded tuleb esitada koos metoodika aruandega kui kasutatud meetodite kirjeldus ei sisaldu aruandes, mis võimaldab Euroopa Komisjonil saadud tulemusi analüüsida ja oma aruannetes kajastada. RM RO hindamisvaldkonna nõunik korraldab hindamissuutlikkuse tõstmiseks sisekoolitusi või tellib väliskoolitusi. Nõustab vajadusel hindamiste juhtkomisjoni liikmeid ja osaleb kaasamissoovi korral hindamiste kavas olevate hindamiste hindamiskomisjonides. Valmistab ette vajalikke juhiseid hindamiste tulemuslikuks läbiviimiseks ning teavitab nende olemasolust ja kättesaadavusest hindamiste juhtkomisjoni liikmeid. RM RO nõunik vastutab hindamiste juhtkomisjoni töö toimimise eest olles juhtkomisjoni kokkukutsujaks ja töökorralduse eest vastutajaks. RM RO nõunik tellib hindamiste kavas kinnitatud Rahandusministeeriumi hindamised, mis katavad kogu rakenduskava, erinevaid poliitikavaldkondi ja on temaatilised või horisontaalsed. Näiteks kogu rakenduskava mõju hindamine, mis peab olema teostatud hiljemalt 2029. aasta 30. juuniks, horisontaalsete põhimõtete edusammude hindamise või rakendussüsteemi hindamise. RM RO nõunik teeb seirekomisjoni koosolekutel ülevaate hindamiste kava täitmisest ja korraldab järeltegevuste täitmisest ülevaate. Ülevaate konkreetsete hindamiste järeltegevustest teevad reeglina hindamise tellinud rakendusasutused. RM RO täidab Riigi Tugiteenuste Keskuse lehel avaldatud hindamissoovituste andmebaasi alusinfot RAde poolt Rahandusministeeriumile saadetud hindamiste järeltegevuse vormi alusel. Riigi Tugiteenuste Keskus uuendab kodulehel olevat infot. RM RO nõunik osaleb Euroopa Komisjoni poolt kokku kutsutud hindamiste töögruppides ja kohtumistel. 1.1.2. RA ja RÜ roll Rakendusasutused tellivad oma poliitikaeesmärkide, meetmete ja tegevuste hindamised, mis on arvatud hindamiste kavva. Rakendusüksused kaasatakse konkreetsete hindamiste juhtgruppidesse ja hindamisprotsessi. 13 Igast RAst on hindamiste juhtkomisjoni määratud vähemalt üks esindaja, kelle ülesanne on kas hindamiste kavas ette nähtud hindamise teostamine või hindamisalase info liikumise eest vastutamine hindamiste juhtkomisjoni ja RA poliitikaosakondade vahel ning kes tagab RA hindamistega seotud sisendi esitamise Rahandusministeeriumile rakenduskava üleste hindamiste jaoks, Euroopa Komisjoni hindamistele sisendiks või kokkuvõtete tegemiseks hindamiste kava edenemiste ning järeltegevuste kohta. RA esindaja hindamiste juhtkomisjonis korraldab RA tellitud hindamiste tulemuste ettekande ja järeltegevuste ülevaate seirekomisjoni koosolekul või kohtumisel Euroopa Komisjoniga. RA esindaja jälgib RA hindamiste järeltegevuste täitmist ning annab täitmise kohta sisendi RM ROle kodulehel avaldamiseks. 1.1.3. Seirekomisjoni roll Vastavalt ÜSM artikli 40 lõike 2 punktile c kiidab seirekomisjon heaks hindamiste kava ja selle muudatusettepanekud ning vastavalt lõike 1 punktile e kontrollib hindamiste, nende kokkuvõtete ja hindamistulemuste järelmeetmetega seotud edusamme. Selleks otstarbeks esitab Rahandusministeerium hiljemalt septembris 2023 koostöös hindamiste juhtkomisjoni liikmetega koostatud hindamiste kava seirekomisjonile kinnitamiseks. Igal seirekomisjoni koosolekul tutvustab Rahandusministeeriumi nõunik hindamise kava edenemise seisu ning hindamise tellinud asutus tutvustab aruandlusaastal lõppenud hindamisi ja otsustatud järeltegevusi. 1.1.4. Huvirühmad, sh partnerite roll Huvirühmadena (stakeholders) käsitleme inimesi või asutusi, kellel on otsene või kaudne huvi hindamise tulemuste vastu. Need on kas tulemuste esmased kasutajad, sh rakendussüsteemi osapooled või kaudsemalt võimalikud huvitatud osapooled, samuti tulemustest mõjutatud osapooled. Hindamistulemuste kasutatavuse suurendamiseks on huvirühmade vajaduste kaardistamine ja hilisem tulemuste suunamine võtmetähtsusega. Huvirühmaks on ka partnerid, sh partnerite esindajad seirekomisjonis. Hindamiste kava tutvustati esmakordselt variseirekomisjoni koosolekul 31.05.2022, kus paluti kõigil esitada oma võimalikud kommentaarid ja kaasamissoovid 1. septembriks 2022, ettepanekuid ei laekunud. Hindamiste kava vaadatakse üle vähemalt kord aastas seirekomisjoni koosolekutel. Ülevaatamise käigus on kogu perioodi vältel võimalik teha ettepanekuid täiendavate hindamiste lisamiseks, siiski on eelarve piiratud ja täiendava hindamise lisamine võib tingida vajaduse mõne teise hindamise kustutamiseks. Seetõttu on eelkõige oluline jälgida, kas juba kavandatud hindamistesse on soovi olla enam kaasatud. Kas on põhjendatud neisse mõne täiendava ülesande või küsimuse lisamine? Kas ehk saab kaasa aidata hindamise eesmärgi saavutamisele läbi vajalike andmete edastamise või nende olemasolule viitamisega? Kas on 14 ettepanekuid, keda oleks ajakohane hindamise käigus intervjueerida? Teisisõnu aidata kaasa küllastunud alusinfo kogumisele, et hindamistulemus oleks võimalikult kvaliteetne ja kasutatav. Seirekomisjoni liikmetest partnereid julgustame edastama valminud hindamiste infot oma organisatsiooni liikmetele ja koostööpartneritele, et nad võiksid huvi korral võtta osa nt hindamistulemusi tutvustavatest infoseminaridest. Igal hindamisel on juhtgrupp, inimeste ring, kes vahetumalt lähteülesande koostamisega seotud on, hiljem pakkumuste hindamisest osa võtavad ning kogu hindamisprotsessi kaasatud on avakoosolekutest valideerimisseminaride ja aruande kommenteerimiseni. Seirekomisjoni koosolekul saab sellise vahetuma kaasatuse soovi välja tuua. 1.2. Hindamiste juhtkomisjon Hindamiste kava koostamiseks, järeltegevuste seireks ja tulemuste tutvustamiseks, hindamiste kvaliteedi tõstmise eesmärgil tehniliste kirjelduste kommenteerimiseks, konkreetsete hindamiste raames töögruppide moodustamiseks ning laiemalt hindamistega seotud infovahetuseks ja hindamisfunktsiooni toimimise tagamiseks moodustati 11.12.2015 seirekomisjoni kirjaliku otsusega hindamiste juhtkomisjon. Hindamiste juhtkomisjon jätkab 2021-2027 rakendusperioodil senises ekspertgrupi funktsioonis. Hindamiste juhtkomisjonil ei ole otsustusõigust, kuid koostöös valmistatakse ette otsustuspunktid seirekomisjonile kinnitamiseks. Hindamiste juhtkomisjonis osalevad lisaks RM ROle ja RTKle kõik rakendusasutused ja rakendusüksused. Igast rakendusasutusest ja rakendusüksusest on hindamiste juhtkomisjonis kuni 2 liiget. Hindamiste kava kinnitamisega kinnitab seirekomisjon ka hindamiste juhtkomisjoni töökorra ja liikmed. Töökord on toodud lisas 2. Edaspidi hindamiste juhtkomisjoni liikme muutmiseks palun saata e-kiri RM RO nõunikule – [email protected] või [email protected]. Kuivõrd hindamiste juhtkomisjonil ei ole otsustusõigust, siis ei ole põhjendatud rakendusperioodi jooksul iga üksikliikme ametlik kinnitamine seirekomisjoni otsusega, vaid oluline on koheselt kaasata õige RA esindaja, kelle tööülesanne on muuhulgas hindamiste kavas ette nähtud hindamise teostamise kohustus või vastutada info liikumise eest poliitikaosakondadega, kes hindamisi tellivad. Hindamiste juhtkomisjoni juhib Rahandusministeeriumi riigieelarve osakonna nõunik, sh kutsub kokku koosoleku. Hindamise juhtkomisjoni koosolekutel jagatakse infot hindamiste tööplaani edenemise kohta, arutatakse hindamisega seotud väljakutseid, valmistatakse ette ÜSM ette nähtud ülesandeid, nt hindamiste kava või perioodil 2014-2020 hindamiste koondaruanne. Koosolekute vältel 15 tehakse sisekoolitusi (toimunud seminaride, konverentsi, koolituste peamiste tähelepanekute tutvustamine) ning tuuakse välja laiemad koolitusvajadused, mida on võimalik arvata struktuurivahendite koolitusplaani. Kui lähteülesande eelnõu on valminud, siis esitab hindamist telliv rakendusasutus lähteülesande hindamiste juhtkomisjoni liikmetele kommenteerimiseks vähemalt 5 tööpäevaks. Kommenteerimine täidab: 1) kaasamise rolli, võimalik on teha ettepanekuid konkreetsete hindamisküsimuste lisamiseks või täiendamiseks; 2) kvaliteedikontrolli funktsiooni – mitu silmapaari tagab, et ülesandepüstitus on selge ja kaasatud on parim teadmine võimalike alusandmete ja sobiliku hindamismetoodika osas; 3) hindamissuutlikkuse tõstmise funktsiooni – lähteülesande koostaja saab juhtkomisjoni liikmetest praktikute parimat teadmist kasutada ning iga kommenteerija näeb kolleegide praktikat, kust saab hiljem inspiratsiooni ja asjakohast teadmist ammutada. 8. Hindamiste tellimine ja kvaliteedinõuded Hindamise tellimisel lähtuvad Rahandusministeerium ja rakendusasutused oma asutuse hankekorrast. Hindamisprotsessi ning hindamisaruande vastavuseks kvaliteedistandarditele rakendatakse kvaliteedikontrolli süsteemi. Selleks otstarbeks moodustatakse vajadusel hindamiste läbiviimisel hindamise koordineerimiseks hindamiskomisjon, mida juhib hindamise algatanud asutus, horisontaalsete hindamiste puhul RM RO. Hindamiskomisjoni liikmed esindavad ühtlasi reeglina ka töö väljundi peamisi tarbijaid. Näiteks ettevõtlus- ja innovatsioonitoetuste hindamisel kuuluvad hindamiskomisjoni minimaalselt RM RO, MKM, HTM ja KuM. Hindamiskomisjoni ülesandeks on hindaja valimine töö läbiviimiseks, vajaliku sisendi saamisele kaasaaitamine, kvaliteedikontrolli funktsiooni täitmine hindamisaruande suhtes. Lisaks oma asutuses ja valitsemisalas töö tulemusel saadud täiendavate teadmiste suunamine poliitikakujundamise protsessi vastavatele otsustustasanditele. Hindamiste kavas olevaid hindamisi teostavad rakendamisest sõltumatud eksperdid. Kogu hindamisprotsessi vältel, hanke lähteülesande koostamisest kuni lõpparuande valmimise ja tulemuste esitamiseni, lähtuvad Tellija ja Täitja Hindamiste Heast Tavast (hindamiste kava lisa 5). Hindamiste Hea Tava näeb ette muu hulgas, et: 1) hindamise funktsioon on eristatud rakendamise funktsioonist, et tagada läbipaistvus ja sõltumatus hinnangute andmisel ning vähendada järelduste kallutatuse riski; 2) pakkumuste hindamisel jälgitakse, et hindaja ei oleks varem isiku tasandil olnud seotud hinnatavate poliitikameetmete ja tegevuste väljatöötamise, elluviimisega ega ole lähitulevikus kasusaaja hinnatavast tegevusest; 3) soovituste esitamisel tagatakse hindajatele sõltumatus, vajadusel vormistatakse lahkarvamused. 16 Hindamise lõppedes järeltegevuste otsuse vormistamisel märgitakse ära, kas tellija nõustub soovitusega ning kui ei nõustu, siis mis põhjustel. Hindamisel kohalduvad mh all toodud kvaliteedinõuded. 1. Hindamisaruanne peab kajastama adekvaatselt infot, mis vastab kõigile tehnilises kirjelduses sisalduvatele küsimustele. Hindamisaruanne käsitleb kõiki hindamise käigus lisandunud küsimusi tingimusel, et see on eelnevalt kokku lepitud. 2. Aruanne peab kajastama selgelt metoodika nõrkusi ja tugevusi ning välja tooma piiranguid, mis võivad takistada hindamisel saadud info kasutamist. 3. Hindamisaruandes peab info olema trianguleeritud, vajadusel hilisemas faasis üle kontrollitud ning viited nende allikate kohta peavad olema lisatud. Ohud info usaldusväärsuse kohta peavad olema välja toodud. Aruanne ei tohi sisaldada kasutut infot (näiteks infot, mida ei kasutata järelduste ja ettepanekute tegemiseks). 4. Kvantitatiivne ja kvalitatiivne informatsioon peavad olema asjakohaselt ja süstemaatiliselt analüüsitud. Analüüsid ning tõlgendused peavad olema usaldusväärsed. 5. Järeldused peavad olema selgelt eristatud. Nad peavad olema loogilised ja tuginema analüüsi tulemusel saadud faktidele. Järeldused ja faktid ei tohi olla omavahel vastuolus. Järeldused peavad olema enamat kui leiud, nad peavad sisaldama hindaja poolseid hinnanguid. Järeldused peavad olema õiglased ja erapooletud ning võtma arvesse konteksti ja asjaomaseid regulatsioone. Teemad peavad olema esitatud tasakaalustatult (ehk arvestama kõikide osapoolte käest saadud informatsiooni, poolt- ja vastuargumente). Kõik järeldused peavad olema nummerdatud, loeteludes kasutatuna viidatud ja tähtsuse järjekorras reastatud. 6. Soovitused ja ettepanekud peavad olema eraldatud järeldustest ning soovitused peavad tulenema järeldustest, mis tuleb aruandes välja tuua, st viidata leheküljele. Soovitused peavad olema piisavalt detailsed, reaalselt rakendatavad, selgelt adresseeritud. Kõik soovitused peavad olema nummerdatud, loeteludes kasutatuna viidatud, tähtsuse järjekorras reastatud ja lisatud soovitus ajalise rakendatavuse tähtajaga. 7. Aruanne peab olema loogiliselt üles ehitatud ja sisaldama lühikokkuvõtet koos loeteluga peamistest järeldustest ja soovitustest. Samuti inglise keelset kokkuvõtet, mis võimaldab tulemusi teiste liikmesriikide ja Euroopa Komisjoniga hõlpsamalt jagada ja parimast praktikast osa saada. 8. Erinevate osade maht ning stiil peavad võimaldama erineva taustaga lugejatel sellest aru saada. 9. Igale loetelule, tabelile, joonisele, fotole peab olema tekstis viidatud ja antud hinnang/lühike selgitus. 10. Hindamisaruanne peab olema ühtlaselt toimetatud ja tekstikorrektuuri läbinud. Aruande valmimise järgselt veendub hindamise tellinud ekspert aruande kvaliteedis. 1. Kas aruanne on kooskõlas lähteülesande ja esitatud pakkumusega? Kas kõik hindamisülesanded on teostatud ja hindamisküsimused vastatud? 2. Kas hindamisaruandes tulevad põhjuslikud seosed selgelt ja korrektselt välja? 17  3. Kas esitatud soovitused tuginevad leidudele ja järeldustele ning on valideeritud? 4. Kas soovitused on korrektselt vormistatud, sisaldavad viiteid alusinfole ja analüüsile aruandes? Eelistatult vormistatud tabeli kujul, sest kõik hindamissoovitused on tabelina hiljem Riigi Tugiteenuste Keskuse kodulehel koos otsustatud järeltegevustega. 5. Kas soovitused on arusaadavad ja üheselt mõistetavad ning nende osas on võimalik otsustada järeltegevuste võtmise üle? 6. Kas kasutatud hindamismeetodeid on selgelt kirjeldatud ja tõlgendamise piirangud välja toodud? 7. Kas hindamine sisaldab lühikokkuvõtet, sh inglise keelset lühikokkuvõtet? 9. Hindamisel kasutatavad andmed Hindamise kavandamisel tuleb andmetele omistada olulist kaalu. Lähteülesande koostamisel tuleb iga küsimuse hinnatavuse juures kaaluda, kas hinnangut võimaldavad alusandmed on olemas ja kas neid on võimalik edastada või on need konfidentsiaalsed. Perioodi 2014-2020 õppetunnina on ÜSS2021_2027 § 20 lõikes 3 kirjutatud, et toetuse taotleja kontaktandmeid võib avaldada hindamiste läbiviimiseks. Eelnevat on vaja küsitluste ja intervjuude raames taotlejate poole pöördumiseks ja samuti kontrollgruppide moodustamiseks. Konfidentsiaalsusklauslite olemasolul lepingus on võimalik välistel ekspertidel ligipääs struktuuritoetuste registrile, kust on leitavad toetuste taotluste ja rahastatavate projektide kohta sisestatav korraldusasutuse poolt kohustuslik info. Muuhulgas toetuse taotleja, toetuse saaja, partneri ja töövõtja üldandmed, toetuse taotluse ja projektiga seotud andmed (nimetus, kestus, eesmärgid, tegevused, tegevuste ajakava, sekkumisvaldkonnad, seisund). Euroopa Sotsiaalfondi toetuste puhul on ÜSM kirjas, et liikmesriigid peavad koguma ja säilitama üksikasjalikke andmeid iga osaleja kohta (st iga osaleja kohta, kes saab otseselt toetust ESF-ilt). Kogutavate andmete hulka kuuluvad isikuandmed nagu sugu, vanus, tööturu ja leibkonna staatus, haridustase, kaasaarvatud mõned muutujad, mida võib pidada „delikaatseks“ informatsiooniks (st info, mis on seotud puuete, rände- või vähemusstaatusega, ja/või muude ebasoodsate olukordadega). Seireandmed, mis puudutavad pikaajalisi ESF tulemusindikaatoreid, kogub Statistikaamet kõikse valimi alusel. Regionaalse analüüsi teostamiseks on võimalik kasutada kohalike omavalitsuste raamatupidamisandmeid, mis on kättesaadavad aadressilt: riigiraha.fin.ee. Lõimumise sh kohanemise valdkonna hindamiseks on võimalik kasutada Eesti Integratsiooni Monitooringu (EIM) andmeid. EIM on Kultuuriministeeriumi tellitud lõimumis- sh kohanemisvaldkonna sõltumatu süvauuring, mida viiakse läbi iga kolme-nelja aasta tagant ning mis analüüsib Eesti ühiskonna lõimumise sh kohanemisprotsesse. EIM aitab mõista kultuuriliselt mitmekesise Eesti arengut, selle iseärasusi ja väljakutseid. 18 Sotsiaalvaldkonnas on S-Veeb (https://sveeb.sm.ee), süsteem kogub veebipõhiselt omavalitsusüksuste aruanded ja koostab nii maavalitsuste kui riigi koondaruanded ning H- Veeb (https://hveeb.sm.ee), millega koondatakse hoolekandealaseid statistilisi aruandeid. Hoolekandeasutuste aruanded koondatakse piirkondlikult (15 maakonda, Tallinna linn) ning seejärel üleriigiliselt. Töötamise ja töötute, sh pikaajaliste töötute kohta saab andmeid Töötukassast, maksukohustuslaste registrist ja töötamise registrist. Eesti Maksu- ja Tolliameti maksukohustuslase register sisaldab andmeid sissetulekute, tulumaksu tagasi- ja juurdemaksete, töötuskindlustushüvitiste ja koondamishüvitiste kohta. Eesti Maksu- ja Tolliameti töötamise register on töötamisega seotud infot koondav register. Töötamise registreerimise kohustus on kõigil tööd pakkuvatel füüsilistel ja juriidilistel isikutel. Töötamise registris tuleb registreerida kõigi füüsiliste isikute töötamised, mille puhul tekib maksukohustus Eestis, ja seda olenemata lepingu vormist ning ajalisest kestvusest. Äriregister kajastab kõigi Eestis registreeritud juriidiliste isikute andmeid, nime, registrikoodi ja registreerimisaastat, asukohta, tegevusala, töötajate arvu, müügitulu, eksporti, tööjõukulu, ärikasumit ja kulumit jne. Sotsiaalkindlustusameti register sisaldab andmeid hüvitiste, pensionide ning toetuste eriliikide kohta, sh puude. Töötukassa register sisaldab töötuna ja tööotsijana arvel olevate isikute ning tööturuteenuste osutamise infot. Rahvastikuregistrist leiab elukoha andmed. Eesti hariduse infosüsteem (EHIS) - koondab haridussüsteemi puudutavad andmed õppeasutuste, õpilaste, õpetajate/õppejõudude, lõppdokumentide, õpikute ja õppekavade kohta ja relevantse statistika. Haridusstatistika avatud keskkond – www.haridussilm.ee. EHIS´es on olemas jooksvalt uuenevad andmed inimeste omandatud haridustasemete kohta kõigis lõigetes. Samas on teatud piirangud: EHISes ei ole olemas andmeid inimeste omandatud tasemeharidusest varasemate kui alates 1998.a. lõpetanute kohta, puudu on ka väljaspool Eestit omandatud tasemehariduse andmed. Kui vastavaid andmeid ei ole ka Rahvastikuregistris, siis tuleks küsida osaleja käest tema kõrgeim omandatud haridustase. Kui osaleja on pärast programmist lahkumist kuu aja jooksul sisenenud tasemeharidusse, siis on selle kohta EHISes kirje olemas. Kui aga osaleb mitteformaalses õppes, koolitusel vms, siis selle kohta ei ole märget EHISes. EHISesse ei sisestata täiendusõppe lõpetamise andmeid, mida tuleks küsida koolitajatelt/toetuse saajatelt. Lisaks on EHISes kutsekvalifikatsiooni omistamise tunnus isiku hariduse andmete juurde. Kuid need registrid sisaldavad vaid andmeid nö ametlike 19 kutsekvalifikatsioonide ja tasemeõppe lõppedes antavate tunnistuste/diplomite kohta. Koolituste lõppedes antud muud tunnistused siin ei sisaldu. Eesti Teadusinfosüsteem (ETIS) koondab informatsiooni teadus- ja arendusasutuste, teadlaste, teadusprojektide ning erinevate teadustegevuse tulemuste kohta. 10.Hindamismetoodika Hindamistel kasutatav metoodika on kirjeldatud planeeritud hindamiste tabelis. Kirjas on esialgne nägemus, mida täpsustatakse lähteülesande koostamise hetkel. Tavapärane praktika on jätta pakkujatele piisavalt ruumi sobivaima metoodika pakkumiseks. Metoodika valikut palutakse alati pakkumuses selgitada ning tavapäraselt on pakkumuse hindamismetoodikas metoodika sobivusel ja põhjendatusel suur osakaal. Seni on struktuurivahendite hindamiste puhul olnud tavaks lähtuda pakkumuste hindamistel majanduslikult soodsaimast pakkumusest, kus hind moodustab valdavalt 30% ja tehniline lahendus 70%. Tehnilise lahenduse punktid omakorda jaotuvad nii lähteülesande mõistmise, metoodilise lähenemise kui projekti juhtimise vahel, millele lisanduvad konkreetse hindamise spetsiifikat arvestavad nõuded. Metoodika valikul lähtutakse enamasti sellest, et iga hindamise puhul kasutatakse kombineeritult nii kvalitatiivseid kui kvantitatiivseid meetodeid. Kvalitatiivsed meetodid vastavad küsimusele – miks? Mõju olemasolu järeldatakse osalejate käest saadud teabest ja taustainfost. Meetodid ei püüa ega võimalda leida mõju täpset suurust. Tulemuste kehtivus sõltub argumentide tugevusest, loogikast, kooskõlast. Kvalitatiivsete meetodite hulgas on n. dokumendianalüüs, intervjuud ja fookusgrupid. Dokumendianalüüsiga luuakse algne teaberessursside baas sekkumise konteksti, sihtide ja eesmärkide ning seni saavutatud edusammude kohta. Intervjuusid rakendatakse keerukate protsesside uurimisel või otsuste vastuvõtmise selgitamisel. Intervjuud huvirühmadega on eriti kasulikud võtmeteemade arutlemiseks isikutega, kes on sekkumisse kaasatud strateegilisel tasemel ning eelnevate seisukohtade kogumiseks valitud programmiosaliste koosseisult. Intervjuud on kasulikud enne struktureeritud kvantitatiivsete meetodite kasutamist. Fookusgrupp on teatud teemat käsitlev mitteametlik intervjuu või arutlus valitud populatsiooni seast pärineva väikese vastajate rühma osalusel. Fookusgruppe kasutatakse teatud teemat puudutavate suhtumiste, tunnete ja mõtete väljatoomiseks. Fookusgrupiga saadud tulemusi peetakse sageli ekslikult lõplikeks, mitte aga uurimisele kaasaaitavateks – neid on tarvis kasutada koos muude andmete kogumis- ja analüüsivahenditega.3 3 Hindamiste käsiraamat - https://www.rtk.ee/hindamine#metoodika-ja-juhised-2014-2020 20 Kvantitatiivsed –kes?, mis?, millal?, kus?, kui palju?, mitu? ja kuidas?. Püüab leida statistiliste ja ökonomeetriliste meetoditega meetmete puhasmõju konstrueerides alternatiivse seisundi enne või pärast poliitikat. Kvantitatiivsel analüüsil kasutatakse muuhulgas küsitlusandmeid, statistilist analüüs ja kontrollgrupipõhiseid meetodeid n. Random Control Trials, enne-pärast hinnangud (Difference-in-Difference), tõenäosuslik sobitamine (Propensity Score Matching) jne. Mõjude hindamisel kasutatakse ka teooriapõhised meetodid (theory based), siia alla kuuluvad muutuste teooria (theory of change), process tracing, contribution analysis, impact pathways, realist evaluation jne. Viidatud hindamismeetodite täpsemad selgitused ja rakenduspõhimõtted on leitavad nt Euroopa Komisjoni juhisest „EVALSED“4. 11.Hindamise väljundid ja tulemuste avalikustamine Minimaalselt on hindamisel all toodud väljundid. 1. Korrektselt vormistatud hindamisaruanne, mis sisaldab ülevaadet kasutatud metoodikast ning eesti ja inglise keelset kokkuvõtet. 2. Hindamise peamisi tulemusi kajastav infoleht eesti ja inglise keeles. 3. Hindamistulemuste tutvustamine vähemalt kahel korral, kas eesti või inglise keeles. See võimaldab tulemusi tutvustada nii hindamise tellinud asutuse huvidest lähtuvalt kui tutvustada tulemusi seirekomisjoni koosolekul või aastakoosolekul Euroopa Komisjoni esindajatega. 4. Suuremat huvirühma hõlmava hindamise puhul, näiteks temaatilised hindamised ja kogu rakenduskava hõlmavad hindamised, toimub tulemuste tutvustus laiema infoseminari vormis, kus on võimalik viia läbi ka paneeldiskussioone ja arutada hindamissoovituste üle laiemas ringis. Soovituslikult lisaks hindamistulemuste presentatsioon eesti ja inglise keeles, et neid oleks võimalik kasutada tulemuste tutvustamiseks ka pärast lepingu lõppemist. Kõik hindamisaruanded avalikustatakse Riigi Tugiteenuste Keskuse kodulehel - https://www.rtk.ee/hindamine. RM RO esitab kõik hindamisaruande RTKle ja RTK avalikustamise ekspert lisab aruanded kodulehele. Lisaks hindamisaruannetele avalikustatakse Riigi Tugiteenuste Keskuse kodulehel väljavõttena aruandest hindamissoovitused ning otsustatud järelmeetmed koos tähtajaga. Hindamissoovitusi on võimalik filtreerida ministeeriumi, valdkonna, märksõna või ka aasta ja rakendusperioodi järgi. Soovituste eraldi kuvamine ja filtreerimine võimaldab leida üles ettepanekuid, milleni muidu ei pruugi jõuda, nt IKT või regionaalarengu teemadega seotud soovitused võivad olla leitavad ka transpordi valdkonna hindamisest. Lisaks sisaldavad paljud 4https://ec.europa.eu/regional_policy/information-sources/publications/evaluations-guidance- documents/2013/evalsed-the-resource-for-the-evaluation-of-socio-economic-development-sourcebook- method-and-techniques_en 21 hindamised horisontaalsete põhimõtetega seotud soovitusi. Hindamissoovitused on leitavad järgnevalt lingilt - https://www.rtk.ee/toetusfondid-ja-programmid/toetuste-rakendamise- kontroll/hindamissoovitused. 12.Hindamiste järeltegevused Kogu hindamisprotsess on suunatud selgitama välja, kas poliitika ja selle elluviimiseks valitud meetmed on tõhusad, tulemuslikud ja omavad soovitud mõju, võimaldavad saavutada rakenduskavas seatud eesmärgid. Kui parendusmeetmed on vajalikud oodatakse hindamisekspertidelt vastavaid soovitusi. Kuna hindamised toetavad struktuurivahendite mõjusat kasutamist, siis on tulemuste edastamine vajalikele osapooltele ja otsustustasanditele, järeltegevustes kokku leppimine, nende elluviimine, seire ja formuleeritud õppetunnid otsustava tähtsusega. Hindamise järeltegevuste etapid ja soovitud tulemused. 1. Ühised kokkulepped parendusmeetmeteks ja järeltegevusteks. 2. Koostatud on tabel järeltegevuste elluviimiseks, määratletud soovituse elluviimise eest vastutaja ja tähtaeg täitmiseks. 3. Toimub järeltegevuste seire kõigi kokkuleppeliste tegevuste teostamiseni. Kõik hindamise tellinud rakendusasutused esitavad RM RO hindamiste eest vastutavale nõunikule e-kirja teel 6 nädala jooksul hindamise lõpparuande vastuvõtmisest lõpliku hindamisaruande ning hindamiskava lisas 7 toodud vormil hindamisprotsessi tulemuslikkuse hinnangu ja soovitustega arvestamise ning järeltegevuste tabeli. Rakendusasutus esitab lisaks teabe hindamise järelduste ja soovituste ning nende teostamise kohta valdkonna arengukava juhtkomisjonile teadmiseks. Detailsed järeltegevuste seiret teeb hindamise tellinud asutus. RM RO jälgib asjakohaste järeltegevuste täitmist ja küsib järeltegevuste täitmise kohta uuendatud infot kas jooksvalt või 15 tööpäeva enne hindamiste juhtkomisjoni koosolekut, mis võimaldab järeltegevuste edasi suunamise kui ka seirekomisjonile sisendi andmise. Kõik hindamissoovitused koos järeltegevustega kuvatakse eraldi väljavõttena hindamisaruannetest Riigi Tugiteenuste Keskuse kodulehel - https://www.rtk.ee/toetusfondid-ja-programmid/toetuste-rakendamise- kontroll/hindamissoovitused. RM RO nõunik uuendab hindamiste juhtkomisjoni liikmete poolt saadetud tabeli alusel Tableau andmebaasi alusinfot ning Riigi Tugiteenuste Keskuse ekspert uuendab infot kodulehel. 22  13.LISA 1 Planeeritud hindamised Planeeritud hindamised on esitatud eraldi Exceli tabelina. 14.LISA 2 Hindamiste juhtkomisjoni töökord 1. Hindamiste juhtkomisjon on struktuurivahendite administratsioonis hindamiste keskseks koordineerimiseks loodud hindamiste eest vastutavate teenistujate üksus, kus on esindatud RM RO, RTK ning kõik RAd ja RÜd. 2. Juhtkomisjoni ülesanneteks on: 2.1 arutada ja esitada arvamusi struktuurivahendite rakendussüsteemi planeeritavatele hindamistele ja nende tulemustele; 2.2 valmistada ette perioodi 2021-2027 hindamiste kava rakenduskava seirekomisjonile kinnitamiseks esitamiseks; 2.3 vaadata üle hindamiste kava võimalikud muudatusvajadused vähemalt kord aastas ja valmistada ette vastav otsustuspunkt seirekomisjonile muudatuste kinnitamiseks esitamiseks; 2.4 anda nõu korraldajatele hindamiste kavandamisel ja läbiviimisel; 2.5 jälgida hindamiste kava täitmist ja juhtida tähelepanu võimalikele kõrvalekalletele tööplaanist. 2.6 tutvustada hindamiste tulemusi ja hindamiste kava täitmist ning hindamiste järeltegevuste seisu struktuurivahendite seirekomisjonil. 2.7 otsustada edasiste koolitusvajaduste üle. 3. Juhtkomisjoni koosseis 3.1 Juhtkomisjon koosneb juhatajast (Rahandusministeeriumi riigieelarve osakonna nõunik) ja liikmetest. 3.2 Juhtkomisjoni juhataja ja hindamise eest vastutavad üksused rakendusasutustes ja -üksustes kinnitatakse seirekomisjonis koos hindamiste kavaga aasta jooksul rakenduskava vastuvõtmisest. 3.3 Seirekomisjonis määratud hindamiste eest vastutavad asutused ja üksused edastavad pärast esmakordset juhtkomisjoni liikmete kinnitamist seirekomisjoni poolt võimalikud liikme vahetamise soovid hindamiste juhtkomisjoni juhatajale e-kirja teel. 3.4 Hindamiste juhtkomisjoni liikmed: 3.4.1 Rahandusministeeriumi riigieelarve osakond – Miryam Vahtra, Triin Tomingas, Kadri Tali; 3.4.2 Rahandusministeeriumi riigihalduse ja avaliku teenistuse osakond – Ülle Harak; 3.4.3 Rahandusministeeriumi regionaalarengu osakond – Liis Palumets; 3.4.4 Ettevõtluse ja Innovatsiooni SA – Annelii Ausmees; 3.4.5 Haridus- ja Teadusministeerium – Meelis Aunap; 3.4.6 Justiitsministeerium – Annika Leevand, Kairi Sirkel; 23  3.4.7 Keskkonnainvesteeringute keskus – Eva-Ingrid Rõõm; 3.4.8 Keskkonnaministeerium – Eerika Purgel, Olga Gnezdovski; 3.4.9 Kultuuriministeerium – Margit Tilk, Kärt Kallion; 3.4.10 Maaeluministeerium – Keesi Pära, Paula Kurvits; 3.4.11 Majandus- ja Kommunikatsiooniministeerium – Külliki Tafel-Viia, Rando Härginen; 3.4.12 Riigi Tugiteenuste Keskus – Merje Rahn, Tiina Sams, Urmo Merila; 3.4.13 Riigikantselei – Laura Viilup; 3.4.14 Siseministeerium – Ave Osman, Krystiine Liiv; 3.4.15 Sotsiaalministeerium – Vivia Aunapuu-Lents, Liivi Pehk. 4. Juhtkomisjoni teenindamine 4.1 Juhtkomisjoni teenindavaks struktuurüksuseks (edaspidi teenindav üksus) on Rahandusministeeriumi riigieelarve osakond. 4.2 Teenindav üksus vastutab juhtkomisjoni tehnilise teenindamise eest, korraldades ja protokollides koosolekuid ning koordineerides infovahetust juhtkomisjoni liikmete vahel. 4.3 Juhtkomisjoni infovahetus toimub elektronposti teel. 5. Juhtkomisjoni töövormid 5.1 Juhtkomisjoni töövormideks on juhtkomisjoni koosolek ja info vahetus e-kirja teel. 6. Juhtkomisjoni koosolek 6.1 Juhtkomisjoni koosoleku kutsub kokku juhtkomisjoni juhataja või asetäitja, tehes teatavaks koosoleku aja, koha ja esialgse päevakorra vähemalt 10 tööpäeva enne koosoleku toimumist ning edastades täpsustatud päevakorra ja lisanduvad dokumendid hiljemalt 5 tööpäeva enne koosoleku toimumist juhtkomisjoni liikmetele. 6.2 Juhtkomisjoni liige võib teha juhtkomisjoni teenindavale üksusele ettepaneku lülitada juhtkomisjoni päevakorda punkte, teatades sellest kirjalikult ette ja esitades teemakohased lisadokumendid juhtkomisjoni teenindavale üksusele vähemalt 6 tööpäeva enne juhtkomisjoni koosoleku toimumist. 6.3 Juhtkomisjoni liige teatab hiljemalt 3 tööpäeva enne koosoleku toimumist juhtkomisjoni teenindavale üksusele oma osalemisest/mitteosalemisest juhtkomisjoni koosolekul. 6.4 Sõltuvalt juhtkomisjoni koosoleku päevakorrapunktidest võib juhtkomisjoni juhataja või asetäitja koosolekule kutsuda külalisi ja asjatundjaid, kellel on õigus avaldada arvamust ja esitada soovitusi. 6.5 Juhtkomisjoni koosolek toimub vähemalt üks kord aastas. 7. Koosoleku protokoll 7.1 Juhtkomisjoni teenindav üksus koostab koosoleku protokolli eelnõu ja saadab selle juhtkomisjoni liikmetele kommenteerimiseks mitte hiljem kui 10 tööpäeva jooksul juhtkomisjoni koosoleku toimumisest. Protokollile kommentaaride esitamiseks 24  kehtestab teenindav üksus tähtaja, jättes kommentaaride esitamiseks juhtkomisjoni liikmetele vähemalt 5 tööpäeva. 7.2 Vastavalt juhtkomisjoni liikmete tähtajaks esitatud kommentaaridele täiendab teenindav üksus koosoleku protokolli ning esitab lõppversiooni juhtkomisjoni liikmetele 20 tööpäeva jooksul juhtkomisjoni koosoleku toimumisest. 8. Hindamiste kava täitmise jälgimine 8.1 Perioodi 2021–2027 hindamiste kavas kinnitatud hindamise lähteülesanne esitatakse hindamise tellinud asutust esindava juhtkomisjoni liikme poolt enne vastava hindamise algust juhtkomisjonile ülevaatamiseks ja arvamuse esitamiseks, jättes märkuste esitamiseks vähemalt 5 tööpäeva. 8.2 Hindamise tellinud asutust esindav juhtkomisjoni liige saadab pärast lõpparuande vastuvõtmist aruande võimalusel koos peamiste tulemuste kokkuvõttega juhtkomisjoni liikmetele teadmiseks. 25  15.LISA 3 Lähteülesande koostamiseks kontroll-küsimustik Hindamise lähteülesanne on eduka hindamise läbiviimise alus. Hindamise läbiviimisel lähtuvad hindajad eesmärgist, püstitatud ülesandest ja esitatud küsimustest ning etteantud ajakavast. Kui hindamise eesmärk ja esitatavad küsimused ei ole põhjalikult läbi mõeldud ja üheselt mõistetavalt sõnastatud ei vasta tulem ootustele, järeldused ja soovitused ei ole kasutatavad ja tegemist on ressursside raiskamisega. Jrk Punktid, millele tähelepanu pöörata Arvestatud? 1 Ülesehitus korrastatud, selgelt eristatud:  Taustainfo  Motivatsioon, miks hindamine tellitakse, eesmärk ja ulatus  Hindamisülesanded ja hindamisküsimused  Nõutud lähenemine ja metoodika;  Ajakava ja väljundid  Hindamisprojekti juhtimise korraldus 2 Taustainfo:  Suuna, meetme, valdkonna kirjeldus  Rakendamise hetkeseis ja hindamise alustamise hetkeks juba saavutatud tulemused  Seotud osapooled  Hindamise regulatoorse vm konteksti kirjeldus 3 Motivatsioon, eesmärk ja ulatus:  Miks on otsustatud hindamine tellida  Mida hindamisega soovitakse saavutada  Kuidas hindamistulemusi on plaanis kasutada  Kellele on hindamistulemused vajalikud 4 Head hindamisküsimused:  Optimaalne hulk (iga küsimuse vajalikkus läbi kaalutud)  Neile on võimalik vastata (mitte liiga filosoofilised)  On selgelt seotud hindamise aluseks oleva probleemi või hindamise eesmärgiga  On oluline, et arvestatakse olemasolevate alusandmete ja ajaliste piirangutega 5 Kirjeldatud on olemasolevad ja kasutatavad andmed  Vastasel korral läheb ressurss primaarandmete kogumisele ja töö hind on kallim  Tähtaegu on raske planeerida, kui ei ole teada andmete kättesaadavus ja kvaliteet  Läbi on mõeldud isikustatud andmete kolmandatele osapooltele kasutada andmise võimalikkus. 6 Lähenemine ja metoodika  Kindlad soovid on kirja pandud, muus osas on ruumi jäetud pakkuja ettepanekutele 7 Ajakava 26   Piisavalt on aega planeeritud pakkumuse koostamiseks ja töö tegemiseks (tark on tellida vähemalt 1 kvartal ette);  Töö sisu on kooskõlas ajapiiridega;  Piisav varu on planeeritud sesoonsuse ja muude andmete kogumisel tekkivate tõrgetega toimetulekuks;  Piisav aeg on planeeritud tagasisidestamisele;  Uuring on kooskõlas poliitikakujundamise protsessi ajakavaga. 8 Väljundid on läbi mõeldud ja täpsustatud  Mitte liiga palju vahearuandeid;  Täpsustatud, kas ja mis moel tuleb väljundid üle anda. 9 Eelarve  Indikatiivne eelarve on teada. 10 Nõuded pakkujale (reeglina kvalifitseerimise tingimustes)  Nõutud kompetentsid on kooskõlas töö keerukuse astmega;  Rahvusvahelise kogemuse nõue sisuliselt põhjendatud. 11 Pakkumuste hindamine kirjeldatud  Hindamiskriteeriumid läbi mõeldud ja detailselt kirjeldatud;  Hinna ja pakkumuse kvaliteedi osakaalud mõistlikud. 27  16.LISA 4 Üldised hindamisküsimused soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse lõimimiseks hindamiste läbiviimisesse ASJAKOHASUS (relevance) 1. Kas sekkumine on kooskõlas riiklike soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse strateegiate ja eesmärkidega? 2. Kas sekkumise kavandamisel analüüsiti erinevate sotsiaalsete rühmade (nt eri soost, rahvusest, vanuses, erivajadusega inimeste jt) olukorda soolise võrdõiguslikkuse, võrdsete võimaluste edendamise, sh ligipääsetavuse aspektist ja võeti analüüsi tulemusi tegevuste kavandamisel arvesse? 3. Kas sekkumise kavandamisse kaasati erinevaid huvikaitseorganisatsioone (nt naisteühendused, puuetega inimeste organisatsioonid jt)? 4. Kas väljund- ja tulemusnäitajate andmed on eristatud soo, vanuse, rahvuse jt asjakohaste tunnuste lõikes? EFEKTIIVSUS/TÕHUSUS (efficiency) 1. Kas sekkumises seatud soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse eesmärkide saavutamiseks kavandatud vahendeid ja ressursse on kasutatud efektiivselt selleks, et tagada erinevatele sotsiaalsetele rühmadele maksimaalne ja võrdväärne kasu? 2. Kuidas jagunevad kasutatud ressursid erinevatesse sotsiaalsetesse rühmadesse kuuluvate kasusaajate (nt naised/mehed, eri vanuses isikud, eri rahvusest, erivajadusega inimesed jne) vahel? 3. Kas kasutatud ressursid (aeg, finantsid jne) on olnud piisavad sekkumise kavandamisel seatud soolise võrdõiguslikkuse, võrdse kohtlemise, sh ligipääsetavuse eesmärkide saavutamiseks? TULEMUSLIKKUS (effectiveness) 1. Kas sekkumine on olnud tulemuslik soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse aspektist? 2. Mida saavutati? Mis aitas kaasa seatud soolise võrdõiguslikkuse ja võrdse kohtlemis, sh ligipääsetavuse eesmärkide saavutamisele ja millised olid takistused? 3. Kas sekkumise tulemustes esines erinevate sotsiaalsete rühmade puhul erinevusi ja miks? 4. Kuidas sekkumise tulemused aitavad kaasa soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse edendamisele? SIDUSUS (coherence) 1. Kas soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse teemade käsitlemine sekkumise rakendamisel oli loogiline ja sidus? 2. Mil määral oli sekkumine kooskõlas ELi tasandil võetud kohustuste ja eesmärkidega soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse edendamisel? 28  3. Mil määral oli sekkumine kooskõlas sekkumise valdkonnas võetud soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse eesmärkide ja kohustustega (nt seos valdkonna arengukavaga)? EUROOPA LIIDU LISANDVÄÄRTUS (EU added value) 1. Kas sekkumises seatud soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse edendamise eesmärgid oleksid olnud saavutatavad ilma ELi toetuseta? 2. Mil määral sekkumine aitas kaasa/ andis uut teadmist soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse eesmärkide saavutamisele ELi tasandil? MÕJU (impact) 1. Mis on sekkumise panus/mõju soolise võrdõiguslikkuse, võrdse kohtlemise, sh ligipääsetavuse edendamisel poliitikale, programmidele? 2. Mis on võimalik laiem mõju ühiskonnale? JÄTKUSUUTLIKKUS (sustainability) 1. Kas saavutatud tulemused soolises võrdõiguslikkuses ja võrdses kohtlemises, sh ligipääsetavuses jäävad kestma peale rahastuse lõppemist? 2. Kas soolise võrdõiguslikkuse ja võrdse kohtlemise, sh ligipääsetavuse horisontaalsete põhimõtetega arvestamist jätkatakse peale rahastuse lõppemist? 29  17.LISA 5 Hindamiste Hea Tava Hindamiste Hea Tava koostati aastal 2012 avaliku sektori ja erasektori praktikute koostöös, ühiste vestluste käigus kaardistati ning lepiti kokku olulised lähtekohad, et tagada hindamiste kvaliteetne, sõltumatu ja läbipaistev teostamine. Kokkuleppe kohaselt lähtutakse struktuurivahendite läbiviimisel ja laiemalt avaliku sektori hindamiste läbiviimisel Hindamiste Heast Tavast. Hindamiste Hea Tava koostamisel osalesid 2012. aastal hindamiste juhtkomisjoni liikmete esindaja Rahandusministeeriumist, Riigikantseleist, Majandus- ja Kommunikatsiooniministeeriumist, Ettevõtluse- ja Innovatsiooni Sihtasutusest ning Sihtasutusest Innove. Hindamiste juhtkomisjoni liikmed osalesid soovi avaldamise korras. Hindamiste Hea Tava on lisatud pdf formaadis. 30  18.LISA 6 Hindamisaruande kvaliteedikontrolli vorm Hindamisaruande kvaliteedi üle otsustamisel tuleks kindlasti eristada soovitustega nõustumist aruande kui terviku kvaliteedi üle otsustamisel. Hindamisprotsess peab olema sõltumatu ja kvaliteedi üle otsustamine peaks kindlasti põhinema objektiivsetel kriteeriumidel. Jrk Punktid, millele tähelepanu pöörata  1 Hindamisaruanne vastab lähteülesandele 2 Hindamine oli kohane ja piisav tulemuste saavutamiseks, mis olid nõutavad hindamisküsimustele vastamiseks. 3 Kogutud või valitud andmed on sobivad ning usaldusväärsed nende kasutusotstarbe seisukohast. 4 Kvantitatiivsed ja kvalitatiivaseid andmeid analüüsiti kooskõlas kehtestatud tingimustega ning viisidel, mis võimaldasid hindamisküsimustele õigesti vastata. 5 Tulemused on loogilised ja õigustatud andmeanalüüsi ning vastavate tõlgenduste ja hüpoteeside põhjal. 6 Järeldused on õigustatud ja erapooletud. 7 Järeldused on loogiliselt liigitatud ja analüüsitud vastavalt hindamiskriteeriumitele. 8 Ahel - fakt või tähelepanek – järeldus – soovitus on jälgitav. 9 Soovitused põhinevad järeldustel ja ei sisalda endas järeldusi. 10 Soovitused on rakendatavad ja selged. 11 Igal soovitusel on adressaat. 12 Aruanne vastab etteantud vormile ning sisaldama kõiki osiseid, sh kasutatud metoodikat. 13 Aruande tekst on arusaadav, põhisõnum kergelt leitav ja selge nii aruande põhiosas kui ka kokkuvõttes. 14 Kokkuvõte annab hindamisest tervikliku ülevaate, kõik tähtis on kajastatud. 15 Kõikide kasutatud akronüümide seletused on esitatud aruande alguses. 16 Viited kasutatud allikatele on välja toodud. 17 Lisad sisaldavad lisateavet ja vajalikke detaile, mida pole võimalik paigutada põhiossa. 18 Soovitused on nummerdatud. 31  19.LISA 7 Hindamise järeltegevuste esitamise vorm HINDAMISLEPINGU TULEMUSLIKKUSE KOKKUVÕTE HINDAMISSOOVITUSTEGA ARVESTAMINE „Projekti nimetus“ 1 KONSULTANT Ettevõtte nimi Juhtiv partner* Partner 1* *Kustuta/lisa ridu vastavalt vajadusele 2 LEPINGU TÄITMISE PERIOOD Alustamise Lõpetamise kuupäev kuupäev 3 ÜLDHINNANG PROJEKTILE Hinnangu alus Hinnang Märkused Lepingu eesmärkide 5 Kõik lepingutegevused said nõuetele vastavalt saavutamine vastavalt sooritatud. tehnilisele kirjeldusele Tähtaegadest 5 Konsultant hoidis tähtaegadest kinni, kui esines kinnipidamine mõnepäevaseid viivitusi siis tulenes see pigem teiste osapoolte planeeritust pikemaks veninud kommenteerimisperioodist. Teenuse kvaliteet 5 Teenust pakuti väga heal professionaalsel tasemel. Hindajate professionaalsust toodi korduvalt ka hinnatavate poolt esile hindamise lõppseminaril. 4 PROBLEEMID RAKENDAMISEL Kirjelda lühidalt projekti rakendamisel ilmnenud probleeme; millest need olid tingitud ning kuidas neid lahendati (konsultandi kaasabi, sisend jne). 32 5 HINDAMISSOOVITUSTEGA ARVESTAMINE, JÄRELTEGEVUSED Järeldus Soovitus Tellija hinnang Tellija poolt Järeltegevuse soovituse otsustatud täitmise rakendatavusele. järeltegevus. tähtaeg Jrk Kui tellija ei nõustu järelduse/soovitusega, tuua välja oma seisukoht. Kustuta/lisa ridu vastavalt vajadusele 7 PROJEKTIJUHT Nimi Kuupäev 33  Nr Tellija Kaasatud Märksõna (n. Poliitikaeesmärk, Programm kliima, noored, prioriteetne suund, regionaalareng - horisontaalne või hindamiste temaatiline kuvamiseks süsteemis) Haridus- ja 1 HTM Haridus PO4, SO (g) noorteprogramm Teadussüsteemi programm, MKM, teadmussiirde 2 HTM Riigikantselei Teadus PO1 programm  Teadussüsteemi programm, teadmussiirde 3 HTM MKM Teadus PO1 programm Haridus- ja 4 HTM Noortevaldkond PO4, SO (f) noorteprogramm Haridus- ja 5 HTM Haridus PO4 noorteprogramm  Keeleprogramm, haridus- ja 6 HTM Eesti keel, haridus PO4, SO (h) noorteprogramm Säästlik energiatarbimine PO2: Rohelisem 7 KeM Eesti, SO(i) Kliimamuutustega kohanemine ja valmisoleku tõstmine PO2: Rohelisem 8 KeM Eesti, SO(iv)  Ringmajandus ja roheinnovatsioon PO2: Rohelisem 9 KeM Eesti, SO(vi) Sotsiaalsem Eesti Lõimumine, sh Lõimumis-, sh 10 KuM kohanemine kohanemisprogramm Lõimumine, sh Lõimumis-, sh 11 KuM kohanemine Sotsiaalsem Eesti kohanemisprogramm  Rohelisem Eesti; Õiglane üleminek Energeetika ja 12 MKM Energeetika maavarade programm Digiühiskonna 13 MKM IKT Nutikam Eesti programm Nutikam Eesti, avaliku sektori 14 RK Innovatsioon innovatsioon - RM regionaalarengu 15 RM osakond Regionaalareng Horisontaalne - 16 RM MKM Transport Horisontaalne  - RTK, RM regionaalarengu osakond, SoM, 17 RM KeM Horisontaalne EE2035, horisontaalsed RM põhimõtted, - regionaalarengu võrdõiguslikkus, osakond, SoM, regionaalareng, 18 RM KeM, RK keskkond, kliima Horisontaalne - EE2035, horisontaalsed RM põhimõtted, regionaalarengu võrdõiguslikkus, osakond, SoM, regionaalareng, 19 RM KeM, RK keskkond, kliima Horisontaalne - 20 RM Horsiontaalne Horisontaalne  - MKM, RM Ettevõtlus, regionaalarengu innovatsioon, osakond, HTM, teadus, tootlikkus, 21 RM KuM, KeM hõive Horisontaalne  - MKM, RM regionaalarengu osakond, HTM, 22 RM KuM, KeM Ettevõtlus, innovatsioon, Temaatiline teadus, tootlikkus, hõive - 23 RM Horsiontaalne Kogu rakenduskava  RM regionaalarengu 24 RM osakond Regionaalareng RM regionaala rengu 25 osakond Regionaalareng RM regionaala rengu 26 osakond KeM Regionaalareng RM regionaala rengu 27 osakond KeM, MKM Regionaalareng P04 SOTSIAALSEM EESTI 28 SoM Tööturg, noored Tööturuprogramm  Tööturg, P04 SOTSIAALSEM põlevkivisektori EESTI töötajad, õiglase ülemineku 29 SoM meetmed Tööturuprogramm P04 SOTSIAALSEM EESTI Töötud, töötajad, 30 SoM tööturg Tööturuprogramm P04 SOTSIAALSEM EESTI Laste ja perede programm, Perepoliitika, hoolekandeprogramm, sotsiaalne kaitse, sotsiaalkindlustuse 31 SoM heaolu programm  P04 SOTSIAALSEM EESTI Laste ja perede programm, Perepoliitika, hoolekandeprogramm, sotsiaalne kaitse, sotsiaalkindlustuse 32 SoM heaolu programm PO4 SOTSIAALSEM Sotsiaalkindlustuse 33 SoM Heaolu, toiduabi EESTI programm PO4 Tööturuprogramm/Sot SOTSIAALSEM siaalkindlustuse 34 SoM Heaolu EESTI programm PO4 SOTSIAALSEM 35 SoM Sidus ühiskond EESTI Kogukondlik Eesti PO4 SOTSIAALSEM 36 SoM EESTI Keskkonnamõjud Meede Hindamise tüüp Hindamiskriteeriumi (vahehindamine d: või *asjakohasus järelhindamine/ * tõhusus mõjuhindamine) * tulemuslikkus * sidusus * mõju * EL lisandväärtus Õpivõimalused ja hariduse korraldus vahehindamine tõhusus, mõju Ühiskonna ja majanduse vajadustele vastava teadus- ja arendustegevuse asjakohasus, tõhusus, võimekuse kasvatamine vahehindamine sidusus Ühiskonna ja majanduse vajadustele vastava teadus- ja arendustegevuse tõhusus, tulemuslikkus, võimekuse kasvatamine järelhindamine mõju Noortevaldkonna asjakohasus, tõhusus, arendamine vahehindamine tulemuslikkus järelhindamine/mõ Õpivõimalused ja hariduse korraldus ju hindamine Tulemuslikkus ja mõju Keelevaldkonna arendamine. Õpetajate järelkasv ja areng, õpikäsitus ja - järelhindamine/mõ keskkonnad. ju hindamine Tulemuslikkus ja mõju Kliima-eesmärkide Mõjuhindamine elluviimine, välisõhu kaitse ja kiirgusohutus Tulemuslikkus ja mõju Kliima-eesmärkide Vahehindamine elluviimine, välisõhu kaitse ja kiirgusohutus Tulemuslikkus ja mõju Ringmajanduse Vahehindamine Tulemuslikkus ja mõju korraldamine (sekkumised: jäätmetekke ja pakendamise vältimine ja vähendamine, toodete korduskasutus, ringmajanduspõhiste tootmis- ja tarbimismudelite edendamine, sh tööstussümbioos ja toorme hankimisega seotud kahjude vähendamine Lõimumist, sh kohanemist Vahehindamine toetav Eesti Asjakohasus, tulemuslikkus, mõju. Hinnata meetme asjakohasust, tulemuslikkust ja mõjusust ning ellurakendamise tõhusust, sh ressursitõhusust ja jätkusuutlikkust. Lõimumist, sh kohanemist toetav Järelhindamine Eesti Primaarenergia tõhusam kasutus ja taastuvenergia osakaalu suurendamine lõpptarbimises Järelhindamine Tulemuslikkus, tõhusus Digiriik Järelhindamine Tulemuslikkus, tõhusus Avaliku sektori innovatsiooni võimekuse Asjakohasus, tõhusus, toetamine Vahehindamine tulemuslikkus - Järelhindamine Tulemuslikkus ja mõju - Mõjuhindamine Tulemuslikkus, mõju - Vahehindamine Tõhusus, tulemuslikkus - Tulemuslikkus, eeldatav Mõjude hindamine mõju - Mõjude hindamine Mõju - Tõhusus ja Vahehindamine tulemuslikkus - Tõhusus, Vahehindamine tulemuslikkus, mõju - Tõhusus, Mõjude hindamine tulemuslikkus, mõju - Mõju Tulemuslikkus ja mõju  Vahehindamine tõhusus, tulemuslikkus Järelhindamine Tulemuslikkus, mõju Asjakohasus, tulemuslikkus, mõju, Vahehindamine jätkusuutlikkus Järelhindamine Tulemuslikkus, mõju 21.4.2.1 Kõrge tööhõive taseme saavutamine ja Asjakohasus ning hoidmine Vahehindmaine tulemuslikkus 21.6.1.6 Tööleasumise toetamine ja ning täiend- ja Asjakohasus ning ümberõppe toetamine Vahehindamine tulemuslikkus 21.4.2.1 Kõrge tööhõive taseme saavutamine ja Mõju ning hoidmine Järelhindamine tulemuslikkus 21.4.1.1. Iseseisvat toimetulekut toetavate ja kvaliteetsete sotsiaalteenuste ning hooldusvõimaluste tagamine, 21.4.9.1. Iseseisvat toimetulekut toetavate ja kvaliteetsete sotsiaalteenuste ning hooldusvõimaluste tagamine, 21.4.7.9. Lastele ja peredele suunatud teenused on kvaliteetsed ja vastavad perede vajadustele; 21.4.9.3. Lastele ja peredele suunatud teenused on kvaliteetsed ja vastavad Asjakohasus ning perede vajadustele Vahehindmaine tulemuslikkus 21.4.1.1. Iseseisvat toimetulekut toetavate ja kvaliteetsete sotsiaalteenuste ning hooldusvõimaluste tagamine, 21.4.9.1. Iseseisvat toimetulekut toetavate ja kvaliteetsete sotsiaalteenuste ning hooldusvõimaluste tagamine, 21.4.7.9. Lastele ja peredele suunatud teenused on kvaliteetsed ja vastavad perede vajadustele; 21.4.9.3. Lastele ja peredele suunatud teenused on kvaliteetsed ja vastavad Mõju ning perede vajadustele Järelhindamine tulemuslikkus 21.4.10.1. Sotsiaalkindlustuse programm (Enim puudust kannatavatele inimestele toiduabi ostmine ja ostetud toiu jagamine ning Mõju ning annetatud toidu jagamine) Vahehindamine tulemuslikkus 21.4.3.1. Kõrge tööhõive taseme saavutamine ja hoidmine ja Terviseriskide ja riskikäitumise vähendamine ning 21.4.3.2 kogukondade ja paikkondade võimestamine Asjakohasus ning tervise edendamisel Vahehindamine tulemuslikkus 21.4.9.2. Kogukonna juhitud kohalik areng - Asjakohasus, CLLD Järelhindamine tulemuslikkus, mõju. Asjakohasus ning SoM "pehmed" meetmed Vahehindamine tulemuslikkus Hindamisvajaduse täpsustus - Hindamisprojekti nimetus * meetmete strateegiline / poliitiline tähtsus; * tegevused, mida võidakse tulevikus Hindamised kuni 30.06.2029 korrata; * suur eelarve; * uued ja innovaatilised sekkumised, tahame mõista, kuidas, miks ja millal need toimivad; * sekkumine, mille mõju kohta on vähe infot/varasemaid analüüse. * sekkumine, mille mõju kohta on vähe Riiklikult rahastatud infot/varasemaid analüüse. täiskasvanute täienduskoolituste * suur eelarve efektiivsuse hindamine Perioodi 2021-2027 teadus‐ ja arendustegevuse toetamise meetmete rakendamise vahehindamine * meetmete strateegiline / poliitiline tähtsus; * suur eelarve  Perioodi 2021-2027 teadus‐ ja arendustegevuse toetamise meetmete lõpphindamine * meetmete strateegiline / poliitiline tähtsus; * suur eelarve *sekkumine, mille mõju kohta on vähe infot/varasemaid analüüse, *tegevused, mida võidakse tulevikus korrata (tugimeetmed NEET- olukorras noortele, kindlasti on see sihtrühm, Struktuurivahendite perioodi kellele on vaja tugiteenuseid pakkuda ka pärast 2021-2027 noorsootöö SF21+ perioodi). meetmete vahehindamine * suur eelarve; * meetmete strateegiline / poliitiline tähtsus; * sekkumine, mille mõju kohta on vähe Üldhariduskoolide võrgu infot/varasemaid analüüse korrastamise hindamine  Eesti keele õppe ja keeleõppe arendamise mõju hindamine * meetme strateegiline/poliitiline tähtsus (prioriteet: kvaliteetne eestikeelne haridus). * suur eelarve *sekkumine, mille mõju kohta on vähe infot/varasemaid analüüse Elamute liitumine kaugküttevõrkudega või tahkel kütusel põhineva kütteseadme uuendamine Meetme strateegiline / poliitiline tähtsus Kliimamuutuste mõjudega kohanemise suurendamine *Tegevused mida võidakse tulevikus korrata * uued ja innovaatilised sekkumised, tahame mõista, kuidas, miks ja millal need toimivad; * sekkumine, mille mõju kohta on vähe infot/varasemaid analüüse.  Jäätmetekke ja pakendamise vähendamise ja vältimise ning toodete korduskasutuse edendamise ning ringmajanduspõhiste tootmis- ja tarbimismudelite rakendamise meetmete tulemuslikkuse ja mõju hindamine * uued ja innovaatilised sekkumised, tahame mõista, kuidas, miks ja millal need toimivad; * sekkumine, mille mõju kohta on vähe infot/varasemaid analüüse. ESF lõimumis-, sh kohanemismeetmete vahehindamine Meetme strateegiline tähtsus, uued sekkumised (soov mõista nende toimivust) ESF lõimumis-, sh kohanemismeetmete Tegevused mida võidakse tulevikus korrata lõpphindamine  Energeetika valdkonna (kaugküte ja biometaan) Tegevused mida võidakse tulevikus korrata meetmete hindamine Digiriigi meetmete Tegevused mida võidakse tulevikus korrata tulemushindamine Avaliku sektori innovatsiooni uued ja innovaatilised sekkumised, tahame võimekuse tõstmise meetme mõista, kuidas, miks ja millal need toimivad tulemuslikkus Perioodi 2021-2027 struktuurivahendite mõju Meetmete strateegiline /poliitiline tähtsus regionaalarengule Transpordiinvesteeringute Meetmete strateegiline /poliitiline tähtsus mõjude hindamine  Valikukriteeriumid, Rakendussüsteemi toimivuseks rakendussüsteem Panus EE2035 sihtidesse (sh horisontaalsed põhimõtted), Mõjueesmärkide saavutamise hindamiseks ja riigipõhised soovitused, EL horisontaalsete põhimõtete arvestamiseks lisandväärtus Panus EE2035 sihtidesse (sh horisontaalsed põhimõtted), Mõjueesmärkide saavutamise hindamiseks ja riigipõhised soovitused, EL horisontaalsete põhimõtete arvestamiseks lisandväärtus Rakendamise tulemuslikkuse ülevaatamiseks, sh võimalikud lähtepunktid vaheülevaatuses Rakenduskava vahehindamine  Ettevõtlus- ja Meetmete suur koondeelarve ja valdkondade innovatsioonitoetuste ülesus. tulemuslikkuse hindamine  Ettevõtlus- ja Meetmete suur koondeelarve ja valdkondade innovatsioonitoetuste mõju ülesus. hindamine Ühissätete määruse kohane perioodi kokkuvõttev mõjuhindamine Rakenduskava ex-post Piirkonna ja meetmete strateegiline/poliitiline Ida-Viru piirkonna arendamise tähtsus rakendussüsteemi hindamine Piirkonna ja meetmete strateegiline/poliitiline Ida-Viru piirkonna arendamise tähtsus mõju hindamine Piirkondliku elu- ja ettevõtluskeskkonna meetmete tulemuslikkuse hindamine Linnapiirkondade arendamise hindamine Uued sekkumised Tööturu tegevuste vahehindamine Uued sekkumised Tööturu tegevuste vahehindamine Uued sekkumised Tööturu tegevuste järelhindamine Uued sekkumised Hoolekande tegevuste vahehindamine Uued sekkumised Hoolekande tegevuste järelhindamine Uued sekkumised Toiduabi jagamise vahehindamine Töövõimetegevuste vahehindamine Sekkumine, mille mõju kohta on vähe "Pehmete" tegevuste infot/varasemaid analüüse. keskkonnajälje hindamine Põhjalikum ülevaade hindamisvajadusest, põhjendus ja hindamise eesmärk, peamised hindamisküsimused (täpsustuvad edaspidi lähteülesandes) ja kuidas ning kus on plaanis tulemusi kasutada. Vahehindamise eesmärgiks on hinnata toetusmeetme: -Efektiivsust – kui palju toob täienduskoolitusse investeeritud euro tagasi? (kulu-tulu analüüs) -Tulemuslikkust – kuivõrd on jõutud soovitud tulemusteni, kuivõrd toetatakse strateegiates seatud sihte elanikkonna oskuste parandamiseks ja täienduskoolituste kättesaadavuse tagamiseks? Näiteks: 1) Milline on koolitatavate hinnang koolituse nii kohe pärast koolituse toimumist kui ka hiljem, mil on võimalik analüüsida ka pikema aja jooksul avalduvat mõju. 2) Kas koolitusel käimine avaldab mõju palgale/soosib positiivseid muutusi karjääris (TÖRi, töötukassa andmed)? jmt. -Asjakohasust – kuivõrd on õnnestunud jõuda prioriteetsete sihtrühmadeni, kuivõrd vastab koolituspakkumine vajadusele? Välja selgitada sekkumise edutegurid ja probleemkohad ning saada soovitusi sekkumise tulemuslikumaks kujundamiseks. Tulemusi kasutatakse sekkumise elluviimisel, vajadusel tehakse perioodile seatud eesmärkideni jõudmiseks sekkumises muudatusi. 1. sekkumiste asjakohasuse ja koostoime hindamine ja mõju kõrgkoolide ning TA-asutuste teadmussiirde tegevusele, lähtudes TAIE arengukava teadmussiirde sihtidest ning rakenduskavade prioriteetsete suundade eesmärkidest. TAIE arengukava teadmussiirde sihid puudutavad selgelt ka TAIE fookusvaldkondi (nutika septsialiseerumise valdkondi) ja erinevate osapoolte (teadlased, ettevõtjad, poliitikakujundajad) koostööd, fookusvaldkondade vajadusi ja sihte, mis on sõnastatud TAIE arengukavas ja detailsemalt avatud TAIE fookusvaldkondade teekaartides. Kas ja kuidas aitavad kavandatud sekkumised täita arengukava eesmärke ja toetada teadmussiiret? Milline on sekkumiste omavahelised seosed, koostoime ja sünergiad, arvestades seda, et sekkumised katavad teadussüsteemi, ettevõtlust ja avalikku sektorit?; 2. sekkumiste käivitamise ja senise elluviimise edukuse hindamine; 3. tulemuste valideerimine ning soovituste väljatöötamine sekkumiste osas; Hindamise läbiviimisel arvestatakse kooskõlalisust ja välditakse dubleerimist teiste läbiviidavate hindamistega, vt Riigikantselei ettepanek (tabelis nr 13) ja ettevõtlusmeetmete hindamise ettepanek (tabelis nr 21). HTM, MKM ja Riigikantselei täpsustavad ühiselt hindamiste fookusi ja hindamisküsimusi. Tulemusi arvestatakse meetmete elluviimisel, st vajadusel tehakse ümberkorraldusi, muudatusi voorudes, tingimustes jms. Hindamise eesmärk on saada sõltumatu hinnang teadus- ja arendustegevuse pakkumise poole tugevdamise ja teadmussiirde toetuste asjakohasusele, tõhususele, tulemuslikkusele ja mõjususele. Hindamisega soovitakse tõenduspõhist informatsiooni, kuivõrd struktuurivahenditest rahastatud teadusvaldkonna toetused eraldi ja koosmõjus on võimaldanud liikuda TAIE arengukava eesmärkide poole, toetanud teadmusiirde sihte ning teadusasutuste ja ettevõtete koostööd. TAIE arengukava teadmussiirde sihid puudutavad selgelt ka TAIE fookusvaldkondi (nutika septsialiseerumise valdkondi) ja erinevate osapoolte (teadlased, ettevõtjad, poliitikakujundajad) koostööd, fookusvaldkondade vajadusi ja sihte, mis on sõnastatud TAIE arengukavas ja detailsemalt avatud TAIE fookusvaldkondade teekaartides. Soovime teada, kuivõrd konkreetsed meetmed ja tegevused on vajalikud ja toetavad kõige suuremaid kitsaskohti. 1. Milliseid toetusi on kõige väärtuslikumaks, asjakohasemaks, tulemuslikumaks peetud ja miks? 2. Kuivõrd teadusvaldkonnale suunatud meetmed moodustavad ühtse terviku (loovad sünergiat, täiendavad üksteist) ning aitavad kaasa erinevate vajaduste rahuldamisele? Millised on lüngad, mis vajaksid adresseerimist? 3. Milliseid muutusi on toetused võimaldanud teadusasutuste võimekuses, teadus- ja arendustegevuse kvaliteedis, teadmussiirde võimekuses, teadusasutuste ja ettevõtete koostöös ellu kutsuda? Kuidas on toetused seda mõjutanud? 4. Tulemuste valideerimine ning soovituste väljatöötamine sekkumiste osas. Hindamise läbiviimisel arvestatakse kooskõlalisust ja välditakse dubleerimist teiste läbiviidavate hindamistega, vt ettevõtlusmeetmete hindamise ettepanek (tabelis nr 21). HTM ja MKM täpsustavad hindamiste fookusi ja hindamisküsimusi. Tegevuste asjakohasuse ja eesmärgipärasusega seotud hindamisküsimused seavad fookusesse tegevuste kooskõla sihtrühma vajadustega (sh peaks uurima, kuidas sihtrühmad ise hindavad tegevuste elluviimist); tulemuslikkusega seotud hindamisküsimused seavad fookusesse, mil määral tegevused aitavad saavutada nii ÜKP rakenduskava kui noortevaldkonna arengukava 2021-2035 eesmärke (sh millised on eesmärkide täitmist soodustavad ja takistavad tegurid); tõhususe ja jätkusuutlikkusega seotud küsimused seavad fookusesse tegevuste elluviimisega seotud peamised edutegurid ja probleemid ning selle, kas ja millises mahus on vaja tegevuste elluviimist jätkata pärast SF21+ perioodi lõppu (sh millised tingimused on selleks loodud). Hindamistulemusi kasutatakse selleks, et täiendada ning vajadusel muuta poliitika ellu rakendamist, leida alternatiivseid lahendusi jne. Tarvis on hinnata 2014-2020 toetusperioodil ERFist rahastatud koolivõrgu korrastamise meetme (riigigümnaasiumide rajamine, põhikoolivõrgu korrastamine, HEV koolide korrastamine) ning laiemalt koolivõrgureformi tulemusi ja mõjusid nii rakenduskava kui ka riiklike arengukavade eesmärkide vaates. Mh vaadeldakse seda, kuivõrd on reformile kaasa aidanud sellega seotud ESF meetmed ehk uuritakse ka eri fondidest rahastatud meetmete kooskõla. Hindamise tulemustele tuginedes saab vajadusel võtta parendusmeetmeid käimasoleva perioodi meetmetes ja hariduspoliitika kujundamisel. Eesmärgiks on hinnata meetmete mõju ja trende eesti keele kui teise keele või riigikeele õppes ja eestikeelsele õppele üleminekule Eesti koolisüsteemis. Hindamine keskendub võtmetähtsusega toetusmeetmete tulemuslikkusele. Üks oluline fookus on haridustöötajate eesti keele kui riigikeele õppe ja õpetajate keelevaldkonna täienduskoolituste mõjul. Need toetusmeetmed on suunatud pikaaegse mõju saavutamisele läbi haridustöötajate keeleoskuse ja erialase pädevuse arendamise (sh läbi koolimeeskondade nõustamise), mis on kriitlise tähtsusega eesti keele ja eestikeelse õppe kvaliteedi ja tulemuslikkuse tõstmisel. Hõlmatakse ka toetusmeetmete elluviimise raames läbiviidud uuringute tulemuste mõju poliitikakujundamisele ja sekkumiste rakendamisele. Teine oluline fookus on keeleõppe teenuste kättesaadavuse suurendamise mõjul, mida hinnatakse loodava keeleõppe keskkonna toimimist ja tulemuslikkust vaadeldes. Eri keeleõppeteenuseid ja eri teenuste pakkujaid koondaval keskkonnal on potentsiaalselt ulatuslik mõju täiskasvanute eesti keele kui riigikeele õppe valdkonna toimimise tõhustamisel, mida mõjuhindamine võimaldab täpsemalt analüüsida ning mida selle põhjal saab edaspidi veelgi parendada. Toetatakse tahkel kütusel põhineva kütteseadme uuendamist/väljavahetamist. Lisaks, toetatakse kaugküttevõrkudega liitumist ning kaugkütte väljaarendamist uutes elamupiirkondades (omaosalus 50%). Hinnata mitu elamut sai meetme käigus oma küttesüsteemi uuendatud ning kuivõrd paraneb seeläbi õhukvaliteet antud tiheasustus piirkonnas? Õhukvaliteedi hindamisaluseks on peenosakesed ja benso(a)püreen ning võrreldakse õhukvaliteedi näitajaid tiheasustuspiirkondades enne toetusperioodi käivitamise perioodi ja peale toetuse alusel kavandatud projektide elluviimist. Õhukvaliteeti hinnatakse kütteperioodil. Tulemusi kasutatakse meetme edukuse hindamiseks. Eesmärgiks on hinnata kliimamuutuste leevendamiseks ja kliima mõjudega kohanemiseks rakendatud meetmete mõju nii valmisolekule tulla toime muutuva kliimaga kui ka meetmete KHG heite vähendamise potentsiaali. Analüüsiga antakse ka hinnnang sellele, mida tuleks tulevikus veel teha ja kuhu ressurssi suunata. Hinnang sisaldab ka sotsiaalmajanduslikku analüüsi. Kliimamuutused mõjutavad inimkeskkonda ühe enam ja nii leevendamise kui ka kliimakohanemise meetmeid rakendatatakse väga erinevates valdkondades. Rakendatud meetmete tõhususe hindamine võimaldab teha selgemaid ostuseid tulevikku suunatud ressursside osas. Eesmärk on anda hinnang, kas seatud toetuse andmise tingimused (sh sihtgrupp, valdkonnad, määrad) on endiselt asjakohased ning mis on toetuste mõju jäätmetekke ja pakendamise vähendamisele ja vältimisele ning ringmajanduspõhiste ärimudelite juurutamisele, vastava ekspertiisi ja teadlikkuse tõstmisele. Vajadusel täpsustatakse meetme lõpuperioodiks fookust. Vahehindamise läbiviimisel jälgitakse nn ülevalt-alla-meetodit, mis võimaldab hinnata sekkumiste ellurakendamise tsüklit tervikuna. Esmalt vaadatakse tulemusi sekkumisteüleselt ning seejärel analüüsitakse iga sekkumist ja selle tegevuste tulemusi. Esmalt kaardistatakse lõimumis-, sh kohanemisvaldkonna sekkumiste rakendamise hetkeolukord, selles toimunud muutused ja üldised suundumused. Seejärel kogutakse detailsemaid andmeid iga sekkumise kohta. Vahehindamise läbiviimisel keskendutakse kolmele hindamiskriteeriumile: •Asjakohasus ehk kui hästi on sihtrühma vajadused, pakutud tegevused ja nende eesmärgid omavahel seotud? •Tulemuslikkus ehk kuivõrd on jõutud soovitud tulemusteni ning miks? •Mõjusus ehk kuidas sekkumised aitasid kaasa sihrühmade lõimumisele, sh kohanemisele? Tulemusi kasutatakse sekkumiste elluviimise protsessi parandamiseks ja seatud eesmärkide saavutamise tagamiseks perioodi lõpuks. Sekkumiste hindamine tähendab süsteemset ning faktipõhist hinnangu andmist nende ellurakendamisele ning edukusele. Lisaks küsimusele, kes on mida ellu rakendanud, peab hindamine keskenduma ka küsimustele miks ja kuidas on üks või teine tulemus tekkinud, erinevad protsessid välja kujunenud jne. Samuti tuleb analüüsida, mil määral on poliitika hõlbustanud sihtrühmade lõimumist, sh kohenamist Eesti ühiskonnas. Hindamistulemusi kasutatakse sekkumiste edukuse ja selle ellurakendamise tulemuslikkuse hindamiseks. Seetõttu peab lõpphindamine olema rakenduslik, mitte akadeemilise kallakuga uuring. Soovime hanke tulemusena saada sekkumiste ja selle tegevuste tõenduspõhise ja rakendusliku lõpphindamise, kus analüüsitakse sekkumiste ja selle tegevuste ellu rakendamise tõhusust, asjakohasust ja tulemuslikkust ajavahemikul 2023-2029. Hinnang tuleb anda rahastusperioodile tervikuna, samuti peab analüüsima, kas ja kuidas on täidetud vahehindamisel antud soovitused. Analüüsi alusel ootame praktilisi poliitikasoovitusi lõimumis-, sh kohanemispoliitika kujundamiseks ja tegevuste elluviimise protsessi muutmiseks tõhusamaks, asjakohasemaks, tulemuslikumaks ja jätkusuutlikumaks. Lõpphindamisel on kaks põhieesmärki: 1) hinnata sekkumiste asjakohasust ja tulemuslikkust; 2) hinnata sekkumiste raames ellu viidud tegevuste tõhusust, sh ressursitõhusust ja jätkusuutlikkust. Peamised hindamisküsimused: A)Asjakohasus (mil määral olid pakutud tegevused eesmärgipärased ja kuivõrd need tegevused vastasid sihtrühmade vajadustele); B) Tulemuslikkus (kuivõrd on jõutud soovitud tulemusteni ning mis on sellele kaasa aidanud või seda takistanud?); C) Tõhusus (kuidas poliitika sisendid muudetakse väljunditeks); D) Jätkusuutlikkus (kuivõrd on väljundid kasutatavad pärast tegevuste lõpetamist). Sisendit kasutame ka uue valdkondliku arengukava koostamisel. Eesmärk on hinnata lõppenud tegevuste tulemuslikkust ning võimalusel mõju. Rakendusliku analüüsi tulemusi kasutatakse hindamaks, kas ja mida peaks meetme toimivuse või tõhususe puhul täiendama. Ootus on saada praktilisi poliitikasoovitusi. Meetmete valdkond omab ka olulist poliitilist tähtsust. Eesmärk on hinnata lõppenud tegevuste tulemuslikkust ning võimalusel mõju. Samuti, kas ja mida peaks meetme toimivuse või tõhususe puhul täiendama. Eesmärk on hinnata, kas meede on jätkuvalt asjakohane, kuidas meetme ülesehitus ja senine protsess toetab loodetava mõju saavutamist ning mida peaks muutma meetme tõhustamiseks. Nii palju, kui selleks ajaks võimalik uurime ka, mil määral on meede avaliku sektori innovatsiooni võimekust tõstnud ning millist esmast mõju on ellu viidud projektid kaasa toonud. Hindamise eesmärk on selgitada välja kui tulemuslikult on struktuurivahenditega liigutud tasakaalustatuma regionaalarengu eesmärgi suunas. Saada soovitusi kuidas toetusmeetmete rakendamisel paremini arvestada regionaalsete vajadustega ning tulemuslikumalt panustada regionaalarengu eesmärkide saavutamisse. Hindamise eesmärk: Hinnang perioodi 2021-2027 transpordi investeeringute tõhususele, mõjule ja jätkusuutlikkusele. Hindamisküsimused: 1.Kui tõhusad, tulemuslikud, mõjusad ja jätkusuutlikud on EL perioodil 2021-2027 struktuurivahenditest toetatud transpordi valdkonna investeeringud? Kuivõrd on nende tulemused aidanud kaasa eesmärgile tagada kättesaadavad, mugavad, ohutud, kiired ja kestlikud liikumisvõimalused inimestele ja ettevõtetele? 2.Arvestades algse olukorraga, kas maantee- ja raudteetranspordi investeeringud on tõstnud teelõikude kasutust, suurendanud liiklusohutust ja vähendanud ajakulu? 3.Millises mahus kasutatakse kergliiklusteid? Kas kergliiklustee täidab ülesannet ühendada kohalikud tõmbekeskused või on pigem harrastusspordi ala, kuhu tuleb mujalt kohale sõita? Kas kergliiklusteel on turvaline liikuda? Missuguseid probleeme esineb liiklejate vahel ja ristumisel teiste teedega? Kas kergliiklusteed on ehitatud „õigesse“ kohta, kus need on leidnud maksimaalset kasutust? Kas loodud kergliiklusteed moodustavad toimiva võrgustiku (sünergia nii SV, riigieelarve kui KOV vahendid)? 4.Mil määral on muutunud ettevõtete arv toetust saanud maantee-, raudtee-, lennujaama- või sadamaprojektide piirkonnas? Milline on loodud ettevõtete aastane käive ja kasum? Paiknemine enne ja pärast transpordiinvesteeringute tegemist. Kui piirkonnas on ettevõtteid juurde tulnud, siis kas ettevõtte asukoha valikul omas mõju ka tehtud transpordiinvesteering? 5. Milline on olnud mõju regionaalarengule. Hindamise eesmärk on hinnata rakendussüsteemi tõhusust ja projektivaliku kriteeriumide ja projektide valikumetoodika asjakohasust ning selgitada välja võimalikud muudatus- ja täiendusvajadused. Hindamisküsimused: 1.Kuivõrd TAT või RÜ tasandil määratud valikumetoodika on kooskõlas seirekomisjonil kinnitatud üldise valikumetoodikaga? 2.Millised on parimad praktikad üldiste valikukriteeriumite täpsustamisel arvestamaks tegevuste spetsiifikat, sh kuidas on TAT tasandil avatud kuluefektiivsuse mõõde? 3.Kas erinevate valikukriteeriumite kaalud on eesmärkide saavutamise seisukohast mõistlikud? 4.Kas konkreetseid valikukriteeriume kasutades on meetme eesmärki arvestades valitud vaid kõige tulemuslikumad projektid? 5.Mil määral seatud valikukriteeriumid toetavad Eesti pikaajalise arengustrateegia sihtide ja aluspõhimõtete saavutamist ning seotud horisontaalsete põhimõtete edendamist? 6. Millised on nii taotlemise kui ka elluviimise juures keerulisemad ja kulukamad kohad ning kuidas neid saaks taotlejale/toetuse saajale lihtsamaks teha? 7. Kui edukalt toimivad 2021-2027 perioodil läbivates projektivaliku kriteeriumides määratletud uute põhimõtete Hindamisega soovitakse tõenduspõhist informatsiooni, kuidas struktuurivahenditest rahastatud tegevused on eraldi ja koosmõjus mõjutanud Eesti pikaajalises arengustrateegias seatud sihte ja aluspõhimõtteid ning seotud horisontaalseid põhimõtteid. Hindamise eesmärk on võimalusel selgitada välja, millise osakaalu TAT määratletud EE2035 näitaja saavutustasemest on võimalik omistada konkreetsete tegevustele või agregeeritult kogu rakenduskavale. Hindamisega vaadatakse, kuidas on aidatud kaasa riigipõhiste soovitustega adresseeritud arenguvajadustele. Ühtlasi DNSH printsiibi kohaldamise tulemuslikkust. Hindamisega soovitakse tõenduspõhist informatsiooni, kuidas struktuurivahenditest rahastatud tegevused on eraldi ja koosmõjus mõjutanud Eesti pikaajalises arengustrateegias seatud sihte ja aluspõhimõtteid ning seotud horisontaalseid põhimõtteid. Hindamise eesmärk on võimalusel selgitada välja, millise osakaalu TAT määratletud EE2035 näitaja saavutustasemest on võimalik omistada konkreetsete tegevustele või agregeeritult kogu rakenduskavale. Hindamisega vaadatakse, kuidas on aidatud kaasa riigipõhiste soovitustega adresseeritud arenguvajadustele. Ühtlasi DNSH printsiibi kohaldamise tulemuslikkust. Hindamise eesmärk on saada sõltumatu hinnang rakenduskava prioriteetsete suundade tulemuslikkusele ning asjakohastel juhtudel ettepanekuid tulemuslikkuse tõstmiseks. Hindamisega kaetakase prioriteetsed suunad, mis ei ole vahetult eelnevalt või paralleelselt juba mõne teise hindamisega kaetud. Hindamisküsimused: 1.Kas sotsiaalmajanduskeskkonnas on toimunud muutusi, mis mõjutavad meetmete tulemuslikkust? Kas võimalikke muutusi arvestades on lähenemine valdkondlikele probleemidele, fookus jätkuvalt asjakohane? 2. Kui tulemuslikult ja mis ulatuses on poliitikaeesmärgid saavutatud? 3. Millised on täiendavad võimalused ja vajadused poliitikaeesmärkide saavutamiseks ja meetmete tulemuslikkuse tõstmiseks? 4. Kui tõhus ja tulemuslik on olnud finantsinstrumentide rakendamine? Kuivõrd on arvestatud keskkonnasäästu arvestavate tingimustega? 5. Mil määral toetavad projektide valikukriteeriumid poliitikaeesmärkide täitmist? Arvestada paralleelse valikukriteeriumide hindamisega, fookus panusel poliitikaeesmärkide saavutamisse. Hindamise eesmärk on saada sõltumatu hinnang ettevõtlustoetuste asjakohasusele, tõhususele, tulemuslikkusele ja mõjususele. Hindamisega soovitakse tõenduspõhist informatsiooni, kuidas struktuurivahenditest rahastatud ettevõtlustoetused eraldi ja koosmõjus mõjutavad Eestis tootlikkust, eksport, töökohti, T&A vallas haridus- ja teadusasutuste ja ettevõtete koostööd ja teadmussiiret ning piirkondlikku majandusarengut. Kuivõrd konkreetsed teenused on vajalikud, (kulu)tõhusad ja kas nad on kättesaadavad kavandatud sihtgrupile. Hindamisel lähtutakse nii rahalisest kui mitterahalisest abist (sh. võimalusel teenuste kvaliteet). Hindamisküsimused: 1. Kui osalejad on kasutanud erinevaid toetuseid, siis milliseid toetuseid on sel juhul kõige väärtuslikumaks, asjakohasemaks, kulutõhusamaks, tulemuslikumaks peetud ja miks? 2. Kuivõrd ettevõtetele suunatud meetmed moodustavad ühtse terviku (loovad sünergiat, täiendavad üksteist) ning aitavad kaasa erinevas arenguetapis olevate ettevõtete vajaduste rahuldamisele? Millised on lüngad ettevõtete elukaarel, mis vajaksid adresseerimist? 3. Kas toetatud (sh mitterahalist abi saanud) ettevõtted on võrdlusgrupiga võrreldes edukamad ja jätkusuutlikumad? Mille poolest? (Ellujäämismäär, tegevuse laiendamine, ekspordivõimekus, kvaliteetsed töökohad, palgatase jne.) 4. Kuidas on toetused mõjutanud tootlikkust (ettevõtte tootlikkus/lisandväärtus töötaja kohta) ning sellest tulenevat konkurentsivõimet? Millised on nende ettevõtete peamised tunnused? 5. Kui paljude ettevõtete puhul ja mil määral ja kuidas on toetused mõjutanud toote ja teenuse lisandväärtust ning sellest tulenevat konkurentsivõimet? 6. Kui paljud toetavatest ettevõtetest on alustanud teadus- ja arendustegevusega (esmakordselt)? Kas neil on tekkinud tootearendusvõimekus ning nad tegelevad tootearendusega? Millisel määral on tootearendus jõudnud eksporti? 7. Kuidas on toetus mõjutanud eksporti ja ekspordivõimekust? 8. Kuidas on toetus mõjutanud hõivet? 9 Kuidas on toetused mõjutanud regionaalarengut? Hindamise eesmärk on saada sõltumatu hinnang ettevõtlustoetuste tulemuslikkusele ja mõjususele. Hindamisega soovitakse tõenduspõhist informatsiooni, kuidas struktuurivahenditest rahastatud ettevõtlustoetused eraldi ja koosmõjus mõjutavad Eestis tootlikkust, eksport, töökohti, T&A vallas haridus- ja teadusasutuste ja ettevõtete koostööd ning piirkondlikku majandusarengut. Hindamisel lähtutakse nii rahalisest kui mitterahalisest abist (sh. võimalusel teenuste kvaliteet). Hindamisküsimused: 1.Kuidas on toetatud tegevused mõjutanud hõivet? (Loonud töökohti, säilitanud töökohti, loodud töökohtade piirkondlik jaotus.) 2.Kuidas on toetatud tegevused mõjutanud tootlikkust? Kuidas tulu toetuseuro kohta mõõdetuna väljendub tootlikkuse kasvus? 3.Kuidas on toetatud tegevused mõjutanud eksporti? Millistesse riikidesse alustati ja/või laiendati eksporti? Mille eksporti suurendati? Kuidas tulu toetuseuro kohta mõõdetuna väljendub ekspordi juurdekasvus? Kas ja millised on erinevused erineva suurusega ettevõtetes? 4.Kuidas on toetatud tegevused mõjutanud TA alast tegevust? 5.Kuidas on toetatud tegevused aidanud kaasa koostöö tihenemisele? Ettevõtted ja TA asutused, ettevõtted ja avaliku sektori asutused, ettevõtete vahel, TA asutused, avaliku sektori asutused ja ettevõtted 6.Kas, millal ja millises ulatuses oleks toetatud tegevused ellu viidud ka ilma toetuseta? 7.Kui edukad on toetust saanud ettevõtted võrreldes võrdlusgrupiga ehk toetust mittesaanud ettevõtetega (tootlikkuse, hõive, ekspordi kasv, erasektori vahendite kaasamine)? 8.Kuivõrd on toetuste abil välja arendatud innovaatilisi tooteid ja teenuseid, toimunud ärimudeli, protsessi- või turuinnovatsioon? 9.Kuivõrd meetme raames antav toetus on aidanud kaasa sellele, et Eesti teadus- ja arendustegevus toimiks Eesti ühiskonna ja majanduse huvides ning toetaks majandussüsteemi muutmist teadmistemahukamaks? 10 Milline on olnud toetuste mõju regionaalarengule? Kuidas on toetused mõjutanud otseselt ja kaudselt puudega inimesi, erinevast soost, rahvusest ja vanusest inimeste olukorda? Milline mõju on olnud soolise võrdõiguslikkuse edendamisel? 11. Kuidas on toetused mõjudanud ettevõtlus- ja innovatsiooniteadlikkuse ning vastavate teadmiste ja oskuste suurenemist? Ühissätete määruses kohane kogu rakenduskava hõlmav mõjude hindamine. Hindamise eesmärk on selgitada välja struktuurivahendite rakendamise tulemuslikkus ja mõju. Hindamise raames vaadatakse läbi varasemate hindamiste soovitused ja järeltegevuste täitmine ning tuuakse välja, millised soovitused vajavad veel jätkuvat tähelepanu ja kohalduvad uuel rakendusperioodil. Hindamisküsimused: 1. Kui tõhusalt on meetmeid rakendatud? 2. Kui tulemuslikult ja mis ulatuses on poliitikaeesmärgid saavutatud? 3. Kui tulemuslik on olnud finantsinstrumentide rakendamine? 4. Milline oli struktuurivahendite rakendamise koondmõju? 5. Kas ja milliseid prognoositule täiendavaid positiivseid või negatiivseid tulemusi ja/või mõju tõi meetmete rakendamine kaasa? 6. Millised välised tegurid aitasid või takistasid tulemuste saavutamist? 7. Kui jätkusuutlikkud on tulemused ja millised on vajalikud täiendavad meetmed jätkusuutliikkuse tagamiseks? 8. Mil määral on rakenduskava aidanud kaasa seotud EE2035 eesmärkide suunas liikumisele ja võimalusel selgitada välja milline on olnud rakenduskava panus mõjunäitaja saavutustasemetes. Hinnatakse kogu Ida-Virumaale suunatud meetmete paketti kompleksina, sh: * Õiglase üleminekumehhanismi tegevused: sh Õiglase Ülemineku Fondi tegevused (I sammas), laenud erasektorile (II sammas), laenud avalikule sektorile (III sammas); * PO5 tegevused, mis on suunatud Ida-Virumaale; * muud meetmed, mis on suunatud Ida-Virumaa arendamisele jms. Eesmärk: hinnata Ida-Virumaa piirkonnale suunatud tegevuste ja nende rakendusprotsesside tõhusust sh meetmete eesmärkide saavutamise tõenäolisus Ida-Viru kontekstis, piirkonnas, erinevate meetmete koosmõju/vastasmõju, integreeritus jms. Hinnatakse kogu Ida-Virumaale suunatud meetmete paketti kompleksina, sh: - Õiglase ülemineku mehhanismi tegevused: sh Õiglase Ülemineku Fondi tegevused (I sammas), Laenud erasektorile (II sammas), laenud avalikule sektorile (III sammas); - PO5 tegevused, mis on suunatud Ida-Virumaale; - haridusvaldkonna tegevused, mis on suunatud Ida-Virumaale (PO4) - muud SF meetmed, mis on suunatud Ida-Virumaa arendamisele jms. Eesmärk: hinnata Ida-Virumaa piirkonnale suunatud tegevuste ja nende rakendamise tulemuslikkuse ja mõju hindamine, sh kliimaneutraalsuse eesmärkide saavutamine, meetmete eesmärkide saavutamine Ida-Viru kontekstis/piirkonnas, erinevate meetmete koosmõju/vastasmõju, integreeritus jms. Sh: PO5 meetme hindamine Eesmärk: hindamise eesmärgiks on maakondade arengustrateegiatel põhinevate tegevuste rakendamise hindamine (sh rakendussüsteem, tegevused) ning hinnata meetme(te) eesmärkide saavutamist. Hinnangu andmine piirkondliku ettevõtluse, heaolu, haldusvõimekuse jt eesmärkide saavutamisele jms. Hindamise käigus antakse hinnang meetme • rakendussüsteemi asjakohasusele ehk kuivõrd asjakohased on meetme rakendussüsteemi eesmärgid, toetatavad tegevused, sh. projektide valikukriteeriumidele ehk mil määral toetavad projektide valikukriteeriumid rakendussüsteemi eesmärkide täitmist; • tulemuslikkusele ehk mil määral seatud eesmärgid saavutatakse; • mõjule ehk milline on rakendussüsteemi mõju Eesti 2035 strateegiliste eesmärkide täitmisel ning Sh: Suuremate linnapiirkondade • jätkusuutlikkusele ehk kuivõrd säästva linnaarengutoetuseks jätkusuutlikud on saavutatud suunatud eesmärgid.meetmete vahehindamine (Nutikad linnad, Ida-Viru linnapiirkondade meede, MKMi säästva linnaliikumise meede. Sobivate meetmete puhul kaasata ka Keskkonnaministeeriumi). Eesmärk: eesmärgiks on linnapiirkondade arengu hindamine, sh meetmete mõjude hindamine. Linnadele suunatud toetuste rakendumise hindamine, integreeritus, koosmõju/vastasmõju jms. Eesmärk on selgitada välja missugune on olnud tegevuste ja meetmete mõju suuremate linnapiirkondade arengule? Analüüsida erinevate tegevuste sünergiat suuremate linnaliste piirkondade arendamisel. Hindamise põhieesmärkideks on saada hinnang suuremate linnapiirkondade arengu meetmete rakendamise tulemuslikkusele sh - meetmete rakendussüsteemile - strateegiate, tegevuskavade koostamisele, projektivaliku asjakohasusele ning - tegevuste ja meetmete mõjule suuremate linnapiirkondade arengule Hinnata pigem uute tegevuste asjakohasust ning hindamise hetkeks saavutatud tulemusi. Hinnata uute tegevuste asjakohasust ning hindamise hetkeks saavutatud tulemusi. Hinnata lõppenud tegevuste mõju ning tulemuslikkust. Hinnata pigem uute tegevuste asjakohasust ning hindamise hetkeks saavutatud tulemusi. Hinnata lõppenud tegevuste mõju ning tulemuslikkust. Kas uuenduslikud tegevused on tulemuslikumad, kui vana lähenemine? Kas ja mida võiks muuta? Hinnata tegevuste asjakohasust ning hindamise hetkeks saavutatud tulemusi. Mis vajab rakendusskeemis muutmist? Milline on olnud Leader-lähenemise lisandväärtus hoolekandevaldkonnas? Millised on olnud peamised õppetunnid? Hinnata nn pehmete tegevuste rakendamisel avalduvaid keskkonnamõjusid: kuivõrd on keskkonnasõbralik käitumine (nt ürituste-koolituste korraldamisel) osutunud asjakohaseks ja tulemuslikuks. Prognoositav Prognoositav Lepingu hankega lepingu lõpp kestus (n. 9 alustamise kuud) aeg 2025 2026 Max 9 kuud 2025-2026 2026-2027 Max 12 kuud  2028 2029 Max 12 kuud 2026 II kvartal 2027 I kvartal Max 9 kuud 2025 2026 max 9 kuud 2028 sept 2029 max 10 kuud 2028 2029 6 kuud 01.01.2026 30.11.2026 11 kuud 01.01.2026 30.11.2026 11 kuud 2025 2026 10 kuud 2029 2030 10 kuud 2026 2026 10 kuud 10 kuud 2026 2026 9 kuud 2026 2026 2026 2026 10 kuud 2028 2029 12 kuud  2025 2025 10 kuud 01.03.2026 31.03.2027 10 kuud 01.08.2028 30.06.2029 10 kuud 01.10.2025 31.12.2026 12 kuud 31.01.2026 31.03.2027 12 kuud 01.05.2028 30.06.2029 12 kuud 31.01.2028 31.03.2029 14 kuud  2024 2024 9 kuud 2029 2030 9 kuud 2025 2026 9 kuud 2029 2029 9 kuud 2026 jaan 2026 dets 10 kuud 2027 jaan 2027 dets 10 kuud 2029 jaan 2029 dets 10 kuud 2026 jaan 2026 dets 10 kuud 2028 märts 2029 veeb 10 kuud 2025 jaan 2025 dets 10 kuud 2028 jaan 2028 dets 10 kuud 2027 jaan 2027 dets 10 kuud 2025 jaan 2025 dets 10 kuud Alusandmed, eeldatav metoodika, muu taustainfo * Tuua välja ja mõelda läbi, mis andmeid võiks olla vaja Statistikaametist, mis andmed eeldavad AKI luba jne. Kaalumisel SFOS ligipääsu lubamine hindajatele, väga konkreetse sisendi tarbeks. Eeldab, et hindamiste kava koostamisel on ette teada vajatavaid andmeid, millele edaspidi sooviks ligipääsu. * Tuua välja metoodika põhjendusega, miks just selline valik on tehtud ning mis andmeid eeldab. Kuidas on tagatud andmekorje näiteks võrdlusgrupi tekitamiseks. - NB! metoodika põhjendus on kohustuslik osa. Näiteks protsessi hindamisel võib olla muu hulgas andmeanalüüs, intervjuud, Pakkumuse esitajad teevad ettepaneku koolituste efektiivususe ja mõju hindamise täpsemaks metoodikaks, lepitakse kokku mõju hindamise kriteeriumid. Aluseks on nii ESF andmekorje andmed, registrite andmed. Võimalusel counterfactual tüüpi mõjuhindamine ning kulu-tulu analüüs, tõhususe analüüs. Vajadusel kogutakse täiendavalt andmeid koolitatutelt või teistelt osapooltelt (nt küsitlus, intervjuud/fookugrupid, arutelud siht- ja sidusrühmadega). Pakkumuse esitajad teevad pakkumises ettepaneku metodoloogilise lähenemise osas, mis aitab parimal moel vahehindamise eesmärki täita, aga metodoloogiline lähenemine võiks endas hõlmata järgmist: dokumendianalüüs (meetme tegevustega seotud aruanded, analüüsid, raportid), olemasolevate statistiliste andmete analüüs, täiendavate kvalitatiivsete ja kvantitatiivsete andmete kogumine (nt intervjuud või fookusgrupid erinevate tegevuste elluviimisega seotud osapooltega, sh sihtrühmaga) ja nende analüüs. Valideerimisseminar (esialgsete tulemuste valideerimiseks). Vajalikud ERF andmekorje andmed, ilmselt vajalik SFOS juurdepääs projektide ja muudele andmetele, kuid kas ja millistele andmetele juurdepääs SFOSis on täpsemalt vajalik, selgub ka hindaja pakutud lähenemisest ja metoodikast. Pakkumuse esitajad teevad pakkumises ettepaneku metodoloogilise lähenemise osas, mis aitab parimal moel hindamise eesmärki täita, aga metodoloogiline lähenemine võiks endas hõlmata järgmist: dokumendianalüüs (meetme tegevustega seotud aruanded, analüüsid, raportid), olemasolevate statistiliste andmete analüüs, täiendavate kvalitatiivsete ja kvantitatiivsete andmete kogumine (nt intervjuud või fookusgrupid erinevate tegevuste elluviimisega seotud osapooltega, sh sihtrühmaga) ja nende analüüs. Valideerimisseminar (esialgsete tulemuste valideerimiseks). Vajalikud ERF andmekorje andmed, ilmselt vajalik SFOS juurdepääs projektide ja muudele andmetele, kuid kas ja millistele andmetele juurdepääs SFOSis on täpsemalt vajalik, selgub ka hindaja pakutud lähenemisest ja metoodikast. Pakkumuse esitajad teevad pakkumises ettepaneku metodoloogilise lähenemise osas, mis aitab parimal moel vahehindamise eesmärki täita, aga metodoloogiline lähenemine võiks endas hõlmata järgmist: sissejuhatavad intervjuud (meetme elluviija esindajatega, et saada ülevaade meetme tegevuste väljatöötamisest, tegevuste rakendamisest jms), dokumendianalüüs (meetme tegevustega seotud aruanded, analüüsid, raportid, sh rahvusvahelised võrdlused), olemasolevate statistiliste andmete analüüs, täiendavate kvalitatiivsete ja kvantitatiivsete andmete kogumine (sh näiteks intervjuud või küsitlused tegevuste rakendamise erinevatel tasanditel; küsitlused, intervjuud või fookusgrupid erinevate tegevuste elluviimisega seotud osapooltega, sh sihtrühmaga) ja nende analüüs. Valideerimisseminar (esialgsete tulemuste valideerimiseks). EHISe andmed õpilaste arvude muutuse kohta, toetatud projektide andmed ja aruanded, Ehitusregister, Statistikaameti andmed rahvastiku ja selle muutuste kohta maakonniti, üldhariduskoolide rahulolu küsitluste andmed, riigieksamite andmed. Küsitlusandmed (koolid, õpilased, lapsevanemad, KOVid). Metoodika: kvantitatiivne ja kvalitatiivne andmanalüüs. Lähtutakse mh varem toimunud hindamiste tulemustest ja uuritakse lisandunud uutele andmetele tuginedes ERF toetusmeetmete ning kogu reformi tegelikku avaldunud mõju. Mõju hindamine kombineerib kvantitatiivseid ja kvalitatiivseid meetodeid. Haridustöötajate keeleõppe ja õpetajate keelevaldkonna täienduskoolituste puhul kasutatakse alusandmetena mh EHISe andmeid, TATi aruandeid ja näitajate täitmise andmeid, Keeleameti järelevalve tulemusi ja välishindamise tulemusi (sh tasemetööde, põhikooli lõpueksamite ja riigieksamite tulemused). Lisaks kasutatakse HTMi iga-aastased tulemusaruandeid, üldhariduskoolide rahulolu küsitluste andmeid, välishindamise raporteid, taustamaterjalina ka muid andmeid (nt PISA tulemusi). Keeleõppe keskkonna loomise mõju hindamisel toetutakse mh eri teenuste kasutajate arvudele ja tulemuslikkuse näitajatele (nii keskkonnas kui eri teenuste pakkujate, nt INSA või Töötukassa juures), keskkonnaga liitunud teenusepakkujate osakaalule kogu riigikeele õppe turul, eesti keele tasemeeksamite statistikale, Keeleameti järelevalve (sh keeleõppefirmade tegevuslubade andmise ja järelevalve) tulemustele. Kvantitatiivseid andmeid täiendatakse kvalitatiivsetega: toetusmeetmete mõju täpsemaks uurimiseks viiakse läbi küsitlusi ja fookusgruppide intervjuusid, et selgitada välja konkreetsete meetmete mõju sihtrühmade hoiakutele ja praktikale. Analüüs seostatakse eestikeelsele õppele ülemineku tegevuskava eesmärkidega, samuti Eesti keele arengukava, haridusvaldkonna arengukava ja "Eesti 2035" sihtide ja näitajatega. Metoodika: tellitakse sisse. Õhukvaliteedi andmete numbriline võrdlus annab selge pildi, kuidas on küttesüsteemide uuendamine mõjutanud õhukvaliteeti. Alusandmed: projekti aruanded ja Ehitisregistri põhjal uuendatud kütteseadmete arv, seirejaamade andmed Metoodika: tellitakse sisse (metoodika koos põhjendusega, miks selline lähenemine aitab parimal moel hindamise eesmärki täita, esitab pakkuja) Alusandmed: rakendatud meetmed ja kliimamuutuste mõju hinnangud, keskkonnateadlikkuse uuringud, KHG heite inventuuri aruanded Metoodika: tellitakse sisse (metoodika koos põhjendusega, miks selline lähenemine aitab parimal moel hindamise eesmärki täita, esitab pakkuja) Alusandmed: Keskkonnaagentuuri koonduv jäätmearuandlus, Eesti jaoks välja töötatud ja kasutusele võetud majanduse ringsust väljendavad indikaatorid (Statistikaamet, Keskkonnaagentuur) ja nende koostamiseks kasutatavad andmed Vajalik hindajate ligipääs SFOSile. Vahehindamisel kasutatakse nii kvalitatiivseid kui kvantitatiivseid uurimismeetodeid ja analüüsitehnikaid. Sobivaima uurimismetoodika koos põhjendusega esitab uuringu läbiviija. Vajalik hindajate ligipääs SFOSile. Lõpphindamisel kasutatakse nii kvalitatiivseid kui kvantitatiivseid uurimismeetodeid ja analüüsitehnikaid. Sobivaima uurimismetoodika koos põhjendusega esitab uuringu läbiviija. Uurimismetoodikaga peab võrdlema vahehindamise ja lõpphindamise tulemusi. Arvestatakse vajalike alusandmete kättesaadavuse ja/või nende kogumise võimalikkusega. Kvalitatiivsed ja kvantitatiivsed uurimismeetodid, sh andmeanalüüs (SFOSi puhul andmete eraldi väljavõtmine kui ligipääsu lubamine) ja eksperthinnangud. Mh lähtutatkse tõenäoliselt vastavatest valdkondlikest metoodikatest energiasäästu, CO2 jne arvutamisel (nt majandus- ja taristuministri 26.10.2016 määruse nr 65 „Energiasäästu arvutamise eeskiri“). Täpsustuvad veel rohepöördest, karmistuvatest eesmärkidest vms tulenevalt. Kvalitatiivsed ja kvantitatiivsed uurimismeetodid tulenevalt sekkumiste iseloomust (nt digiriigi baasvõimekuste arendamine). Sh intervjuud, andmeanalüüs, dokumendianalüüs, eksperthinnangud. Alusandmed mh struktuurivahendite seirest. Metoodika: Peamiselt kvalitatiivne analüüs. Projektid on suured ja nende arv väike, seega kvalitatiivne analüüs võimaldab minna projektidesse süvitsi, kvantitatiivset analüüsi saab teha piiratud mahus. Metoodika: Kombineeritud kvalitatiivsed ja kvantitatiivsed meetodid. Detailse metoodika esitab pakkuja. Kvalitatiivne analüüs sisaldab minimaalselt dokumendianalüüsi, poolstruktureeritud süvaintervjuusid struktuurivahendite administratsiooni esindajatega, regionaalvaldkonna teadlaste ja Eesti Linnade ja Valdade Liidu esindajatega, aruteluseminare maakondades, valideerimisseminare. Hindamismetoodika: - võimalusel passiivne mobiilpositsioneerimine - videoloendurite või piirijälgimise liikumisanduri kasutamine - kirjeldava statistika analüüs, andmed Statistikaametist, Transpordiamet, Äriregister jne. - Ettevõtetega telefoniintervjuud Metoodika: Sobivaima metoodika esitab pakkuja ja põhjendab seda pakkumuses. Eelkõige kvalitatiivsed analüüsimeetodid - dokumendianalüüs, intervjuud, fookusgrupid. SFOSist näitajate info ja projektiaruannetest EE2035 panuse selgitused. Vajalik hindajatel ligipääs SFOS. Metoodika: Kombineeritud kvalitatiivne ja kvantitatiivne andmeanalüüs. Vajalik hindajatele ligipääs SFOSi, et analüüsida projekti tasandi infot. Metoodika: Kombineeritud kvalitatiivne ja kvantitatiivne andmeanalüüs. Vajalik hindajatele ligipääs SFOSi, et analüüsida projekti tasandi infot. Metoodika: Parima metoodika esitab pakkuja põhjendades seda pakkumuses. Eelkõige kvalitatiivsed analüüsimeetodid - dokumendianalüüs, intervjuud, fookusgrupid. Metoodika: Dokumendianalüüs, erinevate registrite andmete põhjal kvantitatiivne ja kvalitatiivne andmeanalüüs, intervjuud, veebiküsitlused, osalusgrupp ja võrdlusgrupp, eksperthinnangud. Hindamine peab kõrvutama tulemusi varasemate ettevõtlus- ja innovatsioonitoetuste tulemuslikkuse hindamistega, sh minimaalselt valideerimise vaates samad kvantitatiivsed analüüsimeetodid. Eristada rakendusperioodid 2014-2020 ja 2021- 2027, samas tuua välja ka rakendusperioodide ülene mõju. Vajalik hindajate ligipääs nii SFOSile kui SISile. Metoodika: Dokumendianalüüs, erinevate registrite andmete põhjal kvantitatiivne ja kvalitatiivne andmeanalüüs, intervjuud, veebiküsitlused, osalusgrupp ja võrdlusgrupp, eksperthinnangud. Hindamine peab kõrvutama tulemusi varasemate ettevõtlus- ja innovatsioonitoetuste tulemuslikkuse hindamistega, sh minimaalselt valideerimise vaates samad kvantitatiivsed analüüsimeetodid. Eristada rakendusperioodid 2014-2020 ja 2021- 2027, samas tuua välja ka rakendusperioodide ülene mõju. Vajalik hindajate ligipääs nii SFOSile kui SISile. Metoodika: Sobivaima metoodika esitab pakkuja ja põhjendab seda pakkumuses. Kombineeritud kvalitatiivsed ja kvantitatiivsed analüüsimeetodid, sh dokumendianalüüs, intervjuud, fookusgrupid ja valideerimisseminarid, statistiline analüüs. Teooriapõhised (contribution analysis) ja võimaluseld kvantitatiivsed analüüsimeetodid EE2035 panuse hindamiseks. Alusandmed: - SFOS'i andmed; - STAT avaandmed; - ÕÜF TA meetme raames loodava siirde kompetentsikeskuse andmestik. Meetodid: kombineeritakse erinevaid kvalitatiivseid ja kvantitatiivseid meetodeid - dokumendianalüüs, poolstruktureeritud intervjuud ja fookusgrupid, statistiline analüüs, eksperthinnangud. Alusandmed: - SFOS'i andmed; - STAT avaandmed; - ÕÜF TA meetme raames loodava siirde kompetentsikeskuse andmestik. Meetodid: kombineeritakse erinevaid kvalitatiivseid ja kvantitatiivseid meetodeid - dokumendianalüüs, poolstruktureeritud intervjuud ja fookusgrupid, statistiline analüüs, eksperthinnangud. Metoodika: kombineeritakse erinevaid kvalitatiivseid ja kvantitatiivseid meetodeid - dokumendianalüüs, poolstruktureeritud intervjuud ja fookusgrupid, statistiline analüüs, eksperthinnangud. Nagu näitab läbiviidud perioodi 2014-2020ettevõtlusmeetmete vahehindamine, on kõik viidatud meetodid kvaliteetse ja valideeritud hindamistulemuseni jõudmisel olulised. Alusandmed: Struktuurivahendite seire ja riiklik statistika. Metoodika: kombineeritakse erinevaid kvalitatiivseid ja kvantitatiivseid meetodeid - dokumendianalüüs, poostruktureeritud intervjuud ja fookusgrupid, statistiline analüüs, eksperthinnangud. Nagu näitab läbiviidud perioodi 2014-2020 linnapiirkondade vahehindamine, on kõik viidatud meetodid kvaliteetse ja valideeritud hindamistulemuseni jõudmisel olulised. Alusandmed: Struktuurivahendite seire ja riiklik statistika. Kvantitatiiv- ning kvalitatiivanalüüs, vajalik AKI ja eetikakomitee luba. Vaja on TÖR-i, EMTA, EHIS-e, STAR, SIS, SFOS, RR, töötukassa andmekogu, äriregistri andmeid. Kvantitatiiv- ning kvalitatiivanalüüs, vajalik AKI ja eetikakomitee luba. Vaja on TÖR-i, EMTA, EHIS-e, STAR, SIS, SFOS, RR, töötukassa andmekogu, äriregistri andmeid. Kvantitatiiv- ning kvalitatiivanalüüs, vajalik AKI ja eetikakomitee luba. Vaja on TÖR-i, EMTA, EHIS-e, STAR, SIS, SFOS, RR, töötukassa andmekogu, äriregistri andmeid. Kvantitatiiv- ning kvalitatiivanalüüs, vajalik AKI luba Kvantitatiiv- ning kvalitatiivanalüüs, vajalik AKI luba Kvantitatiiv- ning kvalitatiivanalüüs, vajalik AKI luba Kvantitatiiv- ning kvalitatiivanalüüs, vajalik AKI luba Kvantitatiiv- ning kvalitatiivanalüüs, vajalik AKI luba Kvantitatiiv- ning kvalitatiivanalüüs Hindamise prognoositav eelarve ilma KM 70 000 150 000 150 000 70 000 100 000 70 000 37 000 123 000  61 500 100 000 120 000 70 000 70 000 60000 120000 150000 120000 120000 120000 220000 175000 175000 220000 80000 80000 120000 80000 90 000  90 000 180 000 90 000  90 000 60000 90000 60000 60 000 3 841 500