dokumendiregister.ee
OtsingAsutusedMCP
Otsing›Rahandusministeerium
Väljaminev kiriAvalik

Juhtimis- ja kontrollisüsteemi auditi lõpparuande edastamine

Rahandusministeerium · 16. veebruar 2023
Viit
10-5/1181-1
Registreeritud
16. veebruar 2023
Dokumendi liik
Väljaminev kiri
Adressaat
Riigi Tugiteenuste Keskus, Riigi Tugiteenuste Keskus, Riigi Tugiteenuste Keskus, Riigi Tugiteenuste Keskus
Saabumis/saatmisviis
e-post, DVK
Funktsioon
10 VALITSUSE SISEKONTROLLISUSTEEMI KOORDINEERIMINE NING EUROOPA LIIDU TOETUSTE JA VÄLISABI AUDITEERIMINE
Sari
10-5 Riigieelarve ja välisvahendite auditi lõpparuanded koos tõendusmaterjali ja kirjavahetusega
Toimik
10-5/2023
Vastutaja
Anu Alber (Rahandusministeerium, Kantsleri vastutusvaldkond, Finantskontrolli osakond, I auditi talitus)

Failid

  • 📎10-51181-1 16.02.2023 Väljaminev kiri.asice751 KB

Sisu (failidest)

Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – arendusprotsessi tõhusus Audit nr JKS-46/2021 Lõpparuanne 15.02.2023 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Auditi lõpparuanne edastatakse: Hr Martin Karro, Riigi Tugiteenuste Keskus, korraldusasutus Pr Tiina Sams, Riigi Tugiteenuste Keskus, rakendusüksus Hr Urmo Merila, Riigi Tugiteenuste Keskus, korraldusasutus Pr Karin Viikmaa, Riigi Tugiteenuste Keskus, sertifitseerimisasutus LÜHIÜLEVAADE Auditi eesmärk oli hinnata struktuuritoetuste registri (edaspidi SFOS) rakendamisega seotud juhtimis- ja kontrollisüsteemide (edaspidi JKS) tõhusust struktuuritoetuse rakendamisperioodil 2014-2020. Hinnangu andmisel JKS-ile tuginesid Rahandusministeeriumi finantskontrolli osakonna audiitorid toimingute käigus kogutud tõendusmaterjalidele. KOKKUVÕTE AUDITI TULEMUSTEST Auditi tulemusena jõudsid audiitorid järeldusele, et Ühtekuuluvuspoliitika fondide rakenduskava 2014-2020 struktuuritoetuste registri JKS toimib, kuid mõningad parandused on vajalikud (II kategooria1). Auditi eesmärgid: 1. Põhifookuses oli tarkvara muudatuste (uuenduste ja arenduste) protsessi tõhusus, mille hindamiseks kasutati ISACA Software Audit Assurance Program metoodikat (aruandes väljend - Tarkvara arenduse elutsükkel (edaspidi SDLC)). Järeldus: JKS toimib, kuid mõningad parandused on vajalikud. 2. Hindasime SFOS’i vastavust põhinõude 6 „Usaldusväärne seire, hindamise, finantsaruandluse, kontrolli ja auditi IT-süsteem andmete kogumiseks, salvestamiseks ja säilitamiseks.“ hindamiskriteeriumile 6.1 „Välja on töötatud IT-süsteem, mis võimaldab saada EK määruse 480/2014 lisas III nõutud usaldusväärset ja asjakohast informatsiooni.“ Järeldus: JKS toimib hästi, kuid tulenevalt SDLC ploki leidudest on vajalik strateegiliste eesmärkide seadmine. Seega olid auditi ulatuses SDLC ning vastavus EK määruse 480/2014 lisale III. JKS auditi käigus tehti 4 olulist tähelepanekut, mis puudutavat arendusprotsessi tõhusust (auditi eesmärk 1). Auditi teise eesmärgi osas audiitoritel tähelepanekuid ei olnud ning auditi hinnangul JKS toimib hästi. Tähelepanekud on toodud aruande B-osas. Auditi käigus tehti järgmised olulised2 tähelepanekud, mis on kategoriseeritud ISACA Software Audit Assurance Program metoodika järgi (SDLC).: Oluline tähelepanek nr 1.2.1 – SFOS projektil on kirjeldamata pikaajalise arendusplaani vaade, strateegia ja visioon. Tehnilise võlaga tegelemine ei ole piisavalt detailselt dokumenteeritud. 1 I kategooria – JKS toimib hästi; II kategooria – JKS toimib, kuid mõningad parandused on vajalikud; III kategooria – JKS toimib osaliselt, mistõttu on olulised parandused vajalikud; IV kategooria – JKS olulises osas ei toimi. 2 Olulised tähelepanekud on tähelepanekud, mis viitavad auditeeritava asutuse juhtimis- ja kontrollisüsteemides esinevatele puudustele (nt sisaldavad süsteemset viga), mis mõjutavad oluliselt RÜ ülesannete täitmist. Olulised tähelepanekud nõuavad auditeeritava asutuse juhtkonnalt kiiret reageerimist ja tähelepanekutes viidatud puuduste lahendamist. Väheolulised tähelepanekud on tähelepanekud, mis viitavad auditeeritava asutuse juhtimis- ja kontrollisüsteemides esinevatele puudustele (nt sisaldavad juhuslikku viga), mis ei mõjuta oluliselt RÜ ülesannete täitmist. Väheolulised tähelepanekud nõuavad auditeeritava asutuse juhtkonnalt reageerimist. 2 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Oluline tähelepanek nr 1.2.3 – SFOS’i projektile ei ole defineeritud piisavalt eesmärke ja mõõdikuid ning neid ei jälgita juhtkomitee tasemel. Oluline tähelepanek nr 1.2.4 – Puudub kvaliteedikriteeriumitele tuginev projekti kvaliteedijuhtimine. Oluline tähelepanek nr 2.1.1 – Suuremate arendustööde korral ei teostata mõjuanalüüsi ja puudub riskiplaan. Lisaks on aruande B-osas toodud auditi tulemusena tehtud väheolulised tähelepanekud ning täiendavad soovitused. Auditi lõpparuanne avalikustatakse Rahandusministeeriumi koduleheküljel. Auditi töörühm tänab kõiki töötajaid meeldiva koostöö ja osutatud abi eest auditi läbiviimisel. Kinnitame lõpparuande projekti 29 leheküljel. Auditi eest vastutav isik: Auditi juht: (allkirjastatud digitaalselt) (kuni 06.05.2022) Anu Alber Marek Suurniit Finantskontrolli osakonna Finantskontrolli osakonna I auditi talituse juht I auditi talituse juhtivaudiitor 3 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne SISUKORD LÜHIÜLEVAADE ..................................................................................................................................................... 2 SISUKORD ............................................................................................................................................................. 4 A - OSA .................................................................................................................................................................. 5 1. KOKKUVÕTE AUDITI LÄBIVIIMISEST ............................................................................................................ 5 2. TAUSTINFO ........................................................................................................................................... 6 B-OSA. TÄHELEPANEKUD ...................................................................................................................................... 7 1 VALITSEMINE (GOVERNANCE) ...................................................................................................................... 7 Väheoluline tähelepanek nr 1.1.1 –SFOS projekti tarkvara projektdokumentatsioon ei ole terviklikult kirjeldatud. 8 Oluline tähelepanek nr 1.2.1 – SFOS projektil on kirjeldamata pikaajalise arendusplaani vaade, strateegia ja visioon. Tehnilise võlaga tegelemine ei ole piisavalt detailselt dokumenteeritud. ............................................... 10 Väheoluline tähelepanek nr 1.2.2 – Tooteomaniku roll ja muud projekti meeskonna rollide kirjeldused vajavad täpsustamist. Vastutuste kirjeldamiseks ei kasutata vastutusmaatriksit, nt RACI. ............................................. 12 Oluline tähelepanek nr 1.2.3 – SFOS’i projektile ei ole defineeritud piisavalt eesmärke ja mõõdikuid ning neid ei jälgita juhtkomitee tasemel. ................................................................................................................................ 14 Oluline tähelepanek nr 1.2.4 – Puudub kvaliteedikriteeriumitele tuginev projekti kvaliteedijuhtimine.................. 15 2 TARKVARAARENDUSE ELUTSÜKKEL (SDLC).................................................................................................. 17 Oluline tähelepanek nr 2.1.1 – Suuremate arendustööde korral ei teostata mõjuanalüüsi ja puudub riskiplaan. 17 Väheoluline tähelepanek nr 2.2.1 – Uue arendusettepaneku tegemise barjäär on tavakasutaja jaoks liiga kõrge. Protsessi saaks lihtsustada ja automatiseerida. ................................................................................................. 19 Väheoluline tähelepanek nr 2.2.2 – JIRA’s ei ole täielikku ülevaadet tööde staatusest. ...................................... 20 Väheoluline tähelepanek nr 2.2.3 – Arendusprotsessis esineb töövahendite dubleerimist. ................................ 23 3 VERIFITSEERIMINE JA LÄBIVAATUS (VERIFICATION AND REVIEW) ...................................................................... 24 Väheoluline tähelepanek nr 3.1.1 – Puuduvad automaattestid. RMIT’i kaasamine ei ole protsessis piisavalt detailselt formuleeritud. ...................................................................................................................................... 24 TÄIENDAVAD TÄHELEPANEKUD .......................................................................................................................... 27 Soovitus nr 4 – Koostada asjakohane aruandlus ja asuda monitoorima läbi kasutajatoe andmebaasis tehtud muudatusi. Vajadusel teostada riskipõhist testimist. .......................................................................................... 27 LISA 1: PROJEKTDOKUMENTATSIOONI NÄIDISSTRUKTUUR .................................................................................. 28 LISA 2: EESMÄRKIDE JA MÕÕDIKUTE NÄITED .................................................................................................... 29 4 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne A - OSA 1. Kokkuvõte auditi läbiviimisest Auditi läbiviimise - Perioodi 2014-2020 struktuuritoetuse seadus (STS) § 11 lõige 3; alus - Rahandusministeeriumi finantskontrolli osakonna 2021. aasta tööplaan. Auditi läbiviija(d) Auditi töörühma kuulusid Rahandusministeeriumi finantskontrolli osakonna I auditi talituse juhtivaudiitor Marek Suurniit (auditi juht) ja välisekspert Merle Randlepp. Auditi eest vastutav isik on Rahandusministeeriumi finantskontrolli osakonna I auditi talituse juht Anu Alber. Auditi toimingute Auditi toimingud viidi läbi ajavahemikul 7.05.2021. a kuni 28.10.2022. a. läbiviimise aeg Auditi ulatus Auditi tulemusena annab Rahandusministeeriumi finantskontrolli osakond hinnangu SFOS- i JKS-i tõhususele struktuuritoetuse rakendamisel perioodil 2014-2020. Hindasime tarkvara muudatuste (uuenduste ja arenduste) protsessi tõhusust. Selle hindamiseks kasutasime ISACA Software Audit Assurance Program metoodikat (aruandes väljend - Tarkvara arenduse elutsükkel (edaspidi SDLC)). Hindasime SFOS’i vastavust põhinõude3 6 „Usaldusväärne seire, hindamise, finantsaruandluse, kontrolli ja auditi IT-süsteem andmete kogumiseks, salvestamiseks ja säilitamiseks.“: - hindamiskriteeriumile 6.1 „Välja on töötatud IT-süsteem, mis võimaldab saada EK määruse 480/2014 lisas III nõutud usaldusväärset ja asjakohast informatsiooni.“ Läbiviidud auditi Auditi eesmärgi saavutamiseks viisid audiitorid läbi järgmised auditi toimingud: toimingud - intervjuude läbiviimine RTK ning struktuurivahendite administratsiooni töötajatega eesmärgiga täpsustada SDLC toimimist; - vabakuulajana osalemine erinevatel töökoosolekutel; - täiendavate materjalide analüüsimine ja hindamine. - Auditi läbiviimisel lähtuti põhiliselt Software Audit/Assurance Program - ISACA 2017 (ISACA Software Audit Assurance Program spreadsheet) metoodikast ning Rahandusministeeriumi finantskontrolli osakonna väljatöötatud „Perioodi 2014-2020 JKS auditi käsiraamatus“ sätestatud metoodikast. - Euroopa Parlamendi ja nõukogu määrus (EL) nr 1303/2013; Õiguslik raamistik ja olulisemad - EK määruse 480/2014 lisa III; dokumendid, - Erinevad RTK ja Rahandusministeeriumi regulatsioonid, juhendid. millele tugineti 3 EK määrusele 480/2014 ning EK poolt välja töötatud juhendmaterjalile „Guidance for the Commission And Member States on a common methodology for the assessment of management and control systems in the Member States“ (EGESIF_14-0010 18/12/2014). 5 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Auditeerimise Rahvusvahelised siseauditeerimise kutsetegevuse (IIA) standardid standardid Piirangud STS § 11 lõike 3 alusel on auditeeriva asutuse ülesannete täitmiseks auditeerival asutusel (edaspidi AA) õigus auditeerida RTK-d. Auditeeritav peab võimaldama auditi tegemist ning osutama selleks igakülgset abi. Eelnevast tulenevalt järeldavad audiitorid, et kõik auditi käigus esitatud andmed ning muu suuline ja kirjalik teave kajastavad RTK JKS-i korrektselt ja tegelikkusele vastavalt ning on piisavad auditi eesmärgis toodud hinnangu andmiseks. Täiendava, audiitoritele mitteesitatud / mitteteadaoleva informatsiooni korral oleksid audiitorite järeldused võinud olla teistsugused. Järeltoimingud Auditeeritaval tuleb arvestada auditi aruande B-osas esitatud tähelepanekute ja soovitustega. Soovituste rakendamise osas annab KA tagasisidet SFOS-i vahendusel. Lõpliku hinnangu soovituste elluviimisele annab auditeeriv asutus. Vajadusel viiakse läbi järelaudit. 2. Taustinfo SFOS määratlus Struktuuritoetuse register (SFOS) on avaliku teabe seadusega kooskõlas asutatud andmekogu. Registrit kasutatakse Euroopa Parlamendi ja nõukogu määruse (EL) nr 1303/2013 artikli 125 lõike 2 punktides d ja e nimetatud ülesannete täitmiseks ja statistiliste ülevaadete tegemiseks (STS § 37 lg 1). Registri vastutav töötleja on Riigi Tugiteenuste Keskus4. Varasemad auditid Perioodil 2014-2020 on SFOS osas läbi viidud üks JKS audit - Struktuuritoetuste registri audit (audit nr JKS-8/2016 lõpparuanne 22.12.2016). 4 Vabariigi Valitsuse 31.07.2014 määrus nr 121 „Struktuuritoetuse registri pidamise põhimäärus“ https://www.riigiteataja.ee/akt/128082018009 6 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne B-OSA. TÄHELEPANEKUD Üldiselt SDLC toimib, kuid mõningad parandused on vajalikud: põhiliselt esines puuduseid dokumenteerimise piisavuses aga ka kvaliteedijuhtimises läbi erinevate eesmärkide ja mõõdikute. SFOS’i vastavus põhinõude 6 „Usaldusväärne seire, hindamise, finantsaruandluse, kontrolli ja auditi IT-süsteem andmete kogumiseks, salvestamiseks ja säilitamiseks.“ hindamiskriteeriumile 6.1 „Välja on töötatud IT-süsteem, mis võimaldab saada EK määruse 480/2014 lisas III nõutud usaldusväärset ja asjakohast informatsiooni.“ Järeldus: JKS toimib hästi, kuid tulenevalt SDLC ploki leidudest on vajalik strateegiliste eesmärkide seadmine. 1 Valitsemine (Governance) 1.1 Valdkond: Poliitikad ja protsessid Eesmärk: Tarkvara arenduse elutsükkel (edaspidi SDLC) on kirjeldatud ja kasutuses kõigi tarkvaraarenduste teostamiseks organisatsioonis. Meetmed: SDLC poliitikad on dokumenteeritud ja kinnitatud (kasutame väljendit sätestatud). Asjakohased poliitikad katavad SDLC toimimiseks olulised võtmekohad. Üldine SDLC poliitika on dokumenteeritud ja kinnitatud, kuid see vajab täpsustamist ja parendamist. SFOS’i arendamisel kasutatakse efektiivseid ja moodsaid tööriistu: dokumentatsiooni säilitatakse Confluence keskkonnas ning projekti halduseks on kasutusel JIRA keskkond. Selliste keskkondade kasutamisega on järgitud turu head praktikat. Koosolekud arendajaga on tihedad ja regulaarsed ning memod on hästi ja põhjalikult dokumenteeritud. Auditeeritava üldine kommentaar: Auditi aruandes on märgitud, mida tähendavad olulised ja väheolulised tähelepanekud: Olulised tähelepanekud on tähelepanekud, mis viitavad auditeeritava asutuse juhtimis- ja kontrollisüsteemides esinevatele puudustele (nt sisaldavad süsteemset viga), mis mõjutavad oluliselt RÜ ülesannete täitmist. Olulised tähelepanekud nõuavad auditeeritava asutuse juhtkonnalt kiiret reageerimist ja tähelepanekutes viidatud puuduste lahendamist. Väheolulised tähelepanekud on tähelepanekud, mis viitavad auditeeritava asutuse juhtimis- ja kontrollisüsteemides esinevatele puudustele (nt sisaldavad juhuslikku viga), mis ei mõjuta oluliselt RÜ ülesannete täitmist. Väheolulised tähelepanekud nõuavad auditeeritava asutuse juhtkonnalt reageerimist. Auditeeritava hinnangul on kõik käesolevas auditis esitatud tähelepanekud soovituslikku laadi, kuna ei nõua asutuses selliseid muudatusi, mis oleks vajalik teha kiirelt või juhtkonna tasandil reageerimist. Kõikides RTK SFOS arendust puudutavates protsessides on sisuline oluline info, materjalid, kooskõlastus- ja otsustusprotsessid olemas, kuid need asuvad organisatsiooni sisulisi tegevusi arvestades erinevates asukohtades või on vormistatud kujul, mis on asutuses hinnatud sobivaks, kuid ei ole üks ühele samad audiitorite poolt viidatud soovituslikele juhenditele. Olemasolevad materjalid katavad RTK hinnangul SFOS arenduse protsesside sisulise vajaduse. Samuti on audiitorite hinnang juhtimis- ja kontrollisüsteemi toimivusele, et süsteem toimib (vt lk 2, „…Järeldus: JKS toimib.“ ja „…Järeldus: JKS toimib hästi, kuid tulenevalt SDLC ploki leidudest on vajalik strateegiliste eesmärkide seadmine.“). Kõikides senistes protsessides on RTK, Euroopa Parlamendi ja nõukogu määruse (EL) nr 1303/2013, 17. detsember 2013 (edaspidi ÜSM) mõistes korraldusasutus (edaspidi KA) hinnanud süsteemi arendamise ja 7 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne haldamise ning andmekvaliteedi riske lähtudes KA vaatest. Auditi aruandes (vt. lk 2) on samuti välja toodud SFOS loomise, halduse ja arendamise kohustus, mis lähtub ÜSM Korraldusasutusele pandud ülesannete loetelust (Art 125 lõike 2 punktides d ja e nimetatud ülesannete täitmiseks ja statistiliste ülevaadete tegemiseks). Eraldi loetelu, milliste andmete osas tuleb RTK-l kui Korraldusasutusel EK-le aruandlust esitada on toodud EK määruse 480/2014 lisas III. Auditeeritav juhib tähelepanu, et RTK täidab Korraldusasutuse ülesandeid lähtudes EK juhistest liikmesriikidele juhtimiskontrollide kohta. Enne iga-aastast EK-le esitatavat juhtkonna kinnitavat avaldust (ingl k. Management declaration, ÜSM artikli 125 lõike 4 punktis e) analüüsitakse juhtimis- ja kontrollisüsteemi (sh SFOS-i) toimivusanalüüsis. Toimivusanalüüsi koostavad KA valdkondlikud eksperdid. Nimetatud analüüs hõlmab endas ka SFOSi toimivuse ja andmekvaliteedi riskide hindamist ning edasiste plaanide tegemist (st EK juhiste liikmesriikide juhtimiskontrollide juhendi punkt 1.2 ja täpsemalt punkt 2.11 andmete kontrolli lk 39). Auditeeritav on nõus, et SFOSi strateegiliste eesmärkide seadmine on asjakohane ning selle protsessiga on alustatud juba 2022. a jaanuaris. Samas leiab auditeeritav, et SFOS süsteemi ja RTK hallatavate teiste IT süsteemide arendusprotsessid (ja haldus- ning andmekvaliteedi protsessid) on seni toiminud piisava põhjalikkuse ja dokumenteerimisega. Auditeeritava hinnangul tuleks auditi lõpparuandes vormistada tähelepanekud lähtudes nende sisust soovitustena. Väheoluline tähelepanek nr 1.1.1 –SFOS projekti tarkvara projektdokumentatsioon ei ole terviklikult kirjeldatud. Üldine SFOS’i arenduse protsess on sätestatud Riigi Tugiteenuste Keskus (RTK) toetuste valdkonna töökorras5. Lisaks mainitud korrale on RTK peadirektori asetäitja moodustanud6 isikuliselt projekti juhtrühma, tehnilise projektirühma ja projekti rühma ning määranud neile vastavad ülesanded. Rahandusministeerium (RM) on kehtestanud7 oma valitsemisala IT arendustööde läbiviimise korra, sh asjakohased vormid, töövood ja RACI maatriks (arendustöö läbiviimisel osalevate rollide ja vastutuse jaotus). RM töökord rõhutab, et asutustel on õigus välja töötada ja rakendada korraga kooskõlas olevaid muid asutuse arendustööde läbiviimist reguleerivaid dokumente. RM on kehtestanud ka põhimõtted8, kuidas peaks toimuma asutuse ja RMIT’i (Rahandusministeeriumi Infotehnoloogiakeskus) vaheline IT teenuste arendamine. SFOS’i arendusprotsess erineb mõnevõrra tavapärasest arendusprotsessist, sest kogu eelarve on fikseeritud raamlepingu maksumusega, mille piires on võimalik töid tellida. SFOS’i arendustööd konkureerivad vaid omavahel, nad ei konkureeri asutuse teiste IT arendustega. Seetõttu mööname, et SFOS’i arendusprotsess (edaspidi SFOS projekt) võiks erineda RM haldusalas kehtestatud tööprotsessist, kuid ülalpool viidatud RM kord ja põhimõtted on AA hinnangul arendusprotsessi hea tava näited, mille elemendid peaks kindlasti olema üle võetud, samas kui erinevused protsessis võivad esineda. Hoolimata asutuse tööprotsessi võimalikest erisustest, on hea tava, et igal tarkvaraprojektil on olemas terviklik kodukord. SFOS projektil täna sellisel kujul kodukorda ei ole. SFOS projekti töökorraldus paikneb killustatult erinevates dokumentides: ● RTK toetuste valdkonna töökord; ● arendustegevus ja testimisprotsess raamlepingu lisas ; 5 Riigi Tugiteenuste Keskuse toetuste valdkonna töökord programmperioodiks 2014-2020/2021 6 10.09.2020 käskkiri nr 1.1-2/0068 „Riigihanke ( viitenumber 215902 ) tulemusena tellitava arendusprojekti Struktuuritoetuse registri arendus ja hooldusteenus projekti juhtrühma tehnilise projektirühma ja projekti rühma moodustamine“ 7 Rahandusministeeriumi valitsemisala IT arendustööde läbiviimise kord. Kinnitamise kuupäev: 21.11.2014. a. 8 Asutuse ja RMITi vaheline IT teenuste arendamise põhimõtted. Kinnitatud IT komisjonis versioon 130, 16.06.2021. a. 8 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne ● erinevad juhised (SFOS’i mittefunktsionaalsuse testimise juhend, lõppkasutajate testimisse kaasamise protsess); ● lepingus sätestatud tööprotsessi kokkulepped; ● muud kokkulepped arendajaga, mis on fikseeritud memodes Confluence-s; ● RTK peadirektori asetäitja poolt moodustatud töörühmade käskkiri. Osad dokumendid on Confluence`s, samas intervjuudest ilmnes, et kõik arendusprotsessi kaastatud TAO ärianalüütikud ei kasutagi Confluence keskkonda, piirdudes nt JIRA kasutamisega. Confluence’s asub SFOS projekti tarkvara tehniline spetsifikatsioon, mis sisaldab tarkvara süsteemidisaini, funktsionaalseid ja mittefunktsionaalseid nõudeid. Tehniline spetsifikatsioon on hästi hallatud ja asjakohane. Confluence-s puudub aga terviklik projektdokumentatsioon, mis sisaldaks kogu vajalikku informatsiooni SFOS projekti kohta. Puuduvad olulised infoplokid tarkvaraprojekti kui terviku kohta, näiteks: ● visioon, eesmärgid ja mõõdikud; ● kasutajate huvigrupid, kasutajate teekonnad ja teenuskaart. Risk: Juhul kui SDLC ei ole terviklikult dokumenteeritud ja kinnitatud ning ei ole kaetud SDLC toimimiseks olulisi võtmekohti, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitus: Luua terviklik projektdokumentatsioon, milles sisaldub kogu projektiga seotud vajalik informatsioon, vt Lisa 1: Projektdokumentatsiooni näidisstruktuur. Tagada, et projektdokumentatsioonile saavad ligi kõik projekti arendusega seotud isikud. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist väheolulise tähelepanekuga vaid olemasolevate protsesside ja dokumentide täiendamise ja optimeerimise soovitusega. Audiitor on samuti seisukohal, et SFOS arendusprotsess ei pea üks ühele vastama RM haldusalas kehtestatud tööprotsessile ning viitab tarkvaraprojektide heale tavale. RTK SFOS arendusprotsessi kodukord on täna olemas. RTK töötajate protsess (TAO ärianalüütiku, MTO SFOS projektijuht, kasutajatugi ning andmeanalüütik) asub RTK töökorras. Jira töövoogude kirjeldused on loodud 25.09 2020 ja asuvad Confluence lehel. Samuti on RACI asemel kasutusel info jagamiseks ja kaasamiseks erinevate osapoolte kaardistus, mis asub RTK TAO Confluence lehel ning on jagatud äripoole esindajatega. Suhtlemine ja rollid arenduspartneri ning RMIT-ga on vastavates omavahelistes lepingutes. Arendus- ja haldusprotsessid toimivad ning info liigub. Seni on olnud see piisav ning ei ole peetud vajalikuks majasiseseid ja väliseid osapooli tööprotseduurides neile igapäevaselt mitteolulise infoga koormata. Soovitus on osaliselt plaanis arvesse võtta, tekitada tervikpilt (nt koondfail viidetega kõigile asjakohastele dokumentidele või nende asukohtadele) SFOS Confluence asutusesisese projekti lehele. Tavapärase iga-aastase protsesside ülevaatamise raames hinnatakse võimalusi pakutud näiteid arvesse võtta. Kõiki soovitusi vaadatakse RTK üleselt, et sobiks ka teiste RTK juhendite ja töökordade sekka ning ei tekiks dubleerimist ning võimalusel kasutatakse keskse viidete lehe lahendust. Soovituse rakendamise eest vastutav isik: TAO Teenuse disaini talituse (edaspidi TDT) juhataja Kadi Raudsepp koostöös MTO SFOS projektijuhi Indrek Mägiga. 9 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale. Kvaliteetse ja efektiivse arendusprotsessi tagamiseks on vajalik, et tarkvara projektdokumentatsioon oleks terviklikult kirjeldatud. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. 1.2 Valdkond: Strateegiline kooskõla Eesmärk: SDLC protsessid on kooskõlas organisatsiooni nõuete ja algatustega. Meetmed: Tarkvara arendusele planeeritud investeeringud ja kulud on teada, kate olemas ja kinnitatud sobiliku juhtorgani poolt. See võimaldab kinnitada arenduste prioriteedid ja eelarve kasutamise. Tarkvaraarenduse juhtorgan on asjakohaselt juhitud ja on olemas ülevaade projektidest. Tarkvara arenduseks vajalikud kategooriad on paigas ja ka nende käsitlemise strateegiad (nt häälestatav tarkvara, arendatav tarkvara, taristu toimimiseks vajalikud tarkvarad jms). SFOS projekti juhtimiseks on sätestatud isikuline ning asjakohane juhtorgan ja töörühmad, mis peaks saama ülevaadet, kuidas toimub arendusplaani täitmine, sh eelarve juhtimine. Tarkvara arendusele planeeritud investeeringud ja kulud on teada, kate on olemas ja kinnitatud sobiliku juhtorgani poolt. RACI maatriksi terminites võib öelda, et kindlasti toimib juhtorgani ja juhtkonna informeerimine (I-informed), konsulteerimine (C-consulted). Teisalt ei ole sätestatud täpset töövoogu ehk vastavaid tegevuse teostajaid (R-responsible) ning ka aruandekohuslased (A-accountable) ei ole sätesatud. Olemasolevat tööprotsessi on järgitud, kuid tööprotsessi annaks optimeerida ja täiendada. Eksperdi hinnangul toimib olemasolev protsess hästi väiksemate arenduste elluviimisel. Oluline tähelepanek nr 1.2.1 – SFOS projektil on kirjeldamata pikaajalise arendusplaani vaade, strateegia ja visioon. Tehnilise võlaga tegelemine ei ole piisavalt detailselt dokumenteeritud. SFOS’ile ei ole määratletud strateegiat ja visiooni ega ka pikaajalise arendusplaani vaadet. Organisatsiooni strateegiast tulenev eesmärk, millest SFOS’i arendamisel juhindutakse, on kasutajate rahuolu. Tegevuste ja eesmärkide pikaajaliseks planeerimiseks ja teadlikuks suunamiseks on vaja teatud juhendit. Strateegia on vajalik, et teha põhjendatud ja kooskõlastatud otsuseid. Strateegia peab olema kinnitatud asjakohase juhtorgani poolt. RM’i IT teenuste arendamise põhimõtete9 dokumendi punktis 5 „Arendusvajaduste kogumine” on reguleeritud pikaajalise arendusplaani koostamine. Kaasatud peaks olema ka RMIT. SFOS’i arenduste juhtimiseks on küll olemas juhtkomitee(d), kes omavad arendustest ülevaadet, hindavad ja prioritiseerivad arenduste töösse võtmist ning juhivad eelarvet, kuid selliselt ei ole tagatud, et töösse võetud arendused vastavad tegelikult SFOS’i ja KA strateegiliste eesmärkidega, sest strateegilisi eesmärke ei ole seatud. Pikaajaline planeerimine eeldab, et on ette teada suuremad arendustööd, mis tuleks teha lähema paari aasta vaates. RMIT ei anna omapoolset sisendit SFOS’i pikaajalise arendusplaani koostamisse (eelkõige arendused, mis on oma eluaja lõpul, nende tehnoloogia või platvorm on vananenud ning seetõttu suurenenud risk turvalisusele või käideldavusele). RMIT on küll kaasatud jooksvalt esitatud arendusettepanekute protsessi, kus vastavalt vajadusele lisatakse tellitud arendustööle ka tehnilisest võlast tingitud töid, kuid selline protsess ei ole läbipaistev ning ei taga, et tehnilisest võlast tingitud tööd saaksid õigeaegselt planeeritud. Tehnilisest võlast tulenevad arendused peaksid saama asutuse arendusplaanis kõrgeima prioriteedi. Hindamiskomisjon ei hinda ja arendusvajaduse prioriseerimise metoodikas puudub kriteerium vastavus strateegiale. Tehnoloogiline risk on vaid üks hindamiskriteerium viiest. Kui ettepanekud saavad samaväärsed 9 Asutuse ja RMITi vaheline IT teenuste arendamise põhimõtted. Kinnitatud IT komisjonis versioon 130, 16.06.2021. a. 10 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne hindepunktid, järjestatakse prioriteetsus lähtuvalt tehnoloogilisest riskist. Selline metoodika ei taga, et tehnilisest võlast tulenevad arendused saaksid arendusplaanis kõrgeima prioriteedi. Nii eelpool viidatud RMIT’i kaasamise kui ka ettepanekute hindamise protsessi oluliseks puuduseks on, et tehnilise võlaga arendused ei ole (pikaajalises) plaanis selgelt välja toodud ja planeeritud. Strateegia tasemel ei ole fikseeritud, millised funktsionaalsused (menetlusetapid ehk töövoog; läbiviidud kontrollide kontroll-jälje salvestamine, mis praegu toimub reeglina Excelis jne.) võiks SFOS’il olla, mis moodulid peaks olema. Selliselt ei ole tagatud, et arendusega tellitavad tööd vastaks täies ulatuses strateegilistele eesmärkidele, nt luuakse arendatavas moodulis töövoo võimekus, kuid ei ole seatud strateegilist eesmärki, et kõik töövood peavad toimuma SFOSis. Pikaajaline arendusplaan peaks tagama, et ollakse aegsasti valmis tehnoloogilisteks muudatusteks, jälgitakse platvormi aegumist, tehnilist võlga, ollakse aegsasti valmis migratsiooniks, tagatakse automaattestide olemasolu jne. Arendusplaani olemasolu on vajalik arendustööde prioritiseerimisel ja jooksvate arendusotsuste tegemisel. Risk: Juhul kui SDLC protsessid ei ole kooskõlas organisatsiooni nõuete ja algatustega, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitused: 1. Võtta aluseks RM’i IT teenuste arendamise põhimõtete10 dokument ja koostada SFOS’i pikaajaline arendusplaan, kinnitada see asjakohase juhtorgani poolt ning lisada info projektdokumentatsiooni Confluence’s. Koostada protsess, mis tagab pikaajalise plaani kaasajastamise. 2. Tagada, et asjakohane hindamiskomisjon arvestab hindamisotsuste tegemisel kooskõla strateegiaga. 3. Tagada (pikaajalises) plaanis tehnilise võlaga arenduste selge eristamine ja planeerimine. RTK kommentaar: Täna on SFOS strateegiline eesmärk peamiselt RTK kui KA õigusaktidest tulenevate kohustuste täitmise tagamine (vt ka auditeeritava üldine kommentaar lk 8-9). SFOS on nimetatud kohustuste täitmise vahend koos muude töövahenditega (dokumendihaldussüsteemid, tehnilised töövahendid nagu Confluence, Jira, sharepoint (https://rtkportaal.intra.rmv/) ja teised keskkonnad. Kasutajamugavus on sellele täienduseks üks mõõdik. Auditeeritava hinnangul on esitatud tähelepanek soovituslikku laadi, kuna ei nõua asutuses selliseid muudatusi, mis oleks vajalik teha kiirelt või juhtkonna tasandil reageerimist. RTK hinnangul on SFOSi arenduse põhisuund olemas ning asub erinevates dokumentides (nt EK õigusaktid ja juhendid, KA toimivusanalüüs, arendusettepanekute hindamiskriteeriumid, lähteülesannete vormil olevad suunised ja tähelepanekud ning ärianalüütikute ja projektijuhi tööalased sisemised kokkulepped). Kõigi RTK infosüsteemide kriitilised edutegurid on fikseeritud arengukavas ning need vaadatakse igal aastal üle. Tänane praktika toimib RTK vajadustele vastavalt. Auditeeritav on nõus, et strateegilised pikaajalised eesmärgid võiksid olla täpsemalt ja üheselt arusaadavamalt kirja pandud ning sellega tegeletakse juba 2022. aasta algusest. SFOS pikaajaline eesmärk on ülevaatamisel. Samuti vaadatakse üle arendusprotsesside töökord ja materjalid ning analüüsitakse võimalust koondada need keskselt Confluence SFOS arenduse lehele, kuid arvestatakse RTK üleselt tööprotseduuride kajastamiste põhimõtteid, et välistada materjalide dubleerimist. Samuti tegeletakse RTK-s andmehalduse projektiga vastavalt MKM andmehalduse tegevuskavale. RTK ei pea vajalikuks audiitori poolt soovitatud juhendit eraldi kasutusele võtta vaid lähtuda MKM andmehalduse tegevuskavast, mis on ajakohasem. 10 Asutuse ja RMITi vaheline IT teenuste arendamise põhimõtted. Kinnitatud IT komisjonis versioon 130, 16.06.2021. a. 11 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Arendusettepanekute hindamiskomisjon on olemas ning hindamisel lähtutakse etteantud kriteeriumitest. Lisaks hinnatakse ja valideeritakse suuremad strateegilisemad arendused toetuste valdkonna juhtide kohtumistel. Tehnilise võla teema olulisust teadvustatakse ning mõeldakse teema keskselt läbi. Hindamiskriteeriumid on juba ülevaatamisel ning lisaks kaasatakse erinevad osapooled parimate lahenduste leidmisse. Selle tulemusel fikseeritakse vajalikud kokkulepped ja tööprotseduurid. Soovituse rakendamise eest vastutav isik: 1. Koostöös vaadatakse üle arendusprotsessid, hindamiskriteeriumid, SFOS arenduse strateegia ja eesmärgid. TDT juhataja Kadi Raudsepp koostöös MTO juhataja Marek Ilvesega. 2. Koostöös vaadatakse üle arendusprotsessid, hindamiskriteeriumid, SFOS arenduse strateegia ja eesmärgid. TDT juhataja Kadi Raudsepp koostöös MTO juhataja Marek Ilvesega 3. SFOS projektijuht Indrek Mägi. Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale. Audiitorite hinnangul on selgete strateegiliste eesmärkide seadmine oluline, et tagada arenduste kooskõla pikaajaliste eesmärkidega, s.h valmisolek tehnoloogilisteks muutusteks ning arenduste kuluefektiivsus. SFOS arendusprotsessi tõhususele hinnangu andmise kontekstis on SFOSi pikaajaliste eesmärkide puudumine oluline teema, mistõttu on vastavalt kategoriseeritud ka antud tähelepanek. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. Väheoluline tähelepanek nr 1.2.2 – Tooteomaniku roll ja muud projekti meeskonna rollide kirjeldused vajavad täpsustamist. Vastutuste kirjeldamiseks ei kasutata vastutusmaatriksit, nt RACI. Tarkvaraarenduses on kõige tähtsam roll tooteomanik (ka teenuseomanik), kes suhtleb tihedalt kasutajate huvigruppidega ja vastutab nende vajadustele vastava toote/teenuse ehitamise eest. Tooteomanik teeb kõige olulisemaid otsuseid, mida tootes arendatakse ja mida mitte. Tooteomanik tunneb oma toodet täies ulatuses väga hästi. RM valitsemisala IT arendustööde läbiviimise korras11 on asjakohased rollid kehtestatud, mh teenuse omanik, kuid RTK ei ole mainitud korda järginud ja SFOS’i arendusprotsessis ei ole vastavaid rolle defineeritud. Hea arendusprotsessi tava näites – RM IT teenuste arendamise põhimõtete12 dokumendi järgi peab olemas olema isik, kes vastutab konkreetse teenuse või toote osutamisega seotud äriprotsesside arendamise eest ning selle eest, et teenuse sisu ja funktsionaalsus oleksid õiged, asjakohased ja aktuaalsed. Tooteomanikke võib olla ka valdkonnapõhiselt mitu, tähtis on sellise rolli defineerimine ja vastutuse kirjeldus. Toimiva tööprotsessi jaoks tuleb defineerida kõik projektis osalejate rollid. Rollide arv sõltub projekti suurusest ning valitud tarkvara loomise mudelist. Tavapäraselt on meeskonnas kaetud nt järgmised rollid: tooteomanik (ka teenuseomanik), visuaalne disainer, teenusdisainer, ärianalüütik, UX/UI spetsialist (ka kasutusmugavuse spetsialist), tehniline arhitekt, tehniline analüütik, arendaja, testija (ka QA spetsialist), süsteemi administraator (ka DevOps), kasutajatoe spetsialist, jt. Seejuures võib üks isik kanda mitut rolli, aga rollide jaotus inimeste vahel peab olema fikseeritud. RTK töörühmade moodustamise dokumendist ei selgu nende vastavus RM haldusala rollidele ja vastutusaladele (Asutuse arenduste otsustusüksus, Arendusi koordineeriv üksus, RMIT IT töörühm) ning kui on erinevusi, siis puudub põhjendus, miks erinevused on vajalikud. 11 Rahandusministeeriumi valitsemisala IT arendustööde läbiviimise kord. Kinnitamise kuupäev: 21.11.2014. a. 12 Asutuse ja RMITi vaheline IT teenuste arendamise põhimõtted. Kinnitatud IT komisjonis versioon 130, 16.06.2021. a. 12 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne RTK ei kasuta vastutuste kirjeldamiseks vastutusmaatriksit, nt RACI. RTK selgitas, et RACI maatriksi kasutamine ei ole kohustuslik. Audiitori hinnangul on vastutusmaatriksi, nt RACI kasutamine vastutuste kirjeldamiseks vajalik: • IT standardi (COBIT) tool kit’i on lisatud RACI maatriks ning COBIT tava „Establish roles and responsibilities“ nõuab selgeid rolle ja vastutusalasid. • Auditi metoodikana kasutatud ISACA Software Audit Assurance Program plokis valitsemine (governance) on nõutud kontroll – SDLC juhtkomitee on asjakohaselt juhitud ning projektidest on ülevaade (SDLC steering committee is appropriately managed and oversight exists for major and minor SDLC projects). Kontrolli toimimiseks on vajalik: o RACI maatriks, mis katab kõik SDLC protsessi võtmerollid (Obtain the responsible, accountable, consulted, informed (RACI) matrix defining key roles in each area of the SDLC process). o RACI maatriksis peavad olema kaetud loetletud rollid 9tk (Verify that the RACI provides for the following roles). • Erinevad RM valitsemisala IT arenduste korrad ja juhised kasutavad RACI maatriksit. Risk: Juhul kui SDLC protsessid ei ole kooskõlas organisatsiooni nõuete ja algatustega, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitused: 1. Viia läbi kõigi projektiga seotud inimestega koolitus/töötuba, kus seletatakse lahti ja kaardistatakse SFOS’i arendusprojekti kõik rollid ja nende vastutusalad. Defineerida tooteomaniku roll ja vastutus ning kes nimeliselt seda vastutust kannavad. Lisada info projektdokumentatsiooni Confluence’s. 2. Koostada asjakohased RACI maatriksid. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist väheolulise tähelepanekuga vaid pigem soovitusega. RM valitsemisala IT arendustööde läbiviimise kord on MTO-s läbi töötatud ning selle tulemusel tehti RM-ile ettepanek muuta korda vastavalt RTK praktikale. Muudatused viidi dokumenti sisse. RTK protsess suurte arenduste puhul on igal juhul kooskõlas vastava korraga. Kuna SFOS teiste süsteemidega ei konkureeri, siis on otsustamise koht, kas teha eraldi RACI maatriks, mis kopeeriks korraldusasutuse käsiraamatus ja Conflences kirja pandut: erinevate osapoolte kaardistust info jagamiseks ja kaasamiseks. Arvestusteenuse IT süsteemide arendamiseks on MTO töökord, kus pole ka RACI maatriksit kasutusel kuid tööprotsess on kirjeldatud samaväärselt nagu korraldusasutuse käsiraamatus. Samuti on erinevate lepingupartneritega (RMIT, Helmes) kaasatus ja kokkulepped kajastatud lepingutes. Samas on auditeeritav nõus, et projektiga seotud isikutega töötoa läbiviimine RTK ja RMIT poole koostöö ja rollide täpsustamiseks toetab projektmeeskonna igapäevatöö läbipaistvust ja omavahelist kommunikatsiooni. Soovituse rakendamise eest vastutav isik: Arendusprotsesside ülevaatamisel vaadatakse üle ka osapoolte kaardistus ja nende infovajadus. Vajadusel viiakse läbi RTK ja RMIT SFOS projektmeeskonna töötuba. TDT juhataja Kadi Raudsepp koostöös SFOS projektijuht Indrek Mägiga. 13 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale, et efektiivse arendusprotsessi tagamiseks on vajalik, et kõik rollid oleksid selgelt ja üheselt mõistetavalt defineeritud. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. Oluline tähelepanek nr 1.2.3 – SFOS’i projektile ei ole defineeritud piisavalt eesmärke ja mõõdikuid ning neid ei jälgita juhtkomitee tasemel. SFOS projektil puuduvad korrektselt defineeritud projekti eesmärgid ja mõõdikud. Organisatsiooni strateegiast tulenev eesmärk on kasutajate rahulolu tõstmine. Hinnatakse rahuolu e-toetuskeskkonnaga, toetusega seotud reeglite arusaadavust ning koostöökogemust toetuse andjaga. Kolmest küsimusest vaid üks teatud mööndustega seostub väga üldisel tasemel arendusprotsessi kvaliteedi mõõtmisega. Rahulolu indeksit mõõdetakse kord aastas, lisaks tehakse regulaarselt kord kuus rahulolu uuringuid. Rahulolu küll mõõdetakse, aga puudub konkreetsem eesmärk (nt x% rahulolu kasv aasta jooksul). Tarkvaraprojekti edukuse mõõtmiseks ainult ühest eesmärgist ei piisa. Positiivse tähelepanekuna oli kasutajatoe haldusalas olemas SLA edukuse määra mõõtvad mõõdikud. Sätestatud mõõdikuid peaks regulaarselt (nt kord kuus või kord kvartalis) monitoorima juhtkomitee, kes saaks selliselt ülevaate, kuidas mõõdikud liiguvad, milline on arenduse edukus, milline on tehniline võlg. RM’i IT teenuste arendamise põhimõtete13 dokumendi punktis 10 „Lõpetamine” on edukriteeriumitele pööratud olulist tähelepanu. Projekti lõpetamise etapis (p 10 “Lõpetamine”) on RACI maatriksis eraldi tegevus “Projekti retrospektiivi korraldamine (sh projekti edukriteeriumitele vastavuse hindamine)”. Edukriteeriume saaks seada ja monitoorida nii projektipõhiselt kui ka projektiüleselt (vt Lisa 2: Eesmärkide ja mõõdikute näited). Risk: Juhul kui SDLC protsessid ei ole kooskõlas organisatsiooni nõuete ja algatustega, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitused: 1. Defineerida projekti eesmärgid (edukuskriteeriumid) ja neile vastavad mõõdikud (3 kuni 5 tk), mis aitaksid regulaarselt hinnata ja mõõta projekti edukust. Kasutada eesmärkide loomisel S.M.A.R.T formaati (Specific, Measurable, Achievable, Relevant, Time-bound). Alustada eesmärkide mõõtmist ja sätestada mõõdikute monitoorimine juhtkomitee tasemel. Lisada eesmärkide ja mõõdikute info projektdokumentatsiooni Confluence’s (vt tähelepanek 1.1.1). Eesmärkides võiksid sisalduda ka innovatsiooni ja jätkusuutlikkuse (sh tehnilise võla) aspektid (vt Lisa 2: Eesmärkide ja mõõdikute näited). RTK kommentaar: Auditeeritava hinnangul ei ole tegemist olulise tähelepanekuga vaid olemasoleva olukorra teatud osas täiendamisega kuna ei nõua asutuses selliseid muudatusi, mis oleks vajalik teha kiirelt või juhtkonna tasandil reageerimist. Täna on SFOS strateegiline eesmärk peamiselt RTK kui korraldusasutuse õigusaktidest tulenevate kohustuste täitmise tagamine (vt ka auditeeritava üldine kommentaar lk 8-9). SFOS on nimetatud kohustuste täitmise vahend koos muude töövahenditega (dokumendihaldussüsteemid, tehnilised töövahendid nagu Confluence, Jira, sharepoint (https://rtkportaal.intra.rmv/) ja teised keskkonnad. Kasutajamugavus on arengukavas lisaks märgitud mõõdik. 13 Asutuse ja RMITi vaheline IT teenuste arendamise põhimõtted. Kinnitatud IT komisjonis versioon 130, 16.06.2021. a. 14 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne RTK kui KA peab hindama oma juhtimis- ja kontrollisüsteemide toimimist (sh SFOS) ning seda tehakse enne igakordset EK-le esitatavat kuluaruannet KA ekspertide toimivusanalüüsis. SFOS projekti sisesed väiksemad arendused lähtuvad täna KA-le esitatud EK nõuetest ning lähte ülesande vormil on eraldi kohad, kus tulebki välja tuua, mis on just selle arenduse eesmärk – kas viia kooskõlla teatud õigusakti muudatusega või muuta teatud sihtgrupi kasutusmugavus või muu asjaolu. RTK on teadvustanud, et kriitiliste vigade hulk on oluline teema ning kaalutakse SFOS eelarves kriitiliste vigade jaoks eraldi reservi loomist. Rahulolu-uuringuid tehakse RTK-s juba täna eraldi huvigruppidele: administratsioonile ja e-toetuse kasutajale. Lisaks on võimalik tagasisidet võtta välja huvigruppide siseselt veelgi detailsemalt: nt KIK ja EAS eraldi RÜna. Soovitus ei ole arvestanud olemasolevaid võimalusi. Seega ei ole RTK hinnangul tegemist olulise tähelepanekuga vaid olemasoleva olukorra teatud osas täiendamisega. Auditeeritav arvestab soovitustega iga-aastases protseduuride ja operatiivsete mõõdikute ülevaatuses ning juba jaanuaris 2022 alustati SFOS strateegilise suuna ülevaatamisega. Selleks on eraldi tegevused käsil. Soovituse rakendamise eest vastutav isik: 1. Arengukava ja operatiivmõõdikud vaadatakse TDT ja MTO koostöös üle. RTK sisene tähtaeg nende dokumentide täiendamiseks on 2022.a novembris. Vastutav isik: Marek Ilves. Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale, et selgete eesmärkide ja mõõdikute seadmine ja nende regulaarne monitoorimine on oluline, et mõõta arendusprotsessi kvaliteeti ja tagada efektiivne kulude juhtimine. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. Oluline tähelepanek nr 1.2.4 – Puudub kvaliteedikriteeriumitele tuginev projekti kvaliteedijuhtimine. SFOS projektis ei ole määratletud kvaliteedikriteeriumeid, neid ei jälgita. Ei koguta ja ei analüüsita ka projektiüleseid näitajaid (ärianalüütika), näiteks ei mõõdeta: ● kui palju arendusettepanekutest teostatakse; ● kui kiiresti neid keskmiselt teostatakse; ● kui palju ettepanekuid hindamiskomisjonist tagasi lükatakse; ● kui pikk on keskmine aeg ettepaneku tegemisest kuni tootesse jõudmiseni; ● kui suur on kriitiliste vigade tekkimise arv; ● kui kiiresti kriitilised vead parandatakse; ● kui palju töödest on uute featuuride loomine (nn innovatsiooni indeks); ● kui palju on tehnilist võlga; ● kui palju on hooldusele ja kasutajatoele kuluvaid töid, jne. Puudub kvaliteedikriteeriumitele tuginev kvaliteedijuhtimine, mis tagaks arenduse pideva kvaliteeditaseme. Suuremate projektide valmimisel ei teostata ülevaatust, kas plaanitud kulude kokkuhoid vastab algsele eesmärgile, projekti algatamiseks esitatud ärilised põhjendused on olnud asjakohased ning kas ärieesmärk ja/või funktsionaalsus nõuded on saavutatud. 15 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Risk: Juhul kui SDLC protsessid ei ole kooskõlas organisatsiooni nõuete ja algatustega, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitused: 1. Alustada regulaarset kvaliteedikontrolli protsessi. Koostada kvaliteedikava, mis sisaldab kvaliteedikriteeriumeid, eeldatavaid riske ja riskijuhtimist. Suuremate projektide valmimisel teostada ülevaatust, kas plaanitud kulude kokkuhoid vastab algsele eesmärgile, projekti algatamiseks esitatud ärilised põhjendused on olnud asjakohased ning kas ärieesmärk ja/või funktsionaalsus nõuded on saavutatud. 2. Defineerida kvaliteedikriteeriumid ja protsessid kuidas neid regulaarselt kontrollida. Lisada Jira töödele külge vajalikud väljad ja koostada vastavad päringud, mille alusel saab kvaliteedikriteeriumeid monitoorida ja ärianalüütikat teostada. Lisada info teostatud analüütikast projektdokumentatsiooni Confluence’s. Kvaliteedikriteeriumite näited: ● Kriitiliste vigade esinemiste arv toodangus. ● Kriitiliste vigade parandamise keskmine kiirus tundides. ● Innovatsioon: uute arenduste toodangusse jõudmise kiirus (päevades). ● Uute arenduste loomise osakaalu % kõigist arendustöödest. ● Tehnilise võla osakaal % või suurus inimtundides. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist olulise tähelepanekuga vaid olemasoleva olukorra teatud osas täiendamisega kuna ei nõua asutuses selliseid muudatusi, mis oleks vajalik teha kiirelt või juhtkonna tasandil reageerimist. Nimetatud kvaliteedi kriteeriumid on mõeldud pigem IT arendusfirmadele. RTK kui organisatsiooni peamine ülesanne ei ole IT arendus vaid toetuste vahendamise korraldamine ja haldus, seega ei pea vajalikuks teha eraldi kvaliteediprotsessi arendusele. Juba praegu on võimalik soovituses välja toodud mõõdikuid süsteemist välja võtta. Näiteks on RTK mõõtnud kui palju arendusettepanekutest teostatakse ning kui kiiresti neid keskmiselt teostatakse. Mõõtmis tulemusi on kaalutud ja analüüsitud, kuid on hinnatud, et nende mõõtmine ja jälgimine ei aita RTK siseseid arendus ja haldus protsesse paremini juhtida. Arenduspartneri arenduskiirus ei ole RTK teha. Seda näitab hästi 24. veebruarist 2022. a maailmas tekkinud muudatuste tõttu arenduspartneri töötajate lahkumine üleöö. RTK kaalub toimivusanalüüsis SFOSi osa suurendamist ning asjakohaste mõõdikute lisamist ja SFOS strateegiliste eesmärkide mõõdikute täiendamist ja ülevaatamist, kuid soovituses pakutud mõõdikute lisamine ei ole SFOSi kui arendusprojekti mõistes RTK hinnangul oluliseks kasuks. RTK lähtub oma tegevuste ja vahendite puhul EK poolt KA-le esitatud kvaliteedi ja kontrollide nõuetest toimivusanalüüsis (vt ka vastus tp-le 1.2.3). Seega ei ole RTK hinnangul tegemist olulise tähelepanekuga vaid olemasoleva olukorra teatud osas täiendamisega. Auditeeritav arvestab soovitustega iga-aastases protseduuride, strateegiliste ja operatiivsete mõõdikute ülevaatuses ning juba jaanuaris 2022 alustati SFOS ülese strateegilise suuna ülevaatamisega. Selleks on eraldi tegevused käsil. 16 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Soovituse rakendamise eest vastutav isik: Vaadatakse üle arendusprotsessid, hindamiskriteeriumid, SFOS arenduse strateegia ja eesmärgid ning ka operatiivsed eesmärgid. TDT juhataja Kadi Raudsepp. Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale. Audiitorite hinnangul on arendusprotsessi kvaliteedi tagamiseks oluline, et projektile on määratud selged kvaliteedikriteeriumid. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. 1.3 Valdkond: Koolitus ja teadlikkus Eesmärk: SDLC koolitusmaterjalid on olemas, töötjad on koolitatud ja teadlikkus võimaldab protsessis orienteeruda. Meetmed: On olemas toimiv koolitusplaan organisatsiooni võtmeisikute koolitamiseks. Toimiv ohtude ja nõrkuste infokogumine avalikest jt allikatest. Koolitusi tehakse, õigetele sihtrühmadele, nende kasu ja väärtus on mõõdetav ja seda sisendit kasutatakse. Teadlikkuse tõstmisega tegeletakse, selle kasu ja väärtus on mõõdetav ja seda sisendit kasutatakse. On olemas uue töötaja pakett ja töötajaid koolitatakse. 2 Tarkvaraarenduse elutsükkel (SDLC) 2.1 Valdkond: Tarkvara arendusega seotud muudatuse planeerimine Eesmärk: Tarkvaraarenduse planeerimine on selgelt ja arusaadavalt defineeritud, sh rakendatud kõigile projektidele, mis hõlmavad endas tarkvara koodi loomist. Meetmed: Projektiplaan on loodud ja see sisaldab rolle, kes vastutab mille eest ja määratleb huvipooled (stakeholders). On tehtud mõjuanalüüs muudatusest puudutatud süsteemidele, protsessidele ja inimestele, et tuvastada asjakohased riskid. Projektiplaan hõlmab taganemisteid, kui muudatusel peaks ilmne kahjulikud mõjud (adverse effects). Positiivsena võib välja tuua, et väikearendusi planeeritakse väikestes interatiivsetes tsüklites, mis tagab ajaliste ja rahaliste ressursside optimaalse kasutuse lühikeses ajahorisondis. Teadlikult pannakse rõhku kasutajamugavusele. Oluline tähelepanek nr 2.1.1 – Suuremate arendustööde korral ei teostata mõjuanalüüsi ja puudub riskiplaan. Suurema arendustöö (SFOS projektis ei liigitata arendustöid nende maksumuse järgi) planeerimisfaasis tuleks koostada mõjuanalüüs muudatusest puudutatud süsteemidele, protsessidele ja inimestele, et tuvastada asjakohased riskid. Arendustöös peab olema riskiplaan. Seda nõuab ka RM valitsemisala IT arendustööde korra lisa 1 (arendusvajaduse vorm)14, plokk “Riskid”, kus on riskimaatriks - tõenäosus, mõju, leevendamistegevused, vastutaja. Sellise analüüsi koostamine oleks juhtkonnale aluseks arendustööde rahastuse kinnitamisel. 14 Rahandusministeeriumi valitsemisala IT arendustööde läbiviimise kord. Kinnitamise kuupäev: 21.11.2014. a. 17 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne SFOS’i arendusprotsessis sellist mõjuanalüüsi ei koostata. Ei tooda välja piiranguid, mis ei allu tellija kontrollile ja võivad mõjutada arendustöö läbiviimise edukust. Ei hinnata riske, mis võivad häirida või olulisel määral mõjutada püstitatud eesmärkide saavutamist. Igale riskile tuleks määrata riski realiseerumise tõenäosus ning näha ette leevendamistegevused, mida tehakse riski ilmnemise ärahoidmiseks ja/või ilmnemisel, samuti määratakse vastutaja. Risk: Juhul kui tarkvaraarenduse planeerimine ei ole selgelt ja arusaadavalt defineeritud, rakendatud kõigile projektidele, mis hõlmavad endas tarkvara koodi loomist, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitused: 1. Kehtestada arenduste maksumuse lävend, millest alates kehtiks alltoodud soovitus. 2. Koostada suuremate arenduste korral alati riskimaatriks ja teostada mõjuanalüüs. Järgida riske ja seda jälgitakse juhtrühma tasandil - kas mingi riski tõenäosus on suurenenud või juba realiseerunud, otsustada, kas on vaja algatada leevendamistegevusi. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist olulise tähelepanekuga vaid olemasoleva olukorra teatud osas täiendamisega kuna ei nõua asutuses selliseid muudatusi, mis oleks vajalik teha kiirelt või juhtkonna tasandil reageerimist. Kõik arendusettepanekud läbivad hindamise, mille käigus hinnatakse ka arenduse riske. Lähteülesande vormil on eraldi lahter arendusega kaasnevate riskide läbi mõtlemiseks, sh riskid, kui seda arendust ei tehtaks. Lisaks on MTO töökorras plaanis teha RTK üleselt täiendus ja kehtestada seal arendustele teatud lävendid (maksumus või maht). Samuti vaadatakse üle SFOS arendusprotsessid ning vajadusel täiendatakse. Soovituse rakendamise eest vastutav isik: MTO Marek Ilves. Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale. Audiitoritele aruande kommenteerimise käigus esitatud täiendavatest tõendusmaterjalidest ei nähtu, et tähelepanekus kirjeldatud riskihindamine (s.h määratletud riskid, mis mõjutavad eesmärkide saavutamist, koos maandamistegevuste ja vastutajatega) oleks suuremate arenduste puhul läbi viidud. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. Täiendav soovitus kasutajate huvigruppide kaardistamiseks ja kaasamiseks: 1. SFOS infosüsteemi kui terviku kasutajagrupid, teekonnad ja teenuse kaart ei ole dokumenteeritud. Kaasates TAO teenuse disaini talituse ärianalüütikuid viia läbi teenusdisaini protsess ja koostada kasutajate huvigruppide terviklik kaardistus, kasutaja teekonnad süsteemi olulisemate tegevuste kohta. Lisada info projektdokumentatsiooni Confluence-s. 2. Kehtestada arenduste maksumuse lävend, millest alates kehtiks alltoodud soovitused 3 ja 4. 3. Kaasata enne uue arenduse analüüsifaasi teadlikult kõik mõjutatud huvigruppide esindajad ja fikseerida selgelt nende ootused. Kehtestada selge töövoog ja RACI maatriks, kuidas suhtlus huvigruppidega toimuks. Teavitada enne kaasamist huvigruppe töövoost. 18 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne 4. Suurematel ja uutel arendustel kehtestada nõue enne analüüsi kaasata vastav SF ekspert. Tagada, et arutatud teemad on nõuetekohaselt dokumenteeritud. Kehtestada selge töövoog ja RACI maatriks, kuidas suhtlus toimuks. Teavitada eksperti enne kaasamist töövoost. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist olulise tähelepanekuga vaid pigem protsessi optimeerimise küsimusega ning praktilise tööprotsessi täiendamisega tänapäevasemate vahenditega. RTK-s ei ole olukord, et arenduse projektmeeskond ei tunne oma klienti – iga arenduse juures vaadatakse mõjutatud sihtgrupid ja kasutajad üle ning hinnatakse nende vajadusi just konkreetse arenduse vaates. Auditeeritav nõustub, et kui on keskselt olemas klienditeekonnad, võib arenduse analüüsi protsess olla mõnevõrra kiirem. Kuid ka siis tuleks klienditeekonnad arenduse analüüsi hetkes üle vaadata, et need poleks aegunud. RTK on alustanud jaanuaris 2022 SFOS kliendi persoonade loomise protsessiga ning käimas on kliendiintervjuud. Soovituse rakendamise eest vastutav isik: Vaadatakse üle analüüsiprotsessid. TDT juhataja Kadi Raudsepp. 2.2 Valdkond: Kavandamine (design) ja tarkvara arendus Eesmärk: Võtmekohad tarkvara kavandamisel ja arendusel on paigas ja kasutusel, et tagada töökindla lõpptoote tarne. Meetmed: Kasutajate nõuded ja vajaduste kirjeldused on täielikult ja terviklikult dokumenteeritud; Nõuete kogumine ja dokumenteerimine on süsteemselt korraldatud. Arendatava tarkvara funktsionaalsete nõuete kirjeldused ja vajaduste analüüs on asjakohaselt dokumenteeritud. Tarkvara kavandamist (design) puudutavad spetsifikatsioonid ja dokumentatsioon on olemas ja mh on kirjeldatud ka liideste ja andmebaasi integratsioon. SFOS’i tehniline dokumentatsioon oli olemas, lingitud JIRA’ga ning ajakohane. Arendajaga toimub tihe kommunikatsioon, iganädalased reeglipärased koosolekud. IT projektijuhil on väga hea arusaam SFOS’i funktsionaalsusest. Auditi käigus ei testitud vigade haldamist, kuid kriitiliste vigade haldamise tase tundus hea, sest nende arv toodangus on vähene. Väheoluline tähelepanek nr 2.2.1 – Uue arendusettepaneku tegemise barjäär on tavakasutaja jaoks liiga kõrge. Protsessi saaks lihtsustada ja automatiseerida. Hetkel kehtiva tööprotsessi järgi on uue arendusettepaneku tegemiseks kasutusel eraldi vorm, mille ettepaneku tegija peab alla laadima, ära täitma ja e-mailile saatma. Sellisel moel on uue ettepaneku tegemine kasutajale väga ebamugav, samuti küsitakse tema käest liiga palju andmeid. Arendusettepaneku küsimisel tuleks keskenduda ainult kasutaja vajaduse kaardistamisele ja jätta ära väljad, mis on ärianalüüsi osa ja tuleb teostada ärianalüütikute poolt: “3. Arendusvajaduse õiguslik alus”, “4. Väärtus kasutajale” (selle asemel küsida olulisust kasutaja jaoks skaalal 1..5), “5. Aja ja raha kokkuhoid”. 19 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Rahandusministeeriumi (RM) valitsemisala IT arendustööde läbiviimise korra15 järgi esitab idee autor idee kirjelduse tellijale (projektijuhile), kes koostab vastaval arendusvajaduse vormil arendusvajaduse algatamiseks. SFOS’i arendustöö algamiseks peab aga idee autor ise koostama sellise arendusvajaduse vormi (vorm ei ole siiski üks ühele identne RM’i poolt kehtestatud vormiga). Selliselt peab idee autor olema võimeline täitma tellija (projektijuhi) rolli (vt ka tähelepanek 2.1.2). Uue ettepaneku esitamise barjääri saab teha oluliselt madalamaks ja muuta automaatsemaks kui lisada veebisaiti veebivorm, mille täitmisel saadetakse ettepanek automaatselt JIRA’sse ja luuakse automaatselt uus JIRA ticket. Seejuures ei pea veebivormi täitja olema kuskile sisselogitud. Sellise vormi nimi on JIRA Issue Collector, vt rohkem https://confluence.atlassian.com/adminjiraserver071/using-the-issue-collector-802592637.html Risk: Juhul kui tarkvara kavandamisel ja arendusel ei ole võtmekohad paigas ja kasutusel, et tagada töökindla lõpptoote tarne, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitus: Digitaliseerida arendusettepanekute protsess näiteks käesolevas tähelepanekus väljatoodud võimalustele ning muuta arendusettepaneku vormi vastavalt käesolevas tähelepanekus väljatoodule. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist väheolulise tähelepanekuga, mis vajaks juhtkonna reageerimist vaid soovitusega optimeerida olemasolevat vormi. RTK tarkvara kavandamise ja arenduse võtmekohad on paigas ja kasutusel ning kirjeldatud olukorra puhul ei ole organisatsioonile täiendavaid kulutusi. Audiitoritele selgitati, et enamasti on ettepaneku esitaja äripoole esindaja või administratsiooni kasutaja. SFOS ja e-toetuse kasutajatele arendusettepanekute vormi lihtsustamisega on auditeeritav nõus. Samas ei ole auditeeritava hinnangul otsest vajadust arendusettepanekute digitaliseerimist teha kõigi auditi aruandes toodud näidete ulatuses. Soovituse rakendamise eest vastutav isik: Protsesside ja vormide ülevaatamisel hinnatakse soovituse kasutatavust ja vajalikkust. Vastutaja Kadi Raudsepp. Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. Väheoluline tähelepanek nr 2.2.2 – JIRA’s ei ole täielikku ülevaadet tööde staatusest. RTK toetuste valdkonna töökorra16 järgi jälgib TAO ärianalüütik jooksvalt esitatud arendusettepanekuid ja valmistab tehniliselt ette arendusettepaneku hindamise koosoleku. Kui hindamisel selgub vajadus arendusettepaneku täpsustamiseks, määratakse ettepaneku esitajaga kontakteerumiseks vastav isik, kes küsib ettepaneku algatajalt täpsustusi. 15 Rahandusministeeriumi valitsemisala IT arendustööde läbiviimise kord. Kinnitamise kuupäev: 21.11.2014. a. 16 Riigi Tugiteenuste Keskuse toetuste valdkonna töökord programmperioodiks 2014-2020/2021 20 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Analüüsisime seisuga 2.09.2021. a. TAO ärianalüütikute (edaspidi TAO) JIRA projekti RA0004, mis võeti TAO poolt kasutusele alates juunist 2020. a. Juuni 2020 kuni september 2021 on salvestatud 99 töövoogu. Analüütika nende töövoogude kohta on järgmine: ● 25 töövoogu oli väljavõtte tegemisel TAO töölaual (Awaiting implementation), st ärianalüütik täpsustab lähteülesande autorilt lähteülesannet. Neist 17 on TAO töölauale jõudnud enne detsembrit 2020. a. Ühe töö puhul ei ole peale töövoo algatamist rohkem toiminguid tehtud. Kahe töö puhul oli viimane toiming märtsis ja aprillis 2020. ● 63 töövoogu on staatusega suletud, neist 29 on märkega tehtud, 2 lahenes ise, 29 on märkega ei teostata ning 3 on märkega infot oleks juurde vaja. ● 11 töövoogu on tähistatud nelja erineva staatusega, mille sisu on, et töö on arenduses või arendusse jõudmas, st MTO töölaual. 54 töövoogu 99-st on ilma skoorita, neist 41 on staatusega suletud, neist on: ● 18 märkega ei teostata ● 20 märkega tehtud, lahenes ise ● 3 märkega infot oleks juurde vaja Ilma skoorita töödest on praeguseni TAO töölaual 11 töövoogu. Nendest 8 on töölauale jõudnud juba 2020. aastal. Kuna asjakohaseid juhtimiskontrolle ei teostata, siis puudub ka juhtkomitee hinnang TAO teenuse disaini talituse arendusprotsessi efektiivsusele. Kui lähtuda KA tööprotsessist, siis täpsustuste küsimine ei tohiks võtta aega pool aastat kuni aasta. Hetkel kehtiva KA töökorra järgi peaks täpsustused olema küsitud enne järgmist hindamiskoosolekut, mis toimub kord kahe nädala jooksul. Ka töökorra varasemates versioonides oli selleks tähtajaks kaks nädalat, mis suuremate arenduste korral võis olla pikem. Arvestades, et auditi ajal hindamisel (st hindamiskomisjon on küsinud vastuseta küsimusi, võib-olla isegi korduvalt) olevatest töödest 17 ehk 68% on analüütiku poolt algatatud juba 2020. aastal, siis selline protsess ei ole efektiivne. Leidub mitmeid ettepanekuid, mis on töös, kuid ilma skoorita. Sellised tööd ei ole järelikult isegi jõudnud hindamiskomisjoni, kuigi analüütiku ülesanne on ettepanek vaid tehniliselt (st mitte sisuliselt) ette valmistada. Teisalt võib olla järeldus, et JIRA dokumenteerimine ei ole täpne (skoorid puudu, staatused valed): ● TAO töös on juba pikaajaliselt projektid, milledel puudub hindamisskoor. JIRA väljavõttest on näha, et juba pikka aega on TAO menetlemises projektid, milledel puudub hindamisskoor: RA0004-11762, töös alates 02.11.2020. a. ning RA0004-11780, töös alates 19.11.2020. a. ● TAO töös oli pikaajaliselt projekte, milledel puudus hindamisskoor ja mida otsustati mitte teostada. JIRA väljavõttest on näha, et TAO menetlemises oli mitmeid projekte, milledel puudus hindamisskoor: RA0004-11792 JIRA töövoog algatatud 24.11.2020. a., RA0004-11752 JIRA töövoog algatatud 14.10.2020. a, RA0004-11735 JIRA töövoog algatatud 16.09.2020. a. Kõik need töövood suleti 2.02.2021. a. märkega, et neid ei teostata. MTO töösse on võetud tööd, milledel puudub hindamisskoor. Tõenäoliselt on tegu väikearendustega. Esitatud JIRA väljavõtetest ja Exceli hindamistabelist ilmnes, et MTO on arendustöösse võtnud tööd RTK0023-970 (RA0004- 11807) ja RTK0023-244 (RA0004-11670). Töö RTK0023-244 lõpuks ka telliti maksumusega 4765,39 eurot. Mõlemal tööl puudus skoor. Tõenäoliselt otsustati tellimused töösse võtta, sest tegu oli väikearendustega. Kuna tegu oli arendusettepanekutega, siis oleks tulnud töid enne töösse võtmist nõuetekohaselt hinnata. Kui soovitakse erandeid teha, siis tuleks see nõuetekohaselt protseduuris formuleerida ja sätestada asjakohane töövoog. Praegu jääb mulje, et tööga nr RTK0023-970 (RA0004-11807) on asjatult tegeldud. Tagantjärgi ei ole võimalik hinnata kui palju sinna panustati. 21 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Intervjuudest ilmnes, et JIRA’s ei teostata ärianalüütikute tööde ülevaate juhtimiskontrolle. Ülaltoodud analüütika kinnitab vajadust juhtimiskontrollide järele. Projektihalduskeskkonnas JIRA (projekt RA0004) ei ole ülevaatlikult näha, kui palju töid on arvuliselt eri staatuses, millised töötajad tegelevad milliste töödega, kui kaua on kestnud konkreetse tööga tegelemine, jne. Eesmärgiks peaks olema täielik ülevaade kõigi tööde staatustest ja venima jäänud töödest. Risk: Juhul kui tarkvara kavandamisel ja arendusel ei ole võtmekohad paigas ja kasutusel, et tagada töökindla lõpptoote tarne, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitused: 1. Teostada JIRA tööde (projekt RA0004) inventuur, korrastada ja ühtlustada: saatused, resolutsioonid, skoorid, vajadusel ka muu info. Veenduda, et Jira tööd vastaksid tegelikule hetkeseisule. 2. Koostada protseduur ja töövoog, mis tagab, et info on edaspidi asjakohane (vt tähelepanek 1.1.1). Kehtestada asjakohased juhtimiskontrollid vastava JIRA aruande või väljavõtte vormis. Luua Jira’s (projekt RA0004) meeskonnale ühine projektiülene tahvel, kus veergudeks on staatused, töö juures on koheselt näha kelle nimel töö on ja on näha päevade number, mis on möödunud töö loomisest. Muuta Jira’s staatuse nimed selgeks (“ootab hindamist”, jne), mõelda läbi ja optimeerida välja “Resolution” kasutamist. Eesmärgiks on täielik ülevaade kõigi tööde staatustest ja venima jäänud töödest. Asuda vastaval juhtimistasemel TAO tegevust monitoorima. 3. Kehtestada protsessis mõistlikud tähtajad (arendusvajaduse valmimisele, lähteülesande valmimisele), kajastada tähtajad projekti kodukorras ja jälgida nendest kinnipidamist. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist väheolulise tähelepanekuga, mis vajaks juhtkonna reageerimist vaid soovitusega optimeerida olemasolevat protsessi ning võtta kasutusele teatud tehniliste vahendite seadistused. RTK tarkvara kavandamise ja arenduse võtmekohad on paigas ja kasutusel ning kirjeldatud olukorra puhul ei ole organisatsioonile täiendavaid kulutusi. Soovitus 1, Jira tööde inventuur on läbi viidud juba nimetatud projekti kasutusele võtmisest alates: tööde staatused fikseeritud, filtrid üles ehitatud, skoorid lisatud. Auditis tuvastatud puudused on auditi aruande kommenteerimise hetkeks parandatud. Jira projekti RA0004 varasem info peab olema ja jääma alles ajaloo säilimiseks. Jira projektis on eraldi selle protsessi jaoks loodud protsessivoo seisundid. Auditeeritav teeb ettepaneku antud arendusettepaneku liikumise protsessivoogu veel kord tutvustada ja selgitada, miks ja millal erinevad seisundid pannakse ning mida võimaldavad olemasolevad filtrid kuvada. Soovituse rakendamise eest vastutav isik: Soovituste 2 ja 3 kasutatavust hinnatakse protsesside ja vormide ülevaatamisel ning vajadusel täiendatakse olemasolevaid tehniliste lahenduste seadistusi. Ärianalüütikute protsesse hakatakse korralistel ärianalüütikute kohtumistel üle vaatama. Vastutaja Kadi Raudsepp. 22 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. Väheoluline tähelepanek nr 2.2.3 – Arendusprotsessis esineb töövahendite dubleerimist. 1. Arendusettepanekud säilitatakse eraldi Exceli tabelis, kuhu kantakse hindamiskoosolekul antud hinded, seejärel lisatakse lõppskoor JIRA’sse. Selliselt tekib kaks registrit JIRA ja Excel. JIRA’l on aga olemas kõik hindamisprotsessi läbiviimiseks ja dokumenteerimiseks vajalikud funktsionaalsused. JIRA’sse saaks luua vajalikud andmeväljad eri hindamiskategooriate jaoks. Isegi lõpliku hindamisskoori välja saab Jiras muuta automaatselt kalkuleeritavaks. Lisaks on JIRA’s olemas võimalused ühe hindamiskategooria piires hääletamiseks hindamiskomisjonis (nim dot voting). Hetkel toimuv dubleerimine on tarbetu, lisab ajakulu ja käsitöö suurendab veavõimalusi. 2. Projekti tööde nimekiri (JIRA Backlog) on täis teise projekti töid ja ei anna ülevaadet projektist. JIRA projektis RA0004 on ka ühe teise vana projekti andmed ehk prügi. Selliselt ei ole võimalik teha tavapäraseid tööde väljavõtteid/aruandeid ja koheselt näha, mis projektis toimub, sest vanad andmed segavad ja moonutavad pilti. Eesmärgiks on alustada ärianalüütika tegemist õigete andmete pealt (vt tähelepanek 1.2.3). 3. Analüüsi dokumenteeritakse dubleeritud töövahendiga. Kasutusel on JIRA/Confluence-i väline Wordi dokumendivorm (LÜ vorm). Vorm lisatakse JIRA’sse manusena analüüsi ticketi külge, kus selle lugemiseks peab selle enne alla laadima. See on ebamugav, vähendab läbipaistvust ja tekitab lisatööd. Analoogne protsess on arendusettepaneku vormi lisamisel (vt tähelepanek 2.2.1). Eesmärgiks on saada ühe klikiga ülevaade analüüsi sisust ja vähendada ebavajalikku tööd. Risk: Juhul kui tarkvara kavandamisel ja arendusel ei ole võtmekohad paigas ja kasutusel, et tagada töökindla lõpptoote tarne, siis ei ole tagatud kvaliteetne ja efektiivne arendusprotsess. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitused: 1. Korrastada kogu Jira Backlog, eemaldada vanade andmete prügi. 2. Luua vajalikud vormid (nt LÜ vorm) kas JIRA ticketi sisse või Confluence keskkonda ja mitte kasutada eraldiseisvaid dokumente. 3. Luua JIRA (projekt RA0004) töö detailvaatesse (user story template) juurde viis uut andmevälja eri hindamiskategooriate jaoks. Lõpliku hindamisskoori välja saab muuta automaatselt kalkuleeritavaks, nii et süsteem arvutab ise viie eri kategooria pealt keskmise ja salvestab selle hindamisskoori välja. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist väheolulise tähelepanekuga, mis vajaks juhtkonna reageerimist vaid soovitusega optimeerida olemasolevat protsessi ning võtta kasutusele teatud tehniliste vahendite seadistused. RTK tarkvara kavandamise ja arenduse võtmekohad on paigas ja kasutusel ning kirjeldatud olukorra puhul ei ole organisatsioonile täiendavaid kulutusi. Soovitus 1, Jira tööde inventuur on läbi viidud juba nimetatud projekti kasutusele võtmisest alates: tööde staatused fikseeritud, filtrid üles ehitatud, skoorid lisatud. Auditis tuvastatud puudused on auditi aruande kommenteerimise hetkeks parandatud. Jira projekti RA0004 varasem info peab olema ja jääma alles ajaloo säilimiseks. Jira projektis on eraldi selle protsessi jaoks loodud protsessivoo seisundid. Auditeeritav teeb ettepaneku antud arendusettepaneku liikumise 23 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne protsessivoogu veel kord tutvustada ja selgitada, miks ja millal erinevad seisundid pannakse ning mida võimaldavad olemasolevad filtrid kuvada. Auditeeritav nõustub soovitusega, et Jira seadistustes on palju võimalusi, mida võiks kasutusele võtta. TDT on plaanis täiendada olemasolevaid vorme ning tutvuda ka teiste riiklike asutuste arendusprotsesside hea praktikaga. Soovituse rakendamise eest vastutav isik: Soovituste 2 ja 3 kasutatavust hinnatakse protsesside ja vormide ülevaatamisel ning vajadusel täiendatakse olemasolevaid tehniliste lahenduste seadistusi. Ärianalüütikute protsesse hakatakse korralistel ärianalüütikute kohtumistel üle vaatama. Vastutaja Kadi Raudsepp. Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. Täiendav soovitus hindamise koosolekuks piisava sisendi saamiseks: 1. Kehtestada tööde piirmäärad (nt väikearendus, suur arendusprojekt, vm) või leida muu alus tööde liigitamiseks kategooriatesse. Vastavalt kategooriale kehtestada asjakohane protsess ja vajalikud vormid, võtta üle RM-i vormide loogiline sisu ja järjekord, mis eristab selgelt ettepanekut/arendusvajadust, ärianalüüsi ja tehnilist detailanalüüsi. 2. Juurutada JIRA arendusettepaneku ticketi sisus nõutav formaat, kus on kirjas kohustuslik minimaalne sisend, mis on vajalik ettepanekust kiirelt arusaamiseks ja selle hindamiseks. Eesmärgiks on hoida kokku aega ja mitte tegeleda hindamiskoosolekul analüüsitööga, vaid tagada alati nõutud sisendi eelnev olemasolu. Soovituse rakendamise eest vastutav isik: 1. MTO töökorda täpsustatakse arendusprotsessi piirmääradega. Vastutaja Marek Ilves. TDT töökorra ja analüütikute tööprotsessivoo ja vormide ülevaatus. Vastutaja Kadi Raudsepp. 2. TDT töökorra ja analüütikute tööprotsessivoo ja vormide ülevaatus. Vastutaja Kadi Raudsepp. 3 Verifitseerimine ja läbivaatus (Verification and Review) 3.1 Valdkond: Testimine Eesmärk: Tarkvara on testitud, tagamaks toimiv funktsionaalsus ja töökindlus. Meetmed: Uue projektiga kaasnevad arendused on piisavalt testitud. Testimise strateegia on asjakohaselt kavandatud ja korraldatud, et tuvastada vead ja puudused. Testimise protsessi auditi käigus ei testitud. Hindasime, kas protsess on selgelt dokumenteeritud ja sätestatud. Väheoluline tähelepanek nr 3.1.1 – Puuduvad automaattestid. RMIT’i kaasamine ei ole protsessis piisavalt detailselt formuleeritud. SFOS projektis automaatteste seni kasutusel ei ole. Uues SIS-projektis on automaattestide loomine pandud tööde osaks ja hakatakse neid tegema. 24 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Automaattestide puudumine on suur tehniline võlg ja tõsine puudujääk projekti arendusprotsessis. Nende puudumine tähendab väga suurt käsitsi testimise töö hulka ehk suurt inimressurssi kasutamist. RM’i IT teenuste arendamise põhimõtete17 dokumendi punkti 5 „Arendusvajaduste kogumine” järgi peaksid tehnilisest võlast tulenevad arendused saama asutuse arendusplaanis kõrgeima prioriteedi. RM haldusala arenduste töökorra järgi on oluline roll täita IT-töörühmal. Sellist töörühma ei ole SFOS’i arendusprotsessis sätestatud. IT-töörühma juht vastutab, kaasvastutajad on süsteemiarhitektid, süsteemi- ja rakenduse administraatorid, RMIT infoturbe juht, et on korraldatud teenuse, sh rakenduse turvatestide, koormustestide, jt automaattestide, koodiauditi ja vajadusel arhitektuuriauditi teostamine. MTO peaks teostama funktsionaalsuse testimise, aga mittefunktsionaalse testimise (turvalisus, koormus) võiks teostada RMIT. Risk: Juhul kui tarkvara testimine ei ole piisav, ei ole tagatud toimiv funktsionaalsus ja töökindlus. Kokkuvõttes võib see organisatsioonile kaasa tuua täiendavaid kulutusi. Soovitused: 1. Lisada kõigile suuremate (esmalt defineerida suurema protsessi maksumus) arendusprojektide lähteülesannetele automaattestide nõue ja alustada süstemaatiliselt selles valdkonnas tehnilise võla vähendamist. 2. Tagada, et tehnilisest võlast tulenevad arendused saaksid arendusplaanis kõrgeima prioriteedi. 3. Viia RMIT’i kaasamine arendusprotsessis vastavuse RM töökorraga, dokumenteerida ja põhjendada erisused. RTK kommentaar: Auditeeritava hinnangul ei ole tegemist olulise tähelepanekuga, mis vajaks juhtkonna reageerimist vaid soovitusega optimeerida olemasolevat protsessi. Auditi käigus selgitati, et RMIT on SFOS arendusprotsessidesse kaasatud. SFOS hanke lepingu lisas on RMIT kodukord, mille punktis 3.3.1 on kirjeldatud projektrühma koosolekute formaat, osapooled ja protokollimise kohustus. Suuremate arendusprojektide korral käitutakse vastavalt RM töökorrale (nt SIS arendus). Väiksemate arenduste puhul räägitakse RMIT hallatavad teemad läbi muuhulgas iganädalases SFOS projektrühma koosolekul, mis protokollitakse. Sinna on kaasatud RTK, RMIT ja arenduspartner. SFOS projektrühm on loodud RTK peadirektori käskkirja alusel, kuhu on määratud RMIT esindaja. RTK kaalub automaattestide nõude lisamist suuremate arenduste juurde. Soovituse rakendamise eest vastutav isik: 1. Teatud arenduste puhul kaalutakse automaattestide kasutuselevõttu. Vastutaja: MTO Indrek Mägi. 2. Arendusettepanekute hindamisprotsess ja -kriteeriumid vaadatakse üle ning vajadusel täiendatakse tehnilise võla teemas. Täna on hindamiskriteeriumeid 5 ning üks neist on tehnilised arendused ning see on juba hetkel kõrgema osakaaluga kui teised kriteeriumid. Vastutaja: TDT Kadi Raudsepp. 3. RMIT on hetkel juba kaasatud iganädalastel SFOS projektrühma, kuid protsesside ja vormide ülevaatamisel vaadatakse ka RMIT osaluse kirjeldused uuesti üle. Vastutaja: TDT Kadi Raudsepp. 17 Asutuse ja RMITi vaheline IT teenuste arendamise põhimõtted. Kinnitatud IT komisjonis versioon 130, 16.06.2021. a. 25 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Auditeeriva asutuse täiendav kommentaar: Audiitorid jäävad tähelepanekus toodud seisukohale. Soovituse rakendamist hinnatakse auditi järeltegevuste käigus. 26 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne TÄIENDAVAD TÄHELEPANEKUD Soovitus nr 4 – Koostada asjakohane aruandlus ja asuda monitoorima läbi kasutajatoe andmebaasis tehtud muudatusi. Vajadusel teostada riskipõhist testimist. AA tegi auditiaruandes nr JKS-44/2021 tähelepanek nr 4.4 – RÜ on lõppenuks kuulutatud projektile SFOS nr 2014- 2020.7.01.18-0531 teinud peale projekti lõppu TRO muudatuse, mille tegemiseks puudus õiguslik alus ja mis muutis esialgses TRO-s olnud abikõlbliku perioodi kehtetuks. Tuvastati mitteabikõlblikud kulud summas 1 716 eurot, sh toetus summas 1 132 eurot. SFOS-is on projekt märgitud lõppenuks, st projekt sai suletud staatuses, 6.02.2019. a. 8 kuud pärast projekti lõppu, 16.10.2019. a. esitas Keskkonnainvesteeringute Keskus (KIK) palve SFOS kasutajatoele palve projekt uuesti avada, et saaks projekti SFOS-is edasi menetleda. Palve sai lahendatud 17.10.2019. SFOS projekt nr 2014-2020.6.02.18-0361 projektiauditis nr CF-188/2021 ilmnes, et läbi SFOS kasutajatoe asendati/muudeti projekti toetuse saaja. Toetuse saaja andmed kirjutati kesksüsteemis üle. Viidatud auditi ajal tõstatus risk, kas selline toetuse saaja asendamine on abikõlblik. Ülapool mainitud muutuste jaoks on kehtestatud kasutajatoe tööprotseduur Riigi Tugiteenuste Keskuse toetuste valdkonna töökorras programmiperioodiks 2014-2020/2021 (K21),punkt 2.3.16. SFOS kasutajakontode, kasutajate palvete halduse, SFOS kasutajatoe poolt registri andmete sisestamise ja parandamise ning andmekvaliteedi kontrolli protsess. Täpsemalt alapunkt 4. RTK lisas, et andmebaasis tehtavate paranduste valideerija on alati valdkonna ekspert, kes hindab tehtava paranduse vajadust ja põhjendatust. Palusime käesoleva auditi ajal esitada meile aruandlus sellistest projektidest, kus on tehtud muudatusi otse andmebaasis. RTK eraldi aruandlust ei koosta, sest selliste andmete täiendavaks kontrolliks puudub vajadus. AA ei nõustu, et otse andmebaasis tehtud muudatusi: andmete ülekirjutamist, projektide avamist jne., ei peaks läbi aruandluse monitoorima. Sellised muudatused peavad olema väga erakordsed ning nende arv võib indikeerida puudusi protsessis, mida tuleks muuta, vms. Soovitus: Tuvastada tagantjärgi kõik läbi kasutajatoe otse andmebaasis tehtud muudatused ning seada sisse vastav regulaarne aruandlus ning asuda muudatusi monitoorima. Vajadusel teostada riskipõhist testimist. RTK kommentaar: Baasimuudatustele lisatakse juba täna kasutajatoe rakenduses spetsiaalne tunnus ja tööprotseduurides on kirjeldatud, et iga muudatus peab saama kooskõlastuse valdkonna sisueksperdilt. Soovituse rakendamise eest vastutav isik: Kasutajatoe rakenduses saab lisatunnusega eristada baasis tehtud muudatusi. Vaadatakse üle selle kasutamise protsess. Kaalutakse edaspidi baasis tehtud muudatusi monitoorida iga-aastaselt. Vastutaja: MTO Marek Ilves. 27 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne Lisa 1: Projektdokumentatsiooni näidisstruktuur Visioon, eesmärgid ja mõõdikud Projekti strateegia, visioon ja pikaajaline arendusplaan Projekti eesmärgid/edukuskriteeriumid ja nendega seotud mõõdikud Regulaarsed (nt 1x kvartalis) eesmärkide mõõtmiste tulemused, analüüs ja statistika Projekti eelarve ja projektiplaan Kasutajate huvigrupid Lõppkasutajate huvigrupid: kui suured, mis on nende huvid ja vajadused, millised rollid vastavad neile infosüsteemis, persoonad Kasutajate teekonnad ja rahulolu teekonnal Huvigruppidega seotud jooksev analüütika (nt huvigrupi rahulolu indeks, esitatud/täidetud ettepanekute arv perioodis, külastusstatistika, jms) Projekti meeskonna rollid Loetelu kõigist rollidest, nende vastutusaladest ja nimeliselt inimestest, kes hetkel neis rollides on. Milline on rolli nõutav kompetents. Loetelu kõigist töörühmadest (sh juhtrühmast), nende vastusaladest ja nimeliselt inimestest, kes neisse kuuluvad. Info kõigist organisatsioonidest, kes on aktiivselt projektis tegevad, kus on täidetud millised rollid Tööprotsess ehk projekti kodukord Asutuste töökorrad ja katusjuhendid Projektispetsiifiline tööprotsess läbi kõigi rollide, sh kommunikatsioonikanalid: - regulaarsed koosolekud, osalejad ja nende eesmärgid - konkreetne arendusmetoodika - muudatuste halduse metoodika - vigade halduse metoodika - dokumentatsiooni halduse reeglid - tööde üleandmine-vastuvõtmine Kvaliteedijuhtimine ja ärianalüütika: kuidas analüüsitakse projekti kvaliteeti ja projekti nö tervislikku seisundit Detailsed tööprotsesside kirjeldused (soovitavalt ka visuaalsed), kaasnevad dokumendid ja juhendid : - ärianalüüs - arenduse teostamine - testimine - tarne 28 Struktuuritoetuste registri juhtimis- ja kontrollisüsteemide audit – lõpparuanne - hooldus, SLA - tagasiside kogumine Projektihaldustarkvara (Jira) töövoo kirjeldus Töökesskonnad: test, prelive, toodang, nende kasutamise ja ligipääsemise reeglid Tehniline spetsifikatsioon (olemas) - Arhitektuur - Kasutajarollid ja äriprotsessid - Funktsionaalsed nõuded - Mittefunktsionaalsed nõuded Lisa 2: Eesmärkide ja mõõdikute näited ● Seadusandlus: jõuda vastavusse määruses X olevate nõuetega Y aja jooksul ● Automatiseerimine: Tõsta protsesside automatiseerimist X% võrra Y aja jooksul ● Kasutajate rahulolu: Saavutada Y aja jooksul kasutajate veebiga rahulolu soovitusindeksi (NPS) skooriks X ● Kasutajatoe ressurss: Vähendada kasutajatoele kulunud tundide arvu X% võrra Y aja jooksul ● Kasutajatoe ressurss: Vähendada kasutajatoe pöördumiste arvu X% võrra Y aja jooksul ● E-teenus: Saavutada e-taotluste osakaaluks X% kõigist esitatud taotlustest ● Tehniline võlg: Vähendada tehnilise võla osakaalu X% võrra Y aja jooksul 29 Hr Martin Karro Riigi Tugiteenuste Keskus Meie 16.02.2023 nr 10-5/1181-1 [email protected] Juhtimis- ja kontrollisüsteemi auditi lõpparuande edastamine Austatud härra Karro Edastame Teile „Struktuuritoetuste registri juhtimis- ja kontrollsüsteemide audit – arendusprotsessi tõhusus“ lõpparuande nr JKS-46/2021. Täname Teid meeldiva koostöö ja abi eest auditi läbiviimisel. Lugupidamisega (allkirjastatud digitaalselt) Kaur Siruli osakonnajuhataja Lisa: Auditi lõpparuanne 29 leheküljel Sama: Hr Urmo Merila, Riigi Tugiteenuste Keskus ([email protected]); Pr Karin Viikmaa, Riigi Tugiteenuste Keskus ([email protected]); Pr Tiina Sams, Riigi Tugiteenuste Keskus ([email protected]). Anu Alber 611 3181 [email protected] Suur-Ameerika 1 / 10122 Tallinn / 611 3558 / [email protected] / www.rahandusministeerium.ee registrikood 70000272
Allikas: Rahandusministeerium dokumendiregister →
dokumendiregister.eeAsutusedEesti avalike dokumendiregistrite otsing · nimistu.ee andmetel