dokumendiregister.ee
OtsingAsutusedMCP
Otsing›Majandus- ja Kommunikatsiooniministeerium
LepingAvalik

Leping

Majandus- ja Kommunikatsiooniministeerium · 10. juuni 2021
Viit
1.9-21/S/21-255-1
Registreeritud
10. juuni 2021
Dokumendi liik
Leping
Funktsioon
1.9/S Raamatupidamisarvestuse korraldamine
Sari
1.9-21/S Teenuse osutamise lepingud ning lepingutega seotud aktid (SF periood 2014-2020)
Toimik
1.9-21/S/24-0029
Vastutaja
Taavi Jakobson

Failid

  • 📎1.9-2121-255-1 10.06.2021 Leping (1).asice5887 KB

Sisu (failidest)

PAKKUMUS HINDAMISKRITEERIUMID JA HINNATAVAD NÄITAJAD Viitenumber: 236563 Hankija: Majandus- ja Kommunikatsiooniministeerium (70003158) Hange: Ehitisregistri andmeaida liidestamine uue andmebaasiga Pakkumus: 329340 Ettevõtja: Tieto Estonia Aktsiaselts (10137025), roll: peapakkuja Pakkumuse maksumust hinnatakse - Ilma maksudeta 1. Hanketööde kogumaksumus Tüüp ja hindamismeetod: Maksumus, vähim on parim Osakaal: 100% Hindamismetoodika kirjeldus: Madalaima väärtusega pakkumus saab maksimaalse arvu punkte. Teised pakkumused saavad punkte proportsionaalselt vähem ja arvutatakse valemiga: "madalaim väärtus" / "pakkumuse väärtus" * "osakaal". Kogus Ühik Ühiku hind Maksumus KM% Maksumus KM-ga Märkused EUR 64600,000 64600,000 20 77520,000 Pakkumuse maksumus kokku Maksumus kokku KM-ta: 64600,000 Maksumus kokku KM-ga: 77520,000 Koostatud 17.05.2021 11:36:52 1/1 https://riigihanked.riik.ee/rhr-web/#/procurement/ 3218172/general-info 1/1 PAKKUMUS VASTAVUSTINGIMUSED Viitenumber: 236563 Hankija: Majandus- ja Kommunikatsiooniministeerium (70003158) Hange: Ehitisregistri andmeaida liidestamine uue andmebaasiga Pakkumus: 329340 Ettevõtja: Tieto Estonia Aktsiaselts (10137025), roll: peapakkuja PAKKUMUSE ESITAMINE Pakkumuse esitamisega kinnitab pakkuja kõigi riigihanke alusdokumentides esitatud tingimuste ülevõtmist. kinnitus kõigi hankedokumentides esitatud tingimuste ülevõtmise kohta; Ettevõtjalt oodatavad vastused: 1. Kas ettevõtja saab kinnitada, et pakkumus vastab hanke alusdokumentides sätestatud tingimustele? (Raadionupp valikutega "Jah/Ei") Vastus: Jah HANKEPASSI KINNITUS Pakkuja kinnitus, et koos riigihanke pakkumusega "Ehitisregistri arendusteenus 3" (viitenumber: 210733) esitatud hankepassis olevad kinnitused on jätkuvalt tõesed. Kinnitus esitada kirjalikult taasesitatavas vormis digitaalselt allkirjastatuna Ettevõtjalt oodatavad vastused: 1. Kas pakkuja on lisanud hankepassi kinnituse? (Raadionupp valikutega "Jah/Ei") Vastus: Jah PAKKUMUSE MAKSUMUS Pakkumuse maksumus tuleb esitada käesoleva hanke lähteülesande punktis 6 toodud vormi "Maksumuse esitamise vorm" struktuuri kohaselt. Ettevõtjalt oodatavad vastused: 1. Kas pakkuja on täitnud lähteülesande punktis 6 toodud maksumuse vormi? (Raadionupp valikutega "Jah/Ei") Vastus: Jah Koostatud 17.05.2021 11:36:52 https://riigihanked.riik.ee/rhr-web/#/procurement/3218172/general-info ORIGINAAL Tieto Estonia AS 05.04.2021 Volikiri Käesolevaga volitab Tieto Estonia AS, registrikood 10137025, juhatuse liikme Anneli Heinsoo (46609110266) isikus tarkvaraarendusüksuse juhti Vallo Hannus´t (37812280264) olema pakkuja ametlik esindaja ja allkirjastama riigihanke pakkumisi ning riigihangete raames sõlmitavaid lepinguid ja muid dokumente. Volikiri on ilma edasivolitamise õiguseta. Pakkuja seadusejärgse esindaja ees- ja perekonnanimi, ametinimetus ja allkiri: Anneli Heinsoo, juhatuse liige /allkirjastatud digitaalselt/ Tieto Estonia AS www.tietoevry.com/ee Reg nr. 10137025 Tammsaare tee 47, 11316 Tallinn Tel. 664 6207 KMKR nr. EE100210460 HANKEPAKKUMUSE DOKUMENT Riigihange: Ehitisregistri andmeaida liidestamine uue andmebaasiga ( 236563) KINNITUS Tieto Estonia AS kinnitab, et koos riigihanke pakkumusega „Ehitisregistri arendusteenus 3“ (viitenumber : 210733) esitatud hankepassis olevad kinnitused on jätkuvalt tõesed. Tieto Estonia AS Vallo Hannus / allkirjastatud digitaalselt / Tieto Estonia AS www.tieto.ee Reg nr. 10137025 Tammsaare tee 47, 11316 Tallinn Tel. 664 6207 KMKR nr. EE100210460 HANKEPAKKUMUSE DOKUMENT Riigihange: Ehitisregistri andmeaida liidestamine uue andmebaasiga (236563) Maksumuse esitamise vorm Etapi Etapi tulemuste kirjeldus Maht töö- Etapi pikkus Etapi Etapi nr tundide kalendripäevades maksumus maksumus KM-ta (€) KM-ga (€) 1 Andmete korje/aida loomine 560 181 kalendripäeva 26 600.00 31 920.00 (algusega 01.09.2021) 2 Andmevaadete loomine 350 120 kalendripäeva 16 625.00 19 950.00 rakenduste jaoks (algusega 01.01.2022) 3 Andmearvutuste 350 122 kalendripäeva 16 625.00 19 950.00 protsesside/funktioonide (algusega loomine 01.04.2022) 4 Reserveeritud tööaeg 100 4 750.00 5 700.00 detailanalüüsi ja EHRi tarkvara koostoime vajaduse tulemustena täpsustunud nõuete teostamiseks arendusprojektide haldussüsteemis JIRA (http://jira.mkm.ee) loodud piletite alusel KOKKU 1360 64 600.00 77 520.00 Tieto Estonia AS www.tieto.ee Reg nr. 10137025 Tammsaare tee 47, 11316 Tallinn Tel. 664 6207 KMKR nr. EE100210460 LEPING nr 1.9-21/21-255-1 Tallinnas, 10.06.2021 Leping EHR2020 Hankeleping 18 on sõlmitud: Majandus- ja Kommunikatsiooniministeerium, registrikood 70003158, asukoht Suur- Ameerika 1, Tallinn 10122, mida esindab põhimääruse alusel kantsler Ando Leppiman (edaspidi Tellija), ja Tieto Estonia Aktsiaselts, registrikood 10137025, asukoht A.H. Tammsaare tee 47, Tallinn 11316, mida esindab põhikirja alusel juhatuse liige Anneli Heinsoo (edaspidi Täitja), keda edaspidi nimetatakse ka üheskoos Pooled ja eraldi Pool, sõlmivad käesoleva hankelepingu (edaspidi Leping) alljärgnevas: 1. Üldsätted 1.1. Leping sõlmitakse Tellija korraldatud riigihanke „Ehitisregistri arendusteenus 3”, viitenumber 210733 tulemusena 10.01.2020 sõlmitud raamlepingu nr 1.9-21/19-365-1 (edaspidi Raamleping) alusel korraldatud minikonkursi „Ehitisregistri andmeaida liidestamine uue andmebaasiga“ (viitenumber 236563) tulemusena. 1.2. Lepingu dokumendid koosnevad Lepingust, Lepingu lisadest, Raamlepingust, riigihanke „Ehitisregistri arendusteenus 3” (210733) alusdokumentidest, minikonkursi (236563) alusdokumentidest ning Lepingu võimalikest muudatustest, milles lepitakse kokku pärast Lepingule allakirjutamist. 1.3. Leping on allkirjastatud digitaalselt. 1.4. Käesoleva Lepingu allakirjutamise hetkel on Lepingule lisatud: 1.4.1. Lisa 1 – Lähteülesanne; 1.4.2. Lisa 2 – Täitja pakkumus. 1.5. Vastuolu korral on lähteülesanne ülimuslik pakkumuse suhtes ja Leping ülimuslik lähteülesande ja pakkumuse suhtes. 2 2. Lepingu ese ja Töö teostamise tähtaeg 2.1 Lepingu esemeks on Ehitisregistri andmeaida liidestamine uue andmebaasiga (edaspidi Töö) Lepingu Lisas 1 ja Lisas 2 esitatud tingimustel. 2.2. Täitja kohustub Töö ja dokumentatsiooni üle andma hiljemalt 30.11.2022. 3. Täitja kohustused 3.1. Täitja on kohustatud: 3.1.1. lähtuma Töö tegemisel Tellija kirjalikult esitatud nõuetest; 3.1.2. esitama Tellija nõudmisel ülevaateid, aruandeid ja asjakohast teavet Töö teostamise käigust. 4. Töö üleandmine ja vastuvõtmine 4.1. Täitja esitab Tellijale Lepingus ja selle lisades sätestatud Töö tulemused ja Lepingu esemega seonduvad materjalid kooskõlas Raamlepingu punktiga 6. 4.2. Töö jaguneb etappideks, mille tulemused antakse üle vastavalt järgmisele ajakavale: 4.2.1. I etapp: „Andmete korje/aida loomine“ antakse üle 181 kalendripäeva jooksul. Töid alustatakse 01.09.2021; 4.2.2. II etapp: „Andmevaadete loomine rakenduste jaoks“ antakse üle 120 kalendripäeva jooksul. Töid alustatakse 01.01.2022; 4.2.3. III etapp: „Andmearvutuste protsesside/funktsioonide loomine antakse üle 122 kalendripäeva jooksul. Töid alustatakse 01.04.2022. 5. Tasu suurus 5.1. Lepingu kogumaksumus, arvestades pakkumuses esitatud töö mahtu (1360 töötundi) ja Raamlepingu punktis 7.2.1 nimetatud ühe töötunni hinda (47,50 eurot), on 64 600 eurot käibemaksuta ning koos käibemaksuga 77 520 eurot. 5.2. Töö eest tasutakse Täitjale Raamlepingu punktis 7 sätestatud tingimustel ja korras. 5.3. Punktis 4.2 kirjeldatud töö etappide maksumused on järgnevad: 5.3.1. I etapp: 26 600 eurot, millele lisandub käibemaks; 5.3.2. II etapp: 16 625 eurot, millele lisandub käibemaks; 5.3.3. III etapp: 16 625 eurot, millele lisandub käibemaks. 5.4. Lepingu Lisas 1 kirjeldatud ülesande „Reserveeritud tööaeg detailanalüüsi ja EHRi tarkvara koostoime vajaduse tulemustena täpsustunud nõuete teostamiseks“ puhul on arveldamise aluseks reaalselt kulunud tööaeg, mis on fikseeritud Tellija projektijuhtimise keskkonnas JIRA (http://jira.mkm.ee) loodud piletite alusel. Maksimaalne Lepingu Lisas 1 kirjeldatud ülesande „Reserveeritud tööaeg detailanalüüsi ja EHRi tarkvara koostoime vajaduse tulemustena täpsustunud nõuete teostamise“ täitmiseks kuluv aeg on 100 töötundi maksumusega kuni 4 750 eurot, millele lisandub käibemaks. Täpsustunud nõuete alusel fikseeritakse reserveeritud töötundide arvelt tehtavad tööd kõigi etappide teostamisel ning tööde eest makstakse peale III etapi üleandmist Tellijale. 6. Poolte volitatud esindajad 3 6.1. Tellija volitatud esindaja Lepingu tingimuste täitmisel, kontrollimisel ja tööde vastuvõtmisel on Taavi Jakobson, telefon: +372 6256394, e-post: [email protected]. 6.2. Täitja volitatud esindaja Lepingu tingimuste täitmisel ja kontrollimisel on Raul Meriloo, telefon +372 5014718, e-post [email protected]. 6.3. Tellija volitatud esindajal on õigus esindada Tellijat kõikides Lepinguga seotud küsimustes, välja arvatud Lepingu muutmine, tähtajalise Lepingu ühepoolne lõpetamine ning leppetrahvi, viivise ja/või kahjude hüvitamise nõude esitamine. Tellija: Täitja: (allkirjastatud digitaalselt) (allkirjastatud digitaalselt) Ando Leppiman Anneli Heinsoo kantsler juhatuse liige Ehitiste uued näitajad ja klassifikaatorid Täna Uus Ehitiste tehniliste andmete loetelu ja arvestamise alused https://www.riigiteataja.ee/akt/110062015008 §9 Elektrisüsteemi liigid §... Elektrisüsteemi liigid 1) võrk 1) võrk 2) lokaalne, fossiilkütusel põhinev 2) fossiilkütusel põhinev elektrigeneraator 3) lokaalne, tuuleenergial põhinev 3) tuulegeneraator 4) lokaalne, päikeseenergial põhinev 4) päikesepaneel elektri tootmiseks 5) lokaalne, hüdroenergial põhinev 5) koostootmisseade 6) muu elektrisüsteem 6) muu elektrisüsteem § 11. Soojusvarustuse liigid kaob § 12. Soojusallika liigid §... Soojusallika liigid 1) katel 1) kaugküte 2) soojuspump 2) tõhus kaugküte 3) päikesekollektor 3) gaasikatel, võrgugaas 4) ahi, kamin või pliit 4) gaasikatel, mahutigaas 5) elektriotseküte 5) pelletikatel 6) muu soojusallikas 6) halupuidukatel 7) õlikatel 8) muu tahkekütuse katel 9) maasoojuspump 10) õhk-vesi soojuspump 11) õhk-õhk soojuspump 12) väljatõmbeõhu soojuspump 13) ahi, kamin, pliit 14) elektriküte 15) koostootmisseade 16) Päikesekollektor soojuse tootmiseks 17) muu soojusallikas § 13. Energiaallika liigid kaob §14 Ventilatsiooni liigid §… Ventilatsiooni liigid 1) loomulik ventilatsioon, sealhulgas ilma 1) loomulik ventilatsioon loomuliku tõmbe lõõrideta 2) sundväljatõmme 2) mehaaniline väljatõmme 3) sundsissepuhe ja -väljatõmme 3) mehaaniline väljatõmme soojustagastusega 4) soojustagastusega ventilatsioon 4) mehaaniline sissepuhe ja väljatõmme 5) mehaaniline sissepuhe ja väljatõmme 5) konditsioneerimisega ventilatsioon soojustagastusega 6) muu ventilatsioon 6)muu ventilatsioon §15 Jahutussüsteemi liigid §.. . Jahutussüsteemi liigid 1) lokaalne jahutus 1) otseaurustusega jahutusseadmed 2) õhkjahutus ventilatsiooniga 2) ventilatsiooni sissepuhkeõhu jahutus 3) tsentraalne vesijahutus 3) veepõhised jahutusseadmed 4) tsentraalne jahutus külmaagensiga, 4) muu jahutussüsteem näiteks freoonjahutus 5) muu jahutussüsteem näitajat ei ole §…. Jahutusallika liigid 1) kompressorjahutus 2) vabajahutus 3) kaugjahutus 4) tõhus kaugjahutus 5) muu jahutusallikas näitajat ei ole § …Niisutussüsteemi liigid 1) tsentraalne niisutussüsteem 2) niiskustagastusega ventilatsiooniagregaat näitajat ei ole §… Tarbevee soojusallika liigid 1) gaasiboiler 2) elektriboiler 3) kaugküte 4) tõhus kaugküte 5) gaasikatel, võrgugaas 6) gaasikatel, mahutigaas 7) pelletikatel 8) halupuidu katel 9) õlikatel 10) muu tahkekütuse katel 11) maasoojuspump 12) õhk-vesi soojuspump 13) väljatõmbeõhu soojuspump 14) ahi, kamin, pliit 15) koostootmisseade 16) heitvee soojustagasti 17) muu soojusallikas §… Majapidamisgaas 1) võrgugaas 2) balloonigaas EHRis EHR täiendav info 1) võrk 2) fossiilkütusel põhinev elektrigeneraator 3) tuulegeneraator Võimsus (kW) 4) päikesepaneel elektri tootmiseks Võimsus (kW) 5) koostootmisseade 6) muu elektrisüsteem (täpsustada mis) 7) puudub EHRis EHR täiendav info 1) kaugküte Soojusvaheti võimsus (kW) 2) tõhus kaugküte Soojusvaheti võimsus (kW) 3) gaasikatel, võrgugaas Võimsus (kW) 4) gaasikatel, mahutigaas Võimsus (kW) 5) pelletikatel Võimsus (kW) 6) halupuidukatel Võimsus (kW) 7) õlikatel Võimsus (kW) 8) muu tahkekütuse katel (täpsustada mis) Võimsus (kW) 9) maasoojuspump Võimsus (kW) 10) õhk-vesi soojuspump Võimsus (kW) 11) õhk-õhk soojuspump Võimsus (kW) 12) väljatõmbeõhu soojuspump Võimsus (kW) 13) ahi, kamin, pliit 14) elektriküte Võimsus (kW) Soojusvõimsus (kW) 15) koostootmisseade Elektrivõimsus (kW) 16) päikesekollektor soojuse tootmiseks Võimsus (kW) 17) muu soojusallikas (täpsustada mis) Võimsus (kW) 18) puudub EHRis 1) loomulik ventilatsioon 2) mehaaniline väljatõmme 3) mehaaniline väljatõmme soojustagastusega (väljatõmbeõhu soojuspump) 4) mehaaniline sissepuhe ja väljatõmme 5) mehaaniline sissepuhe ja väljatõmme soojustagastusega 6)muu ventilatsioon (täpsustada mis) 7) puudub EHRis 1) otseaurustusega jahutusseadmed 2) ventilatsiooni sissepuhkeõhu jahutus 3) veepõhised jahutusseadmed 4) muu jahutussüsteem (täpsustada mis) 5) puudub EHRis EHR täiendav info 1) kompressorjahutus jahutusvõimsus (kW) 2) vabajahutus jahutusvõimsus (kW) 3) kaugjahutus jahutusvõimsus (kW) 4) tõhus kaugjahutus jahutusvõimsus (kW) 5) muu jahutusallikas (täpsustada mis) jahutusvõimsus (kW) 6)puudub EHRis 1) tsentraalne niisutussüsteem 2) niiskustagastusega ventilatsiooniagregaat 3) puudub EHRis 1) gaasiboiler 2) elektriboiler 3) kaugküte 4) tõhus kaugküte 5) gaasikatel, võrgugaas 6) gaasikatel, mahutigaas 7) pelletikatel 8) halupuidu katel 9) õlikatel 10) muu tahkekütuse katel (täpsustada mis) 11) maasoojuspump 12) õhk-vesi soojuspump 13) väljatõmbeõhu soojuspump 14) ahi, kamin, pliit 15) koostootmisseade 16) heitvee soojustagasti 17) muu soojusallikas (täpsustada mis) 18) puudub EHRis 1) võrgugaas 2) balloonigaas 3) puudub Kommentaar Saab määrata, milline liik on peamine (ainult üks valik) ja milline on sekundaarne (võib olla mitu valikut). Saab määrata, milline liik on peamine (ainult üks valik) ja milline on sekundaarne (võib olla mitu valikut). Saab määrata, milline liik on peamine (ainult üks valik) ja milline on sekundaarne (võib olla mitu valikut). Saab määrata, milline liik on peamine (ainult üks valik) ja milline on sekundaarne (võib olla mitu valikut). Saab määrata, milline liik on peamine (ainult üks valik) ja milline on sekundaarne (võib olla mitu valikut). (vajadusel ka siin) Saab määrata, milline liik on peamine (ainult üks valik) ja milline on sekundaarne (võib olla mitu valikut). EHR arendustööde läbiviimise ja testimise juhend V4 – 03.12.2020 Käesolev juhend on mõeldud järgimiseks kõigile EHR arendusega seotud osapooltele. Juhendis on kirjeldatud infovahetuse allikad ja kohustused. 1. EHR arendustööde dokumentatsiooni hoitakse Sharepoint dokumendihalduses (SP). Keskkonna halduse ja juurdepääsu eest vastutab MKM. Meeskondade projektijuhid edastavad projekti alguses nimekirja (ees- ja perenimi, isikukood, e-kirja aadress) osalistest, kes peavad juurde pääsema EHR dokumendihoidlale. 2. Projekti alguses luuakse SP-sse projekti kaust, kuhu kogutakse kõik projektiga seotud dokumendid nagu koosolekute protokollid, lähteülesanded, projektiplaanid jm. dokumendid. Juhul, kui dokument paikneb kuskil teises asukohas siis lisatakse SP projektikausta link sellele dokumendile. 3. EHR dokumentatsioon antakse Tellijale üle dokumendihalduse keskkonna kaudu. Juhul, kui samast dokumendist edastatakse mitu versiooni, siis kõik erinevad versioonid tuleb nimetada ühe ja sama failinimega. Versioonid eristuvad SP-s „versiooni ajaloo“ kaudu. 4. EHR dokumentide sisukord (analüüsi, disaini, arhitektuuri, testimise, projektijuhtimise kontekstis) lepitakse kokku enne vastavate projekti tööde algust. Täitja projektijuht, kes hakkab vastavat dokumenti koostama, esitab hiljemalt tööde alguse kuupäeval SP projektikausta dokumendi kavandi, milles on toodud vähemalt dokumendi sisukord ja võimalusel ka vorm. 5. Operatiivse suhtlusvahendina kasutatakse lisaks (mobiil)telefonile ka Skype keskkonda. Projekti osalised lisatakse projekti ühisvestlusesse. Täitja projektijuht edastab vajalike osaliste Skype kontode nimekirja MKM projektijuhile, kes lisab nimekirja liikmed vestlusele. 5.1. Projekti kestel on kõigil meeskonnaliikmetele kohustus osaleda vestluses; 5.2. Projektide vahelisel ajal tööde planeerimiseks või vigade aruteluks, on tehnilistel projektijuhtidel, analüütikutel või arhitektidel kohustus osaleda vestluses; 5.3. Vestluses on kohustuslik informeerida kõiki osapooli kavandatavatest tarnetest. Vt. EHR koodi haldamise ja tarnimise juhendit 6. Osapooled praktiseerivad proaktiivset kommunikatsiooni ning ei varja võimalike vigu ja probleeme. 7. EHR tarnete, arendustööde, vigade ja hooldustööde fikseerimiseks kasutatakse JIRA keskkonda. Meeskondade projektijuhid edastavad projekti alguses nimekirja (ees- ja perenimi, isikukood, e-kirja aadress) osalistest, kes peavad juurde pääsema EHR JIRA keskkonnale. 8. Arendusprojektide läbiviimise alguses koostab Täitja Lepingu lähteülesandes toodud funktsionaalsete nõuete kohta JIRA piletid tüübiga “arendus”. Arenduspiletite koondamiseks luuakse JIRA komponent, nii, et kõik ühe lepinguga seotud (või lepingu alapunktiga) seotud piletid on seotud vastava komponendiga. Komponentide abil saab ülevaate kõigist komponendiga seotud arendustöödest ja veapiletitest, mis vastavas komponendis aja jooksul on tehtud. 9. Lepinguliste tööde arendamiseks, testimiseks ja üleandmiseks koostatakse kõikidest üle antavatest JIRA piletitest sprint, mille kestus on max 1 kuu. Arendustööde sprindi paigaldus ja üleandmine toimub vastavuses EHR koodi haldamise ja tarnimise juhendile 10. Lepinguliste tööde Tellijale üleandmine algab Täitja poolt üleandmise akti esitamisega (või vastavuses Lepinguga). Üleandmise aktis peavad olema viited kõigile üleantavatele tulemitele sh.: 10.1. Lingid üleantavatele koodidele Git-s (git.mkm.ee). Link peab olema koodiharule ja -versioonile, milles asub üleantav kood, 10.2. Viide API teenuste endpointidele Swaggeris (swagger.ehr.ee) 10.3. Viide Katalon automaattestidele, millega üleantavat rakendust saab testida 10.4. Viited projekti tulemdokumentidele SP-s (https://365mkm.sharepoint.com/sites/MKM/EHR) 10.5. Viit, millelt Tellija saab alustada rakenduse testimist 10.6. Üle antava rakenduse Helm Chart nimetus ja versioon (juhul, kui üle antav rakendus paigaldatakse Kubernetes klastrisse) 11. JIRAsse loodud arenduspiletid peavad olema sellise detailsusastmega, et nende alusel saavad arendajad teostada arendustööd ning testijad saavad läbi viia vastuvõtu testimise. 12. Arendustöödes tuvastatud vigade lahendamiseks koostab MKM Helpdesk JIRA-sse lisatud veapiletite alusel kord kuus arendajale kriitiliste vigade sprindi, mille arendaja tarnib järgmisel kuul MKM-le testimiseks. 13. JIRA piletite lahendamise protsessi üldine kirjeldus on järgmine: 13.1. Töid üle andva arenduspartneri testija testib kõik üle antavad piletid esmalt MKM keskkonnas “test”. Testimisel viib testija piletid oma nimele staatusega „TESTIMISEL“. Peale testimist viib arenduspartneri testija piletid staatusesse „OMANIKU TESTI OOTEL“ ja suunab piletid MKM testijale. Üldpõhimõttena antakse piletid üle “OMANIKU TESTI OOTEL” staatusesse esimesel võimalusel, ehk ei neid ei grupeerita ega anta üle portsude kaupa. 13.2. MKM testijad testivad piletid ning peale testimist suunavad arenduspartneri testijale staatuses „TESTITUD“ või „AVATUD“ vastavalt sellele, kas pilet oli lahendatud või esineb vigu. 13.3. Kui kõik sprindi piletid on peale MKM testimist staatuses „TESTITUD“, siis võib liikuda järgmisesse toodangusse viimise etappi “prelive”. 13.4. Peale “prelive” tarnet testib arenduspartneri testija kõik üle antavad piletid esmalt MKM “prelive” keskkonnas. Testimisel viib testija piletid oma nimele staatusega „TESTIMISEL“. Peale testimist viib arenduspartneri testija piletid staatusesse „OMANIKU TESTI OOTEL“ ja suunab piletid MKM testijale. 13.5. MKM testijad testivad piletid prelive keskkonnas ning peale testimist muudavad pileti staatuseks „LAHENDATUD“, „TARNE OOTEL“ või „AVATUD“ vastavalt sellele, kas pilet oli lahendatud, vajab üle kontrollimist toodangus või esineb vigu. 13.6. Kui kõik prelives oleva tarne piletid on staatuses „LAHENDATUD“, siis võib alustada toodangusse tarnimisega. 13.7. Juhul, kui “prelive” etapis avastati vigu siis alustatakse peale vigade parandamist uuesti “test” etapist. 14. Kõikide osapoolte projektijuhid lisatakse JIRA tarnepiletite kohta info saajateks. 15. Tööde tähtaegade fikseerimisel tuleb arvestada, et töö tähtaeg tähendab kokkulepitud päeva algust kell 00.00. 16. Kõik MKM projektiga seotud meediaga suhtlus tuleb alati kooskõlastada ennetavalt MKMiga; ka MKM peab ennetavalt kooskõlastama partneritega meediasse suunatava informatsiooni. 17. Kõik EHR arenduse projektis läbi viidud koosolekud protokollitakse (fikseeritakse otsused, riskid, probleemid) ja soovi korral helisalvestatakse, selles osas lepitakse rollide täitjad kokku enne koosoleku algust. Üldjuhul koostab protokolli Täitja projektijuht ja salvestab selle koosolekule järgneval tööpäeval SP-sse projekti kausta. 18. Iga sprindi/arendusetapi lõpus viiakse vajadusel läbi üle antava töö ühisläbivaatus, mille käigus Täitja esindajad esitlevad Tellijale üle antava töö tulemit. 19. Täitja projektijuht esitab projekti alguses MS Project formaadis projekti tööde plaani SP- sse projekti kausta (kui MKMiga ei ole eelnevalt kokku lepitud teisiti). Täitja projektijuht uuendab igal projekti töönädala esmaspäeval esialgselt esitatud projektiplaani ning lisab sellesse tööde täitmise informatsiooni. 20. Tööde plaan vaadatakse kõigi osapoolte poolt üle igal projekti koosolekul ja vajadusel viiakse sellesse muudatused. 21. Juhul, kui arendusprojekti käigus on vajalik EHR andmebaasides muudatuste tegemine siis peab järgima: E-ehituse andmebaasid ja nende uuendamine 22. Juhul, kui arendusprotsessi käigus luuakse uus teenuste API või täiendatakse olemasolevaid teenuseid siis arendaja täiendab API kirjeldust Swaggeris vastavalt EHR API teenuste nimetused ja teenuste kirjeldamine EHR arendustööde juhtimise korraldamine EHR arendustööde läbiviimine toimub projektide alusel. Projektid luuakse vastavalt arendustööde vajadusele ning kinnitatud eelarvetele. Projekti alustamisel sõlmitakse projekti teostajatega lepingud. Projekti juhib strateegilisel tasandil projekti juhtrühm, operatiivsel tasandil Tellija ja Täitja projektijuhid. Projekti tegevused viib läbi töörühm ning vajadusel luuakse töögrupid konkreetsete probleemide lahendamiseks. 1. Juhtrühm MKM kutsub kokku projekti juhtrühma. Juhtrühma koosseisu kinnitab MKM-i kantsler vastava käskkirjaga. Projekti juhtrühma kuuluvad: a) MKM-i asekantsler; b) MKM-i ehitus- ja elamuosakonna esindajad; c) MKM-i infotehnoloogia osakonna esindajad; d) Täitjate poolt määratud esindajad; Vajadusel võidakse kaasata juhtrühma töösse nõustajatena, aruandjate ja/või vaatlejatena ka teisi olulisi partnereid ning töörühma liikmeid. See otsustatakse juhtrühmas. 1.1. Juhtrühma töökorraldus Juhtrühma töövorm on koosolek. Igal juhtrühma liikmel on üks hääl ja otsused võetakse vastu häälte enamusega. Oma ülesannete täitmiseks võib juhtrühm rakendada ka teisi töövorme. Töövormi valiku üle otsustab juhtrühma esimees. Korralised juhtrühma koosolekud toimuvad mitte harvemini kui 1 kord kuus. Projektijuht valmistab juhtrühma koosoleku materjalid ette ja teeb juhtrühma juhile ettepaneku juhtrühma kokku kutsumiseks. Juhtrühma koosoleku kutsed edastab projektijuht juhtrühma esimehe nõusolekul. Erakorralise juhtrühma koosoleku kutsub kokku juhtrühma esimees, kui selleks on avaldanud soovi vähemalt kaks juhtrühma liiget või vastav vajadus on tekkinud töörühmal. Elektrooniline kutse juhtrühma kokkukutsumiseks tuleb laiali saata 4 tööpäeva enne koosoleku toimumist. Koosoleku kutses peavad olema ära toodud koosoleku toimumise aeg, koht ja esialgne päevakord. Juhtrühma koosoleku materjalid edastatakse juhtrühma liikmetele e-kirja teel hiljemalt 2 päeva enne koosoleku algust.. Juhtrühma koosolekud protokollitakse ja protokolli esialgne versioon edastatakse e-kirja teel kõigile juhtrühma liikmetele. Projektijuht kogub juhtrühma liikmete ettepanekud protokolli esialgse versiooni täiendamiseks ning kannab protokolli MKM dokumendihalduse rakendusse. Kui vastavaid töid rahastatakse struktuuritoetustest, siis kannab projektijuht protokollid ka Struktuuritoetuse infosüsteemi. 1.2. Juhtrühma ülesanded Projekti juhtrühm jälgib projekti ajakavast ja eelarvest kinnipidamist, fikseerib projekti ja selle etappide lõppemised. Juhtrühm on ainupädev otsustama nende projekti etappide lõpetamise üle, mida rahastatakse struktuuritoetustest. Juhtrühm kuulab ära projektijuhi põhjendused projekti eelarve ja kava muudatusteks ning teeb vajadusel sellekohaseid põhjendatud ettepanekuid, samuti vaatab läbi projektijuhi poolt koostatud seirearuanded. 1.3. Juhtrühma avakoosoleku kinnitused. Projekti avakoosolekul kinnitab juhtrühm: a) projektijuhi ja töörühma koosseisu; b) projektide ajakavad ; c) projekti riskide juhtimise kava; d) projekti struktuuritoetustest rahastatavate arendustööde eelarve; e) arendusprojekti läbiviimise tehnilised ja kommunikatsiooni puudutavad kokkulepped. 2. Töörühm Projekti operatiivjuhtimisega tegelevad Tellija ja Täitja projektijuhid. Projekti töörühma juhib MKM-i poolne projektijuht. Kõik projekti arendajad on kohustatud osalema kord kuus toimuval projekti töörühma koosolekul. Tellija projektijuht viib vähemal üks kord kuus läbi projekti töörühma koosoleku, kus 1. Vaadatakse üle kõigi arendajate poolt tehtud tarkvara muudatused ja arendused 2. fikseeritakse kõigi projekti avatud tööde lõpetamiseks vajalik aeg, 3. selgitatakse tööde kulgemist takistavad probleemid, 4. otsustatakse valmis tööde lõpetamine ja järgnevate tööde avamine, 5. määratakse projekti seis tähtaja suhtes (normaalne, ohtlik, kriitiline), 6. kavandatakse tegevused projekti seisu parandamiseks, 7. vajadusel kirjeldatakse täiendavad tööd või täpsustatakse töökirjeldusi, 8. vajadusel moodustatakse töögrupid probleemide kiireks lahendamiseks. Töörühma liikmed on vastutavad nende vastutusalas olevate tööde kohese ja kiire tegemise eest.  Projekti töörühma koosolekut protokollib Täitja projektijuht. Juhul, kui koosolekul osaleb mitu Täitjate projektijuhti siis lepitakse protokollija enne koosoleku algust kokku. Protokollija on kohustatud esitama koosoleku protokolli EHR dokumentatsiooni hoidlasse (vt. EHR arenduse ja kommunikatsiooni juhend) käesoleva projekti jaoks moodustatud kausta hiljemalt koosolekule järgneva tööpäeva kella 12:00ks. Protokollis peavad kajastuma kõik koosolekul osalejad ja koosolekul tehtud otsused ning koosoleku toimumise aeg ja koht.  Täitja projektijuht esitab projekti alguses MS Project formaadis projekti tööde plaani ning esitab selle Tellija projektijuhile EHR dokumendihoidla vahendusel. Täitja projektijuht uuendab igal projekti töönädala esmaspäeval esialgselt esitatud projektiplaani ning lisab sellesse tööde täitmise informatsiooni. Tööde plaan vaadatakse kõigi osapoolte poolt üle igal projekti koosolekul ja vajadusel viiakse sellesse muudatused. Riikliku ehitisregistri andmeaida arhitektuur 10.detsember 2017 1. Sissejuhatus Käesolev dokument kirjeldab EHR andmeaida arhitektuuri ning nõudeid riist- ja tarkvarale. Andmeaida arhitektuuri juurde kuuluvad andmebaas, avaandmetele loodav web liides, andmepump, juhtmoodul ja xTee teenused (nt STAT ameti teenused). 2. Loogiline arhitektuur Web Liidestus AVAANDMEBAAS EHRDB DataPump PostgreSQL Oracle PostGIS xTee teenused Tableau Server Juhtmoodul 3. Tehniline lahendus ja arhitektuur Andmeaida allikaandmeteks on EHRDB (Oracle) andmebaas. Andmeaida andmebaasi serveriks on PostgreSQL ja PostGIS (ruumikujude jaoks). Andmed liiguvad allikabaasist andmeaita kokku lepitud ajal öösel ning seda juhib juhtmoodul ja andmete tõstmiseks kasutatakse andmepumpa (datapump). EHRDBga käib suhtlus läbi vaadete (view) kihi ( preffiks dw_ ). Andmepump on phytonis realiseeritud rakendus, mis vastavalt konfiguratsioonile võtab andmeid eriallikatest ja salvestab ette antud andmebaasi. Laadimise konfiguratsioone hoitakse andmeaidas. Avaandmete väljutamiseks luuakse web liides, mille kaudu on võimalik kolmandal osapoolel saada andmeaidast avaandmeid csv failina. Web liides kasutab apache serverit ja pythonit. Tulevikus on võimalik liidese edasiarendus avaliku (publitseeritud API-t kasutava) veebiteenusena. xTee teenuste jaoks on SOAP server, mis realiseerib STAT jaks vajalikke teenuseid. Tabelau server on tänaseks juba kasutusel. Tableau server on aruannete publitseerimiseks üle webi. Tableau serveriks on Windows Server 2012 R2 Datacenter (4 cpu, 16GB ram , 50GB hdd) . 4. Komponent diagramm (Üldine pilt koos olemasolevaga, seosed) cmp Komponent Mudel Hetkel olemasolevad Andmeait Server xTee teenused EHR Rakenduse server «rakendus» xTee teenused EHR Rakendus (STAT) «andmebaas» «flow» EHR DB AVA EHR Rakendus xTee teenused «flow» «flow» WEB Liides «flow» EHR andmebaas «rakendus» «flow» web liides «andmebaas» EHR DB «flow» Juhtserver «flow» «rakendus» Datapump «use» «rakendus» AdmGUI «use» Tableu Server «rakendus» «use» Juhtmoodul Tableau Server «use» «use» «flow» «use» «rakendus» Tableau Desktop STAT aruanded (saatmine) 5. Nõuded riist- ja tarkvarale Vajalikud serverid Server, mis on avalikkusele nähtav läbi proxy ja mille kaudu hakatakse avaandmeid alla laadima. Tulevikus sisaldab ka veebiteenuseid 4 - WEB Liides avaandmete kasutamiseks. Server, kus organiseeritakse allikaandmete laadimine Avaandebaasi. 1 - EHRDWDB, Ühtlasi on ka siin Avaandmebaas 2 - DataPump, Juhtmoodul Juhtmoodul, mis aitab korraldada (server olemas) protsesse, mis on seotud avaandmetega ja Tableauga. Server, mille kaudu saab teha xTee päringuid nt STAT amet 3 - xTee Teenused Miinimum nõuded riist- ja tarkvarale toodangu keskkonnale (Live keskkond): 1 EHRDWDB , andmeait, avaandebaasi server - 4 cpu , ram 16GB, hdd 200GB - op süsteem Ubuntu LTS - postrgreSQL ( 9.1x (9.6) ) + PostGis (v 2.2) 2 juhtmoodul + datapump ( saab lahendada juba olemasoleva serveriga ) - 2 cpu, ram 4GB, hdd 20GB - op süsteem Ubuntu LTS 3 xTee teenused - 1 cpu, ram 1GB, hdd 20GB - op süsteem Ubuntu LTS 4 web liides - 2 cpu, ram 2GB, hdd 20GB - op süsteem Ubuntu LTS , apache 2.4+ Miinimum nõuded riist- ja tarkvarale testi keskkonnale (Test keskkond): 1 EHRDWDBtest , avaandebaasi server - 2 cpu , ram 8GB, hdd 200GB - op süsteem Ubuntu LTS - postrgreSQL ( 9.x (9.6) ) + PostGis (v 2.2) 2 2,3,4 juhtmoodul , datapump, xTee teenused , web liides Esimeses lahenduses võib need serverid kõik kokku panna ühele serverlie. Jõudlustestide jaoks on arendajal loodud oma keskkond jõudluse testimiseks. - 2 cpu, 4GB RAM, 30 GB HDD - op süsteem Ubuntu LTS 6. Lahendus koos (serverid) ühendustega Live keskkond mkm-live-andmeait-rak 10.20.30.30 Ubuntu 16.04 Admin tool Väljund: https://10.20.30.30:5443/ STAT Juhtmoodul andmeedastus üle Väljund : MKM xTee turvaserver xTee Ip 10.56.101.20 Datapump EHR DB mkm-live-andmeait-veeb LIVE 10.20.30.33 / 195.80.123.122 Ubuntu 16.04 Veebiliides Väljund : avaandmed.ehr.ee Andmetellimuste Väljund : emailile teade ja alla laadimine, vormistaja web teenused ja api kiht EHRDWDB mkm-live-andmeait-db 10.20.30.29 Ubuntu 16.04 postrgresql 9.6 , postGis 2.3 7. Käideldavus Andmeait ja selle juures olevad teenused peavad olema kasutatavad öö-päeva ringselt. Tuleb aga arvestada, et andmeuuenduse ajal võivad andmed olla mitte konsistentsed ja töös võib esineda jõudlusprobleeme. 8. Monitooring Andmete laadimise protsessi tulemusi saab ja peab monitoorima. Selleks kasutatakse kas Tableau Software vahenditega realiseeritud aruannet ja/või juhtmooduli administreerimise veebilehte. Monitooringul on kaks eesmärki - tuua välja vead, mis tekivad andmete laadime protsessis ja kirjeldada andmete seisu (andmed seotuna ajatempliga). 9. Varundamine Andmeaidast tehakse üks kord ööpäevas koopia. Lahendus luuakse selliselt, et vajadusel saab andeaita kokkulepitud perioodi ulatuses uuest alglaadida. Ehitisregistri andmeaida arendustööd (andmevaadete loomine) Analuus Dokumendi versioonid Versioon Kuupäev Muudatus Muutja 1.0 23.08.2019 Mihkel Nõmmik Hillar Urmet 1. Sissejuhatus Käesolev dokument kirjeldab EHR (Eehitisregistri) andmeaita loodud vaateid ja ette arvutatud tabeleid, mis on koostatud eelkõige RegRel andmekaeve tööks vajalikke andmekogude loomiseks ning Ehitisregistri andmekvaliteedi kontrollimiseks ja tõstmiseks. Dokument on mõeldud kasutamiseks andmekaevurile, ärianalüütikutele, arendajale ja pooltele, kes teostavad antud lahendusele täiendavaid arenduse töid. 1.1 Ülevaade Andmevaated on lood EHR andmeaida skeemide rva_view ja dm alla. Lisaks on skeem SB, kuhu saab kasutaja üles laadida andmeid kolmandatest allikatest ja vajadusel luua ise ka andmeobjekte ja skripte vajaminevaks andmeanalüüsiks. Joonis andmebaaside ja vaadet kohta Sisendid Data Processing / Väljundid Data Source Layer ETL Data Storage Layer Analysis Layer Data Output Layer Eelmise perioodi Laadimise kell 4 PSA andmete EHR STAT job manager KOV KOV proc’id ehrdb kustutamine portaal Allikandmed View’d 1 Andmete Andmete xTee xTee proc’id , xml xTee salvestamine pumpamine vahe/tööbaasi/ Staging area allikabaasist skeemi PSA Tableau TVA proc’id TVA view’d STAT xTee view’d Andmetransform 2 Andmete AV – avalikud atsioon core DW laadimine Core db andmed view’d baasi/skeemi DW Andmekaeve RegRel RVA/DM kihi 3 Sünkroniseerimi Report views ne area RVA mat.view’d ad hock RVA_VIEW DM põhiliinid Kolmandad SB vaated allikad SB 1.2 Kasutajad Andmeaida kasutajad jagunevad kahte gruppi - Tavakasutaja, kellel on õigused andmete lugemiseks rva_view skeemist - Peakasutaja, kellel on õigused andmete lugemiseks üle kogu andmebaasi ja õigused andmete salvestamiseks SB skeemi. Peakasutajad on nimelised ja detailsed õiguse lepitakse kokku jooksvalt vastavalt vajadustele. 1.3 Andmete uuendamine Andmed laetakse EHR rakenduse Oracle (edaspidi Oracle) baasist EHR andmeaida PostgreSQL andmebaasi igal varahommikul ja siis toimuvad ka enamike vaadete ja alustabelite uuendamised. Andmeaidast kirjeid maha ei kustutata, st. on võimalik vaadata, millised olid andmed näiteks 1 kuu tagasi. 2. EHR andmeaida RVA_VIEW andmevaadete kirjeldused Järgnevalt on kirjeldatud „V_“ vaated, mis andmevaadete projekti raames RVA_VIEW skeemi alla loodi. Kõikides neis vaadetes on kasutatud „END_DTIME IS NULL“ tingimust ehk vaadatakse ainult neid kirjeid, mis Oracle andmebaasis praegu olemas on. Vaadetest on eemaldatud veerud, mis ei ole enam kasutuses. Andmevaadete veergude kommentaarid on andmevaadete juures. Kommentaarid uuenevad automaatselt, kui on uuenenud ka alustabeli kommentaarid. Skeemi all on veel „_view“ vaated – need peegeldavad dw skeemi tabeleid üks ühele. 2.1 V_AD_AADRESSID Ehitise aadressid. „OLEK = ’K’“ tähendab kehtivat kirjet. Vastab Maa-ameti ADS registrile. Erinevad aadresside komponendid nagu maakond, omavalitsus ja asustusüksus on jaotatud erinevatesse veergudesse. Vastab täpselt sellele seisule, mis Oracle andmebaasis AD_AADRESSID tabelis varahommikul oli. 2.2 V_AD_KATASTRIYKSUS Katastriüksused. „OLEK = ’K’“ tähendab kehtivat kirjet. Vastab täpselt sellele seisule, mis Oracle andmebaasis AD_KATASTRIYKSUS tabelis varahommikul oli. 2.3 V_AD_KOMP_VAARTUS Klassifikaator. Aadressi komponentide väärtused. Iga tase ja taseme väärtus omaette kirjel. Vastab täpselt sellele seisule, mis Oracle andmebaasis AD_KOMP_VAARTUS tabelis varahommikul oli. 2.4 V_AD_TASE1_MAAKOND Klassifikaator AD_KOMP_VAARTUS põhjal, kuhu on jäetud ainult „TASE = 1“ andmed. Andmetest on välja jäetud vananenud dubleerivad kirjed. Ehk iga KOOD väärtust on tabelis ainult 1 kord ja seetõttu on selle alusel mugav siduda. 2.5 V_AD_TASE2_OMAVALITSUS Klassifikaator AD_KOMP_VAARTUS põhjal, kuhu on jäetud ainult „TASE = 2“ andmed. Andmetest on välja jäetud vananenud dubleerivad kirjed. Ehk iga KOOD väärtust on tabelis ainult 1 kord ja seetõttu on selle alusel mugav siduda. 2.6 V_AD_TASE3_ASUSTUSYKSUS Klassifikaator AD_KOMP_VAARTUS põhjal, kuhu on jäetud ainult „TASE = 3“ andmed. Andmetest on välja jäetud vananenud dubleerivad kirjed. Ehk iga KOOD väärtust on tabelis ainult 1 kord ja seetõttu on selle alusel mugav siduda. 2.7 V_AD_TASE3_VAIKEKOHT Klassifikaator AD_KOMP_VAARTUS põhjal, kuhu on jäetud ainult „TASE = 4“ andmed. Andmetest on välja jäetud vananenud dubleerivad kirjed. Ehk iga KOOD väärtust on tabelis ainult 1 kord ja seetõttu on selle alusel mugav siduda. 2.8 V_AD_TASE3_LIIKLUSPIND Klassifikaator AD_KOMP_VAARTUS põhjal, kuhu on jäetud ainult „TASE = 5“ andmed. Andmetest on välja jäetud vananenud dubleerivad kirjed. Ehk iga KOOD väärtust on tabelis ainult 1 kord ja seetõttu on selle alusel mugav siduda. 2.9 V_AD_TASE3_KOHT Klassifikaator AD_KOMP_VAARTUS põhjal, kuhu on jäetud ainult „TASE = 6“ andmed. Andmetest on välja jäetud vananenud dubleerivad kirjed. Ehk iga KOOD väärtust on tabelis ainult 1 kord ja seetõttu on selle alusel mugav siduda. 2.10 V_AD_TASE3_TASE7 Klassifikaator AD_KOMP_VAARTUS põhjal, kuhu on jäetud ainult „TASE = 7“ andmed. Andmetest on välja jäetud vananenud dubleerivad kirjed. Ehk iga KOOD väärtust on tabelis ainult 1 kord ja seetõttu on selle alusel mugav siduda. 2.11 V_AD_TASE3_TASE8 Klassifikaator AD_KOMP_VAARTUS põhjal, kuhu on jäetud ainult „TASE = 8“ andmed. Andmetest on välja jäetud vananenud dubleerivad kirjed. Ehk iga KOOD väärtust on tabelis ainult 1 kord ja seetõttu on selle alusel mugav siduda. 2.12 V_AK_ANDMETE_ESITAJA Organisatsioonid, kes Ehitisregistrile andmeid esitavad. Lisaks AK_ANDMETE_ESITAJA tabelile on külge seotud ka KL_ANDM_ESIT_TYYBID_ROLL (veerunimed eesliitega „AETR_“) ja AK_ISIK (veerunimed eesliitega „ISIK_“). 2.13 V_AK_ISIK Füüsiliste- ja juriidiliste isikute andmestik. Vastab täpselt sellele seisule, mis Oracle andmebaasis AK_ISIK tabelis varahommikul oli. 2.14 V_AK_KASUTAJA Registri kasutajad, sh autenditavad kasutajad. Lisaks AK_KASUTAJA tabelile on külge seotud ka AK_ANDMETE_ESITAJA (veerunimed eesliitega „AE_“), KL_ANDM_ESIT_TYYBID_ROLL (veerunimed eesliitega „AETR_“) ja AK_ISIK (veerunimed eesliitega „ISIK_“). 2.15 V_AK_KASUTAJA_ASUKOHT Registri kasutajad, sh autenditavad kasutajad ning nendega seotud aadressid. Lisaks AK_KASUTAJA tabelile on külge seotud ka AK_ANDMETE_ESITAJA (veerunimed eesliitega „AE_“), KL_ANDM_ESIT_TYYBID_ROLL (veerunimed eesliitega „AETR_“), AK_ISIK (veerunimed eesliitega „ISIK_“) ja AK_KASUTAJA_EELISTUS_ASUKO (veerunimed eesliitega „ASUK_“). 2.16 V_AK_KASUTAJA_ROLL Registri kasutajad, sh autenditavad kasutajad ning nendega seotud rollid. Lisaks AK_KASUTAJA tabelile on külge seotud ka AK_ANDMETE_ESITAJA (veerunimed eesliitega „AE_“), KL_ANDM_ESIT_TYYBID_ROLL (veerunimed eesliitega „AETR_“), AK_ISIK (veerunimed eesliitega „ISIK_“), AK_KASUTAJA_ROLL (veerunimed eesliitega „KARO_“) ja KL_KASUTAJA_ROLL (veerunimed eesliitega „ROLL_“). 2.17 V_AK_KASUTAJA_ASUKOHT_ROLL Registri kasutajad, sh autenditavad kasutajad ning nendega seotud aadressid ja rollid. Lisaks AK_KASUTAJA tabelile on külge seotud ka AK_ANDMETE_ESITAJA (veerunimed eesliitega „AE_“), KL_ANDM_ESIT_TYYBID_ROLL (veerunimed eesliitega „AETR_“), AK_ISIK (veerunimed eesliitega „ISIK_“), AK_KASUTAJA_EELISTUS_ASUKO (veerunimed eesliitega „ASUK_“), AK_KASUTAJA_ROLL (veerunimed eesliitega „KARO_“) ja KL_KASUTAJA_ROLL (veerunimed eesliitega „ROLL_“). 2.18 V_DO_DOKU Esitatud dokumentide tabel. Lisaks DO_DOKU tabelile on külge seotud ka KL_DOKUMENDI_TYYBID (veerunimed eesliitega „DOTY_“). Tabelis on dokumendid, mis ei ole seisundiga „DO_DOKUSEIS_MANUS“. Maakonna ja omavalitsuse koodid on asendatud nimetustega. 2.19 V_DO_DOKU_DOKU Tabel seob dokumendid omavahel. Vastab täpselt sellele seisule, mis Oracle andmebaasis DO_DOKU_DOKU tabelis varahommikul oli. 2.20 V_DO_DOKU_ISIK Kirjeldatakse isiku kontaktandmed ja roll antud dokumendist lähtuvalt. Vastab täpselt sellele seisule, mis Oracle andmebaasis DO_DOKU_ISIK tabelis varahommikul oli. 2.21 V_DO_DOKU_KASUTAJA Dokumentide ja kasutajate vahelised seosed. Vastab täpselt sellele seisule, mis Oracle andmebaasis DO_DOKU_KASUTAJA tabelis varahommikul oli. 2.22 V_DO_DOKU_OBJ Võimaldab siduda ühe dokumendi alla mitu osa või ehitist. Ehitise ja dokumendi seostabel. Vastab täpselt sellele seisule, mis Oracle andmebaasis DO_DOKU_OBJ tabelis varahommikul oli. 2.23 V_DO_EH_KASUTUSOTSTARVE Dokumendi kihi ehitiste ja kasutusotstarvete seoste tabel. Lisaks tabelile DO_EH_KASUTUSOTSTARVE on külge seotud ka KL_KASUTUSOTSTARBED (veerunimed eesliitega „KAOS_“). 2.24 V_DO_EH_OMAND Kirjeldatakse eri tüüpi omandeid. Vastab täpselt sellele seisule, mis Oracle andmebaasis DO_EH_OMAND tabelis varahommikul oli. 2.25 V_DO_EH_RUUMIKUJU Kirjeldatakse koordinaatide abil ehitise ruumikuju. Vastab täpselt sellele seisule, mis Oracle andmebaasis DO_EH_RUUMIKUJU tabelis varahommikul oli. 2.26 V_DO_EH_RUUMIKUJU_SP_PUNKT Kirjeldatakse koordinaatide abil ehitise ruumikuju ning sissepääsu punkte. Lisaks tabelile DO_EH_RUUMIKUJU on külge seotud ka DO_EH_SP_PUNKT (veerunimed eesliitega „SP_“). 2.27 V_DO_EH_TEHNA Ehitiste ja ehitiste osade tehnilised näitajad. Dünaamiliselt tekkivad ja kaduvad väärtused. Kirje olemasolu tähistab märkeruudu täidetust. Kirje puudumisel on vastav tehniline näitaja puudu ehk märkeruut on täitmata. Lisaks tabelile DO_EH_TEHNA on külge seotud ka KL_TEHNILISED_NAITAJAD (veerunimed eesliitega „KAOS_“). 2.28 V_DO_EHITIS Dokumentidel olevad ehitiste andmed. Vastab tabelile DO_EHITIS. Maakonna, omavalitsuse ja peamise kasutusotstarbe koodid on asendatud nimetustega. 2.29 V_DO_EHITIS_AADRESS Dokumendi kihi ehitise ja aadressi seostabel. Vastab täpselt sellele seisule, mis Oracle andmebaasis DO_EHITIS_AADRESS tabelis varahommikul oli. 2.30 V_DO_EHITIS_KATASTRIYKSUS Dokumendi kihi ehitise ja katastriüksuse seostabel. Lisaks tabelile DO_EHITIS_KATASTRIYKSUS on külge seotud ka AD_KATASTRIYKSUS (veerunimed eesliitega „KAYK_“). 2.31 V_DO_EHITIS_OSA Dokumentidel olevad ehitiste andmed. Lisaks tabelile DO_EHITIS on külge seotud ka DO_EHITIS_OSA (veerunimed eesliitega „OSA_“). Maakonna, omavalitsuse ja peamise kasutusotstarbe koodid on asendatud nimetustega. 2.32 V_DO_ENERGIA Dokumendi kihi energiamärgised ja nende klassid. Vastab tabelile DO_ENERGIA. Peamise kasutusotstarbe kood on asendatud nimetusega. 2.33 V_DO_ENERGIA_ENERGIAKANDJA_TAAST_SYS Dokumendi kihi energiamärgised ja nende klassid ning seotud taastuvenergia süsteemid. Lisaks tabelile DO_ENERGIA on külge seotud ka DO_ENERGIAKANDJA (veerunimed eesliitega „EK_“) ja DO_ENRGIAKANDJA_TAAST_SYS (veerunimed eesliitega „ETS_“). Peamise kasutusotstarbe kood on asendatud nimetusega. 2.34 V_DO_ENERGIA_TEHNA Dokumendi kihi energiamärgised ja nende klassid ning seotud tehnilised näitajad. Lisaks tabelile DO_ENERGIA on külge seotud ka DO_ENERGIA_TEHNA (veerunimed eesliitega „SEOS_“) ja KL_TEHNILISED_NAITAJAD (veerunimed eesliitega „TENA_“). Peamise kasutusotstarbe kood on asendatud nimetusega. 2.35 V_EH_EHITIS Ehitise andmestik, mis on EHR-i keskne mõiste. Sisaldab hooneid ja rajatisi. EH_EHITIS sisaldab aktuaalseid ehitise andmeid, st. ehitise kõige viimane seis, mis tuleneb dokumentidest tulenevatest kannetest. Vastab tabelile EH_EHITIS. Maakonna, omavalitsuse ja peamise kasutusotstarbe koodid on asendatud nimetustega. 2.36 V_EH_EHITIS_OSA Ehitise andmestik, mis on EHR-i keskne mõiste. Sisaldab hooneid ja rajatisi. EH_EHITIS sisaldab aktuaalseid ehitise andmeid, st. ehitise kõige viimane seis, mis tuleneb dokumentidest tulenevatest kannetest. Juures on ka seotud ehitiste osade andmed. Lisaks tabelile EH_EHITIS on külge seotud ka EH_EHITIS_OSA (veerunimed eesliitega „OSA_“). Maakonna, omavalitsuse ja peamise kasutusotstarbe koodid on asendatud nimetustega. 2.37 V_EH_ENERGIA Aktuaalse kihi energiamärgised ja klassid. Vastab tabelile EH_ENERGIA. Peamise kasutusotstarbe kood on asendatud nimetusega. 2.38 V_EH_ENERGIA_ENERGIAKANDJA_TAAST_SYS Aktuaalse kihi energiamärgised ja nende klassid ning seotud taastuvenergia süsteemid. Lisaks tabelile EH_ENERGIA on külge seotud ka EH_ENERGIAKANDJA (veerunimed eesliitega „EK_“) ja EH_ENRGIAKANDJA_TAAST_SYS (veerunimed eesliitega „ETS_“). Peamise kasutusotstarbe kood on asendatud nimetusega. 2.39 V_EH_ENERGIA_TEHNA Aktuaalse kihi energiamärgised ja klassid ning seotud tehnilised näitajad. Lisaks tabelile EH_ENERGIA on külge seotud ka EH_ENERGIA_TEHNA (veerunimed eesliitega „SEOS_“) ja KL_TEHNILISED_NAITAJAD (veerunimed eesliitega „TENA_“). Peamise kasutusotstarbe kood on asendatud nimetusega. 2.40 V_EH_JAHU_KYTE Spetsiaalne tabel jahtus- ja kütteseadmete andmete salvestamiseks. Vastab täpselt sellele seisule, mis Oracle andmebaasis EH_JAHU_KYTE tabelis varahommikul oli. 2.41 V_EH_KASUTUSOTSTARVE Aktuaalse kihi ehitiste ja kasutusotstarvete seoste tabel. Lisaks tabelile EH_KASUTUSOTSTARVE on külge seotud ka KL_KASUTUSOTSTARBED (veerunimed eesliitega „KAOS_“). 2.42 V_EH_OMAND Kirjeldatakse eri tüüpi omandeid. Omandiseosed ehitiste ja ehitiste osade ning isikute vahel. Vastab täpselt sellele seisule, mis Oracle andmebaasis EH_OMAND tabelis varahommikul oli. 2.43 V_EH_RUUMIKUJU Kirjeldatakse koordinaatide abil ehitise ruumikuju. Vastab täpselt sellele seisule, mis Oracle andmebaasis EH_RUUMIKUJU tabelis varahommikul oli. 2.44 V_EH_RUUMIKUJU_EHITIS_AADRESS Kirjeldatakse koordinaatide abil ehitise ruumikuju. Juurde on toodud ehitise aadressid. Lisaks tabelile EH_RUUMIKUJU on külge seotud ka EH_EHITIS_AADRESS (veerunimed eesliitega „SEOS_“) ja AD_AADRESSID (veerunimed eesliitega „AADR_“). 2.45 V_EH_RUUMIKUJU_SP_PUNKT Kirjeldatakse koordinaatide abil ehitise ruumikuju ning sissepääsu punkte. Lisaks tabelile EH_RUUMIKUJU on külge seotud ka EH_SP_PUNKT (veerunimed eesliitega „SP_“). 2.46 V_EH_TEHNA Ehitiste ja ehitise osade tehnilised näitajad. Dünaamiliselt tekkivad ja kaduvad väärtused. Kirje olemasolu tähistab märkeruudu täidetust. Kirje puudumisel on vastav tehniline näitaja puudu ehk märkeruut on täitmata. Lisaks tabelile EH_TEHNA on külge seotud ka KL_TEHNILISED_NAITAJAD (veerunimed eesliitega „KAOS_“). 2.47 V_EHITIS_AADRESS Aktuaalse kihi ehitise ja aadressi seostabel. Lisaks tabelile EH_EHITIS_AADRESS on külge seotud ka AD_AADRESSID (veerunimed eesliitega „AADR_“). 2.48 V_EHITIS_AADRESS_KATASTRIYKSUS Aktuaalse kihi ehitise ja aadressi seostabel. Juurde on toodud ka seotud katastriüksused. Lisaks tabelile EH_EHITIS_AADRESS on külge seotud ka AD_AADRESSID (veerunimed eesliitega „AADR_“) ja AD_KATASTRIYKSUS (veerunimed eesliitega „KAYK_“). Soovitav on kasutada vaadet dm.ruumikuju_aadress_katastriyksus_mv. Tegemist on indekseeritud materialiseeritud vaatega. Vajadusel võib indekseid juurde lisada. 2.49 V_EHITIS_KATASTRIYKSUS Aktuaalse kihi ehitise ja katastriüksuse seostabel. Lisaks tabelile EH_EHITIS_KATASTRIYKSUS on külge seotud ka AD_KATASTRIYKSUS (veerunimed eesliitega „KAYK_“). 2.50 V_ME_MEN Menetlust esindav tabel. Sisaldab vaid menetlusega üheselt seotud atribuute. ALGUS ja LOPP ei vasta tegelikele menetluse alguse ja lõpu kuupäevadele. Vastab täpselt sellele seisule, mis Oracle andmebaasis ME_MEN tabelis varahommikul oli. 2.51 V_ME_MEN_DOKU Menetlused ning seotud dokumendid. ALGUS ja LOPP ei vasta tegelikele menetluse alguse ja lõpu kuupäevadele. Lisaks tabelile ME_MEN on külge seotud ka DO_DOKU (veerunimed eesliitega „DOKU_“) ja KL_DOKUMENDI_TYYBID (veerunimed eesliitega „DOTY_“). Külge on seotud kõik menetlusega seotud dokumendid, mis ei ole seisundiga „DO_DOKUSEIS_MANUS“. Dokumendi maakonna ja omavalitsuse koodid on asendatud nimetustega. Soovitav on kasutada vaadet dm.me_men_doku_mv. Tegemist on indekseeritud materialiseeritud vaatega. Vajadusel võib indekseid juurde lisada. 2.52 V_ME_MEN_EHITIS_SEOS Menetlused ning nende ja ehitiste seosed. ALGUS ja LOPP ei vasta tegelikele menetluse alguse ja lõpu kuupäevadele. Lisaks tabelile ME_MEN on külge seotud ka ME_MEN_EHITIS (veerunimed eesliitega „SEOS_“). 2.53 V_ME_MEN_ISIK_SEOS Menetlused ning nende ja isikute seosed. ALGUS ja LOPP ei vasta tegelikele menetluse alguse ja lõpu kuupäevadele. Lisaks tabelile ME_MEN on külge seotud ka ME_MEN_ISIK (veerunimed eesliitega „SEOS_“). 2.54 V_ME_MEN_TOIMING Menetlused ning nendega seotud toimingud. ALGUS ja LOPP ei vasta tegelikele menetluse alguse ja lõpu kuupäevadele. Lisaks tabelile ME_MEN on külge seotud ka ME_TOIMING (veerunimed eesliitega „TOIM_“). 2.55 V_ME_MEN_TOIMING_DOKU Menetlused ning nendega seotud toimingud ja omakorda toimingutega seotud dokumendid. ALGUS ja LOPP ei vasta tegelikele menetluse alguse ja lõpu kuupäevadele. Lisaks tabelile ME_MEN on külge seotud ka ME_TOIMING (veerunimed eesliitega „TOIM_“), DO_DOKU (veerunimed eesliitega „DOKU_“) ja KL_DOKUMENDI_TYYBID (veerunimed eesliitega „DOTY_“). Külge on seotud toimingutega seotud dokumendid, mis ei ole seisundiga „DO_DOKUSEIS_MANUS“. Dokumendi maakonna ja omavalitsuse koodid on asendatud nimetustega. Soovitav on kasutada vaadet dm.me_men_toiming_doku_mv. Tegemist on indekseeritud materialiseeritud vaatega. Vajadusel võib indekseid juurde lisada. 2.56 V_RR_ANDMEPROBLEEMID Ehitiste ja ehitise osadega seotud REGREL andmeprobleemide hetkeseis. Seda, kas andmeprobleem on seotud ehitise või ehitise osaga saab otsustada selle järgi, kas ELURUUMI_ID on täidetud või mitte. Kui EHITISE_ID on täitmata, siis on tegu päise kirjega, mis on vajalik Tableau aruande ülesehituses. Kui VEA_KIRJELDUS on „Puudub“, siis on tegu kirjega, mis on mõeldud erinevate dimensioonide alusel ehitiste või eluruumide arvu ja vea osakaalu leidmiseks. 2.57 V_RR_STATISTIKA Ehitiste ja ehitiste osadega seotud REGREL andmeprobleemide ulatus erinevatel ajahetkedel. Võimaldab jälgida andmeprobleemide dünaamikat. Kirjed on osaliselt agregeeritud ja neid lisandub iga kuu alguses. 2.58 V_RR_EHITISED_ELURUUMID Kõikide aktuaalse kihi ehitiste ja eluruumide ning nendega seotud kõikvõimalike REGREL näitajatega vaade. Täpsemalt veergude sisu kohta on kirjas vaate kommentaarides. Igal varahommikul arvutatakse kõik näitajad uuesti. 2.59 V_TVA_MENETLUS Menetluste tabel, mida kasutab Tableau aruanne. Tabel sisaldab kõiki käimasolevaid või lõppenud menetlusi, mis on alanud 01.04.2016 või hiljem ning on seotud ehitusteatise, kasutusteatise, ehitusloa taotluse, kasutusloa taotluse või projekteerimistingimuste taotlusega. Tabelis on toodud ühe menetluse kohta mitu kirjet, kui selle menetlusega on seotud rohkem, kui 1 ehitist (iga ehitise kohta 1 kirje). 3. EHR andmeaida DM vaadete kirjeldused Järgnevalt on kirjeldatud DM skeemi all olevad vaated. Kõikides vaadetes on kasutatud „END_DTIME IS NULL“ tingimust ehk vaadatakse ainult hetkel kehtivaid kirjeid. Andmevaadete veergude kommentaarid on andmevaadete juures. Kommentaarid uuenevad automaatselt, kui on uuenenud ka alustabeli kommentaarid. DM vaated on materialiseeritud vaated, mille suffiks on _mv. Vaadetel on kasutatud ts_vector veerge , täistekst otsingute jaoks. Vaadetele on lisatud indeksid andmete kiiremaks otsimiseks. Indekseid võib vajadusel lisada. Indekseid näib vaate definitsiooni all. Andmevaade uuenevad kord öö-päevas. 3.1 dm. ehitis_ehitis_osa_mv Vaates on kokku pandud EH_EHITIS ja EH_EHITIS_OSA tabelid. Juurde on toodu kasutusotstarve, tehnilised näitajad, katastriüksused. Vaates on kasutatud ts_vector veerge, mille abil saab teha lihtsasti täistekstotsinguid. Näited: - teksti osa järgi otsimine select * from dm.ehitis_ehitis_osa_mv t3 where t3.taisaadress_v @@ to_tsquery('Lõkk:* & 4 & Tallinn') - ja select count(*) from dm.ehitis_ehitis_osa_mv t3 where t3.kaos_id_v @@ to_tsquery('30037 & 11101') - või select count(*) from dm.ehitis_ehitis_osa_mv t3 where t3.kaos_id_v @@ to_tsquery('30037 | 11101') Täiendav info: https://www.compose.com/articles/mastering-postgresql-tools-full-text-search-and-phrase-search/ https://www.postgresql.org/docs/11/datatype-textsearch.html 3.2 dm.menetluse_algus_mv Menetlusega seotud alguse ja lõpukuupäevad. Vaates on leitud dokumendi tüübi ja dokumendi seisundi järgi õiged Menetluse alguse kuupäevad. 3.3 dm.me_men_doku_mv Menetlused ning seotud dokumendid. ALGUS ja LOPP ei vasta tegelikele menetluse alguse ja lõpu kuupäevadele. Lisaks tabelile ME_MEN on külge seotud ka DO_DOKU (veerunimed eesliitega „DOKU_“) ja KL_DOKUMENDI_TYYBID (veerunimed eesliitega „DOTY_“). Külge on seotud kõik menetlusega seotud dokumendid, mis ei ole seisundiga „DO_DOKUSEIS_MANUS“. Dokumendi maakonna ja omavalitsuse koodid on asendatud nimetustega. 3.4 dm.v_me_men_toiming_doku_mv Menetlused ning nendega seotud toimingud ja omakorda toimingutega seotud dokumendid. ALGUS ja LOPP ei vasta tegelikele menetluse alguse ja lõpu kuupäevadele. Lisaks tabelile ME_MEN on külge seotud ka ME_TOIMING (veerunimed eesliitega „TOIM_“), DO_DOKU (veerunimed eesliitega „DOKU_“) ja KL_DOKUMENDI_TYYBID (veerunimed eesliitega „DOTY_“). Külge on seotud toimingutega seotud dokumendid, mis ei ole seisundiga „DO_DOKUSEIS_MANUS“. Dokumendi maakonna ja omavalitsuse koodid on asendatud nimetustega. 3.5 dm.ruumikuju_aadress_katastriyksus_mv Aktuaalse kihi ehitise ja aadressi seostabel läbi ruumikuju. Juurde on toodud ka seotud katastriüksused. Lisaks tabelile EH_EHITIS_AADRESS ja EH_RUUMIKUJU on külge seotud ka AD_AADRESSID (veerunimed eesliitega „AADR_“) ja AD_KATASTRIYKSUS (veerunimed eesliitega „KAYK_“). 4. EHR andmeaida KOV alustabelite kirjeldused Järgnevalt on kirjeldatud EHR statistikaportaali (https://statistika.ehr.ee) jaoks loodud tabelid. Tabelites olevad andmed arvutatakse igal varahommikul uuesti. 4.1 R_EHITISE_ENERGEETIKA Tabelis on toodud kõik ehitiste kehtivad energiamärgiste põhiandmed ning dimensioon, mis jaotab energiamärgised „enne 2013“ või „alates 2013“ gruppidesse. Tabelit kasutab statistikaportaali „Ehitise energeetika“ aruanne. 4.2 R_EHITISE_NAITAJAD Tabelis on toodud ehitiste peamised näitajad nagu erinevad pindalad ja esmane kasutuselevõtuaasta. Tabelit kasutab statistikaportaali „Ehitise näitajad“ aruanne. 4.3 R_EHITISE_PROJ_KOOSTAJA Tabelis on toodud erinevad menetluste ja juriidiliste isikute seosed, kes menetlustega tegelevad. Tabelit kasutab statistikaportaali „Ehitusprojekti koostajad“ aruanne. 4.4 R_EHITISE_REGREL_EHITISED Tabelis on toodud mõned REGREL andmeprobleemide põhinäitajad (wc, veevarustus, küte jne.) ehitiste kaupa. Tabelit kasutab statistikaportaali „REGREL tehnilised näitajad“ aruanne. 4.5 R_EHITISE_REGREL_ELURUUMID Tabelis on toodud mõned REGREL andmeprobleemide põhinäitajad (wc, veevarustus, küte jne.) eluruumide kaupa. Tabelit kasutab statistikaportaali „REGREL tehnilised näitajad“ aruanne. 4.6 R_MENETLUSE_DYNAAMIKA Tabelis on toodud menetluste põhiinfo (algus, lõpp, tüüp jne). Tabelit kasutab statistikaportaali „Menetluste dünaamika“ aruanne. 4.7 R_MENETLUSE_KESTUSE_JAOTUS Tabelis on toodud menetluste kaupa erinevate osapoolte menetluste käigus kulutatud aeg. Tabelit kasutab statistikaportaali „Menetluste kestuste jaotus“ aruanne. 5. EHR andmeaida RVA alustabelite kirjeldused Järgnevalt on kirjeldatud tabelid ja vaated, mis on loodud RVA skeemi alla Tableau aruannete jaoks. Enamikke neist uuendatakse igal varahommikul. 5.1 RR_ANDMEPROBLEEMID Ehitiste ja ehitise osadega seotud tehnilised näitajad, mida REGREL käigus uuritakse. Enamasti tähendab 1 veeru pealkirjas toodud tingimuse olemasolu ja 0 või tühi väli vastupidist 5.2 RR_ANDMEPROBLEEMID_STATISTICS Ehitiste ja ehitiste osadega seotud REGREL andmeprobleemide ulatus erinevatel ajahetkedel. Võimaldab jälgida andmeprobleemide dünaamikat. Kirjed on osaliselt agregeeritud ja neid lisandub iga kuu alguses. 5.3 TVA_MENETLUS Menetluste tabel, mida kasutab Tableau aruanne. Tabel sisaldab kõiki lõppenud menetlusi, mis on alanud 01.04.2016 või hiljem ning on seotud ehitusteatise, kasutusteatise, ehitusloa taotluse, kasutusloa taotluse või projekteerimistingimuste taotlusega. Tabelis on toodud ühe menetluse kohta mitu kirjet, kui selle menetlusega on seotud rohkem, kui 1 ehitist (iga ehitise kohta 1 kirje). Andmed on normaliseeritud kujul. 5.4 TVA_MENETLUS_LAST Menetluste tabel, mida kasutab Tableau aruanne. Tabel sisaldab kõiki käimasolevaid menetlusi, mis on alanud 01.04.2016 või hiljem ning on seotud ehitusteatise, kasutusteatise, ehitusloa taotluse, kasutusloa taotluse või projekteerimistingimuste taotlusega. Tabelis on toodud ühe menetluse kohta mitu kirjet, kui selle menetlusega on seotud rohkem, kui 1 ehitist (iga ehitise kohta 1 kirje). Andmed on normaliseeritud kujul. 5.5 RR_ANDMEPROBLEEMID_STATISTICS_VIEW Ehitiste ja ehitiste osadega seotud REGREL andmeprobleemide ulatus erinevatel ajahetkedel. Võimaldab jälgida andmeprobleemide dünaamikat. Kirjed on osaliselt agregeeritud ja neid lisandub iga kuu alguses. Selle vaate poole pöördub Tableau REGREL andmeprobleemide aruanne. 5.6 RR_ANDMEPROBLEEMID_VIEW Ehitiste ja ehitise osadega seotud REGREL andmeprobleemide hetkeseis. Seda, kas andmeprobleem on seotud ehitise või ehitise osaga saab otsustada selle järgi, kas ELURUUMI_ID on täidetud või mitte. Kui EHITISE_ID on täitmata, siis on tegu päise kirjega, mis on vajalik Tableau aruande ülesehituses. Kui VEA_KIRJELDUS on „Puudub“, siis on tegu kirjega, mis on mõeldud erinevate dimensioonide alusel ehitiste või eluruumide arvu ja vea osakaalu leidmiseks. Selle vaate poole pöördub Tableau REGREL andmeprobleemide aruanne. 5.7 TVA_MENETLUS_VIEW Menetluste vaade, mida kasutab Tableau aruanne. Tabel sisaldab kõiki käimasolevaid ja lõppenud menetlusi, mis on alanud 01.04.2016 või hiljem ning on seotud ehitusteatise, kasutusteatise, ehitusloa taotluse, kasutusloa taotluse või projekteerimistingimuste taotlusega. Tabelis on toodud ühe menetluse kohta mitu kirjet, kui selle menetlusega on seotud rohkem, kui 1 ehitist (iga ehitise kohta 1 kirje). Kirjetele on külge seotud tekstilised väärtused. Selle vaate poole pöördub Tableau menetluste aruanne. 6. EHR andmeaida PPA alustabelite kirjeldused Järgnevalt on kirjeldatud tabelid, mida kasutab PPA jaoks tehtud Tableau aruanne. Andmeid uuendatakse igal varahommikul. 6.1 MENETLUS_DOKUMENT_ACTIVE Tabelis on käimasolevate menetlustega seotud dokumentide üldandmed ja mitmes erinevas menetluse või dokumendiga seotud rollis olevad isikud. Ühe menetlusega võib olla seotud mitu kirjet. 6.2 MENETLUS_DOKUMENT_UNACTIVE Tabelis on lõppenud menetlustega seotud dokumentide üldandmed ja mitmes erinevas menetluse või dokumendiga seotud rollis olevad isikud. Ühe menetlusega võib olla seotud mitu kirjet. 6.3 MENETLUS_TOIMING_ACTIVE Tabelis on käimasolevate menetlustega seotud toimingute üldandmed ja mitmes erinevas toiminguga seotud rollis olevad isikud. Ühe menetlusega võib olla seotud mitu kirjet. 6.4 MENETLUS_TOIMING_UNACTIVE Tabelis on lõppenud menetlustega seotud toimingute üldandmed ja mitmes erinevas toiminguga seotud rollis olevad isikud. Ühe menetlusega võib olla seotud mitu kirjet. 7. Koolitus Koolituse viiakse läbi projekti käigus loodud vaadete alusel. Koolitus on jagatud kolme ossa – - Tavakasutaja koolitus - Helpdesk’i töötajate koolitus (ei hõlma aruannete loomist) - Peakasutaja koolitus Koolituse teemad – - Tutvumine loodud vaadetega - Tutvumine Tabelau töövahenditega - „Data source “ loomine - Aruande loomine - Publitseerimine - Valmis aruannete koolitus (Tabeau serveril ja Helpdesk’i töötajatele) EHR andmeait ja selle baasil realiseeritavad teenused Analüüs Dokumendi versioonid Versioon Kuupäev Muudatus Muutja 1.0 10.01.2018 Hillar Urmet 1. Sissejuhatus Käesolev dokument kirjeldab EHR andmeaita, selle toimimist, juhtimist ja selle baasile loodavate teenuste funktsionaalsust. Dokument on mõeldud kasutamiseks tellijale, arendajale, süsteemi haldajale ja pooltele, kes teostavad antud lahendusele täiendavaid arenduse töid. 2. EHR andmeaida komponentide ja protsessi ülevaade 2.1 Ülevaade EHR andmeait realiseeritakse klassikalise andmeaida mudeli järgi, kus on komponendid ETL ( ETL – extract, transform , load ), Andmeait , Arvutused ja Väljund vaated. Andmeaida komponentide joatusel on lähtutud põhimõttest, et andmelaadimise (ETL) , andmehoidla ( data storage layer) ja andmekasutus/väljundid (data output layer) saavad toimida üksteisest sõltumata , näiteks kui toimub andmelaadimine, siis samal ajal on võimalik andmepäringud jätkuvalt sooritada.. Järgnev Joonis „protsessi joonis“ kirjeldab andmeaida realiseeritud komponentide vahelisi seoseid. Protsessi joonis Sisendid Data Processing / Väljundid Data Source Layer ETL Data Storage Layer Analysis Layer Data Output Layer Eelmise perioodi Laadimise kell 4 PSA andmete job manager kustutamine ehrdb Allikandmed View’d Andmete 1 Andmete salvestamine pumpamine vahe/tööbaasi/ Staging area Tableau TVA proc’id TVA view’d allikabaasist skeemi PSA STAT xTee view’d Andmetransform AV – avalikud Andmete andmed view’d 2 atsioon core DW laadimine Core db baasi/skeemi DW RVA kihi 3 Sünkroniseerimi Report views ne area RVA xTee xTee proc’id , xml mat.view’d Järgmisena on joonisel olevate osade kirjeldused 2.2 Sisendid / Allikabaas ( Data Source Layer ) Allikabaasiks on antud projekti raames üks andmebaas – EHRDB ( oracle) ja skeem EHR. EHR skeemis on vaated (view’d) preffiksiga YDW_. Otse tabelitest andmeid ei laeta. Laadimiseks on andmebaasi kasutaja „dwload“. EHR andmebaasi andmeedastuse vaated on lisatud EA mudelina. Risk !! – allikabaasi vaated, nende alustabeleid ei tohi kooskõlastamata muuta ja tuleb tagada, et need ei teeks laadimiseks mõeldud andmevaateid katki. Riski maandamiseks tuleb uute EHR arendustööde käigus EHR oltp andmebaasi muudatused kooskõlastada EHR andmaida analüütikuga ja vajadusel tuleb muuta ka andmeaita. Lisaks on EHR oltp andmebaasis andmelaadimise vaated (viewd) selgelt eristatavad (preffiks YDW) ja andmebaasi muudatuste tegemisel peavad laadimiseks mõeldud vaated kompileeruma. 2.3 ETL (Extract, Transform and Load) ETL’iks nimetatakse andmeaida osa, mis tegeleb andmekorje, transformatsiooni, andmelaadimiste ja teiste vajalike protsesside juhtimisega andmeaidas (näiteks väljundite sünkroniseerimisega). EHR andmebaasi andmed (oracle) on saadaval EHR skeemis YDW_ preffiksiga vaadetes(view). Andmepump (datapump) on rakendus, mis laeb andmed allikabaasidest andmeaita. Andmepumba töö on konfigureeritud alljärgnevates tabelites.: z_sa_loadings_setup - kirjeldab kõik laadimise samme koos vajalike parameetritega. z_sa_loadings_job - siin on ühe laadimise tsükli staatused ja see seob kokku ühe laadimistsükli jooksul tehtud laadimised (vt z_sa_loadings) z_saloadings – siin hoitakse laadimiste järjehoidjaid ehk milliste andmetega järgmises laadimise tsüklis andmete päringud allikabaasist tehakse. z_sa_loadings_job ja z_sa_loadings tabeli sisu kuvatakse ka admin toolis. Andmepump tabelid ja tabelite seosed: ETLi üks osa on Andmepump (ka Datapump) , alljärgnevalt on selle tehniline kirjeldus. Andmepump (DataPump) on realiseeritud käsurealt käivitatava Pythoni programmina, mis laeb allikast ühe tabeli sisu sihtandmebaasi ning salvestab oma töö tulemused (laetud kirjete arv jms.) sihtbaasi vastavasse tabelisse (z_sa_loadings). Laadimise parameetrid seadistatakse käsurealt etteantavast konfiguratsioonifailist. Opsüsteemile tagastatav väärtus on 0 (null), kui laadimine oli edukas ning nullist erinev veakood, kui laadimisel saadi viga. Üldreeglina salvestatakse saadud viga ka sihtbaasi tabelisse, kuid võib esineda juhtumeid kus seda ei õnnestu teha ning sellisel juhul on veateade kättesaadav kas süsteemsest logist või logifailist (vastavalt konkreetse laadimise konfiguratsioonis seadistatule). Suurema hulga info (erinevad tabelid, erinevad allikad) laadimine realiseeritakse shelli skriptide abil, kusjuures nendes skriptides saab ette anda laadimise järjekorra ning vajadusel tekitada erinevate laadimisprotsesside vahelised sõltuvused – näiteks kui mingi laadimine saab vea, siis ei ole järgmiste sammudena mõtet laadida ka sellest sõltuvaid andmeid vaid need võib vahele jätta. Andmete perioodiliseks laadimiseks kasutatakse süsteemset cron-i (või mingit muud analoogset teenust). Kuna kõigis unixi laadsetes operatsioonisüsteemides on see vaikimisi olemas, siis ei ole mingit otsest vajadust antud funktsionaalsuse dubleerimiseks. Töö ajaks salvestab DataPump enda protsessi ID konfiguratsioonis näidatud faili. Kui selline fail juba eksisteerib ning sinna salvestatud ID-ga protsess on olemas, siis DataPump ei käivitu, sest tõenäoliselt sama instants temast on juba töös. Sellisel kombel välditakse pikalt töötavate protsesside puhul teineteisele „selga sõitmine“. - Käsurea parameetrid - c / --config – konfiguratsioonifali nimi - G / --global-config – globaalsete konfiguratsiooniparameetrite (andmebaaside ligipääsud) faili nimi - v / --verbose – logi „jutukuse aste“, käsurealt antu on kõrgema prioriteediga kui konfiguratsionifailis olev sama parameeter - t / --test – töö toimub testreźiimis, s.t. andmeid tegelikult ei laeta ega modifitseerita - Konfigureerimine Laadimise konfigureerimine toimub käsurealt etteantava konfiguratsioonifaili abil kuid laadimise protsess kasutab muuhulgas parameetreid, mis on salvestatud sihtbaasi konstantsete nimedega tabelitesse. Nimelt kasutab laadimine nn. „järjehoidjaid“, mille väärtus (tüüp võib olla kirje ID või timestamp/datetime) salvestatakse sihtbaasi. Kui tegu on esmase laadimisega, siis loetakse järjehoidja väärtus tabelist z_sa_loading_setup, järgmiste laadimiste puhul tabelist z_sa_loadings, kuhu selle salvestas eelmine laadimine. - Konfiguratsioonifail Konfiguratsioonifailid on tavapärases nn. .ini faili formaadis, s.t. see jaguneb sektsioonideks kujul [Sektsiooninimi], mis omakorda sisaldavad konfiguratsiooniparameetreid kujul parameetrinimi = parameetri väärtus. - Konfiguratsiooniparameetrid Konfiguratsiooniparameetrite loetelu ja kirjeldused sektsioonide kaupa [Main] pidfile – failinimi, kuhu salvestatakse jooksva protsessi ID [Logging] verbose – logi „jutukuse tase“, 5 on kõige jutukam (koos debug infoga) method – logi salvestamise meetod. Valikud on: stderr, syslog, file facility -- „syslog facility“ kui logi salvestamiseks kasutatakse süsteemset logiteenust file – failinimi, kuhu logi salvestatakse („file“ meetodi puhul) [Source] database – sektsiooni nimi globaases konfifailis, millest loetakse andmebaasi autentimis- jms. parameetrid sql – viide failile, millest loetakse allikast andmete lugemise SQL lause [Target] database – sektsiooni nimi globaases konfifailis, millest loetakse andmebaasi autentimis- jms. parameetrid sql – viide failile, millest loetakse andmete salvestamise SQL-lause moodustamiseks vajalik info [Loader] name – laadimisprotsessi nimi, kasutatakse logiteadete salvestamisel loading_setup_id – laadimise konfiguratsiooni ID sihtbaasi z_sa_loading_setup tabelis. Selle järgi loetakse alglaadimise parameetrid. bookmark_type – järjehoidja tüüp, võimalikud väärtused id, datetime loading_all_data – kas allikast laetakse alati kõik andmed või vastavalt järjehoidjale. Võimalikud väärtused Y, N commit_point – Kui mitme kirje laadimise järel tehakse sihtbaasis „commit“. Väärus sõltub kasutada olevast mälust ning mõjutab töökiirust. Suuremate väärtustega on kiirus suurem aga ainult niikaua kui süsteem saab kasutada puhast RAM-i ning ei pea swappima. Swappimise korral tuleb commit_point väärtust vähendada. has_geo – kas allikas sisaldab geoandmeid. Kuna geoandmeid peab käsitlema teistest erinevalt, siis selle parameetriga (võimalikud väärtused Y, N) antakse protsessile eijuhu olemasolust teada - Globaalsed konfiguratsiooniparameetrid Globaalsete konfiguratsiooniparameetrite failis kirjeldatakse allika- ja sihtbaasi ligipääsuks vajalikud parameetrid. Sektsiooni nimi on vabalt valitav unikaalne nimi – seda nime kasutatakse omakorda iga üksiku laadimise konfifailis. Igas sektsioonis kirjeldatakse järgmised parameetrid: dbtype – andmebaasi tüüp, võimalikud väärtused on „oracle” ja „postgresql” dbhost – andmebaasi serveri IP aadress või DNS nimi dbport – andmebaasi teenuse pordi number dbname – andmebaasi nimi dbuser -- kasutajanimi dbpass -- parool Laadimise sagedus on kord päevas, vajadusel saab laadimise kellaaega muuta läbi Admin tooli. Andmelaadimise protsessi käigus peale andmete üle pumpamist allika baasist laetakse andmeaida siseselt ka core db , sünkroniseeritakse materjeliseeritud vaated anadmete väljutamiseks ja kustutatakse staging areast juba töödeldud andmed. 2.4 Füüsilised andmed ( Data Storage Layer , vt p 2.1 „Protsessi joonis“ ) Andmeaida üks osa on füüsilised andmed . Need jagunevad kolme ossa – ajutised andmed PSA, püsiandmed DW ja väljundandmed RVA. - psa - staging area psa on andmeaida andmebaasi skeem, kuhu datapump laeb andmed. Seal olevad tabelid on kõik sa_ preffiksiga (sa – staging area) ja z_sa_loading_ preffikiga, mis on mõeldud andmelaadimise töö korraldamiseks. PSA skeemis hoitakse alati viimast ja jooksvat andmelaadimise andmekooseisu. Laadimise ja teiste ETL protsesside lõpetamisel kustutatakse varasemad, kui käesolevas laadimises kasutatud andmed ära. SA_ tabelites olevad andmed on ajutised. Sinna laetakse andmed järjekorra alusel ehk andmeait peab allikabaasi objektide põhiselt meeles järjehoidjaid (bookmark). Järjehoidja on vajalik selleks, et laetaks ainult juurde tekkinud andmed. Antud lahenduses kasutatakse järjehoidjateks ajatemplit. PSA skeemis on veel andmetransformatsiooni skriptid, mille abil tõstetakse andmed DW skeemi (core db) . - dw - (core area, raw data ) dw on skeem, kus hoitakse andmelao/avaandmebaasi andmeid. Andmed ainult lisatakse ( inserditakse ), midagi ei muudeta ega kustutata. Kõik andmekirjed on varustatud start_dtime ja end_dtime veergudega ja kui end_dtime is null, siis need on viimased kehtivad andmed. - rva – materjaliseeritud vaated (materialized view’d) rva on skeem, kus on matejaliseeritud andmevaated (mat. vaated), mis on töötavad ka andmelaadimiste ajal. Need vaated on preffiksiga „mat_“ . Peale andmete laadimisi uuendatakse ka mat. Vaateid. Matejaliseeritud vaadete pealt tehakse kõik ülejäänud andmevaated vastavalt vajadusele. 2.5 Väljundid ( Data Output Layer, presentation area, report view area) Andmevaated (view’d) jaotatakse gruppidesse nende kasutuse järgi. RVA skeemis on materjaliseeritud vaated (materialized viewd’d) , mille baasil on loodud preffiksiga STAT ja AV vaated, mis oma korda on sisendiks STAT xTee andmeedastusele ja Avaandmete WEB liidesele . - STAT andmevaated (Lähteülesanne - Lisa 1 - Tehniline kirjeldus p 4.3 ja 4.4 ) Stat andmevaated on STAT_ preffiksiga ja tulemused edastatakse üle xTee . Vt Lisa - EHR-lt_ Tabelid.xlsx Vt täpsem kirjeldus p.7 (STAT aruanded üle xTee) - AV vaated, avaandmete vaated (AV_% view) Avaandmetest täpsemalt - http://www.rik.ee/et/avaandmed Avaandmete vaateid kasutab avaandmete veebliides. Avaandmete hulka on valitud EHR andmebaasist põhiobjektid, mis kirjeldavad ehitisi ja ehitise osi, ruumikuju ja aadress andmeid. Avaandmete hulgas ei ole EHR menetlusega seotud ja isiku andmeid., Veebiliidese kaudu alla laetavad andmeobjektid ja EHR tabelid on: AADRESSID - ad_aadress EHITISE JA AADRESSI SEOS - eh_ehitis_aadress EHITISE JA KATASTRI SEOS - eh_ehitis_katasrtiyksus EHITISE KASUTUSOTSTARBED – eh_ ehitis_kaos EHITISE OSAD – eh_ehitis_osa EHITISE RUUMIKUJU – eh_ ehitise_ruumikuju EHITISE SISSEPÄÄSUPUNKTID – eh_sp_punkt EHITISE TEHNILISED ANDMED – eh_tehna EHITISED – eh_ehitis EHITISREGISTRI KLASSIFIKAATORID (KL) - kl_element Ehitus- ja kasutusloa saanud ehitised - Stat ameti päring Ehitus- ja kasutusloa saanud ruumid - Stat ameti päring HOONE ENERGIA MÄRGISED – eh_energia KASUTUSOTSTARBED (KL) - kl_kasutusotstarbed KATASTRIÜKSUS – ad_katastriyksus TEHNLISED ANDMED (KL) - kl_tehna Andmepäringud ühes metadata päringutega on tabelis rva.z_report_metadata. Vt täpsem kirjeldus p.6 (andeaida veebiportaal) - xTee – on skeem, kus on andmebaasi protseduurid xml’ide küsimiseks ja ettevalmistuseks ja edastamine EHR’i poolt pakutavatele xTee teenuse kihile. Vt. punkt 9 . 2.6 Metaandmed (metadata) , Ärisõnastik (business glossary) - metadata – on skeem, mis on andmeaida osa ja seal hoitakse andmeaidas olevate andmete kirjeldusi. Metadata hulgas saab olla tabelite ja vaadete veergude kirjeldused. Käesoleva projekti raames realiseeritakse tabelite, vaadete ja väljundandmete veergude kirjeldused tabelis metadata. Metaandmete andmemudel 3. Alglaadimine Alglaadimisel laetaks andmeait allikabaasi andmetega ja seal ei arvestada järjehoidjatega ehk teisisõnu on andemaht igapäevasest laadimisest oluliselt suurem, ulatudes 70GB –ni . Alglaadimise käigus võetakse andmeobjektide loetelu ja alguskuupäevad tabelist psa.z_sa_loading_setup tabelist ja tulemused laetakse koos uute järjehoidjatega tabelisse psa.z_sa_loadings . Alglaadimine on samasugune laadimine nagu igapäevane ja mingeid täiendavaid käivitamisi alglaadimise ei vaja. Planeeritav kestvus - 8h RISK !! - - kui alglaadimise ajal käbi mõni andmebaasi protsess, mis võib koormata andmebaasi, siis selle tõttu võib ka alglaadimise aeg minna planeeritust pikemaks. Et seda vältida, tuleb alglaadimine EHR oltp andmebaasi haldajaga eelnevalt kokku leppida. Alglaadimise kestvus on planeeritud ca 8 tundi. Alglaadimise võib teha ka nädalavahetusel päevasel ajal, siis ei tohiks ehrdb koormus olla suur. NB !! Alglaadimine ei tohi segada EHR rakenduse andmebaasi igapäevast tööd. 4. Igapäevane laadimine Igapäevane laadimine toimud kord ööpäevas ja laadimise aeg määratakse admin toolis (p 5.5). Igapäevasel laadimisel laetakse ainult juurde tulnud või muudetud andmete osa. 5. Juhtmoodul EHR Avaandmete töötlus kätkeb endas autonoomset protsessi, mille toimimisest on tarvis ülevaadet ning mille käitumist peab olema võimalik lihtsamas ulatuses (sisse-välja lülitamine jms.) juhtida. Selleks otstarbeks on loodud lihtne veebipõhine juhtimisliides, mille pääseb ligi MKM sisevõrgust aadressil https://10.20.30.30:5443/ . Ligipääsuks on vaja kasutajaõigusi. 5.1 Tehnilise lahenduse kirjeldus Veebiliides on loodud Python-i programmina, mis kasutab nn. “microframeworki” (Flask) ning toimib selle sisseehitatud http serveri baasil. See ei ole mõeldud suure hulga kasutajate teenindamiseks aga kui selline vajadus peaks tekkima, siis ei ole ümberseadistamine kuigivõrd keerukas. 5.2 Konfigureerimine Juhtimisliidese konfigureerimine toimub installikataloogis oleva config.py faili kaudu, kus seadistatakse andmebaasi ligipääsu parameetrid: - DB_NAME -- Andmebaasi nimi - DB_HOST -- Andmebaasi serveri IP aadress või DNS nimi - DB_USER -- Kasutajanimi, kellena luuakse ühendus andmebaasiga - DB_PASS -- parool - DB_PORT -- andmebaasi ühenduseks kasutatav TCP port - DB_MAXCONN -- maksimaalne andmebaasi ühenduste arv Lisaks sellele ka autentimisparameetrid. Kuna juhtimisliides on piiratud kasutusega, siis ei hallata siinkohal kasutajate registrit, vaid seadistatakse konfiguratsioonifailis kasutajanimi ja parool, kellel on siis õigus parameetrite muutmiseks. - USERNAME -- kasutajanimi - PASSWORD – parool Süsteemse cron-i seadistamiseks kirjeldatakse konfiguratsioonifailis käsud, mille abil käivitatakse avaandmete laadimise protsess (datapump) ning mille abil koostatakse Statistikaametile saadetavad aruanded. - DATAPUMP_CMD -- käsurida, mis käivitab avaandmete laadimise - STATREPORT_CMD -- käsurida, mis käivitab Statistikaameti aruande genereerimise ning saatmise. Käsurea lõppu lisatakse automaatselt saadetava aruande number. 5.3 Kasutajaliides Juhtmooduli kasutajaliidesel näeb ja saab seadistada andmelaadimisi, edastusi ja teisi olulisi parameetreid andmeaida töös. Järgnevalt on kirjeldatud juhtmooduliga töötamine ehk kasutajajuhend. 5.4 Igapäevaste laadimiste vaade Siin on näha andmelaadimine, core baasi andmeuuendused (DW status) , materjaliseeritud vaatekihi uuendamine (Sünk OK) ja mittevajalike andmete kustutamine staging areast (SA kustutatud). Kui laadimised käivituvad, siis on näha alguse kellaaeg ja Staatus on „I“ . Kui staatus on „C“ , siis on andmelaadimised korras . Kui staatus on E, siis on tekkinud viga. Viga kuvatakse juba teises aknas konkreetse andmelaadimise etapi juures. Kuidas vea puhul käituda – esmalt tuleb aru saada, milles on viga ja siis koostöös arendajaga/haldajaga toimida. Kui klikkides ID lingile, siis on näha kõik toimunud laadimised ühe laadimise tsükli juures. Staatus „C“ tähendab, et kõik on korras. Kui mingi etapp saab vea, saatus „E“, siis ülejäänud laadimised ja järelsammud peatatakse kuni vea likvideerimiseni ja uuesti käivitamiseni. Lehel on näha ka kirjete arv, mis on allikabaasist üle laetud. Kommentaari veergu ilmub viga, kui see peaks tekkima. Täpsemad vead on andmepumba logis – /var/log/postgresql/postgresql-9.6-main.log 5.5 Andmelaadimise seadistus Andmelaadimise aeg tuleb valida selliselt, et see ei sega EHR andmebaasi igapäevast tööd. Hetkel on valitud laadimise ajaks hommikul kell 5.05 , kuna siis on andmebaasi backupi tegemine ja öised taustaprotsessid kas lõpetanud oma töö või ei koorma enam andmebaasi . „Laadimised aktiivsed“ linnukese eemaldamine seskab kõik andmelaadimised ja selel järgnevad tegevused. 5.6 Aruannete seadistused Selle lehe kaudu on võimalik aruandeid avada ja kinni panna avalikule kasutajale, samuti saab aruande ka üldse valikutest eemaldada ja tagasi lisada 5.7 Andmeedastus Statistikaametile üle xTee Sellel lehel on ülevaade, millised andmeedastused on korrektselt läbinud. Lisaks kuvatakse ka andmeridu ja saadetud pakette. Staatus „C“ – on kõik korras , „I“ luuakse andmefaile, „S“ andmefailide saatmine ja „E“ – viga. Kommentaaris kuvatakse andmeedastusel tekkinud viga. Tehnilise lahenduse kirjeldus on punkt 7 Andmete korduv saatmisel tuleb andmebaasis järjehoidja muuta sobivaks ja seejärel toimub andmete saatmine uuesti või vajadusel saab seda ka koheselt käivitada. Statistikaameti seadistuste lehel saab näha andmeedastuse seadistusi. Klikates konkreetsele nimele, saame liikuda edasi järgmisele lehele. Seadistuse juures saame määrata saatmise sagedust , muuta saatmist aktiivseks/mitte aktiivseks ja vajadusel saata koheselt andmeid. Viimasel juhul tuleb haldajaga kokku leppida, järjehoidja nihutamine soovitud ajale ja kasutaja saab ise määrata järgmise andmeedastuse (andmeobjekti kohaselt). 6. Andmeaida veebiportaal 6.1 Audentitud kasutaja ja audentimata kasutaja Peakasutaja saab määrata, millised aruanded kuvatakse audentimata- ja millised audenditud kasutajatele juhtmooduli kaudu. Andmeaida veebiportaalis eraldi kasutajate audentimist ei ole. Sõltuvalt sellest, kas kasutaja on www.ehr.ee lehel juba audentitud, kuvatakse sobiv link www.ehr.ee lehel. 6.2 Avaleht Veebiportaal on www.ehr.ee sarnase kujundusega. Avalehel on kõikidel külastajatel valida Andmetabelite ja Teenuste vaate vahel. Varem audentitud kasutajatel on ka valik Statistika. Sarnaselt www.ehr.ee lehega on kasutajal võimalik navigeerida portaalis kasutades asukoha (breadcrumb) menüüd ning külgriba. 6.3 Aruannete ja Andmetabelite vaade Kuvatakse kõik võimalikud andmetabelid, kuhu sõltuvalt audentimisest külastaja ligi pääseb. Igale konkreetsele andmetabelile/aruandele vajutades avatakse vastav tellimise vorm. 6.4 Andmetabeli tellimise vorm Kuvatakse valitud aruande/andmetabeli veerud ning liikudes hiirega vastava ikooni peale ka veeru kommentaarid. Allpool on peale vastava vormi täitmist võimalik tellida aruande link omale e-posti aadressile. Kui aruanne on tellitud, saabub kasutaja e-maili sisuga : Teie tellitud raport "ehitis_aadress" on koostatud ning alla laetav järgmiselt lingilt: https://avaandmed.ehr.ee/files/ehitis_aadress_2017-03_2018-01-10.zip: Raport sisaldab 1659594 andmerida. Aruande koostamine võtab aega vastavalt, kui palju andmeid korraga tellitakse. Aruandefaile hoitakse alallaetavatena kuni 48 tundi alates selle loomisest. 6.5 Statistika vaade - Tableau vaade Statistika aruanded on realiseeritud Tableau vahenditega. Statistika vaade on nähtav ainult läbi audentitud kasutajate (MKM peaspetsialistid, KOV ja TJAa töötajad) lingi ning seal oli kirjas serverile sisselogimiseks mõeldud info ning lingid konkreetsetele aruannetele. 6.6 Teenuste vaade Sellel lehel on kirjeldatud veebiteenuste kasutamise juhend. NB! Siin on ainult veebilehe alguse osa. 7. STAT aruanded üle xTee Statistikaametile edastatakse (üle x-Tee) Ehitisregistri andmete põhjal koostatud aruandeid, mis sisaldavad klassifikaatoreid ning isikute, aadresside, ehitiste jms. andmeid vastavalt Statistikaameti poolt loodud .XSD failidele. Loodavad aruanded on: Nr. Kood XSD Selgitus 1 AADRESSID 5037 Aadressid 2 ISIKUD 5038 Isikud 3 DOKUMENDITYYBID 5039 Dokumenditüüpide klassifikaatorid 4 KASUTUSOTSTARBED 5040 Kasutusotstarvete klassifikaatorid 5 KLASSIFIKELEM 5041 Klassifikaatorite elemendid 6 TEHNILISEDNAITAJAD 5042 Tehniliste näitajate klassifikaatorid 7 EHITISED 5043 Ehitised 8 EHITISEOSAD 5044 Ehitiste osad 7.1 Tööpõhimõte Raportite koostamine on realiseeritud käsurealt käivitatava Pythoni programmina, mis laeb andmebaasist vajalikud andmed ning koostab soovitud raporti, tükeldades selle üle x-Tee edastamiseks sobiva suurusega tükkideks. Saadud failikomplekt saadetakse üle x-Tee Statistikaametisse ning kui kõigi osade saatmine õnnestus, siis salvestatakse andmebaasi järjehoidja kuupäev. Opsüsteemile tagastatav väärtus on 0 (null), kui laadimine oli edukas ning nullist erinev veakood, kui laadimisel saadi viga. Saadud viga salvestatakse andmebaasi ning on nähtav avaandmete juhtimisliidesest. Andmete perioodiliseks laadimiseks kasutatakse süsteemset cron-i, mille seadistus on juhitav samuti avaandmete juhtimisliidese kaudu. 7.2 Käsurea parameetrid - -c / --config – konfiguratsioonifaili nimi - -v / --verbose – logi „jutukuse aste“, käsurealt antu on kõrgema prioriteediga kui konfiguratsioonifailis olev sama parameeter Lisaks ülaltoodud võtmetele antakse käsureal ette soovitud aruande number või kood. 7.3 Konfigureerimine Raportite koostamise konfigureerimine toimub käsurealt etteantava konfiguratsioonifaili abil kuid protsess kasutab muuhulgas parameetreid, mis on salvestatud andmebaasi konstantsete nimedega tabelitesse. Nimelt kasutatakse „järjehoidjaid“, mille väärtus salvestatakse baasi. Kui tegu on esmase laadimisega, siis loetakse järjehoidja väärtus tabelist rva.z_data_package_setup, järgmiste laadimiste puhul tabelist rva.z_sent_data_packages, kuhu selle salvestas eelmine laadimine. Tööks vajalikud andmetabelid: 7.4 Konfiguratsioonifail Konfiguratsioonifailid on tavapärases nn. .ini faili formaadis, s.t. see jaguneb sektsioonideks kujul [Sektsiooninimi], mis omakorda sisaldavad konfiguratsiooniparameetreid kujul parameetrinimi = parameetri väärtus 7.5 Konfiguratsiooniparameetrid [Main] - pidfile – failinimi, kuhu salvestatakse jooksva protsessi ID - reportdir -- kataloog failisüsteemis, mille alla salvestatakse saadetavad aruanded [Logging] - verbose – logi „jutukuse tase“, 5 on kõige jutukam (koos debug infoga) - method – logi salvestamise meetod. Valikud on: stderr, syslog, file - facility -- „syslog facility“ kui logi salvestamiseks kasutatakse süsteemset logiteenust - file – failinimi, kuhu logi salvestatakse („file“ meetodi puhul) [Source] - dbhost – andmebaasi serveri IP aadress või DNS nimi - dbname -- andmebaasi nimi - dbuser -- kasutajanimi, kellena luuakse baasi külge ühendus - dbpass -- parool [eStat] - server – x-Tee URL, näiteks http://192.168.4.78/xgate/xtee - isikukood – isikukood, kelle alt toimub aruannete saatmine x-Tee keskkonda - asutus -- asutuse kood millena toimub suhtlus x-Tee serveriga 8. Avaandmete Web_Api EHR Avaandmete Web-API on JSON-andmevormingut pruukiv REST-API, mida rakendab avalik veebiliides info kuvamiseks. Samuti on see kasutatav avaandmetele ligipääsuks, kui soovitakse seda mingil kombel automatiseerida, s.t. tegu on masinloetavate andmete interfeisiga. 8.1 Tööpõhimõte REST-API on loodud Python-i programmina, mis kasutab nn. “microframeworki” (Flask) ning sellele lisatud mooduleid. Avalik ligipääs realiseeritakse kahetasemeliselt -- esmalt läbi WSGI HTTP serveri (Gunicorn), mida omakorda kasutab Nginx veebiserver, mille abil tagatakse vajaduse korral kogu ülejäänud funktsionaalsus (HTTPS, microcache etc.). 8.2 API kasutus Kasutamine toimub nagu REST API puhul tavaline, HTTP/HTTPS päringute vahendusel. EHR-i avalik ligipääs on HTTPS-i põhine, seega on kõik URL-id sellele vastavad. Kõik päringud tagastavad järgmises formaadis "ümbriku": { "envelope_version": 1, "status_code": /HTTP status kood/, "error_code": /API veakood (0=viga ei olnud)/, "message": /Vaba tekstiga teade/, "data": { /tagastatavate andmete konteiner/ } } POST/PUT päringud saadetakse samuti JSON-formaadis, mille konkreetne sisu sõltub operatsioonist. 8.3 Aruannete nimistu Võimalike aruannete nimistu saab järgmise päringuga: GET https://avaandmed.ehr.ee/api/v1/reports Tagastatav andmekonteiner sisaldab listi, milles iga objekt kirjeldab raporti. Minimaalselt on igas objektis "name" element, näiteks: [ { "name": "EHITISED" }, { "name": "AADRESSID" }, { "name": "EHITISED_OSA" }, { "name": "KASUTUSOTSTARBED" } ] 8.4 Aruande kirjeldus Aruande kirjelduse saab järgmise päringuga: GET https://avaandmed.ehr.ee/api/v1/reports/<aruande_nimi> näiteks: GET https://avaandmed.ehr.ee/api/v1/reports/SP_PUNKT Tagastatav andmekonteiner sisaldab: - objekti "name", milleks on aruande nimi (näit. SP_PUNKT) - objekti "description", sisaldab listi objektidest, mis kirjeldavad aruande veergudes olevat infot. Need objektid omakorda sisaldavad järgmisi elemente: a. column_name -- veeru nimi b. data_type -- andmetüüp c. description -- veeru kirjeldus Näiteks: { "name": "SP_PUNKT", "description": [ { "column_name": "kuju_id", "data_type": "numeric", "description": "Viit kujule, millega antud punkt on seotud." }, { "column_name": "geometry", "data_type": "USER-DEFINED", "description": "Kuju geomeetria." }, { "column_name": "viitepunkt_x", "data_type": "numeric", "description": "Sissepääsupunktid koordinaat L-EST mõõdistikus." }, { "column_name": "viitepunkt_y", "data_type": "numeric", "description": "Sissepääsupunktid koordinaat L-EST mõõdistikus." }, { "column_name": "nimi", "data_type": "character varying", "description": "Sissepääsupunkti nimetus." } ] } 8.5 Aruande tellimine Aruande tellimiseks tehakse POST päring: POST https://avaandmed.ehr.ee/api/v1/reports Päringu sisuks on tellitava aruande parameetrid: - aruande nimetus - aasta - kuu - e-posti aadress, millele saadetakse teavitus aruande valmimisest ning link selle alla laadimiseks Näiteks: { "report_name": "EHITISED", "email_address": "[email protected]", "year": 2017, "month": 6 } Aruanded genereeritakse CSV vormingus ning pakitakse .zip failiks. Valmis aruandeid säilitatakse 2 päeva, seejärel need kustutatakse, s.t. link alla laadimiseks kehtib 2 päeva. Sõltuvalt konkreetsest aruandest ning selle loomise parameetritest võivad failid olla üsna mahukad. Näiteks pakitud kujul üle 500M ning lahti pakituna üle 3G. Samuti on aruande loomine ajamahukas protsess mis võib võtta minuteid või tunde sõltuvalt konkreetsest aruandest, selle loomise parameetritest ning süsteemi koormusest. Aruannete tellimusi töödeldakse järjekorras ning sõltub järjekorra pikkusest, millal nimelt mingi töö valmib. 8.6 Konfigureerimine Web-API konfigureerimine toimub installikataloogis oleva config.py faili kaudu, kus seadistatakse andmebaasi ligipääsu parameetrid: - DB_NAME -- Andmebaasi nimi - DB_HOST -- Andmebaasi serveri IP aadress või DNS nimi - DB_USER -- Kasutajanimi, kellena luuakse ühendus andmebaasiga - DB_PASS -- parool - DB_PORT -- andmebaasi ühenduseks kasutatav TCP port - DB_MAXCONN -- maksimaalne andmebaasi ühenduste arv - Lisaks sellele seadistatakse ka koostatud raportite kataloog ning URL, mille kaudu neid on võimalik alla laadida: - REPORT_DIR -- kataloogi nimi failisüsteemis, kuhu raportis salvestatakse - REPORT_URL -- URL, mille kaudu on ülalmainiutud kataloogis olevad failid kättesaadavad Tellitud raportite kohta teavituste saatmiseks seadistatakse e-maili parameetrid: - EMAIL_FROM_ADDRESS -- aadress, mis kajastub saadetud kirja “From” real - EMAIL_HTML_TEMPLATE -- saadetava kirja “plaintext” osa koostamiseks kasutatav template - EMAIL_PLAIN_TEMPLATE -- saadetava kirja html-formaaditud osa koostamiseks kasutatav template - EMAIL_SUBJECT -- “Subject” reale kirjutatav info 9. xTee päringüte ringi tõstmine (ehr db-lt ehrdwdb baasile ) 9.1 Ülevaade EHR oltp andmebaasi koormuse vähendamiseks viiakse ehitisega seotud päringud üle EHR andmeaidale. Tegemist on ehitiste ka ehitise osade päringutega teistest andmeregistritest, nt .riigi kinnisvara amet. Andmepäringute üleviimisega kaasneb ka uue andmeallika lisandumine EHR rakendusele. Allolev joonis kirjeldab uue arhitektuuri osa EHR rakenduse poolt vaadatuna. Arhitektuuri joonis : xTee päring / nt RIA xTee EHR MKM ja Tieto ehitised turvaserver v6 Rakendusserver vaheline tunnel EHRDWDB mkm-live-andmeait-db 10.20.30.29 Ubuntu 16.04 postrgresql 9.6 , postGis 2.3 9.2 Vaja minevad muudatused Olemasoleva rakenduse loogika ei muutu ja tegu on vaid funktsionaalsuse lisamisega uue datasource'i näol. Tuleb defineerida uus JDBC ühendus, mis kasutab uut Postgresql andmebaasi datasource'i. Selleks on vaja: Lisada veebiserveri konfiguratsioonifailidesse uue Postgresql andmebaasi connection string. Luuakse GenericPgDaoImpl klass, mis haldab ja vajadusel loob uusi sessioone postgresql avaandmete baasiga. Laiendab olemasolevat GenericDao klassi. Luuakse GenericAbastractDaoImpl klass, mis tegeleb baasiobjektide tõlgendamisega. Laiendab olemasolevat GenericDao klassi. Olemasolev XRoadDaoImpl klass tuleb suunata laiendama GenericPgDaoImpl klassi, et xTee päringute vastus pandaks kokku kasutades postgresql avaandmete baasi ühendust. Ringi tõstetavad päringud on : - Ehitise andmete päring - Ehitise muudatuste päring - Ehitise ajaloo päring 9.3 Loodavad andmebaasi funktsioonid Andmebaasi funktsioonid asuvad EHR andeaidas xTee skeemis. Andmepäringute vastused on varasemalt EHR poolt genereeritud ehitise xml-id ja need asuvad dw.versioon tabelis. - p_ehitise_andmed - p_ehitise_muudatused - p_ehitise_ajalugu ToDo - EHR poolt pakutavad xTee teenused tuleks tulevikus viia EHR rakendusest välja. See tähendab, et xTee teenuste rakendus oleks eraldi käsiteldav nii arenduse, ehituse ja haldamise osas. Sellega muutub ka EHR arendus ja testimine lihtsamaks. Ehitisregistri andmeaida liidestamine uue andmebaasiga Lähteülesanne Koostaja: Majandus- ja Kommunikatsiooni- ministeeriumi Ehitisregistri talitus Tallinn 2021 1 Sisukord 1 SISSEJUHATUS ........................................................................................................................................ 2 2 HANKE ESE ............................................................................................................................................. 2 3 HANKE EESMÄRK.................................................................................................................................... 2 4 ÜLDISED NÕUDED .................................................................................................................................. 3 5 TELLITAVAD TÖÖD .................................................................................................................................. 3 6 HANKELEPING JA TÄHTAJAD.................................................................................................................... 9 7 LISAD ................................................................................................................................................... 10 LISA 1 EHR ANDMEAIDA ARHITEKTUUR ........................................................................................................................10 LISA 2 EHR TÄNASE ANDMEAIDA ANDMEVAADETE ANALÜÜS ............................................................................................10 LISA 3 ANALÜÜS “EHITISREGISTRI ANDMEAIT JA SELLE BAASIL REALISEERITAVAD TEENUSED” ................................................10 LISA 4 EHITISE TEHNILISTE ANDMETE UUED NÄITAJAD JA KLASSIFIKAATORID.........................................................................10 LISA 5 EHR ARENDUSTÖÖDE LÄBIVIIMISE JA TESTIMISE JUHEND ........................................................................................10 LISA 6 EHR ARENDUSTÖÖDE JUHTIMISE KORRALDAMINE .................................................................................................10 1 SISSEJUHATUS Ehitisregister (EHR) on Eesti Vabariigi Majandus- ja kommunikatsiooniministeeriumi (MKM) Ehitus- ja elamuehitusosakonna hallatav keskne riiklik register, kus hallatakse ehitiste infot ja mille kaudu kodanikud ja ettevõtted esitavad ehitus-või kasutuslubade taotlusi, ehitus- või kasutusteatisi, kohalikud omavalitsused viivad läbi lubade väljastamise või teatiste menetlusi ning energiamärgise väljastajad annavad energiamärgiseid. Hetkel on käimas mitmed IT-arendused EHR tehniliseks kaasajastamiseks, eelkõige selle üleviimiseks mikroteenuste arhitektuurile, mille kontseptuaalseks aluseks on e-ehituse platvorm kui ehitusvaldkonna e-teenuste integratsioonikeskkond. 2 HANKE ESE Käesoleva hanke esemeks on töö “Ehitisregistri andmeaida liidestamine uue andmebaasiga”. 3 HANKE EESMÄRK Hanke eesmärk on koostada detailanalüüs ja teostada arendustööd järgmisele tööle: ehitisregistri andmeait tuleb viia uuele struktuurile, mis vastab e-ehitus uutele andmebaaside struktuuridele: eehitus, geo, koodid, kasutajad, eh. Üle kanda andmed olemasolevast andmeaidast ilma kadudeta uue struktuuriga andmeaida andmebaasi. 2 Praegu kasutusel olevad andmeaida view-d tuleb viia vastavusse andmeaida uue struktuuriga, nii, et tänased rakendused: e-ehituse infoportaal (va avaandmete osa) ja ehitisregistri andmete saatmine x-tee kaudu Statistikaametile jääksid tööle minimaalsete arendustega. Täna andmeaida andmetel töötavad ka teised rakendused: avaandmed (mis on üks osa e-ehituse infoportaalist), vigade andmebaas ja Tableau’s olevad aruanded – nende liidestamine uue andmeaidaga on kavas teostada eraldi projekti(de)ga, st need tööd ei ole antud hanke osa. Täna andmeaida andmetel töötavaid ehitisregistri x-tee teenuseid on kavas viia üle LIVE andmetele ja kõik teenused mikroteenuste arhitektuurile eraldi projektiga, st ka need tööd ei ole antud hanke osa. Uus andmeait peab arvestama PostgreSQL andmebaasis käesoleva aasta 3. kvartalis algavate projektidega planeeritavaid muudatusi ehitise näitajates. Muutuvad ehitise ja ehitise osa mõned tehnilised näitajad – need muudatused on kirjeldatud lähteülesande lisas 4 toodud dokumendis „Ehitise tehniliste andmete uued näitajad ja klassifikaatorid“ (SharePoint-is) . Planeeritavad muudatused ei muuda andmebaasi struktuuri. 4 ÜLDISED NÕUDED a. Tehtud tööd peavad vastama MKM Infosüsteemide arendustalituse poolt kindlaks määratud nõuetele, mis on kirjeldatud järgmistes dokumentides: Lisa 5 - EHR arendustööde läbiviimise ja testimise juhend; Lisa 6 - EHR arendustööde juhtimise korraldamine b. Tööde tulemusena koostatud detailanalüüs peab sisaldama andmemudelit, mis arvestab dokumendis Ehitisregistri andmebaasid ja nende uuendamise juhend toodud nõuetega c. Töövõtja pakub töö teostamiseks välja sobiva metoodika, mis lepitakse kokku Tellijaga töö alguses. Tööd toimuvad tihedas koostöös Töövõtja ja Tellija vahel. Töövõtja pakub töö käigus jooksvalt välja omapoolseid lahendusi töö teostamiseks ning arutab need läbi töö Tellijaga. d. Töövõtja jagab tööd võimalikult kergelt hallatavateks osadeks, mille vormistab Jira piletitena, et nende alusel saaks läbi viia testimist ning tööde vastuvõtmist projekti lõppedes. e. Töövõtja peab olema valmis Tellija soovil asendama töölõike samaväärsetega, kui töö teostamise käigus selgub, et vahetus aitab paremini saavutada töö eesmärke. f. Käesoleva ülesande täitmiseks tuleb reserveerida 100 tundi arendajate tööaega, mida kasutatakse detailanalüüsi ja EHRi tarkvara koostoime vajaduse tulemustena täpsustunud nõuete teostamiseks arendusprojektide haldussüsteemis JIRA (http://jira.mkm.ee) loodud piletite alusel ja arveldamise aluseks on reaalselt kulunud tööaeg. 100 tunni maksumus peab sisalduma pakkumuse koondhinnas. g. Töövõtja vastab projekti käigus ja garantiiperioodi jooksul hanke eset puudutavatele tellija küsimustele lisaarvet esitamata. Kui vastamiseks on vaja läbi viia täiendavat analüüsi, uurimist või katsetamist, siis nende tööde teostamine ei ole käesoleva hanke skoobis h. Töö lõpptulemused dokumenteeritakse vastavalt tarkvaraarenduse heale tavale ja Lisa 5 nõuetele. 5 TELLITAVAD TÖÖD Taust Ehitisregistri tänane andmeait võimaldab: 3  kasutada kolmandal osapoolel avaandmete näol igal ööpäeval uuenevat EHR andmekoosseisu;  kasutada EHR andmeid läbi veebiteenuste (mis ei nõua x-teega liitumist);  Statistikaametile saada kätte x-tee kaudu EHR-i ehitiste andmeid;  koostada Tableau vahendiga aruandeid;  kasutada kolmandal osapoolel ehitiste ja menetluste aruandeid statistikaportaali kaudu. Pilt tänase andmeaida loogilisest arhitektuurist: Web Liidestus AVAANDMEBAAS EHRDB DataPump PostgreSQL Oracle PostGIS xTee teenused Tableau Server Juhtmoodul Andmeaida allikaandmeteks on EHRDB (Oracle) andmebaas. Andmeaida andmebaasi serveriks on PostgreSQL ja PostGIS (ruumikujude jaoks). Andmed liiguvad allikabaasist andmeaita kokku lepitud ajal öösel ning seda juhib juhtmoodul ja andmete tõstmiseks kasutatakse andmepumpa (datapump). EHRDBga käib suhtlus läbi vaadete (view) kihi ( prefiks dw). Andmepump on Pythonis realiseeritud rakendus, mis vastavalt konfiguratsioonile võtab andmeid eri allikatest ja salvestab ette antud andmebaasi. Laadimise konfiguratsioone hoitakse andmeaidas. Avaandmete väljutamiseks on web liides, mille kaudu on võimalik kolmandal osapoolel saada andmeaidast avaandmeid csv failina. Web liides kasutab Apache serverit ja Pythonit. xTee teenuste jaoks on SOAP server, mis realiseerib STAT jaoks vajalikke teenuseid ja EHR x-tee teenuseid. Tableau server on aruannete publitseerimiseks üle webi. Arvestada nõuetega: 1. Ehitisregistri andmeait tuleb liidestada ehitisregistris uue Postgre andmebaasiga. Tuleb:  luua uus andmeaida struktuur, mis vastab e-ehitus andmebaasidele: eehitus, geo, kasutaja, koodid, hl, eh (mõned selgitused: menetlused on eehitus baasis, hl – on hallide ehitiste baas, eh – on xtee andmed) .  kanda üle andmed ilma kadudeta olemasolevast andmeaida struktuurist uude andmeaida struktuuri.  luua andmeaida uuendamise protseduurid. Andmeaida uuendamise protseduurid võib ehitada kasutades RabbitMQ-d ja/või muud Tellijaga eelnevalt kokku lepitud tehnoloogiat. Muudatused peaksid RabbitMQ ja/või mõne muu tehnoloogia kasutamisel jõudma andmeaita online ehk analoogselt praegu kasutusel oleva sync lahendusele (praegu Oracle Postgre vahel on kasutusel RabbitMQ põhine Sync online lahendus). 4  uuendada andmeaida olemas olevad view-d, nii, et kaks rakendust: e-ehituse infoportaal (va avaandmete osa) ja ehitisregistri andmete saatmine x-tee kaudu Statistikaametile, jääks vigadeta tööle. Uus andmeait peab arvestama Postgre andmebaasis toimunud muudatusi võrreldes Oracle baasiga. Samuti peab arvestama muudatustega, mis on kavas Postgre andmebaasis läbi viia käesoleva aasta 3. kvartalis algavate projektidega (muutuvad ehitise ja ehitise osa mõned tehnilised andmed – vt lähteülesanne lisa 4). Tänase andmeaida dokumentatsioon:  “EHR andmeaida arhitektuur” on toodud lähteülesande lisas nr 1 (SharePoint-is)  analüüs “Ehitisregistri andmeaida arendustööd (andmevaadete loomine) on toodud lähteülesande lisas nr 2 (SharePoint-is)  analüüs “EHR andmeait ja selle baasil realiseeritavad teenused” on toodud lähteülesande lisas nr 3 (SharePoint-is) 1.1 Uue andmeaida arhitektuur Andmeaida andmebaasi muutunud arhitektuuri mudeli koostamine. Mudel peab kirjeldama andmeaida süsteemi jaoks vajalikke tark- ja riistvara komponente ja nendevahelisi seoseid. Mudel on aluseks andmebaasi töötamiseks vajalike tark- ja riistvara komponentide hankimiseks ning analüüsi läbiviimiseks. Arhitektuur peab olema koostatud Enterprise Architekt (EA) mudelina ja Tellijale tuleb üle anda EA fail ning selle alusel koostatud MS Word formaadis aruanne. Aruandes tuleb kajastada kõikide kasutusele võetavate süsteemi komponentide kirjeldused. Samuti peab aruanne sisaldama ülevaadet, kuidas täidab välja pakutud arhitektuur Tellija nõuded, et jääks tööle kahe rakenduse: e-ehituse infoportaal (va avaandmete osa) ja ehitisregistri andmete saatmine x-tee kaudu Statistikaametile, funktsionaalsus. 1.2 Uue andmeaida analüüs Analüüsi koostamine. Analüüsi etapil kirjeldatakse loodavat andmebaasi ja tarkvara protsesse, et jääks toimima ka kahe rakenduse: e-ehituse infoportaal (va avaandmete osa) ja ehitisregistri andmete saatmine x-tee kaudu Statistikaametile, funktsionaalsus. Analüüs peab olema koostatud EA mudelitena ja Tellijale tuleb üle anda EA mudelid ning nende alusel koostatud MS Word formaadis aruanne. Analüüs peab olema piisava detailsusega, et selle alusel saaks realiseerida tulevase andmebaasi ja rakenduse kõik komponendid. Analüüs peab sisaldama kõiki Tellija nõudeid ning selgitusi, kuidas nõuded on täidetud. 1.3 Juhendid Koos tarkvaraga antakse Tellijale üle paigaldus- ja taastejuhend ning kasutusjuhend. Antakse üle Täitja poolt läbiviidud jõudluse- ja nõuetele vastavuse testimise tulemid. Jõudluse testid peavad olema läbi viidud Tellija tulevases töökeskkonnas. 2. Andmeaida liidestamisel Postgre andmebaasiga peab tagama, et jääks tööle järgmise kahe rakenduse: e- ehituse infoportaal (va avaandmete osa) ja ehitisregistri andmete saatmine x-tee kaudu Statistikaametile, funktsionaalsus. 2.1 E-ehituse infoportaal 5 Andmeaida andmetel töötab täna ehitisregistri statistikaportaal https://statistika.ehr.ee/, mida käesoleval ajal arendatakse edasi luues e-ehituse infoportaali https://prelivekluster.ehr.ee/ui/infoportaal/v1/. Arendustööd on planeeritud lõpetada selle aasta 2 kvartalis ja töö valmimisel e-ehituse infoportaal asendab statistikaportaali. Infoportaalis on viis aruannet ehitiste kohta ja viis menetluste kohta, samuti on seal avaandmete osa. Aruandeid ja nende koostamise aluseks olevaid alusandmeid saab kasutaja alla laadida. Arvestatakse ka kasutaja õigustega. Infoportaalis saab teha järgmisi aruandeid:  Ehitise näitajad  Ehitise puuduvate andmete aruanne  Ehitise energiaklassi andmed  Kontrollitavad ehitised  Ehitiste koondvaade  Menetluste pikkus omavalitsuses  Menetluste dünaamika  Menetluse kestuse võrdlus  Menetluse kestuse jagunemine osapoolte vahel  Menetluste koondvaade  Avaandmed Mõned infoportaali vaated: 6 Infoportaali raportid kasutavad päringuid: Ehitiste päringud (Schema: KOV)  Ehitise näitajad o info_ehitise_naitajad o g_alus_ehitise_naitajad  Ehitise puuduvate andmete aruanne o info_ehitise_regrel 7 o g_alus_ehtise_regrel_ehitised o g_alus_ehitise_regrel_eluruumid  Ehitise energiaklassi andmed o info_ehitise_energeetika o g_alus_ehitise_energeetika  Kontrollitavad ehitised o g_hl_ehitis o g_alus_hl_ehitis  Ehitiste koondvaade o g_ehitis_koondvaade o g_alus_ehitis_koondvaade Menetluste alus päring(Kõik kasutavad sama) (Schema: KOV)  g_alus_menetlus_koondvaade Menetluste päringud (Schema: KOV)  Menetluste pikkus omavalitsuses o Info_menetluse_pikkus  Menetluste dünaamika o Info_menetluse_dynaamika  Menetluse kestuse võrdlus o Info_menetluse_vordlus  Menetluse kestuse jagunemine osapoolte vahel o Info_menetluse_kestuse_jaotus o Info_menetluse_kestuse_jaotus_all  Menetluste koondvaade o g_menetlus_koondvaade Avaandmete päringud: (Schema: RVA) Päringud on tabelis rva.z_report_metadata ning filtrite tingimused generereeritakse ja lisatakse rakenduse pool dünaamiliselt juurde 2.2 EHR andmete saatmine Statistikaametile x-tee kaudu Andmeaidast Statistikaametile edastatakse täna üle x-tee ehitisregistri andmete põhjal koostatud aruandeid, mis sisaldavad klassifikaatoreid ning isikute, aadresside, ehitiste jms. andmeid vastavalt Statistikaameti poolt loodud .XSD failidele. Loodavad aruanded on: Nr. Kood XSD Selgitus 1 AADRESSID 5037 Aadressid 2 ISIKUD 5038 Isikud 3 DOKUMENDITYYBID 5039 Dokumenditüüpide klassifikaatorid 4 KASUTUSOTSTARBED 5040 Kasutusotstarvete klassifikaatorid 5 KLASSIFIKELEM 5041 Klassifikaatorite elemendid 6 TEHNILISEDNAITAJAD 5042 Tehniliste näitajate klassifikaatorid 8 7 EHITISED 5043 Ehitised 8 EHITISEOSAD 5044 Ehitiste osad Statistikaametile saadetavate andmete xsd on SharePoint-is. Raportite koostamine on realiseeritud käsurealt käivitatava Pythoni programmina, mis laeb andmebaasist vajalikud andmed ning koostab soovitud raporti, tükeldades selle üle x-Tee edastamiseks sobiva suurusega tükkideks. Saadud failikomplekt saadetakse üle x-Tee Statistikaametisse ning kui kõigi osade saatmine õnnestus, siis salvestatakse andmebaasi järjehoidja kuupäev. Opsüsteemile tagastatav väärtus on 0 (null), kui laadimine oli edukas ning nullist erinev veakood, kui laadimisel saadi viga. Saadud viga salvestatakse andmebaasi ning on nähtav avaandmete juhtimisliidesest. Andmete perioodiliseks laadimiseks kasutatakse süsteemset cron-i, mille seadistus on juhitav samuti avaandmete juhtimisliidese kaudu. Lisainformatsiooni Statistikaameti aruannete ja juhtimisliidese kohta leiab dokumendist “EHR andmeait ja selle baasil realiseeritavad teenused” (vt lisa nr 3 või SharePoint-is). 6 HANKELEPING JA TÄHTAJAD Töövõtja lisab pakkumusele allkirjaõigusliku isiku allkirjastatuna eraldi PDF-dokumendi maksumuse esitamise vormi, kus on ära näidatud 2-3 vaheetappi töö tulemi saavutamiseks, mida Tellija saab kasutada hankelepingu lisana, et tasuda Töövõtjale peale iga etapi aktiga vastuvõtmist. Maksumuse esitamise vorm: Etapi Etapi tulemuste kirjeldus Maht töö- Etapi pikkus Etapi Etapi nr tundide kalendripäevades maksumus maksumus KM-ta (€) KM-ga (€) 1 Tööde loetelu.... 2 Tööde loetelu.... ... ….. …. Reserveeritud tööaeg 100 detailanalüüsi ja EHRi tarkvara koostoime vajaduse tulemustena täpsustunud nõuete teostamiseks arendusprojektide haldussüsteemis JIRA (http://jira.mkm.ee) loodud piletite alusel KOKKU Projekti tööde kestuseks on 15 kalendrikuud. Tööde alguse ja lõpu aeg fikseeritakse hankelepingus. 9 Konkreetsed kuupäevad sõltuvad hanke läbiviimisest ja hankelepingu sõlmimise ajast. Töövõtjaga saab lepingu sõlmida, kui SF projekti “Ehitisregistri (EHR) registriosa kasutatavuse parandamine ja teenuste üle viimine mikroteenuste arhitektuurile” alla kuuluvate kõigi kolme hanke pakkumused on olemas, võitjad valitud ja täistaotlus SF poolt rahuldatud. 7 LISAD Lisa 1 EHR andmeaida arhitektuur Lisa 2 EHR tänase andmeaida andmevaadete analüüs LISA 3 Analüüs “Ehitisregistri andmeait ja selle baasil realiseeritavad teenused” Lisa 4 Ehitise tehniliste andmete uued näitajad ja klassifikaatorid Lisa 5 EHR arendustööde läbiviimise ja testimise juhend Lisa 6 EHR arendustööde juhtimise korraldamine 10
Allikas: Majandus- ja Kommunikatsiooniministeerium dokumendiregister →
dokumendiregister.eeAsutusedEesti avalike dokumendiregistrite otsing · nimistu.ee andmetel