Andmete
hägustamine
Okt 2021-jaan 2022 ülevaade
25.01.2022 Juhtrühma koosolek
Sulev Reisberg, Ph.D.
[email protected]
Eesmärk:
Luua andmete hägustamise
tööriist
Patsient Dgn Elukoht Patsient Dgn Elukoht
1 E11.9 Haava 1 E11 Haava tn
33-2
Hägustaja
2 O80.0 Kajaka 2 O80 NA
talu
…
…
3
1. Andmeaudit Tegevused
2. Privaatsusmeetmete analüüs
3. Nn utility (kasulikkuse) meetmete analüüs
4. Hägustusmeetmete arendus
5. Privaatsuse ja kasutatavuse vahel optimaalse balansi leidmine
6. Tarkvara arendus
7. Testimine
4
Perioodi tegevuste tulem
1. Tarkvarapaketi esimene prototüüp hägustamiseks
• Docker-põhine lahendus, lihtne paigaldada
• Sisemiselt kasutab nn Mondrian algoritmi*
• Osaliselt kaetud sisemiste automaattestidega
2. Kirjeldus:
• Tööpõhimõte
• Paigaldus- ja kasutusjuhend
• Teostatud täiendused vaadeldaval perioodil
*Hetkel juba käivad tööd selle väljavahetamiseks parema algoritmiga, kuid see valmib järgmises
perioodis 5
Olulisemad sündmused perioodil
• Meeskonna laiendamine
• Äriprotsessi kaardistamine – kus hägustaja hakkab paiknema?
• Konsulteerimine Statistikaametiga
• Hägustaja komponentideks löömine ja arendus
• Olemasolevate hägustamis-meetodite implementatsioonide
analüüsiga alustamine
6
Äriprotsess –
kus hägustaja hakkab paiknema?
Andmete
väljavõtmine
TIS
Andmed
teadlasele
7
Äriprotsess –
kus hägustaja hakkab paiknema?
Andmete
väljavõtmine
TIS Obfuskeerija
Andmed
teadlasele
8
Äriprotsess –
kus hägustaja hakkab paiknema?
Andmete
väljavõtmine
TIS Obfuskeerija
Andmed
teadlasele
Selle eesmärk on eelkõige
k-anonüümsuse tagamine
Üks CSV-tabel (tabeli piires)
9
Konsulteerimine Statistikaametiga
• Vajadus hägustaja vastu on iseenesest laiem kui üksnes
terviseandmete vallas
10
Obfuskeerija arhitektuur/protsess
11
Obfuskeerija arhitektuur/protsess
…
RHK
ATC
Optional: Metadata
metadata
Input Output
processing Obfuscation Report
generation
12
Obfuskeerija arhitektuur/protsess
…
RHK
ATC
Init
hierarhiad
Error Compute k-
Fill meta- Type
Data correction anonym Create
data valida Magic
import (add to and other output file
(autom.) tion
hierarhcies) indicators
Optional: Metadata
metadata
Input Output
processing Obfuscation Report
generation
13
Obfuskeerija arhitektuur/protsess
…
RHK
ATC
Init
hierarhiad
Error Compute k-
Fill meta- Type
Data correction anonym Create
data valida Magic
import (add to and other output file
(autom.) tion
hierarhcies) indicators
Optional: Metadata
metadata
Input Output
processing Obfuscation Report
generation
Example metadata:
id Column name Column type Can obfuscate?
1 Patsient identifier no
2 Diagnoos icd-10 yes
14
Obfuskeerija arhitektuur/protsess
…
RHK
ATC
Init Internal
hierarhiad SQLite
Error Compute k-
Fill meta- Type
Data correction anonym Create
data valida Magic
import (add to and other output file
(autom.) tion
hierarhcies) indicators
Optional: Metadata
metadata
Input Output
processing Obfuscation Report
generation
Example metadata:
id Column name Column type Can obfuscate?
1 Patsient identifier no
2 Diagnoos icd-10 yes
15
Puust ja punaseks näide
Teadlane soovib
a) teha RHK diagnooside alusel haiguste (haigusgruppide)
statistikat - leida arvud; ja
b) leida, kui palju mingi diagnoosigrupp maksab
Soovitav k-anonüümsuse väärtus: k=3
16
Puust ja punaseks näide (soov)
Teadlane soovib
a) teha RHK diagnooside alusel haiguste (haigusgruppide)
statistikat - leida arvud; ja
b) leida, kui palju mingi diagnoosigrupp maksab
Soovitav k-anonüümsuse väärtus: k=3
17
Puust ja punaseks näide
(näiteid tegelikest probleemidest –
algoritm 1)
K-anonüümsus on tagatud (aga ainult nende veergude
piires)
Andmed konkreetse ülesande lahendamiseks on kasutud
18
Puust ja punaseks näide
(näiteid tegelikest probleemidest –
algoritm 2)
K-anonüümsus on tagatud (aga ainult nende veergude piires)
Teatud ülesande lahendamiseks võivad need andmed olla ikkagi kasutud
Järeldus: vähegi detailsemate andmete puhul on andmeid kasutuks 19
muutmata k-anonüümsust praktiliselt võimatu tagada
Aga kas suudaks vähemasti hinnata
võimaliku privaatsusriive riski?
Näide tarkvara ARX riskianalüüsi väljundist:
Risk enne hägustamist Risk pärast hägustamist
20
Eelarve kasutus:
Planeeritud kulu vaadeldaval perioodil: 75 710 eurot
Tegelik kulu vaadeldaval perioodil (prognoos): 37 000 eurot
Alakasutuse põhjendus:
• Meeskonna värbamine on võtnud oodatust palju rohkem aega
• Meil on küll valmis tarkvara esimene prototüüp, kuid selle kasutamine on
võrdlemisi ebamugav ja suur osa arendust seisab seetõttu alles ees
Soov: kasutamata eelarve kanda edasi järgmistesse perioodidesse.
21
Ettepanek lepingu+eelarve muutmiseks 1/2
Eelarve ja tööde summaarne maht jääb samaks, kuid muutuvad proportsioonid –
suurem osa tööd tehakse viimasel kolmel perioodil
22
Ettepanek lepingu+eelarve muutmiseks 2/2
Muudatused kahe vahetähtaja tulemites:
Algne Uus
September 2021 Initial set of SQL Initial method tested for data
scripts for data obfuscation
obfuscation
Mai 2022 Improved set of SQL Improved version of the
scripts for data obfuscation software delivered
obfuscation (SQL- with necessary documentation
files with description) (application files with source
code, installation manual, usage
instructions)
23
24
TEHIK
Health Sense
Kristjan Kolde
Margit Laurits Männiste
Martin Ärm
Tervise ja Heaolu Infosüsteemide Keskus jaanuar
2022
Mis on tehtud!
‣ Oktoober ‣ Jaanuar
‣ KVE - Roche Eesti OÜ ‣ Health Sense Mõttetalgud:
‣ Uus äriline tellija – Kristjan Kolde ‣ MKM
‣ SoM
‣ November ‣ Tartu Ülikool
‣ Andmejurist Margit Laurits Männiste ‣ STACC
‣ Health Sense seminar ‣ Tartu Ülikooli Kliinikum
‣ TEXTA
‣ Detsember
‣ TAI
‣ Health Sense skoobi mõtestamine:
‣ Pärnu Haigla
‣ PPA
‣ Perh
‣ TAI ‣ EHK
‣ Statistikaamet (jaanuar) ‣ ITK
‣ Roche Eesti andmevajaduste ‣ Pseudonüümija I iteratsioon vastu võetud
täpsustamine
‣ Health Sense juhtrühm
Mis on plaanis!
‣ Pseudonüümija
‣ II iteratsioon
‣ Pseudonüümija Adminliides
‣ märts
‣ Serialiseerija/deserialiseerija
‣ Ärilise kasu suurendamine
‣ Pikkade tekstide formaliseerija
‣ Skoobi täpsustamine
Mida ütleb jurist
I TEHIKu andmeväljastuse kaardistus: täna vs Health Sense
• tänane olukord (tehnilised ja juriidilised probleemid) TEHIKus on kaardistatud;
• sarnane kaardistus käivitub teiste SoM-i allasutuste, EBIN-i ja SoM-i enda loamenetluse kohta;
• Health Sense andmeväljastus (tulevik) paralleelselt kogub ja ootab sisendit eelmisest punktist.
II Terviseandmete teisene andmekasutus
• teisese kasutuse juriidiline kaardistus: regulatsioonid, kohtulahendid, teiste riikide praktikad,
mõisted, probleemid jms;
• SoM-is koostatakse teisese andmekasutuse töögrupp ja –plaan (TEHIK/Health Sense on
kaasatud).
III Muud Health Sense õigusteemad
• võtekase plaani ja lahendatakse jooksvalt.
Veidikene üldistest printsiipidest
Tegeleme prioriteetsete vajadustega
ja mõtleme suure pildi peale ka. ☺
Tehnoloogia arendus käib
koos äri(protsesside/teenuste) arendusega
Ärme kirjuta ennast arhitektuurselt kinni –
meie loodu võiks olla ka teistes valdkondades taaskasutatav
Iga arendusprojekti taga peab olema ärivajadus –
mis probleemi me lahendame?
Andmete tekkimine
Nt. “Vaktsineerija OÜ” dokumenteerib 25. jaanuaril Tervise infosüsteemi jõuab HL7 CDA XML
2022 patsiendi 386082901234 kohta Covid-19
vastu vaktsineerimise (Comirnaty vaktsiiniga) ja
gripi vastu vaktsineerimise (Vaxigriptetra
vaktsiiniga) vastu kuupäevale 25.10.2022
Andmete teisendamine?
HL7 CDA XML HL7 FHIR JSON
Andmete teisendamine?
HL7 CDA XML HL7 FHIR JSON
?
Deserialiseerimine
CDA XML
Asutus Dokument Patsient
Vaktsineerija OÜ ASD123 386082901234
Kuupäev Haigus Vaktsiin Doos
25.01.2022 Covid-19 Comirnaty 3
25.01.2022 Gripp VAXIGRIPTETRA 1
Deserialiseerimine
FHIR JSON
Asutus Dokument Patsient
Vaktsineerija OÜ ASD123 386082901234
Kuupäev Haigus Vaktsiin Doos
25.01.2022 Covid-19 Comirnaty 3
25.01.2022 Gripp VAXIGRIPTETRA 1
Esiteks... andmed baasi
‣ Kas nopime dokumentidelt üksikuid andmevälju?
‣ Kas suudame dokumendipõhise andmemudeli luua
andmebaasi (pool)automaatselt?
‣ Kuidas toetame inkrementaalset/agiilset arendusprotsessi?
(eile oli vaja tüüpi küsimustele vastamine)
...uus andmelao platvorm ja Vertica FLEX tabelid
Päris kõik (tervise)andmed ei ole struktureeritud
Pikkade tekstide formaliseerija
... aga milleks täpsemalt?
‣ Analüüsid?
‣ Anamnees?
‣ Uuringud?
‣ Epikriisi andmed?
‣ Varasemad versioonid?
...ja nüüd läheb keerulisemaks
‣ Duplikaadid (25.01.2022 Comirnaty, 25.01.2022 Spikevax?)
‣ Vead andmekvaliteedis (25.10.2022 vs 25.01.2022)
‣ Ebaloogilised mustrid (nt. doos 3 -> 1 -> 2 ???)
‣ Samad andmed erinevatest allikatest (veelkord duplikaadid)
‣ Kas kõik tarbijad peavad kõige sellega tegelema?
standardid, laadimine, modelleerimine, andmekvaliteet, analüüs
MODELLEERIMINE
...
Asutus Dokument Patsient
Serialiseerimine Vaktsineerija OÜ ASD123 386082901234
Kuupäev Haigus Vaktsiin Doos
25.01.2022 Covid-19 Comirnaty 3
25.01.2022 Gripp VAXIGRIPTETRA 1
Asutus Dokument Patsient
...teisene kasutus Vaktsineerija OÜ ASD123 386082901234
Kuupäev Haigus Vaktsiin Doos
25.01.2022 Covid-19 Comirnaty 3
25.01.2022 Gripp VAXIGRIPTETRA 1
ANDMEVAATUR
AVAANDMED
ANDMETEENUSED
...aga registrid?
‣ Terviseameti nakkushaiguste register (NAKIS)
‣ Tervise Arengu Instituudi registrid (nt. VSR)
‣ Haigekassa/Tervisekassa?
riiklike andmekogude vahel andmeid vahetades
peab andmeid edastama üle X-tee ning
tuleb rakendada andmejälgijat
X-tee liides andmelao platvormile
... kas tõesti on alati isikustatud andmeid vaja?
‣ Andmete kokkuviimine erinevate allikate vahel?
‣ Kõrvalekallete juures isikuga tegelemine?
‣ Andmekvaliteedi tagamise eesmärgil?
... andmekvaliteedi tagamiseks?
?
... aga kui saaksime valikuliselt isikustada?
... aga kui saaksime valikuliselt isikustada?
3860829
....
Platvormi toetavad arendusprojektid
‣ Vertica X-tee liides
‣ Andmeteenuste CI/CD arendusprotsessis
‣ Andmelaadimiste ajastamine (AirFlow)
‣ Tableau analüütikalahenduste tõlkelahendus
‣ Pseudonüümija Tableau integratsioon
‣ Andmekvaliteedi tagamise algoritmid, integratsioonid
‣ Teenuste käideldavuse parandamine - monitooring
Avaandmete portaal https://opendata.digilugu.ee/docs/
Health Sense mudel
metaandmed
Health Sense teekaart 0122
Täna
2021 2022 2023
Andmelao füüsiline keskkond -
TEHIK
Raviteekondade kasulikud andmemudelid - TalTech
Andmete obfuskeerija - UT
Pseudonüümija mootor - hange
Pseudonüümija adminliides - hange
Formaliseerija - hange
Serialiseerija / Deserialiseerija - hange
Andmete analüüsi/esitlemise keskkond - TEHIK
Andmevood ja analüüsid SMEdele
Tänan, et kuulasid
ja mõtlesid kaasa!
Kristjan, Margit ja Martin
HEALTH SENSE PROJEKT
OKTOOBER 2021 – JAANUAR
2022
E-meditsiini keskus
Tervisetehnoloogiate instituut
Tallinna Tehnikaülikool 2022
pp.kk.aaaa
EDENEMINE SEISUGA 25.01.2022
o Sisendinfo kaardistamine ja kogumine, kuidas vähi ja diabeedi
andmeid kogutakse
o Vähiregister ja vähiteatis
o TAI diabeedi esmashaigestumuse statistika ja andmete allikad
o OECD indikaatorid ja andmete allikad
o Töötuba partneritega välisülikoolidest saamaks ideid, kuidas
vähiandmete kogumist, jagamist ja kasutamist optimaalselt
lahendada
o Protsesside kaardistamine ja FHIR profiilid
o Koostöö TEHIKuga
o Kolme valdkonna andmehulgad ja sobivate FHIR tüüpide leidmine
TALLINNA TEHNIKAÜLIKOOL
EDENEMINE SEISUGA 25.01.2022
o ContSysi rakendamine
o ContSysi abil on tekkinud sõnastikku organiseerivad vahekihid,
mis vastavad küsimustele miks, kuidas, kes, kus ja millal
o Healthcare activity
o Healthcare investigation
o Healthcare activity element
o Observed condition
o Health state
o Projektimeeskonna liige osaleb ContSysi standardi tõlkimises
TALLINNA TEHNIKAÜLIKOOL
EDENEMINE SEISUGA 25.01.2022
o Sõnastiku tööprotsess ja pilootprojekt
o Sõnastiku tööprotsessi juhend
o Sõnastiku sedelite koostamine insuldi andmekoosseisu põhjal
o Fakt, Osaleja, Toiming
o Andmesõnastiku koostamise metoodika testimine
TALLINNA TEHNIKAÜLIKOOL
Sõnastiku
hindamine
komisjoni
poolt,
vastavalt
etteantud
kriteetriumitele
Sõnastiku Tagasiside
tõlgendamine,
avaldamine
parandusette-
uuendatud panekute
kujul tegemine
Sõnastiku
sedelite
muudatuste
sisseviimine,
täiendamine
TALLINNA TEHNIKAÜLIKOOL
EDASISED SAMMUD
o Roche diabeedi ja vähi projektid -> planeeritud kohtumine, koostöö
andmekogude arendamises
o Intervjuud klinitsistidega kaardistamaks vähi ja diabeedi andmete
kogumist, as-is -> to-be
o Sõnastiku pilootprojekt -> parandusettepanekute põhjal muudatuste
sisse viimine, sedelite täiendamine, vähi ja diabeedi sedelite
koostamine
o TIS-andmete analüüs
o FHIR profiilidega edasi töötamine
TALLINNA TEHNIKAÜLIKOOL
LEPINGU MUUDATUSETTEPANEKUD:
o Esimeses projektifaasis ei olnud läbi töötatud kolm raviteekonda,
töötame nendega kogu projekti vältel – projektifaasid lepingus
ühtlustada?
o Rollid ja koormused teised – projekti juures täiskohaga
analüütik/projektijuht, teised koormused muutunud sõltuvalt projekti
hetke vajadusest – kuidas seda lepingusse sisse viia?
TALLINNA TEHNIKAÜLIKOOL
INFO, MÕTTED, ETTEPANEKUD:
Projektijuht Liis Hamburg
[email protected]
TALLINNA TEHNIKAÜLIKOOL
Ehitajate tee 5, 19086 Tallinn,
Tel 620 2002 (E-R 8.30–17.00)
taltech.ee
Tervise infosüsteemi andmevaramu (Health Sense)
projekti juhtrühma
KOOSOLEKU PROTOKOLL
25.01.2022
Tallinn
Algus kell 14.00
Lõpp kell 15.30
Juhatas: Kristiina Hunt
Protokollis: Aivi Saar
Võtsid osa: Kristjan Kolde, Martin Ärm, Allan Lepik, Ann Leen Mahhov, Epp Immato, Pille Kink,
Eleri Lapp, Jekaterina Tamberg, Mari Teesalu, Sulev Reisberg, Kadri Haller-Kikkatalo, Hedi
Harzia, Liis Hamburg, Ruth Mägi, Janek Metsallik, Igor Bossenko, Kristian Juha Kankainen,
Karl-Henrik Peterson, Laura Breede, Margit Laurits Männiste, Peeter Ross, Martin Sepp
Puudus(id): Piret Hirv
PÄEVAKORD:
1. Projekti hetkeseis, III perioodi tegevused ja planeeritavad muudatused - TEHIK
2. Projekti hetkeseis, III perioodi tegevused ja planeeritavad muudatused - TÜ
3. Projekti hetkeseis, III perioodi tegevused ja planeeritavad muudatused – TalTech
4. Küsimused ja arutelu, muud teemad
1. Projekti hetkeseis, III perioodi tegevuste ja planeeritavate muudatuste tutvustus
KUULATI:
Martin Ärm, Margit Laurits Männiste – projekti hetkeseisu ja III perioodi tegevuste ülevaade
Kristjan Kolde – planeeritavate muudatuste tutvustus
OTSUSTATI:
1.1 Võtta informatsioon teadmiseks.
1.2 Heaks kiita senised muudatusettepanekud ja jätkata arutelusid vajalikeks muudatusteks
projekti tegevustes ning skoobis.
2. Projekti hetkeseis, III perioodi tegevuste ja planeeritavate muudatuste tutvustus
KUULATI:
Sulev Reisberg – projekti hetkeseisu, III perioodi tegevuste ja planeeritavate muudatuste
ülevaade
OTSUSTATI:
2.1 Võtta informatsioon teadmiseks.
2.2 Heaks kiita senised muudatusettepanekud ja jätkata arutelusid vajalikeks muudatusteks
projekti tegevustes ning skoobis.
3. Projekti hetkeseis, III perioodi tegevuste ja planeeritavate muudatuste tutvustus
KUULATI:
Liis Hamburg – projekti hetkeseisu, III perioodi tegevuste ja planeeritavate muudatuste
ülevaade
OTSUSTATI:
3.1 Võtta informatsioon teadmiseks
3.2 Heaks kiita senised muudatusettepanekud ja jätkata arutelusid vajalikeks muudatusteks
projekti tegevustes ning skoobis.
4. Küsimused ja arutelu, muud teemad
OTSUSTATI:
4.1 Projekti tegevuste ja skoobi osas toimuvad jätkuarutelud huvitatud osapooltega.
4.2 Vajalikud muudatusettepanekud valmistatakse ette järgmiseks juhtrühma koosolekuks.
4.3 Järgmine juhtrühma koosolek toimub 24.05.2022 kell 14.00.
(allkirjastatud digitaalselt) (allkirjastatud digitaalselt)
Kristiina Hunt Aivi Saar
Koosoleku juhataja Protokollija