Kiri

Ministeeriumid, Tartu Ülikool, Tallinna Tehnikaülikool, 10.01.2022 nr 12-1/22/135 Tallinna Ülikool, Eesti Keele Instituut, Eesti Kirjandusmuuseum, Rahvusarhiiv Eesti keeletehnoloogia valdkonna arendamise ning keeletehnoloogia vahendite laialdase kasutuselevõtu tegevuskava 2022-2024 Austatud kollegid Haridus- ja Teadusministeerium edastab tutvumiseks ja ettepanekute tegemiseks Eesti keeletehnoloogia valdkonna arendamise ning keeletehnoloogia vahendite laialdase kasutuselevõtu tegevuskava 2022–2024. Keeletehnoloogia valdkonna tegevuskava annab ülevaate keeletehnoloogia hetkeseisust, koondab tegevused riigiüleselt ning toob välja vajalikud ja sidusalt organiseeritud tegevussuunad aastateks 2022–2024. Keeletehnoloogia tegevuskava on loodud Haridus- ja Teadusministeeriumi juhtimisel koostöös Majandus- ja Kommunikatsiooniministeeriumiga. Kui teie haldusalas on keeletehnoloogia valdkonna tegevusi, mis vajaksid tegevuskavas välja toomist, siis palume need nimetada. Ootame teie tagasisidet tegevuskavale hiljemalt 19. jaanuariks 2021. Lugupidamisega (allkirjastatud digitaalselt) Andero Adamson keelepoliitika osakonna juhataja Lisa: 1. Eesti keeletehnoloogia valdkonna arendamise ning keeletehnoloogia vahendite laialdase kasutuselevõtu tegevuskava 2022-2024 Kadri Vare 735 0283 [email protected] Munga 18/ 50088 Tartu/ 735 0222/ [email protected]/ www.hm.ee/ Registrikood 70000740  Eesti keeletehnoloogia valdkonna arendamise ning keeletehnoloogia vahendite laialdase kasutuselevõtu tegevuskava 2022–2024 SISSEJUHATUS Keeletehnoloogia on infotehnoloogia ja keeleteaduse osa, mis tegeleb inimkeele töötlemisega osa, hõlmates nii kirjutatud kui ka suulise keele töötlust. Keeletehnoloogia arendamine on Euroopa keelelise ja kultuurilise mitmekesisuse säilitamisel prioriteediks. See tähendab, et iga rahvuskeele jaoks tuleb luua keeletehnoloogilised andmestikud ja -vahendid, mille tõhus kasutamine tagab ka väikeste keelte püsimise avatud maailmas. Eesti keeletehnoloogia arengut on alates aastast 2006 riiklikult toetatud keeletehnoloogia teadusprogrammide kaudu. Hetkel on käimas kolmas järjestikune programm “Eesti keeletehnoloogia 2018–2027”1. Riiklike programmide ajal on käivitunud 90 projekti, mille tulemusel on peamiselt loodud vajalikke baastehnoloogiaid ja keeleandmestikke, kuid fookus on olnud ka keeletehnoloogia kasutusele võtmisel nii avalikus kui ka erasektoris. Tegevuskava eesmärgid, ülesehitus ja valdkonnad Tegevuskava annab ülevaate valdkonna kui terviku hetkeseisust ning koondab tegevused eesti keeletehnoloogia arendamiseks aastatel 2022–2024. Tegevuskava ajaline kestus lähtub eeldusest, et infotehnoloogia arengud on kiired ning keeletehnoloogia valdkonna projekte viiakse etapiti ellu. Tegevuskava viib ellu mitme riikliku arengukava – Eesti keele arengukava 2021–2035, Digiühiskonna arengukava 2030, Eesti teadus- ja arendustegevuse, innovatsiooni ning ettevõtluse arengukava 2021–2035, Kratikava 2022–2023 – tegevussuundi, et arendada eesti keeletehnoloogia tase võimalikult kõrgele tasemele ja võtta eesti keeletehnoloogia vahendid kasutusele võimalikult paljudes avaliku sektori teenustes ja infosüsteemides, mis kokkuvõttes tagab eesti keele elujõu digiühiskonnas. Tegevuskava jaotub neljaks suuremaks omavahel seotud osaks: keeletehnoloogia arendamine, keeletehnoloogia kasutuselevõtt ja populariseerimine, keeleandmestikud, koostöö ja seire. 1 https://www.hm.ee/et/tegevused/teadus/teadusprogrammid Tegevuskava elluviimine ja rahastamine Peamine tegevuskava elluviija on Eesti Keele Instituudi (EKI) keeletehnoloogia kompetentsikeskus kui keeletehnoloogia arendamise tugikeskus, mis teeb koostööd Riigi Infosüsteemi Ametiga (RIA), et eesti keeletehnoloogilised vahendid jõuaksid kasutusele võimalikult paljudesse avaliku sektori ja erasektori loodud lahendustesse. Kuna eesmärkide ja tegevuste poolest on see ministeeriume ja asutusi ühendav kava, sõltub elluviimine kõigi keeletehnoloogia arendamisega tegelejate panusest. Tegevuskava elluviimist rahastatakse Haridus- ja Teadusministeeriumi, Majandus- ja Kommunikatsiooniministeeriumi ning Euroopa Liidu struktuurivahendite eelarvetest. Haridus- ja teadusministeeriumi keeletehnoloogia TA-programmi (EKT) aastane eelarve on orienteeruvalt 1,5 miljonit eurot aastas ning Euroopa Liidu struktuurivahendite (SF ja RRF) keeletehnoloogia valdkonda käsitlevate vahendite orineteeruv eelarve on 1 miljon eurot aastas. Tegevuskava elluviimise, juhtimise ning seiramisega tegeleb Haridus- ja Teadusministeeriumi juhitav riigiasutuste ja võtmepartnerite esindajatest koosnev kogu, mis mh arutab ja kavandab vajadusel täiendavaid tegevusi. Seatud tegevuste täitmist analüüsitakse jooksvalt ning tegevuskava perioodi lõpeb aruandega. I KEELETEHNOLOOGIA ARENDAMINE Hetkeolukord Rahvusvahelises võrdluses on olemas keele töötlemiseks vajalikud baaskomponendid2, kuid puudu on mitmed võtmekomponendid3, mille arendamine on kriitilise tähtsusega. Eestikeelse kõnetuvastuse (ehk kõne-tekstiks) üldine tase on väga hea ning võimaldab juba praegu genereerida kvaliteetseid reaalajalisi subtiitreid või näiteks radioloogia uuringuaruandeid. Madalam on kõnetuvastuse kvaliteet mürarohkete salvestuste ja variatiivsema kõne (nt aktsendid, murded, seenioride või laste kõne jms) puhul. Eestikeelse kõnesünteesi (ehk tekst-kõneks) valdkonnas on lisaks statistilistele häältele arendatud viimaste aastate jooksul ka loomuliku kõlaga tehisnärvivõrkudel põhinevad hääled. Kuigi tänased hääled sobivad hästi lugema ette erinevaid tekste, on vaja edasi arendada spontaanse kõne sünteesi. Eesti keele jaoks on loodud olulise tähtsusega tekstianalüüsi baaskomponendid, millele suuresti toetub järgmiste keeletasandite – eelkõige semantilise ja pragmaatilise tasandi – automaatne analüüs. Mõnes valdkonnas vajab tekstianalüüsi vahendite tehnoloogiline tase uuendamist, nt tuleb liikuda reeglipõhisest ning statistilisi meetodeid kasutavast tehnoloogiast järjest enam masinõppelise tehnoloogia suunas. Süvitsi on tegeletud morfoloogia ja süntaksiga, vähem on tähelepanu pööratud semantilise ja pragmaatilisele analüüsile. Tegevus 2022 2023 2024 Elluviija Rahastus 1.1 Arendatud on vähemalt viis seni Grammatikakontrollija on arendatud 1. etapi tasemeni EKI / TA- EKT puuduvat tekstianalüüsivahendit, sh on Eesti tekstide kokkuvõtja on arendatud 1. etapi tasemeni asutused edasi arendatud eesti keele eri Eesti tekstide lihtsustaja on arendatud 1. etapi tasemeni 2 http://www.meta-net.eu/whitepapers/overview 3 https://european-language-equality.eu/wp-content/uploads/2021/10/ELE_Deliverable_D1_2.pdf  tasandite automaatse analüüsi Anonümiseerija/pseudonümiseerija on välja arendatud vahendeid ning loodud on Valeuudiste (fake news) tuvastaja arendusega on lõppkasutajale alustatud mõeldud üldraamistikke Vihakõne tuvastamise arendusega on alustatud Semantikavahendite arendamisega on alustatud Dialoogimudelite analüüs on läbi viidud Täiustatud, edasi on arendatud olemasolevad vajalikud tekstitöötlusvahendid 1.2 Arendatud on kõnetehnoloogiate Kõnetuvastuse baastehnoloogia on arendatud TVT 4. tasemele võimekusega EKI / TA- EKT baastehnoloogiaid, tõstetud on nende tuvastada spontaanset kõnet piiratud kontekstides, erineva helikvaliteediga asutused tehnoloogiate kvaliteeti keskkondades ning mitmete kõnetüüpidega (nt aktsendid, pealerääkimine jms). Arendatakse edasi eestikeelset kõnesünteesi 1.3 Arendatud on masintõlke Baastehnoloogia on arendatud TVT 1-3 tasemele võimekusega: täisautomaatne EKI / TA- EKT baastehnoloogiat, tõstetud on selle kõrge kvaliteediga masintõlge piiratud/kontrollitud valdkondades (ilma asutused kvaliteeti järeltoimetamiseta) 1.4 Vajalik ja innovaatiline Arendatud on edasi valitud korpusepäringusüsteemi EKI EKT keeletaristu keeletehnoloogia jaoks on välja arendatud II KEELETEHNOLOOGIA KASUTUSELEVÕTT JA POPULARISEERIMINE Hetkeolukord Seni on keeletehnoloogia komponente kasutatud ja integreeritud juhtumipõhiselt. Keeletehnoloogia vahendid on küll loodud ja vabalt kättesaadavad, kuid nende leidmine ja kasutamine on olnud pigem tagasihoidlik. Järjest valmivad uued eesti keeletehnoloogia võtmekomponendid ning on oluline, et need saaksid integreeritud vastavalt nende funktsioonidele võimalikult paljudesse teenustesse ja toodetesse. Puudub koostöö paljude suurte tehnoloogiafirmadega (nt Google, Apple, Facebook), kelle ärimudelid ka keeletehnoloogial põhinevad. Olemas on regulaarsed konverentsid, kuid puuduvad erinevatele sihtgruppidele suunatud koolitused, töötoad ja seminarid. Puudu on kasutuselevõttu toetav tugisüsteem. Tegevus 2022 2023 2024 Elluviija Rahastus 2.1 Edendatud on keeletehnoloogia Tõlkevärava arendusetapid 1-3 on läbi viidud EKI / RIA EKT / SF kasutuselevõttu avaliku sektori Grammatikakontrollija on infosüsteemides, keeletehnoloogia liidestatud (Microsoft, komponente on kasutusele võetud Google, avaliku vähemalt seitsme avaliku sektori sektori infosüsteemid jms) teenustes ja infosüsteemides Subtitreerimistarkvara on liidestatud või loodud on mikroteenus otseedastuse jaoks #bürokratt on liidestatud vajalike keeletehnoloogia vahenditega Loodud on ärinimede automaatne kontrollija ERRi otsesaadete jaoks töötab (pressikonverentsid, jutusaated, uudised jms) automaatne eestikeelne subtitreerimine 2.2 Toetatud on keeletehnoloogia Koostatud on EKI EKT / SF kasutuselevõtmist erasektoris keeletehnoloogia vahendite ja kasutusvõimaluste kataloog Läbi on viidud ettevõtete vajadustest lähtuvad konsultatsioonid Huvitatud osapoolte (ettevõtlus ja keeletehnoloogia arendajad) kokku viimine toimub pidevalt Korraldatud on (süva)töötube  2.3 Hinnatud ja testitud on kõne- ja Analüüsitud on kõnetehnoloogiate kasutusvõimalusi EKI / TA- SF tekstianalüüsivahendite kasutamist Grammatikakontrollija on kohandatud keeleõppe asutused keeleõppes, sh eesti keele kui teise vajadusest lähtuvalt keele õppeks Tekstianalüüsivahendid on kohandatud keeleõppe vajadustest lähtuvalt 2.4 Läbi on viidud vähemalt 35 Läbi on viidud keeletehnoloogiat tutvustavaid koolitusi EKI EKT / SF avalikule- ja erasektorile mõeldud Planeeritakse ja viiakse läbi iga-aastane keeletehnoloogia konverents koolitusi ning koostatud on Viiakse läbi ideekorje juhendeid, mille eesmärk on tõsta kampaania teadlikkust keeletehnoloogia vahendite rakendamisest Viiakse läbi esinemisi laiemale avalikkusele, sh üldhariduskoolidele Luuakse keeletehnoloogia brändiraamat III KEELEANDMESTIKUD Hetkeolukord Keeleandmestike rohkus ja kvaliteet on keeletehnoloogia arendamisel olulise tähtsusega. Seni on keeleandmestikke peamiselt kogutud tulenevalt keeletehnoloogiliste projektide vajadusest ning nende avaldamiseks mõeldud töövood pole tugevalt juurdunud. Jätkuvalt on puudu variatiivsest keelematerjalist, mis on vajalik erinevate keeletehnoloogiate arendamiseks, nt kõneandmed, tõlkematerjalid, viipekeele andmestikud, aga ka keeleuurimiseks ja keelearenduseks vajalikud ükskeelsed andmestikud, nagu näiteks erialatekstid. Järjest enam on fookuses keeleandmestike kogumine ning nende taaskasutamise võimaldamine, kuid senini on suureks väljakutseks keeleandmestike õiguslik regulatsioon ja nende kasutamine. Tegevus 2022 2023 2024 Elluviija Rahastus 3.1 Seadusandlusest tulenevad Läbi on viidud EKI / HTM EKT piirangud ja võimalused keeleandmete keeleandmestike kasutamise (sh tekstiliste ja kõneandmete) õiguslik analüüs kogumiseks ja taaskasutamiseks on Koostatud on selgelt kirjeldatud keeleandmestike kasutamise parimate praktikate juhend 3.2 Keeletehnoloogia ja tehisintellekti Kogutud on viipekeele materjale EKI / RIA RRF / SF arendamiseks on kogutud iga-aastaselt Kogutud on valdkondlikke tõlkematerjale masintõlke arendamiseks / EKT juurde vähemalt 10 mitmekesist Kogutud on kõnematerjali kõnetehnoloogiate arendamiseks keeleandmestikke sisaldavat korpust, Kogutud on NER keeleandmestikke mille õiguslik staatus on selge/määratud ning need vastavad Kogutud on ilukirjanduse materjale FAIR-printsiibile. Kogutud on Kogutud on sotsiaalmeedia tekste vähemalt 4000h kõnematerjali algatatud on „Anneta kõnetehnoloogiate arendamiseks kõnet“ kampaania kõnematerjali kogumiseks Kogutud variatiivsed keelematerjalid on korpustes märgendatud, sh transkribeeritud, joondatud, vajadusel ajamärgistatud Korpused on puhastatud, korrastatud, vajadusel anonümiseeritud ja pseudonümiseeritud Loodud on eri keelemudeleid 3.3 Keeletehnoloogia ja Avaandmete portaali/teabevärava on kohandatud EKI / RIA EKT / SF keeleandmestikud on süsteemselt keeleandmestike jaoks korrastatud, töödeldud ning Olemasolevad keeleandmestikud on üle kättesaadavad kõigile kasutajatele viidud/peegeldatud avaandmete portaali Eesti teabevärava kaudu Läbi on viidud koolitused teabevaldajatele avaandmete portaali kasutamise kohta/keeleandmestike kirjeldamise kohta 3.4 Tagatakse efektiivne Arendatud on 1. etapp teksti- ja käekirjatuvastusest eesti EKI EKT keeleandmestike kogumise protsess, keelele  mille jaoks on loodud on keeletehnoloogia jt seotud uurimisvaldkondade vajadusest Alustatud on meta-andmete lähtuvad vahendid automaatse genereerija arendamisega 3.5 Haridus- ja teadusministri määrus Eelnõu on ette valmistatud HTM „Keeleandmestike nimekiri, ja määrus kinnitatud avaldamise ja taaskasutamise tingimused ning kord“ IV SEIRE JA KOOSTÖÖ Hetkeolukord Viimane rahvusvaheline keeletehnoloogia seire (META-NET white paper4) viidi läbi aastal 2012, mis hindas eesti keeletehnoloogia baaskomponentide taseme heaks. Siinset keeletehnoloogiat arendades on seire tulemustest ka osaliselt juhindutud, kuid süstemaatiliselt pole tegeletud keeletehnoloogia komponentide, tehnoloogiate ja vajalike keeleandmestike kaardistamise ja seiramisega. Samuti ei ole terviklikult välja selgitatud avaliku ja erasektori kriitilisi vajadusi, mille lahendamisel keeletehnoloogia rakendamisest otsene kasu tõuseks. Eesti on esindatud rahvusvahelistes keeletehnoloogia taristutes ja võrgustikes (CLARIN, ELRC, ELG jt), kuid seni pole nende võimalusi maksimaalselt ära kasutatud. Kõik nimetatud võrgustikud pakuvad mitmeid võimalusi laienemiseks ja koostööks, sh rahastust, koolitusi, keeletehnoloogia vahendite ja keeleandmestike avaldamis- ja turundamisvõimalusi rahvusvahelisel tasandil. 4 http://www.meta-net.eu/whitepapers/overview Tegevus 2022 2023 2024 Elluviija Rahastus 4.1. Läbi on viidud uuringud Läbi on viidud Läbi on viidud EKI EKT / SF erinevates avaliku- ja erasektori keeletehnoloogia vahendite keeletehnoloogia vahendite sihtgruppides, mille põhjal saab kasutusuuring (1.etapp) kasutusuuring (2.etapp) kaardistada ning arendada Läbi on viidud Läbi on viidud keeletehnoloogia vahendeid keeletehnoloogiliste keeletehnoloogiliste vajaduspõhiselt vajaduste uuring (1.etapp) vajaduste uuring (2.etapp) Välja on töötatud pideva ideekorje põhimõtted 4.2 Välja on töötatud Keeletehnoloogia ja keeleandmestike seire nii Eestis kui rahvusvaheliselt on läbi EKI EKT keeletehnoloogia arendamiseks viidud, raportid on esitatud kord aastas vajalike TA-tegevuste, Prioriteetsed Prioriteetsed (sidus)valdkondade ja keeletehnoloogia keeletehnoloogia tugiprotsesside pidev seiramise valdkonnad on kaardistatud valdkonnad on kaardistatud protsess. Eesti keeletehnoloogiate (1.etapp) (2.etapp) taset on regulaarselt hinnatud nii Kaardistatud on keeleliste Eesti-siseselt kui võrrelduna erivajadustega inimeste rahvusvaheliselt tunnustatud vajadused tasemega Keeletehnoloogia jt sidusvaldkondade vajaduste kaardistamine (terminoloogia, humanitaaria, sotsiaalteaduste jm) Valminud on ELE Euroopa keelte keeletehnoloogilise tasemete võrdlus 4.3 Suurenenud on keeletehnoloogia- Osaletud on ELG võrgustikus3 HTM / EKI / EKT alane koostöö rahvusvahelisel 4 TA-asutused Osaletud on ELRC võrgustikus tasemel, maksimaalselt on ära Osaletud on CLARINi taristus5 kasutatud võrgustike rahastusvõimalusi, pidevalt on aja- ja asjakohastatud Eesti keeletehnoloogia vahendite ja keeleandmestike info rahvusvahelistes keeletehnoloogia võrgustikes ning võrgustike võimalusi on tutvustatud Eesti teadlastele ja keeletehnoloogia arendajatele. Eesti teadusasutustel, ettevõtetel ja avaliku sektori asutustel on juurdepääs olulistele rahvusvahelistele keeletehnoloogia võrgustike hüvedele