Käskkiri

KÄSKKIRI 08.11.2024 nr 1-2/24-066 Riigihanke „Digiligipääsetavuse testimise tööriist" pakkumuste vastavaks tunnistamise ja pakkumuse edukaks tunnistamise otsus Tulenevalt TTJA korraldatud riigihanke „Digiligipääsetavuse testimise tööriist" (viitenumber 283611) hankekomisjoni 05.11.2024 hindamisprotokollist nr 4-11/24/0057/0212 pakkumuste vastavaks tunnistamise ja pakkumuse edukaks tunnistamise kohta, võttes aluseks riigihangete seaduse (RHS) § 52 lõike 3, § 114 lõike 1 ja § 117 lõike 1 ning TTJA 02.03.2024 käskkirjaga nr 1-2/24-017 kehtestatud hankekorra punktid 13.6-13.17: otsustan 1. Tunnistada vastavaks riigihankele „Digiligipääsetavuse testimise tööriist" tähtaegselt, s.o. 30.09.2024 kella 12.00 esitatud OÜ Flaka (reg. kood 12508614) pakkumus nr 515037, kogumaksumusega 98480,80 eurot käibemaksuta. 2. Tunnistada vastavaks riigihankele „Digiligipääsetavuse testimise tööriist" tähtaegselt, s.o. 30.09.2024 kella 12.00 esitatud NSG OÜ (reg. kood 16892006) pakkumus nr 516083, kogumaksumusega 109440,00 eurot käibemaksuta. 3. Tunnistada vastavaks riigihankele „Digiligipääsetavuse testimise tööriist" tähtaegselt, s.o. 30.09.2024 kella 12.00 esitatud Platvorm OÜ (reg. kood 12187920) pakkumus nr 516092, kogumaksumusega 79980,00 eurot käibemaksuta. 4. OÜ Flaka pakkumusele nr 515037 omistatud väärtuspunktide summa on kokku 69,24 punkti, vastavalt hindamiskriteeriumidele. Pakkumuse kogumaksumuse eest omistati OÜ-le Flaka 33,24 punkti ning detailanalüüsi eest 36 punkti (detailanalüüsiga seotud põhjendused on Lisas 1). 5. NSG OÜ pakkumusele nr 516083 omistatud väärtuspunktide summa on kokku 83,23 punkti, vastavalt hindamiskriteeriumidele. Pakkumuse kogumaksumuse eest omistati NSG OÜ-le 29,23 punkti ja detailanalüüsile 54 punkti (detailanalüüsiga seotud põhjendused on Lisas 1). 6. Platvorm OÜ pakkumusele nr 516092 omistatud väärtuspunktide summa on kokku 70 punkti, vastavalt hindamiskriteeriumidele. Pakkumuse kogumaksumuse eest omistati Platvorm OÜ-le 40 punkti ja detailanalüüsile 30 punkti (detailanalüüsiga seotud põhjendused on Lisas 1).  2 7. Tunnistada edukaks NSG OÜ pakkumus nr 516083, kogumaksumusega 109440,00 eurot. Eduka pakkuja suhtes tuleb riigihangete registri vahendusel läbi viia kõrvaldamise aluste kontroll tõendite alusel, juhindudes RHS § 104 lõigetest 8 ja 11. (allkirjastatud digitaalselt) Kristi Talving peadirektor Melissa Liivak [email protected]  3 Lisa 1 KINNITANUD peadirektor 08.11.2024 käskkirjaga nr 1-2/24-066 Detailanalüüsi hindamistulemused ja pakkujatele omistatud väärtuspunktid Punktide andmise alused ja põhjendused sisalduvad hankedokumendi p-s 7.3.2. Allolevas tabelis on välja toodud iga detailanalüüsi osa suhtes pakkujatele antud punktid koos pakkumuse kohta käivate põhjendustega. Väärtuspunktide OÜ Flaka NSG OÜ Platvorm OÜ andmise alused Detailanalüüsis 6 PUNKTI 12 PUNKTI 0 PUNKTI kirjeldatud Pakkuja ei ole Pakkuja on detailanalüüsis Detailanalüüsis kirjeldatud tööriista teostuse detailanalüüsis välja andnud põhjalikud ja täpsed tööriista teostuse (sh kasutajaloo toonud tööriista hinnangu kirjeldused tööriista kirjelduse ja prototüübi) kohaselt vastavus tehnilise jõudlust optimaalse teostusest ning need saab kasutaja testimise alguses kirjelduse punktis 2 üheaegsete kasutajate arvu vastavad hanke valida, kas viib läbi välja toodud hanke osas. Pakkuja on eesmärkidele. manuaaltestimisi või eesmärkidele. põhjendanud, et üheaegsete automaattestimisi. Hanke eesmärk kasutajate arvule on on sellise tööriista arendamine, keeruline kindlat numbrit mis võimaldab ühe testimise ette näha automaattestide jooksul kasutada manuaaltestidega jooksutamise tõttu ning koos automaatteste nende nõuete esialgsed testimised, mis või elementide kohta, mille osas automaattestidega läbi sobivad automaattestid olemas on. prooviti andsid pakkujale Nii on tehnilise kirjelduse punktis pigem kindluse, et 2.4. kirjeldatud, et testimise jõudlusega probleeme ei alguses saab kasutaja teha valiku, teki. kas testimisel kasutatakse Pakkuja ei ole välja toonud olemasolevaid automaatteste või kuidas nimetatud esialgseid viiakse testimine läbi täies testimisi läbi viidi ega ulatuses manuaalselt. Seega kui andnud omapoolset kasutatakse automaatteste, peab hinnangut sellele, kui palju igal juhul kuvama antud tulemusi kasutajaid pakkuja leiab, et koos manuaaltestidega, mida tööriista üheaegselt automaattestid ei kata. Lisaks peab kasutada võiks. kasutajal olema võimalus Hankijal ei ole võimalik automaatteste üldse mitte kasutada pakkuja poolse kirjelduse ning viia testimine läbi täies põhjal täielikult hinnata, ulatuses manuaalselt. kas pakkuja poolt pakutav Samuti on tehnilise kirjelduse tööriist on üheaegselt punktis 2.4. välja toodud, et kasutatav optimaalsele integreeritavad automaattestid ei kasutajate arvule ja vastab hõlma igal juhul kogu nõude seeläbi tehnilise kirjelduse testimist (vaid näiteks üht või punktis 5.2.1. toodud mõnda elementi kogu nõudele nõudele. Hankija ei saa vastavuse testimises) ning seega täielikult hinnata tööriista ülesehitus peab teostuse vastavust hanke võimaldama kasutajatel aru saada, eesmärkidele. milliseid testimisi tuleb lisaks Kuivõrd jõudlusele automaattestide kasutamisele ja täpsemat hinnangut antud nende tulemuste kontrollimisele ei ole, kuid Pakkuja usub, täiendavalt läbi viia ka et jõudlus peaks olema manuaalselt. Pakkuja on piisav, siis ei saa ka kindlalt kirjeldanud automaattestimist öelda, et tegu on olulise eraldiseisva protsessina, mistõttu puudujäägiga ning tööriista ei ole kasutajale arusaadav, jõudlus ei vasta kindlasti milliseid testimisi tuleks lisaks hanke eesmärkidele. läbi viia manuaalselt, kuivõrd kogu testi kasutajatele ei kuvata. Ühtlasi testiks kasutajad üksnes  4 automaattestide võimaldamisel üksikuid nõudeid ning mõnel juhul isegi mitte kogu nõuet, vaid üksnes osa sellest. See tähendaks, et kasutajad ei saaks automaattestide kasutamisel ühtset raportit digiligipääsetavuse nõuetele vastavuse testitulemustest, vaid raporti üksikutest nõuetest ja elementidest. See omakorda muudaks tööriista kasutamise ebamugavaks ning tegu ei oleks tehnilise kirjelduse punkti 2.2. kohase nii algajale kui kogenud testijale lihtsasti kasutatava tööriistaga. Algaja testija ei orienteeru digiligipääsetavuse nõuetes selliselt, et suudaks lihtsasti tuvastada automaattestide alla mittekuuluvad testid manuaalses testimises ning need eraldi testida ja kahe testi tulemused ühendada. Seega leiab Hankija, et Pakkuja teostus ei vasta hanke eesmärkidele. Detailanalüüsis 6 PUNKTI 12 PUNKTI 6 PUNKTI kirjeldatud Pakkuja ei ole Pakkuja on pakkumise Pakkuja pakub detailanalüüsi optimaalne detailanalüüsis välja detailanalüüsis välja toonud, kohaselt tööriista, mis on toonud tööriista hinnangu et pakutav tööriist on võimeline toetama 20-50 samaaegsete jõudlust optimaalse võimeline toetama vähemalt üheaegset kasutajat. Pakkuja on kasutajate arvu üheaegsete kasutajate arvu 1000 üheaegset kasutajat. selgitusena lisanud, et olenevalt põhjendatus osas. Pakkuja on Hankija hinnangul on 1000 Hankija poolsest serverist on arvestades tööriista põhjendanud, et üheaegsete üheaegse kasutaja võimalik seda jõudlust sihtrühma ja kasutajate arvule on võimaldamine piisav suurendada. eesmärke. keeruline kindlat numbrit tagamaks, et tööriista ette näha automaattestide jõudlus ei saaks testide Vastavalt tehnilise kirjelduse p-s jooksutamise tõttu ning läbiviimisel takistusteks. 1.1. väljatoodule hakkavad esialgsed testimised, mis tööriista kasutama kõik avaliku automaattestidega läbi sektori asutused oma veebisaitide prooviti andsid pakkujale ja mobiilirakenduste pigem kindluse, et juurdepääsetavuse tagamiseks jõudlusega probleeme ei ning ka märkimisväärne osa teki. erasektorist (nt e-kauplejad, Pakkuja ei ole välja toonud, finantsteenuse pakkujad jpm). kuidas nimetatud esialgseid Lisaks kohustusi omavatele era- ja testimisi läbi viidi ega avaliku sektori asutustele hakkab andnud omapoolset tööriista kasutama TTJA, et hinnangut sellele, kui palju teostada järelevalvet erinevate kasutajaid pakkuja leiab, et veebilehtede, dokumentide ja tööriista üheaegselt rakenduste digiligipääsetavuse kasutada võiks. nõuete täitmise üle (tehnilise Hankijal ei ole võimalik kirjelduse p 1.3). Täiendavalt pakkuja poolse kirjelduse võivad tööriista vastu tunda huvi põhjal täielikult hinnata, ka teised erasektori ettevõtted, kes kas välja toodud optimaalse soovivad oma veebilehtede, kasutajate arvuga rakenduste ja dokumentide arvestatav tööriista jõudlus ligipääsetavust tagada ilma sellise võib saada sihtrühmale kohustuse olemasoluta. testide läbiviimisel Arvestades lisaks, et testimine on takistuseks. Kuivõrd aeganõudev (tehnilise kirjelduse p jõudlusele täpsemat 1.4) võib Hankija hinnangul saada hinnangut antud ei ole, kuid 20-50 üheaegse kasutajaga Pakkuja usub, et jõudlus tööriista jõudlus sihtrühmale peaks olema piisav, siis ei testide läbiviimisel takistuseks, saa ka kindlalt öelda, et kuivõrd näiteks samaaegsete kasutajate järelevalveprojektide ajal võivad arvu jõudlus saab nii TTJA ametnikud kui ka  5 sihtrühmale testide menetlusalused isikud üheaegselt läbiviimisel takistuseks. erinevaid testimisi läbi viia ning lisaks peab samal ajal tööriist olema kättesaadav teistele asutustele, kes oma testimisi läbi viia soovivad. Pakkuja on küll välja toonud, et olenevalt Hankija poolsest serverist on võimalik seda jõudlust suurendada. Küll aga ei ole pakkuja välja toonud, mida Hankija serverist täpsemalt oodatakse (millistele ootustele peab Hankija server vastama näiteks 100 või 1000 üheaegse kasutaja jaoks) ning Hankija ei saa seeläbi olla kindel, kas jõudluse suurendamine on võimalik. Kuivõrd on võimalik, et Hankija saab pakkuda vajalikku serverit Pakkuja jõudluse suurendamiseks, kuid Hankijal ei ole seda võimalik täielikult hinnata, siis ei ole võimalik täielikult hinnata ka seda, kas välja toodud optimaalse kasutajate arvuga arvestatav tööriista jõudlus võib saada sihtrühmale testide läbiviimisel takistuseks. Detailanalüüsis 6 PUNKTI 12 PUNKTI 12 PUNKTI kirjeldatava Pakkuja on detailanalüüsis Pakkuja ei ole Pakkuja on detailanalüüsis välja tööriistas välja toonud, et detailanalüüsis välja toonud toonud, et tehniliselt piiranguid ei kommetaaride lisatavate fotode ja märkuste ole, aga testitavate väljade arv täidetavate väljade tähemärkide arvul arvu, kuid on selgitanud, et võiks jääda 100-200 vahele ning (mis puudutab tehniliselt piirangut ei ole, testide läbiviimisel tähemärkide arv olla piiratud 1000 märkuste, kuid väärkasutuse üleslaetavate dokumentide tähemärgiga (koos tühikutega). tähemärkide ja vältimiseks tuleks lisada (sh piltide) ega märkuste Testi piltide arv võiks olla piiratud piltide arvu ning näiteks 280 tähemärgi osas pakkuja piiranguid ei 100 peale ning piltide piltide suurust) piirang. Pildifailidele tuleb sea ning hankija võib need maksimaalne suurus on kuni 5MB maksimaalse Pakkuja poolne ise määrata. Tuuakse välja ühe pildi kohta. jõudluse sobivus mahupiirang 10MB. soovitatav failide suuruse mugavaks Hankija peab piisavaks piirang 30MB ja Hankija peab ette nähtud jõudlust tähemärkidele ja piltide tähemärkide piirang 8000 märkuste arvu, fotode arvu ja testimiste suurustele ettenähtud tähemärki. suuruse ning tähemärkide osas läbiviimiseks. mahupiiranguid, et läbi viia piisavaks, et viia mugavalt läbi mugavaid testimisi. Kuivõrd piltide ja märkuste testimisi. arvu ja mahu osas pakkuja Pakkuja ei ole pakkumuses tegelikult piiranguid ei sea välja toonud lisatavate ning Hankija võib need ise piltide arvu, mistõttu ei ole ette näha, siis on pakutav võimalik täielikult hinnata, jõudlus igal juhul piisav, et kas jõudlus võib takistada viia mugavalt läbi testimisi. mugavat testimise Hankija hinnangul on läbiviimist. Mugavaks piisavad ka soovituslikud testimiseks peaks olema mahupiirangud, mida kasutajatel võimalik Pakkuja on välja toonud. vähemalt iga nõude ja iga alamlehe puhul pilt lisada ning pakkumusest ei tule välja, kas see oleks võimalik. Kuivõrd pakkumuses on aga välja toodud, et tööriistas saab lisada pilte ehk mitut pilti, siis ei saa kindlalt öelda, et kasutajad peaksid testimisel oluliselt lisatavate piltide arvu piirama.  6 Detailanalüüsis 6 PUNKTI 6 PUNKTI 0 PUNKTI esitatud tööriista Pakkuja poolt esitatud Sisuhalduse prototüübis ja Pakkuja on sisuhalduse kasutajateekonna sisuhalduse prototüübis ei kasutajateekonna kasutajaloo kirjelduses ja kuvata ning selles ei ole kirjelduses esineb prototüübis välja toonud statistika kirjelduste või muul viisil märgitud, et väheolulisi puudujääke, sest esitamise testitulemuste raportis, prototüüpide TTJA kasutaja saaks nendes ei ole kirjeldatud, kuid sellise nõude täitmist ei ole vastavus kõikidele testitavaid nõudeid muuta millised sisuhaldamise välja toodud tavakasutaja vaates. kohustuslikele ja eemaldada vastavalt funktsioonid TTJA kasutajal Tehnilise kirjelduse Tabel 1. nõude funktsionaalsetele tehnilise kirjelduse Tabel 1. on. Välja on toodud, et TTJA nr 30 kohaselt tuleb nõuetele ja hanke nõudele nr 4. Prototüübist kasutajal esinevad sisuliselt testitulemustes esitada kasutaja eesmärkidele. tuleneb küll uute nõuete samad võimalused, mis sellekohasel valikul täiendavaid Kasutajateekonnast lisamise võimalus, kuid ei tavakasutajatel ning lisaks statistilisi andmeid. Selline nõue ei või prototüübist tulene eelnevalt kuvatavate on TTJA kasutajatel ole tehnilises kirjelduses ette nähtuv tööriista nõuete muutmise või erinevaid võimalusi sisu nähtud üksnes sisuhalduse eemaldamise võimalust. haldamiseks. Prototüübis ja vaatesse, vaid peab olema mugavus ja lihtsus Samas on pakkuja kasutajateekonna võimalik tavakasutajal. Pakkuja kasutajatele. detailanalüüsis välja kirjeldustes pole kirjeldatud, on nõuet valesti mõistnud ka toonud, et sisuhalduses on kuidas TTJA kasutajad detailanalüüsi koostades ning võimalik nõudeid saavad süsteemis sisu muuta näinud ette statistika analüüsi administreerida. (tehnilise kirjelduse Tabel 1. üksnes TTJA kasutaja nõuded nr 3 ja 4). Kuivõrd (sisuhalduse) vaatesse. Seetõttu peab Hankija neid prototüübis ja puudust prototüübis kasutajateekonna Lisaks saab Pakkuja kasutajaloo väheoluliseks puuduseks, kirjelduses täpsemalt kirjelduse ja prototüübi kohaselt kuivõrd detailanalüüsi kirjeldatud ei ole, siis ei ole kasutaja testimise alguses valida, kohaselt Pakkuja nõuete ka võimalik täielikult kas viib läbi manuaaltestimisi või haldamist pakub. hinnata tööriista automaattestimisi. Hanke eesmärk kasutusmugavust. on sellise tööriista arendamine, mis võimaldab ühe testimise Samas, kuna pakkuja on jooksul kasutada manuaaltestidega kõigi nõuete täitmise välja koos automaatteste nende nõuete toonud detailanalüüsis, siis või elementide kohta, mille osas ei ole tegu olulise sobivad automaattestid olemas on. puudusega. Nii on tehnilise kirjelduse punktis 2.4. kirjeldatud, et testimise alguses saab kasutaja teha valiku, kas testimisel kasutatakse olemasolevaid automaatteste või viiakse testimine läbi täies ulatuses manuaalselt. Seega kui kasutatakse automaatteste, tuleb nende nõuete osas, mida automaattestid ei hõlma, igal juhul testimine läbi viia manuaalselt. Küll aga peab kasutajal olema võimalus automaatteste üldse mitte kasutada ning viia testimine läbi täies ulatuses manuaalselt. Kasutajaloo kirjelduses ja prototüübis aga sellist funktsiooni ei võimaldata, kus automaatteste kasutades saab samaaegselt teiste nõuete osas testimisi läbi viia manuaalselt. Samuti on tehnilise kirjelduse punktis 2.4. välja toodud, et integreeritavad automaattestid ei hõlma igal juhul kogu nõude testimist (vaid näiteks üht või mõnda elementi kogu nõudele vastavuse testimises) ning tööriista ülesehitus peab võimaldama kasutajatel aru saada, milliseid testimisi tuleb lisaks automaattestide kasutamisele ja nende tulemuste kontrollimisele täiendavalt läbi viia ka manuaalselt. Pakkuja kirjeldatud üksnes automaattestide  7 läbiviimisel ei ole kasutajale arusaadav, milliseid testimisi tuleks lisaks läbi viia manuaalselt, kuivõrd kogu testi kasutajatele ei kuvataks. Ühtlasi testiks kasutajad üksnes automaattestide võimaldamisel üksikuid nõudeid ning mõnel juhul isegi mitte kogu nõuet, vaid üksnes osa sellest, mis tähendaks, et kasutajad ei saaks automaattestide kasutamisel ühtset raportit digiligipääsetavuse nõuetele vastavuse testitulemustest, vaid raporti üksikutest nõuetest ja elementidest. See omakorda muudaks tööriista kasutamise ebamugavaks ning tegu ei oleks tehnilise kirjelduse punkti 2.2. kohase nii algajale kui kogenud testijale lihtsasti kasutatava tööriistaga. Algaja testija ei orienteeru digiligipääsetavuse nõuetes selliselt, et suudaks lihtsasti tuvastada automaattestide alla mittekuuluvad testid manuaalses testimises ning need eraldi testida ja kahe testi tulemused ühendada. Seega ei vasta detailanalüüsis esitatud tööriista kasutajateekonna kirjeldus ja prototüüp kõikidele kohustuslikele funktsionaalsetele nõuetele ega hanke eesmärkidele. Detailanalüüsis 12 PUNKTI 12 PUNKTI 12 PUNKTI esitatud esialgse Detailanalüüsis esitatud Detailanalüüsis esitatud Detailanalüüsis esitatud esialgse tööriista esialgse tööriista esialgse tööriista arendamise tööriista arendamise aja- ja arendamise aja- ja aja- ja tegevuskava on tegevuskava on põhjalik ja hankija arendamise aja- ja tegevuskava on põhjalik ja põhjalik ja hankija soovitud soovitud osad on välja toodud. tegevuskava. hankija soovitud osad on osad on välja toodud. Aja- ja Aja- ja tegevuskava tööriista välja toodud. Aja- ja tegevuskava tööriista arendamiseks on hankekomisjoni tegevuskava tööriista arendamiseks on hinnangul reaalselt teostatav ja arendamiseks on hankekomisjoni hinnangul tulemuslik. hankekomisjoni hinnangul reaalselt teostatav ja reaalselt teostatav ja tulemuslik. tulemuslik. Detailanalüüsi eest omistatavate 36 54 30 väärtuspunktide arv kokku: