Otsus

< OTSUS Vaidlustusasja number 128-23/265540 Otsuse kuupäev 26.09.2023 Vaidlustuskomisjoni liige Ulvi Reimets Vaidlustus Wisercat Estonia OÜ vaidlustus Tartu Ülikooli riigihankes „Veebide turvatestimise teenuse tellimine“ (viitenumber 265540) Cyberarch Consulting OÜ pakkumuse edukaks tunnistamise otsusele Menetlusosalised Vaidlustaja, Wisercat Estonia OÜ, esindaja vandeadvokaat Erki Fels Hankija, Tartu Ülikool, esindaja Tuuli Ilula Kolmas isik, Cyberarch Consulting OÜ, esindaja vandeadvokaat Kadri Matteus Vaidlustuse läbivaatamine Kirjalik menetlus RESOLUTSIOON RHS1 § 197 lg 1 p 4 ja § 198 lg-te 3 ja 8 alusel 1. Jätta Wisercat Estonia OÜ vaidlustus rahuldamata. 2. Mõista Wisercat Estonia OÜ-lt Cyberarch Consulting OÜ kasuks välja lepingulise esindaja kulud summas 900 eurot käibemaksuta. 3. Jätta Wisercat Estonia OÜ vaidlustusmenetluses kantud kulud tema enda kanda. EDASIKAEBAMISE KORD Otsuse peale võib esitada kaebuse halduskohtule kümne päeva jooksul otsuse avalikult teatavaks tegemisest arvates (halduskohtumenetluse seadustiku § 270 lg 1). JÕUSTUMINE Otsus jõustub pärast kohtusse pöördumise tähtaja möödumist, kui ükski menetlusosaline ei esitanud kaebust halduskohtusse. Otsuse osalisel vaidlustamisel jõustub otsus osas, mis ei ole seotud edasikaevatud osaga (RHS § 200 lg 4). ASJAOLUD JA MENETLUSE KÄIK 1. 31.05.2023 avaldas Tartu Ülikool (edaspidi Hankija) riigihangete registris avatud hankemenetlusena läbi viidava riigihanke „Veebide turvatestimise teenuse tellimine“ (viitenumber 265540) hanketeate. 1 Riigihangete seadus 2. 28.08.2023 laekus Riigihangete vaidlustuskomisjonile (edaspidi vaidlustuskomisjon) Wisercat Estonia OÜ (edaspidi ka Vaidlustaja) vaidlustus Tartu Ülikooli 17.08.2023 otsusele tunnistada edukaks Cyberarch Consulting OÜ pakkumus. 3. Vaidlustuskomisjon teatas 04.09.2023 kirjaga nr 12.2-10/128 menetlusosalistele, et vaatab vaidlustuse läbi esitatud dokumentide alusel kirjalikus menetluses, tegi teatavaks otsuse avalikult teatavaks tegemise aja ning andis täiendavate seisukohtade ja dokumentide esitamiseks aega kuni 07.09.2023 ja neile vastamiseks 12.09.2023. Vaidlustuskomisjoni poolt määratud esimeseks tähtpäevaks esitas täiendava seisukoha Vaidlustaja, seisukoha Kolmas isik ja teiseks tähtpäevaks esitas täiendava seisukoha Hankija. MENETLUSOSALISTE PÕHJENDUSED 4. Vaidlustaja, Wisercat Estonia OÜ, põhjendab vaidlustust järgmiselt. 4.1. 17.08.2023 otsusega tunnistas Hankija edukaks Kolmanda isiku Cyberarch Consulting OÜ pakkumuse, mis sai hindamisel 90 punkti. Vaidlustaja pakkumus sai hindamisel 86 punkti. Hankija on pakkumuste hindamisel rikkunud RHS-i. Vaidlustaja pakkumus on proovitöö („Pakkumuse esitamise ettepanek“ p 5.2.2.) eest saanud 20 punktist 6. 4.2. Kriteeriumis 1 hinnatakse, kas proovitöö infosüsteemi testimise raport on vormistatud korrektselt ja arusaadavalt. Vaidlustaja proovitöö2 ei saanud ühtegi punkti. Hankija põhjendustest on võimalik eristada 6-e erinevat puudust. Puudus 1 on asjakohatu ja ebaõige. „Tehnilise kirjelduse“ (edaspidi TK) p-s 4.1. on raporti kohta kirjutatud üksnes: „Proovitöö testimise tulemused esitatakse raporti kujul. Proovitöö raport võib olla inglise keeles.“ Lisaks sellele, et Hankija põhjendus on kriteeriumis 1 asjakohatu, on see ka ebaõige. Puudus 2 on asjakohatu. Hankija ei või hinnata pakkumusi viisil, mida ta eelnevalt pakkujatele teatavaks ei ole teinud.3 Hankija peab olema suuteline oma tegeliku tahte riigihanke alusdokumentidesse kirja panema.4 Kui Hankija koostab hankedokumendid ebapiisaval või ebaselgel viisil, ei saa selle eest karistada pakkujat.5 Puudus 3 on asjakohatu ja ebaõige. Puudus 4 on asjakohatu. See etteheide ei ole mitte kuidagi seotud raporti vormistusega – sellel põhjendusel ei saa Vaidlustaja pakkumuselt kriteeriumis 1 punkte maha võtta. Hankija ei või hinnata pakkumusi viisil, mida ta eelnevalt pakkujatele teatavaks ei ole teinud.6 2 Pakkumuse dokument „5_1_Pakkuja proovitöö“. 3 EKo C-6/15, p 23. 4 TlnHKo 3-21-1384, p 11.2. 5 TrtRnKo 3-21-258, p 14. 6 EKo C-6/15, p 23. 2 (30) TK p 4.1 järgi tuli proovitöö teha vaatluse teel ning ründeid ega muid veebi muutvaid tegevusi teha ei olnud lubatud. Teabevahetuses on Hankija selgitanud, et proovitöö jaoks ei ole vaja sisse logida ning raport tuleb koostada avaliku info põhjal.7 Puudus 5 on ebaõige. Hankija põhjendus on selgelt otsitud. Puudus 6 on asjakohatu ja ebaõige. Kriteeriumis 1 hinnatakse raporti vormistust, mitte sisu. Olukorras, kus suurem osa Hankija põhjendustest on ekslikud, on ilmne, et pakkumusele antud hindepunktide summa ei ole õige ega põhjendatud. Tegemist on kaalutlusveaga, mis tingib otsuse õigusvastasuse. Kuna kõik väidetavad puudused olid asjakohatud ja/või ebaõiged, tuleb eeldada, et Vaidlustaja proovitöös ei esinenud vormistuslikke puudusi. Kriteeriumis 1 tuleb Vaidlustaja pakkumusele seega anda 5 punkti, st 5 punkti enam. 4.3. Kriteeriumis 2 hinnatakse, kas testimise metoodika vastab OWASP ASVS standardile. Vaidlustaja pakkumus ei saanud ühtegi punkti. Vaidlustaja on testi läbiviimisel järginud OWASP ASVS standardit. OWASP ASVS standardis on 14 turvatestimise etappi (V1—V14).8 Taseme 1 puhul on tasemetega 2 ja 3 võrreldes vajalikke tegevusi vähem, kuna tegemist on nn black box turvatestimisega, kus ei anta välja dokumentatsiooni ega lähtekoodi.9 Kõik vajalikud OWASP ASVS taseme 1 tegevused on proovitöös kajastatud: 1) etapp V1 „Architecture, Design and Threat Modeling“ – [ärisaladus]; 2) etapp V2 „Authentication“ – [ärisaladus]; 3) etapp V3 „Session Management“ – [ärisaladus]; 4) etapp V4 „Access Control“ – [ärisaladus]; 5) etapp V5 „Validation, Sanitization and Encoding“ – [ärisaladus]; 6) etapp V6 „Stored Cryptography“ – [ärisaladus]; 7) etapp V7 „Error Handling and Logging“ – [ärisaladus]; 8) etapp V8 „Data Protection“ – [ärisaladus]; 9) etapp V9 „Communication“ – [ärisaladus]; 10) etapp V10 „Malicious Code“ – [ärisaladus]; 11) etapp V11 „Business Logic“ – [ärisaladus]; 12) etapp V12 „Files and Resources“ – [ärisaladus]; 13) etapp V13 „API and Web Service“ – [ärisaladus]; 14) etapp V14 „Configuration“ – [ärisaladus]. Hankija on olnud Vaidlustaja proovitöö hindamisel hooletu. Hankija on rahuldunud ühe lakoonilise järelduse tegemisega, selgitamata, kuidas ta sellise järelduseni jõudis. 7 Riigihanke teabevahetus, sõnumi ID 755695. 8 OWASP ASVS standard 4.0. Veebis: https://github.com/OWASP/ASVS/blob/v4.0.3/4.0/OWASP%20Application%20Security%20Verification% 20Standard%204.0.3-en.pdf. 9 Vt OWASP ASVS standardi lk 11. 3 (30) Kuna Vaidlustaja on proovitöös kasutanud OWASP ASVS taseme 1 standardit, tuleb Vaidlustaja pakkumusele kriteeriumis 2 anda 5 punkti. 4.4. Kriteeriumis 3 hinnatakse, kas proovitöö leitud puudused on põhjendatud ja kirjeldatud arusaadavalt. Vaidlustaja pakkumus sai 3 punkti, st proovitöö vastab nõudele osaliselt. Hankija on teinud ilmselge kaalutlusvea. Hindamise kriteeriumid peavad olema selgelt määratletud hankemenetluse algusest peale ja Hankija ei või hinnata pakkumusi viisil, mida ta eelnevalt pakkujatele teatavaks ei ole teinud.10 Kehtiv riigihanke alusdokumendid on siduv nii pakkujatele kui ka Hankijale.11 Hankija ei saa alles pärast proovitööde esitamist otsustada, mida ta hindab. Hankija peab olema suuteline tegeliku tahte riigihanke alusdokumentidesse kirja panema. Kui Hankija on tingimuse koostamisel ebaõnnestunud, siis peab ta oma vea parandamiseks riigihanke alusdokumente selleks ette nähtud tähtajal ja korras muutma.12 Puudulikult koostatud riigihanke alusdokumentide eest vastutab eranditult alati ning üksnes Hankija.13 Kriteeriumi 3 hindamise metoodika on äärmiselt üldine („puudused on põhjendatud ja kirjeldatud arusaadavalt“) ning täpsemalt sama üldised on hindamisotsuses esitatud põhjendused („[ärisaladus]“). Selline otsus ei ole põhjendatud, läbipaistev ega kontrollitav, mille tõttu ei ole Hankija otsuse sisulisele õiguspärasusele üldsegi võimalik hinnangut anda. Ühelegi pakkujale ei ole sellise põhjenduse alusel arusaadav, mille eest ta punkte kaotas. Vaidlustaja pakkumusele tuleb kriteeriumis 3 anda 5 punkti. 4.5. Kriteeriumis 4 hinnatakse, kas testimise tulemusena esitatud soovitused on arusaadavad ja täidetavad 12 kuu jooksul. Vaidlustaja pakkumus sai 3 punkti, st proovitöö vastab nõudele osaliselt. Hankija on ka kriteeriumis 4 hindamismetoodikast mööda vaadanud, ületades kaalutlusõiguse piire. Hankija ei või hinnata pakkumusi viisil, mida ta eelnevalt pakkujatele teatavaks ei ole teinud.14 Hankija peab olema suuteline oma tegeliku tahte riigihanke alusdokumentidesse kirja panema.15 Hankija sai Vaidlustajalt punkte maha võtta siis, kui Vaidlustaja esitatud soovitused olid Hankijale arusaamatud või kui soovitused ei olnud täidetavad 12 kuu jooksul. Hankija hindamisotsusest ei nähtu, et kumbki olukord esineb. Lisaks sellele, et Hankija on Vaidlustaja proovitöö hindamisel hälbinud kehtivast hindamismetoodikast, on ka kriteeriumis 4 Hankija põhjendused väga üldised. 10 EKo C-6/15, p 23. 11 RKHKo 3-3-1-24-13, p 25; RKHKo 3-3-1-50-15, p 14.2. 12 TlnHKo 3-21-1384, p 11.2. 13 RKHKo 3-3-1-24-13, p-d 38—39. 14 EKo C-6/15, p 23. 15 TlnHKo 3-21-1384, p 11.2. 4 (30) Vaidlustaja poolt esitatud soovitused on arusaadavad ja täidetavad 12 kuu jooksul, mille tõttu tuleb pakkumuse kriteeriumis 4 anda 5 punkti, st 2 punkti enam. Kuna tegu oli black-box tüüpi testiga, mille puhul lähtekoodi ega muid materjale pakkujatele ei jagatud, siis [ärisaladus]. 4.6. Vaidlustaja esitas täiendavad seisukohad. 4.6.1. Otsuse õiguspärasust on võimalik hinnata üksnes põhjenduste alusel, mis tehti teatavaks otsuse vastuvõtmisel. Hankija peab olema suuteline oma tegeliku tahte riigihanke alusdokumentidesse kirja panema16 ning riigihankes tehtud hindamisotsus peab olema põhjendatud, läbipaistev ja kontrollitav. Hankija on käitunud vastupidiselt, koostades äärmiselt üldise hindamismetoodika ja võttes üldistel põhjendustel vaidlustaja pakkumuselt punkte maha. Vastuses vaidlustusele on Hankija asunud mõtlema juurde hindamismetoodikat, mida riigihanke alusdokumentidest ei nähtu, ning põhjendusi Vaidlustaja proovitöö kohta, mida hindamisotsuses ei ole võimalik tuletada. Hankija otsuse õiguspärasust on võimalik hinnata üksnes nende põhjenduste alusel, mis tehti teatavaks otsuse vastuvõtmisel.17 Ringkonnakohus on selgitanud: „Kohtumenetluses esitatud selgitused ei saa asendada haldusorgani poolt hankemenetluses tegemata jäänud ülesandeid, st vajalike asjaolude tuvastamist, hindamist ja kaalumist otsustuse tegemisel. Hankemenetluse läbiviimine muutuks sisutuks, kui hankijal oleks lubatud alles kohtumenetlusega paralleelselt läbi viia vajalik tuvastamine, hindamine ja kaalumine. See kahjustaks ebamõistlikult ka teisi pakkujaid, sest lihtsustatult väljendudes oleks neil korrektse haldusmenetluse läbiviimise saavutamiseks vajalik algatada ka kohtumenetlus, riskides sealjuures võimalusega, et nende kanda jäävad menetluskulud, kui hankijal õnnestub tagantjärele seoses oma otsustusega ära näidata piisavad selgitused ja põhjendused. Lisaks muutuks sellises olukorras kaebajate jaoks kohtuvaidluste tulemus prognoosimatuks.“18 4.6.2. Kriteeriumis 1 on Hankija lähtunud ebaõigetest kaalutlustest. 4.6.2.1. Hinnata tuli raporti vormistust, mitte sisu. Hankija väidab, et kriteeriumis 1 hinnati nii raporti vormistust, kui ka selle üldist arusaadavust, mille tõttu võis kriteeriumis 1 võtta punkte maha ka raporti sisu puuduste eest. See on ebaõige. Juhul, kui kriteeriumis 1 oleks hinnatud proovitöö vormistust ja proovitöö üldist arusaadavust, oleks sõnastus pidanud olema „/…/ raport on vormistatud korrektselt ja on arusaadav“. Isegi kui kriteeriumi 1 sõnastus oleks mitmeti mõistetav, tuleks seda tõlgendada Vaidlustajale kui ettevõtjale soodsamal viisil. Kahtluse korral ettevõtja kasuks tõlgendamise põhimõte on juurdunud nii vaidlustuskomisjoni19, halduskohtu20 kui ringkonnakohtu21 praktikas. 16 TlnHKo 3-21-1384, p 11.2; p 21. 17 VAKO 53-20/218279, p 26. 18 TrtRnKo 3-22-607, p 10. 19 VAKO 73-17/183856, p 15; VAKO 196-19/215947, p 18; VAKO 256-10/121397, p 10. 20 TlnHKo 3-16-924, p 15; TlnHKo 3-16-277, p 11. 21 TlnRnKo 3-18-2338, p 27; TlnRnKo 3-09-3081, p 12. 5 (30) Hankija väidab, et raport peab olema koostatud nii, et „seda on võimalik lisaks tehnilistele spetsialistidele esitada ka infosüsteemiga seotud struktuuriüksuste juhtidele ning vajadusel ka ülikooli juhtkonnale“ ning „raporti tekst ei tohi kindlasti olla suunatud üksnes IT- spetsialistile“. Selliseid nõudeid raportile aga riigihanke alusdokumentidest ei tulene. Kindlasti ei ole enesestmõistetav, et veebi turvatestimise raport tuleks koostada nii, et sellest saab aru ka erialateadmisteta inimene. 4.6.2.2. Hankija väidab, et talle pidi proovitööst nähtuma, et tegemist on OWASP ASVS taseme 1 meetodil läbi viidud tööga. Samas möönab Hankija ka ise, et OWASP ASVS standard ei sätesta nõudeid raporti vormistusele.22 Kriteeriumis 1 hinnatakse raporti vormistust, kusjuures ei ole vaidlust, et riigihanke alusdokumentides ühtegi vormistuslikku nõuet raportile ei kehtesta. Seda, kas pakkuja on lähtunud raporti koostamisel OWASP ASVS standardist, hinnatakse kriteeriumis 2. Puudusega 2 heitis Hankija ette, et raportis ei ole eristatud, milliseid standardi kontrolle on tehtud ja mida mitte. Hankija väidab, et ta eeldas, et kõik pakkujad saavad sellest nõudest aru.23 Samas pakkujad ei pea mõistatama, mida Hankija hindama hakkab. Hankija peab tegema oma tahte riigihanke alusdokumentides teatavaks. Puudusega 3 heitis Hankija ette, et raport ei sisalda viidet OWASP ASVS standardi kasutamisele. Samas möönab Hankija, et proovitöö lk 11 punktis 13 on siiski viidatud OWASP ASVS raamistiku järgimisele.24 Seega on Hankija ilmselgelt lähtunud ebaõigest kaalutlusest. Hankija väidab, et „kas ka tegelikult järgiti OWASP ASVS taseme 1 kontrolle, dokumendist ei selgu“.25 Taaskord – OWASP ASVS standardi järgimist hinnati kriteeriumis 2, mitte 1. Puudusega 4 heitis Hankija ette, et kaaskiri sisaldab vaid teoreetilisi turvasoovitusi. See ei olnud aga riigihanke alusdokumentide kohaselt üldse hindamise aluseks. Hankija väidab nüüd, et tegelikult seda asjaolu hindamisel ei arvestatudki.26 Hindamisotsusest ei loe kuidagi välja, et Hankija tegelikult pole hindamisel võtnud negatiivselt arvesse, et kaaskiri sisaldab vaid teoreetilisi turvasoovitusi. Kui nüüd Hankija möönab, et seda ei arvestatud, on haldusakti andmist ebaõigesti põhjendatud. Puudusega 5 heidab Hankija ette, et raporti kokkuvõte on raskesti mõistetav, kuna see on jagatud kolme erineva punkti alla. Hankija ei ole ka vastuses vaidlustusele sisuliselt põhjendanud, kuidas tegi see asjaolu raporti kokkuvõtte raskesti mõistetavaks.27 Vaidlustaja jääb seisukohale, et see Hankija põhjendus on selgelt otsitud. Kolm erinevat punkti, millele Hankija viitab („Executive summary“, „Overview“ ja „Assessment summary“), on kõik samal raporti lk 4. Vaidlustuses on Vaidlustaja selgitanud, miks on need punktid eraldatud. Kokkuvõtte jagunemine kolme punkti peale samal leheküljel ei saanud teha kokkuvõtet raskesti mõistetavaks. 22 Hankija vastus, p 2.1.1 alap 1). 23 Hankija vastus, p 2.1.1 alap 2). 24 Hankija vastus, p 2.1.1 alap 3). 25 Hankija vastus, p 2.1.1 alap 3). 26 Hankija vastus, p 2.1.1 alap 4). 27 Hankija vastus, p 2.1.1 alap 5). 6 (30) Puudusega 6 heidab Hankija ette, et raportis puudub tõend leitud turvanõrkuse kohta. Hankija eksib. Raportis on selgitatud, kuidas puudust taasesitada. Sellega on täidetud riigihanke alusdokumentide nõue esitada leitud viga koos näitega. Hankija väidab, et raport on mõeldud lugemiseks ka juhtidele, kes ei hakka puudust taasesitama.28 Samas sellega ei saanud Vaidlustaja raportit koostades kuidagi arvestada, kuna riigihanke alusdokumentidest ei tulene, et proovitöö raport peab olema koostatud ka erialateadmisteta isikule. Selge on, et Vaidlustajale ei saa kriteeriumis 1 anda 0 punkti. Kuuest puudusest kolm on juba nagunii ära langenud – nendes on kas Hankija sisuliselt möönnud eksimust (puuduse 1 puhul möönab Hankija, et standard ei sätesta vormistusnõudeid; puuduse 3 puhul möönab Hankija, et raport siiski sisaldab viidet standardi kasutamisele) või väitnud, et tegelikult puudust hindamisel ei arvestatudki (puudus 4). Puudus 2 on samuti pikemata asjakohatu, kuna Hankija sõnul lähtus ta eeldusest, mida ta riigihanke alusdokumentides teatavaks teinud ei olnud. Olukorras, kus suurem osa Hankija põhjendustest on ekslikud, on ilmne, et pakkumusele antud hindepunktide summa ei ole õige ega põhjendatud.29 4.6.3. Kriteeriumis 2 on Hankija punktide andmisel eksinud. Vaidlustaja kasutas OWASP ASVS standardit.30 Vastuses Vaidlustusele Hankija enam isegi ei väida, et Vaidlustaja standardit kasutanud ei ole. Hankija väidab hoopis, et tal oli keeruline standardi kasutamist tuvastada ning selleks oleks ta pidanud koostama standardi ja raporti vahel vastavustabeli.31 Kriteeriumis 2 hinnatakse, kas standardit on kasutatud, mitte kui arusaadav on standardi kasutamine Hankijale. Sealjuures võttis Hankija juba kriteeriumis 1 Vaidlustajalt punkte maha selle eest, et standardi kasutamine oli talle ebaselge. Et Hankija võtab samal põhjendusel erinevates hindamise kriteeriumides pakkujalt punkte, näitab juba iseenesest, et otsus on põhjendamis- ja kaalutlusvigadega. Hankija ülesanne on pakkumusi sisuliselt kontrollida. Hankija pidi kriteeriumis 2 tegema kindlaks, kas pakkuja on või ei ole kasutanud OWASP ASVS standardit. Hankija vastusest ei nähtu, et Hankija oleks seda teinud. Hankija ei saanud Vaidlustajale kriteeriumis 2 0 punkti anda, kuna Vaidlustaja on kasutanud OWASP ASVS standardit. Vaidlustuses on Vaidlustaja selgelt välja toonud, kus proovitöös asuvad standardi etapid.32 4.6.4. Kriteeriumis 3 pole Hankija põhjendanud punktide andmist. Kriteeriumis 3 hinnati, kas proovitöös leitud puudused on põhjendatud ja kirjeldatud arusaadavalt. Hankija andis Vaidlustajale 3 punkti 5-st ja selgitas: „Leitud oli vaid üks turvanõrkus (süsteemis oli meile teadaolevalt rohkem puuduseid) ning selle põhjendused ja kirjeldused vastavad vaid osaliselt meie ootustele.“ Kriteeriumis ei hinnata leitud turvanõrkuste arvu.33 Hankija väidab nüüd, et turvanõrkuste arvu hindepunktide andmisel siiski arvesse ei võetudki.34 Ometi nähtub hindamisotsusest, et sel kaalutlusel on Vaidlustajalt punkte maha võetud. Hindamisotsusest ei loe kuidagi välja, et Hankija tegelikult pole turvanõrkuste arvu hindamisel arvesse võtnud. Kui nüüd Hankija 28 Hankija vastus, p 2.1.1 alap 6). 29 VAKO 9-20/216811, p 13. 30 Vaidlustus, ptk II. 31 Hankija vastus, p 2.1.2. 32 Vaidlustus, p 27. 33 Vaidlustus, p 32. 34 Hankija vastus, p 2.1.3. 7 (30) möönab, et turvanõrkuste arvu ei arvestatud, on haldusakti andmist ebaõigesti põhjendatud. Kui vaidlustusmenetluse kestel langevad osad põhjendused ära, peab Hankija igal juhul hindamise uuesti läbi viima. Kui turvanõrkuste arvu Hankija tegelikult ei arvestanud, jääb Hankija põhjendustest alles vaid järgmine osa: „Turvanõrkuse põhjendused ja kirjeldused vastavad vaid osaliselt meie ootustele.“ Selle põhjenduse alusel ei ole ju ilmselgelt võimalik aru saada, miks on Vaidlustaja punkte kaotanud. Mida üldisemad on hindamise kriteeriumid ja metoodika, seda avaram on Hankija hindamisruum ning seda põhjalikumad peavad läbipaistvuse tagamiseks olema hinnete põhjendused.35 Praegusel kujul ei ole kriteeriumi 3 hindamisotsuse sisulisele õiguspärasusele üldsegi võimalik hinnangut anda. Hankija on asunud alles vaidlustusmenetluses põhjendama, miks vastavad turvanõrkuse põhjendused ja kirjeldused vaid osaliselt tema ootustele. Neid tagantjärele esitatud põhjendusi arvestada ei saa. Hankija otsuse õiguspärasust on võimalik hinnata üksnes põhjenduste alusel, mis tehti teatavaks otsuse vastuvõtmisel.36 Põhjenduste esitamine vaidlustus- või kohtumenetluses ei muuda akti tagantjärele tõhusalt kontrollitavaks, sest pole võimalik tõendada, kas kohtumenetluse jooksul esitatud põhjendused on samad, millest tegelikult lähtuti.37 4.6.5. Kriteeriumis 4 pole Hankija põhjendanud punktide andmist ning on ületanud kaalutlusõiguse piire. Hankija andis Vaidlustajal pakkumusel 3 punkti 5-st ja selgitas: „Esitatud soovitus leitud turvanõrkuse leevendamiseks oli väga üldine („/…/“)29 ning vastab vaid osaliselt meie ootustele.“ Nagu hindamisotsuses, ei ole Hankija ka vastuses vaidlustusele selgitanud, kuidas jäid esitatud soovitused arusaamatuks või kuidas ei ole soovitused täidetavad 12 kuu jooksul. Et soovitused olid mittespetsiifilised, pole aluseks punktidest ilmajätmisel. Hankija isegi möönab, et soovitused olid siiski „üldteada“, seega ei jäänud need talle ju ka arusaamatuks.38 Kui Hankija soovis hinnata soovituste spetsiifilisust, pidanuks ta nii riigihanke alusdokumentides kirja panema. Lisaks on Hankija taaskord hindepunktide andmist põhjendanud üheainsa lausega, millest tegelikult ei selgu, mille tõttu on Hankija Vaidlustajalt punkte maha võtnud. 5. Hankija, Tartu Ülikool, vaidleb vaidlustusele vastu. 5.1. Koos pakkumusega pidid pakkujad esitama proovitöö, mille hindamiseks oli ette näinud neli kriteeriumit: 1) infosüsteemi testimise raport on vormistatud korrektselt ja arusaadavalt; 2) testimise metoodika vastab OWASP ASVS standardile; 3) leitud puudused on põhjendatud ja kirjeldatud arusaadavalt; 4) testimise tulemusena esitatud soovitused on arusaadavad ja tellija poolt reaalselt täidetavad 12 kuu jooksul. 35 RKHKo 3-20-1198, p 21. 36 VAKO 53-20/218279, p 26. 37 RKHKo 3-3-1-74-11, p 15; RKHKo 3-3-1-13-11, p 9; RKHKo 3-3-1-49-08, p 11; RKHKo 3-3-1-81-07, p 20; RKHKo 3-3-1-62- 07, p 16; RKHKo 3-3-1-57-07, p 18; RKHKo 3-3-1-16-05, p 17; RKÜKo 3-3-1-85-10, p 44. 38 Hankija vastus, p 2.1.4. 8 (30) Tööde hindamine toimus osade kaupa, millest igaühe puhul hinnati, kas lahendus vastab Hankija ootustele täielikult (5 punkti), vastab osaliselt (3 punkti) või ei vasta üldse (0). Kokku oli võimalik proovitöö hindamisest saada kuni 20 punkti. 5.2. Hankija ei nõustu Vaidlustaja väidetega, mille kohaselt justkui Hankija ei ole Vaidlustaja proovitöö hindamisel kinni pidanud iseenda poolt riigihanke alusdokumentides kehtestatud hindamise kriteeriumidest. Riigihanke alusdokumentides sätestatud hindamiskriteeriumid on koostatud vaidlusaluses valdkonnas tegutseva spetsialisti jaoks piisavalt selgelt ning täpselt ja Hankija ei ole hindepunktide andmisel ületanud oma kaalutlusõiguse piire. Hankija jääb Vaidlustaja proovitööle antud hindepunktide juurde - Vaidlustaja proovitöös esinesid olulised puudused nii töö vormi ja arusaadavuse kui ka sisulistele nõuetele (ehk OWASP ASVS standardi tase 1) vastavuse osas. 5.3. Kuivõrd vaidluse keskmes olevad küsimused on mitmeti seotud riigihanke alusdokumentides kehtestatud OWASP ASVS standardi taseme 1 vastavusega, siis peab Hankija vajalikuks alustuseks tuua välja ka lühidalt selle standardi olemust ja eesmärki, kuivõrd OWASP ASVS standardi järgimine oli oluline iga alamkriteeriumi alusel maksimaalse võimaliku punktisumma saamiseks. Kui lugeda standardi mõtet ja eesmärki39, siis OWASP Application Security Verification Standardi (ASVS) projekti esmane eesmärk on normaliseerida turul saadaoleva ulatuse ja ranguse ulatust veebirakenduste turvalisuse kontrollimisel, kasutades äriliselt toimivat avatud standardit. Standard loob aluse nii rakenduste tehniliste turvakontrollide kui ka keskkonna tehniliste turvakontrollide testimiseks, millele tuginetakse kaitseks selliste haavatavuste eest nagu Cross-Site Scripting (XSS) ja SQL-i süstimine. Seda standardit saab kasutada veebirakenduste turvalisuse kindlustunde määramiseks. Nõuded on välja töötatud järgmiste eesmärkidega: - kasutamine mõõdikuna – anda rakenduste arendajatele ja omanikele mõõdupuu, mille abil hinnata nende veebirakenduste usaldusväärsust; - kasutamine juhisena – anda turbekontrolli arendajatele juhiseid selle kohta, mida turbekontrollidesse lisada, et need vastaksid rakenduse turbenõuetele; - kasutamine hankemenetluse käigus – anda alus lepingutes rakenduste turvalisuse kontrolli nõuete täpsustamiseks. Seega lisaks Hankija poolt riigihanke alusdokumentides kirjeldatud neljale kriteeriumile, tulenesid proovitööle esitatavad nõuded ka otseselt OWASP ASVS standardist, millele vastavus oli kogu turvatestimise teenuse hankemenetluse üks olulisemaid nõudeid ja mis pidi iga turvatestimise valdkonna spetsialistina tegutsevale pakkujale ka arusaadav olema. Kui pakkujatel tekib proovitöö teostamise nõuete osas Hankijale täpsustavaid küsimusi, on kõigil pakkujatel neid võimalik riigihangete registri vahendusel ka esitada. Käesolevas menetluses Vaidlustaja Hankijale ühtegi küsimust esitanud ei ole. 5.4. Vaidlustaja pakkumusele tuli kriteeriumis 1 anda 0 punkti. Selle kriteeriumi puhul tuli hinnati nii raporti vormistust kui ka selle arusaadavust. Hindepunktide andmisel välja toodud puuduste asjakohasuse ja korrektsuse hindamisel ei tohi seega alahinnata raporti arusaadavuse nõude osatähtsust ning see ei piirdu üksnes raporti vormistuse hindamisega. Raporti arusaadavuse nõue tähendab muuhulgas seda, et raport peab 39 https://owasp.org/www-project-application-security-verification-standard/ 9 (30) andma lugejale infot tehtud tööde kohta ning seda lugedes saab selgeks tehtud tööde vastavus nõuetele. Vaidlustaja proovitöö raporti puhul ei ole võimalik raportist soovitud infot saada mitme olulise puuduse tõttu. Raporti vormistuslikud puudused seisnevadki Vaidlustaja proovitöö puhul selles, et raporti üldine ülesehitus ei ole Hankija hinnangul arusaadav. Proovitöö raporti dokumendil (dokument nimega „5_1_Pakkuja proovitöö.docx“) on tulemused esitatud raskesti mõistetavana mitme punkti vahele jaotades ning raporti vormistamiseks oli Vaidlustaja kasutanud formaati, mille ülesehitus ei läinud kokku OWASP ASVS standardi ülesehituse ja struktuuriga. Raporti arusaadavuse nõue tähendab eelkõige aga seda, et proovitöö peab olemuselt andma Hankijale ülevaate pakkujate võimekusest viia läbi riigihanke raames tellitavaid tegevusi. Kindlasti peab üheks võimekuseks muuhulgas olema võimekus koostada raport selliselt, et seda on võimalik lisaks tehnilistele spetsialistidele esitada ka infosüsteemiga seotud struktuuriüksuste juhtidele ning vajadusel ka ülikooli juhtkonnale. Ehk raporti tekst ei tohi kindlasti olla suunatud üksnes IT-spetsialistile ning vähemalt raporti kokkuvõttev osa, leitud puuduste ja nende lahendust puudutavad osad peavad olema mõistetavad ka IT-teenuse eest vastutavale juhile ning teatud juhul ka lausa asutuse juhtkonnale. Samuti omab esimese kriteeriumi raames nii vormistuse kui arusaadavuse osas veel tähtsust ka see, et raport ei tohi olla eksitav ja sisaldada asjaolusid, mida Hankija küsinud ja/või pakkuja tegelikult kontrollinud ei ole. Kõik need asjaolud kajastuvad ka selle kriteeriumi alusel hindepunktide andmisel välja toodud puuduste olemuses. Puudus 1 – raport ei järgi OWASP ASVS standardit Puudus 1 seisneb selles, et raportist peab Hankija jaoks olema selgelt arusaadav, et tegemist on nõuetele vastava ehk vähemalt OWASP ASVS tase 1 meetodil läbi viidud tööga, mis sisaldab kõiki vajalikke põhjendusi ja viiteid. Vaidlustaja on proovitöö koostamisel kasutanud oma turvatestimise metoodikat, seda näeb objektiivselt proovitöö peatükist 13 (Testing methodology). Hankija ei olegi soovinud väita, et OWASP ASVS standardi näol on tegemist konkreetselt raporti vormistusele kehtiva standardiga. Kuid OWASP ASVS standardi järgimise väljatoomine kriteeriumi 1 alusel punkte andes on asjakohane just seetõttu, et raporti vormistus pidi olema siiski teostatud selliselt, et Hankija jaoks oleks selgelt arusaadav, millised OWASP ASVS taseme 1 kontrollid on tehtud ja millised mitte. Kontrollida saab seda objektiivselt, võttes ette standardi kontrollide nimekirja ja võrreldes seda vaidlustaja esitatud raportiga. Kuidas need kontrollid täpselt vormistatakse, kas tabelisse või loendina või muul kujul, mis järgib standardi kontrollide nimekirja ja struktuuri, Hankija pakkujatele ette ei kirjutanud, aga vormistus peab andma ülevaate standardi punktidest ja struktuurist. Seega väide, et raporti vormistuse kohta ei ole nõudeid kehtestatud, on väär, sest Hankija soovis proovitöö juhendis konkreetselt OWASP ASVS tase 1 turvakontrollide läbiviimise ülevaadet. Vaidlustaja raport on vormistatud viisil, millest küsitud ülevaadet ei saa, kuivõrd vormistuslikult ei ole raportis demonstreeritud standardi struktuuri ja küsimuste järgimist. Ühtegi selgelt tuvastatavat vastavust standardi ja tegelikult teostatud kontrollide nimekirjaga 10 (30) ei ole. Puudus 2 – raportis ei ole eristatud, milliseid standardi kontrolle on tehtud ja mida mitte Hankija ei nõustu Vaidlustaja väitega, et riigihanke alusdokumentidest ei tulenenud Hankija vastavat tahet, mille kohaselt oli proovitöö raporti üheks ootuseks, et selles sisalduks selgelt, milliseid standardi kontrolle on tehtud ja milliseid mitte. Hankija eeldab, et riigihankel osalevad pakkujad on vastava valdkonna professionaalid, kes pidid aru saama, et proovitöö oma olemuselt peab andma Hankija jaoks ülevaate pakkuja võimekusest viia läbi riigihanke raames tellitud tegevusi. Olukorras, kus riigihanke alusdokumentides (p 4.1.) on selgelt välja toodud nõue, et proovitöö sisuks on OWASP ASVS taseme 1 standardile vastava turvatestimise läbiviimine, pidi Vaidlustajale kui valdkonnas tegutsevale professionaalile olema selge, et proovitöö raames koostatud raporti põhjal peab Hankija olema võimeline ka selgelt tuvastama, milliseid selle konkreetse standardi kontrolle on testimise käigus tehtud ja milliseid mitte. Vaidlustaja raport aga selliselt koostatud ei olnud. Hankija ei saa olla tööde teostamise ajal pakkujate kõrval ning kontrollida, milliseid tegevusi turvatestimise vältel läbi viiakse ning mida täpsemalt testitakse. Hankija saab turvatestide tegevused ja tulemused teada justnimelt pakkuja poolt esitatava turvatesti raporti kaudu. Sellest tulenevalt on standardi järgimine ja tulemuste esitamise vorm kogu teenuse läbiviimise raames äärmiselt oluline. Konkreetse standardi järgimise nõude kehtestamise üks eesmärkidest oli, et pakkujatele oleks proovitöö koostamisel selge, mida nende poolt esitatav raport sisaldama peab, kuivõrd läbiviidud/läbi viimata kontrollide eristamine raportis on üks OWASP ASVS standardi enda eesmärkidest. Hankija ei nõustu Vaidlustaja väitega, et Hankija oleks pidanud riigihanke alusdokumentides veel eraldi ette nägema selle asjaolu, et raportis pidid olema selgelt eristatud, milliseid standardi kontrolle on tehtud ja milliseid mitte. Selline nõue tulenes juba standardist. Hankija ei pea kehtestatud nõudeid ja standardeid veel eraldi pakkujate jaoks lahti kirjutama, kuivõrd kui pakkuja on vastavas valdkonnas tegutsev professionaal, siis on ilmselge, et pakkuja pidi olema ka ise kursis vastavas valdkonnas asjakohaste standardite sisu ja eesmärkidega. Vastasel juhul kajastubki tulemus hindepunktides. Puudus 3 – raport ei sisaldanud viidet OWASP ASVS standardi kasutamisele Kuivõrd ka raporti hindamise metoodika on riigihanke alusdokumentide osa, siis ei saa nõustuda Vaidlustaja väitega, et Vaidlustajale tuleb üllatusena, et „raport selliseid viiteid sisaldama pidi“. Vaidlustaja selgitus, et lk 5 punktis „Limitations“ on mainitud OWASP mõistet on küll õige, kuid Hankija soovib tähelepanu juhtida asjaolule, et selles punktis on standardi mainimise kontekst täpselt vastupidine. Jaotises „Limitations“ selgitab Vaidlustaja, et [vaidlustaja ärisaladus]. Paraku aga ei selgu viidatud punktist, mida siis ikkagi tehti ning kas midagi õnnestus Vaidlustajal ka vastavalt OWASP ASVS taseme 1 nõuetele ära teha. Ehk tegemist ei ole viitega standardi kasutamisele. Lk 11 p-s 13 toodud lausest [vaidlustaja ärisaladus] aga kas tegelikult ka järgiti konkreetselt OWASP ASVS taseme 1 kontrolle, dokumendist ei selgu. Vaidlustaja ei ole selle kohta toonud ühtegi selgitust või kinnitust. Kuivõrd Hankijal ei õnnestunud Vaidlustaja proovitööst leida ka täiendavaid selgitusi, siis pole võimalik kinnitada Vaidlustaja poolset tegelikku OWASP ASVS taseme 1 kasutamist 11 (30) ning vastavat kriteeriumit tuleb hinnata vaid hindega 0 punkti. Seejuures teiste pakkujate raportid olid esitanud viisil, et Hankijal oli võimalik selgelt aru saada, et on kasutatud OWASP ASVS taseme 1 standardit. Vaidlustaja proovitöös leitud turvanõrkuse juures puudus igasugune viide OWASP ASVS kontrollile, mille näol on konkreetselt tegemist puudusega nii raporti vormistuse osas kui ka raporti arusaadavuse osas. Puudus 4 – kaaskiri sisaldab vaid teoreetilisi turvasoovitusi Vaidlustaja poolt viidatud asjaolu eraldiseisvana ei olnud määrav hindamise juures. Hankija ei võtnud hindepunkte maha seetõttu, et oli esitatud kaks dokumenti, vaid seetõttu, et esitatud raport ei olnud arusaadav. Küll aga omab kahe dokumendi esitamine ja täiendavalt ka töö skoobist väljapoole jäänud asjaolude esitamine otsest mõju raporti arusaadavusele üldises plaanis ning vääris seetõttu ära märkimist. Vaidlustaja dokumendi nimega „5_1_Cover letter“ sisu osa algab lausega [vaidlustaja ärisaladus]. Hankija soovib tähelepanu juhtida asjaolule, et antud lause on ilmselgelt eksitav ning peaks olema paremini sõnastatud, kuivõrd Hankija hinnangul on selle dokumendi näol tegemist lisamaterjaliga, mitte ametliku raportiga. Hindamisel on arvesse võetud üksnes teist esitatud dokumenti, mille nimi oli „5_1_Pakkuja proovitöö.docx“. Proovitöö annab ülevaate sellest, et millisel tasemel suudab pakkuja läbi viia hankega tellitavaid tegevusi. Üheks oskuseks peab muuhulgas olema korrektselt ja arusaadavalt vormistatud raporti loomine, mida on võimalik peale tehniliste spetsialistide esitada ka infosüsteemiga seotud struktuuriüksuse juhtidele ning ülikooli juhtkonnale. Täiendava ja Hankija tellimuse skoobist välja jääva teema käsitlemine raportis ei aita kaasa raporti arusaadavusele. Selline dokument peaks olema teisiti ja arusaadavamalt nimetatud. Puudus 5 – raporti kokkuvõte oli raskesti mõistetav Hankija kinnitab, et ka ülejäänud proovitöö raporti ülal viitamata punktid ja nende järjestusest aru saamine vajasid komisjoni liikmetelt suuremat pingutust, kui nõudis seda teiste pakkujate raportite lugemine. Seda just eelkõige seetõttu, et Vaidlustaja oli raporti koostamiseks kasutanud oma raporti formaati, mis OWASP ASVS standardiga kokku ei läinud. Proovitöö annab oma olemuselt ülevaate pakkuja võimekusest viia läbi hankega tellitavaid tegevusi. Üheks võimekuseks on muuhulgas korrektselt ja arusaadavalt vormistatud raporti loomine, mida on võimalik peale tehniliste spetsialistide esitada ka infosüsteemiga seotud struktuuriüksuste juhtidele ning ülikooli juhtkonnale. Hankija on seisukohal, et tulemused on esitatud raskesti mõistetavana mitme punkti vahele jaotades ning on seega suur oht, et mõte läheb kaduma ja esitatud raport ei täida oma eesmärki. Kuigi tegemist ei ole hindamise juures ainukese puudusega, on see asjaolu kokkuvõttes muude puudustega siiski piisavalt oluline, et omada mõju kogu proovitöö raporti arusaadavusele ja seeläbi muuta see Hankija ootustele mittevastavaks. Puudus 6 – puudub tõend leitud turvanõrkuse kohta Selle kriteeriumi puhul hinnati nii raporti vormistust kui ka selle arusaadavust. Arusaadavus puudutab otseselt seda, kuidas ja millisel viisil on raportis nõutud sisu esitatud. Hankija leiab, et turvanõrkuse tõendamata jätmine ning kogu turvanõrkuse taasesitamise vastutuse vaid Hankijale jätmine (lause [vaidlustaja ärisaladus]) ei ole Hankija hinnangul professionaalne lähenemine raporti koostamisel ning on kokkuvõttes oluline puudus, mis mõjutab nii raporti vormistust kui ka arusaadavust. Riigihanke alusdokumentides oli selgelt 12 (30) toodud nõue: „Leitud vead tuleb esitada koos näidetega.“40 Vaidlustaja seda oma raportis ei teinud. Samuti sõltub päringu tulemus väga tugevalt selle päringu teostamise ajahetkest. Näiteks kui Hankija on juba serveris leitud puuduse parandanud või pole server mingil põhjusel enam kättesaadav, siis päring ilmselgelt enam soovitud infot ei anna, kuna infosüsteemis on vahepeal tehtud muudatusi. Seega ei saa teenuse olemusest tulenevalt olla piisav anda Hankijale raportis üksnes juhiseid leitud turvanõrkuse reprodutseerimiseks, kuivõrd see ei pruugi alati võimalik olla. Ja seeläbi muutub raporti sisu konkreetse turvanõrkuse osas Hankija jaoks kasutuks. Seega ka tõendi esitamata jätmine on konkreetne oluline puudus esimese kriteeriumi raames hinnatavate asjaolude valguses, kuivõrd viis, kuidas Vaidlustaja on turvanõrkust raportis kajastanud avaldab mõju raportis kajastatud tulemustest arusaamisele. Hankija rõhutab taaskord juba korduvalt öeldut, et raport on mõeldud lugemiseks ka juhtidele, kes ei hakka kindlasti [vaidlustaja ärisaladus], et saada aru, milles leitud turvanõrkus seisneb. Seega kokkuvõttes jääb Hankija oma seisukoha juurde, et kriteeriumis 1 oli Vaidlustaja proovitööle ainuvõimalik vormistamise ja arusaadavuse eest anda 0 punkti, kuivõrd Vaidlustaja proovitöö vormistus ei järgi standardis ette nähtud kontrollide nimekirja ja struktuuri. Sellest tulenevalt ei olnud Hankijal võimalik ka aru saada milliseid OWASP ASVS taseme 1 kontrolle on üleüldse tehtud ja milliseid mitte ning millest omakorda on tulenenud ka puudused raporti korrektsusele ja arusaadavusele. 5.5. Vaidlustaja pakkumusele tuli kriteeriumis 2 anda 0 punkti. Proovitöö põhjal peab Hankijal olema reaalne sisuline võimalus hinnata kirja pandud tegevuste ja leidude põhjal, et standardit on töö käigus ka tegelikult järgitud. Vaidlustaja proovitöö põhjal ei olnud see võimalik. Proovitöö raporti esitas Vaidlustaja omaenda raporti põhjal. Raportit kontrollides ja võrreldes standardiga ei olnud Hankijal võimalik tuvastada, milliseid OWASP ASVS taseme 1 kontrolle on sisuliselt tehtud ja milliseid mitte. Kuna ühtegi otsest vastavust standardi struktuurile ja kontrollidele ei olnud esitatud, siis sellest lähtuvalt ei ole Vaidlustaja oma proovitöös tõendanud, et OWASP ASVS taseme 1 kõik ettenähtud kontrollid standardist on päriselt läbitud. Samuti puuduvad selgitused nende kontrollide kohta, mida ei saanud läbida või mida ei läbitud. Sellise puuduse esinemist saab kontrollida objektiivselt, võttes ette standardi kontrollide nimekirja ja võrreldes seda vaidlustaja esitatud raportiga. Raport peab tõestama selle lugejale, kas testitav rakendus vastab OWASP ASVS tasemele 1, millised puudused testimisel leiti või milliseid kontrolle on selle läbiviimisel tõendatult rakendatud. Kuna raportist ei ole standardiga võrreldes aru saada, et milliseid punkte konkreetselt kontrolliti, milliseid ei kontrollitud ja miks neid ei kontrollitud, siis standardi järgimist ei ole proovitöös tõendatud. Kuna Vaidlustaja ei ole proovitöö raportis järginud standardi tuumaks olevat kontrollide nimekirja ja struktuuri ega esitanud koos proovitööga ka selgitusi omaenda loodud raporti põhja tõlgendamisele, siis see on ka põhjustanud vastavad puudujäägid Vaidlustaja proovitöös. Ühtlasi on Vaidlustaja ise samuti tunnistanud oma vaidlustuses esitatud argumentidega asjaolu, et viidatud seoste loomiseks oleks pidanud Hankija koostama kontrollidele ise vastavustabeli. Kuid Hankija peab tähtsaks rõhutada, et standardi mõte ongi just selles, et sellist vastavuste loomist ei pea raporti lugemisel tegema ja nii tarkvara omanikul, arendajatel kui audiitoritel või järelevalvel on võimalik standardi alusel üheselt tuvastada, millised 40 Lisa 1 Tehniline kirjeldus, p 4.1. 13 (30) standardis ette nähtud turvakontrollid on tehtud ja millised mitte (tulenevalt standardi enda eesmärkidest). Hankija soovib rõhutada, et see nimekiri ja struktuur ongi OWASP ASVS standardi mõte. Kuivõrd OWASP ASVS ja selle taseme 1 näol on tegemist standardiseeritud infoturbe kontrollide nimekirjaga, mis ühtlustab semantiliselt ja tähenduslikult veebirakenduste turvatestimist, siis nimetused ja nummerdamine ongi kogu selle standardi tuum, et kõik osapooled saaksid raportist ühte moodi aru. Veelgi täpsemalt, standardi tuum on kontrollide nimekiri ja struktuur, mis tuleb vastavale tasemele teha. Vaidlustajale piisanuks standardi taseme 1 kontrollide nimekiri ette võtta ja iga kontrolli taha kirjutada, et kas seda kontrolliti ja mis tulemus saadi. Või alternatiivselt oleks toodud välja ainult leitud puudustega kontrollid ja oleks viidatud, et kõik mida välja ei toodud, nende osas on vastavus standardi tasemega 1. Ehk Vaidlustaja oleks pidanud oma raporti põhja kasutamisel esitama lisaks ka eraldi vastavustabeli standardi kontrollidega, kuid mille laadne selgitus kahjuks on esitatud alles vaidlustuse esitamise raames. Samas ka vaidlustuse raames esitatud tabel ei sisalda infot selle kohta, mis tulemused saavutati. Ning juba ainuüksi eelnevalt kirjeldatud puudujäägid tõendavad selgelt ära, et Vaidlustaja proovitöös esinesid olulised puudused nii töö vormi ja arusaadavuse (ehk kriteerium 1), kui ka sisuliselt testimise metoodikale vastavuse osas (ehk kriteerium 2). Kõik teised pakkujad järgisid standardit ja tõid välja, milliseid kontrolle tehti ja milliseid mitte. Sellest tulenevalt ei ole Vaidlustaja proovitööga demonstreerinud standardi järgimist ning Hankijal ei olnud võimalik ka kriteeriumi 2 eest anda Vaidlustaja proovitööle rohkem kui 0 punkti. 5.6. Vaidlustaja pakkumusele tuli kriteeriumis 3 anda 3 punkti Leitud turvanõrkuste arvu hindepunktide andmisel siiski arvesse ei võetud ning Kolmanda kriteeriumi alusel hindamisel on Hankija lähtunud sellest, kas Vaidlustaja raportis toodud puudused on kirjeldatud põhjendatult ja arusaadavalt. See tähendab, et toodud põhjendused ja kirjeldused peavad raportis olema toodud arusaadavalt ning täpselt ja raporti lugeja peab saama üheselt aru, mis turvanõrkus leiti, kuskohas see on ja milles see seisneb. Oluline on ka turvanõrkuse leidmise ajahetk ning võimalus esitada leitud info edasiseks lahendamiseks IT- spetsialistile ja teadmiseks IT-teenuse haldurile (juhile). Vaidlustaja on oma raporti kohaselt leidnud vähemalt ühe turvanõrkuse ja on selle oma metoodika kohaselt põhjendanud. Leitud turvanõrkuse põhjendus aga ei ole seostatud OWASP ASVS standardiga ning Hankijal puudus seega võimalus hinnata, millise standardi kontrolli raames vastav puudus leiti. Vaidlustaja on raporti p-is 12 kaudselt viidanud, et kasutas OWASP ASVS asemel hoopis OWASP Top Ten kontrollinimekirja41. OWASP Top Ten kontrollinimekiri on alamhulk ning see ei ole samaväärne OWASP ASVS standardi tase 1 kontrollidega võrreldes. Riigihanke alusdokumentidest tulenes selgelt nõue esitada leitud vead koos näidetega. Heaks viisiks turvanõrkuse esitamisel on ekraanipildid, kuid pakkuja raport ei sisaldanud leitud turvanõrkuse kohta ühtegi ekraanipilti ega ka muud ajas püsivat tõendit. Vaidlustaja turvanõrkuse kirjelduses esines üksnes viide sellele, kuidas võiks nõrkust tuvastada [vaidlustaja ärisaladus] abil. Kuid nagu ka eelnevalt juba selgitatud, siis selliselt ei pruugi alati olla võimalik enam üheselt tagantjärgi tõendada, et leitud turvanõrkus turvatestimise ajal ka esines. 41 https://owasp.org/www-project-top-ten/2017/A9_2017-Using_Components_with_Known_Vulnerabilities 14 (30) Seega Vaidlustaja proovitöös leitud puudus ei olnud kirjeldatud piisavalt arusaadavalt, sest esitamata on jäetud tõendusmaterjal leitud turvanõrkuse kohta, näiteks ekraanipildi näol. Ehk konkreetselt on jäetud tõendamata leitud turvanõrkuse esinemine. Kuigi Vaidlustaja on oma raporti lk 6 ühe leitud puuduse esinemist tõendanud kuvatõmmise abil, siis on seda tehtud testimise skoobist väljas oleva probleemi puhul. Eeltoodud põhjuste tõttu tuli seega Vaidlustaja proovitööd kriteeriumi 3 osas hinnata 3 punktiga, kuivõrd leitud turvanõrkus oli küll välja toodud, kuid selle esitus raportis vastas üksnes osaliselt Hankija ootustele. 5.7. Vaidlustaja pakkumusele tuli kriteeriumis 4 anda 3 punkti Kriteeriumi 4 alusel antud punktid näitavad, kas esitatud soovitused on raportis arusaadavalt kirjeldatud, on loetavad nii IT-spetsialistile kui ka teenuse omanikule ning kas pakkuja hinnangul on reaalselt võimalik neid soovitusi viia ellu ka 12 kuu jooksul. Esitatud soovituste kirjeldus on seejuures vähemalt sama oluline kui leitud puuduste kirjeldus, kuivõrd see annab Hankijale suunised, kuidas oma süsteemid turvaliseks muuta. Vaidlustaja on oma raportis esitanud Hankija hinnangul vaid üldiseid soovitusi. Vaidlustaja raport ei sisalda konkreetseid juhiseid, mida peab Hankija (leidu arvestades kasvõi kohe) ette võtma tuvastatud turvanõrkuse eemaldamiseks. Vaidlustaja raportis ei ole esitatud soovitusi lahti kirjutatud ega selgitatud, kuidas ja mil viisil võtta kasutusele. Seega jääb Vaidlustaja raportist ebaselgeks, mida tuleks Hankijal konkreetselt teha leitud turvanõrkusega. Samuti ei sisaldanud Vaidlustaja raport suuniseid selle kohta, kuidas kontrollida tulemust pärast seda, kui soovitused saavad ellu viidud. Puudus info selle kohta, kas konkreetse turvanõrkuse lahendamise järgselt võib olla vaja teha täiendav turvatestimine või piisab ka mõne lihtsama kontrolli testimisest. Nagu eelnevast nähtub, siis Vaidlustaja proovitöös esitatud soovitused on väga üldised ning nende lugemisest ei ole abi ei infosüsteemi administraatorile ega ka juhtidele (ei ole üheselt aru saada, kuidas Vaidlustaja konkreetse soovitusega leitud turvanõrkus eemaldatud saab). Seega kuna soovitused olid siiski esitatud, siis sai neid lugeda üksnes osaliselt Hankija ootustele vastavaks ning Vaidlustaja pakkumust tuli hinnata 3 punktiga. 5.8. Hankija esitas täiendavad seisukohad. 5.8.1. Hankija ei nõustu Vaidlustaja seisukohaga, mille kohaselt käesoleval juhul on võimalik Hankija otsuse õiguspärasust hinnata üksnes nende põhjenduste alusel, mis tehti teatavaks otsuse vastuvõtmisel. Ei ole õige Vaidlustaja lähenemine, mille kohaselt tuleks Hankija poolt vaidlustusmenetluses antud selgitused käesolevas vaidluses täielikult tähelepanuta jätta. Hankija ei ole asunud vaidlustusmenetluses juurde mõtlema riigihanke alusdokumentidest mittenähtuvat hindamismetoodikat, vaid on täiendavalt selgitanud Vaidlustaja proovitööle omistatud hindepunktide suurust riigihanke alusdokumentides sisaldunud hindamismetoodika tingimustest lähtuvalt. Hankija on oma 01.09.2023 vastuses ulatuslikult selgitanud ja kirjeldanud Vaidlustaja proovitöös esinenud puuduseid. Seejuures on Hankija ka vaidlustuse vastuses käsitlenud just neid samu puuduseid, mis on Hankija poolt välja toodud ka juba 17.08.2023 otsuse põhjendustes (isegi kui möönda, et otsuse põhjendustes on puudustele viidatud üldsõnaliselt, on otsuse tegemisel kõik hindamisel määravaks saanud puudused käsitletud). Hankija poolt vaidlustusmenetluses antud selgitused täiendavad juba 17.08.2023 15 (30) otsuse tegemisel välja toodud Vaidlustaja proovitöös esinenud puuduste sisu ja nende mõju hindamispunktide kujunemisele. Hankija ei ole alles vaidlustusmenetluses asunud tuvastama ja hindama Vaidlustaja proovitöö puuduseid, vaid on täpsustanud ka juba otsuse tegemise hetkeks Hankija poolt tuvastatud Vaidlustaja proovitöös sisalduvate puuduste mõju hindamistulemustele. 5.8.2. Kriteeriumis 1 on Hankija lähtunud riigihanke alusdokumentides sisaldunud nõuetest. Nii Hankija 01.09.2023 vastuses kui ka Kolmanda isiku 07.09.2023 seisukohas on selgitatud, et nõuded proovitöö raporti vormistusele tulenesid riigihanke alusdokumentides kehtestatud OWASP ASVS taseme 1 standardi enda nõuetest. Standardi enda sisu ja nõuded pidid olema turvatestimise valdkonnas tegutsevale professionaalile selged ja arusaadavad. Nõue, et viidatud standardit tuleb järgida, oli kirjas riigihanke alusdokumentides. Ehk Hankija tahe oli konkreetselt riigihanke alusdokumentides teatavaks tehtud. Kui turvatestimise teenuse tellimiseks korraldatud riigihankes osalev pakkuja on turvatestimise valdkonna professionaal, kes on kursis ka viidatud standardist tulenevate nõuetega, ei saagi tekkida ka Vaidlustaja poolt kirjeldatavat olukorda, kus pakkujad peaksid mõistatama, mida Hankija hindama hakkab. On selge, et kui raporti vormistamisel ei ole järgitud konkreetse valdkonna spetsiifilise standardi nõudeid, avaldab see otsest mõju ka raporti arusaadavusele, millest tulenevalt on Hankija ka esimese kriteeriumi selliselt sõnastanud. Väär on Vaidlustaja järeldus, mille kohaselt tulnuks hinnata vaid raporti vormistust ja mitte sellest arusaamist. Raporti vormistamisel riigihanke alusdokumentides nõutud standardi järgimine on otseses seoses kogu raporti arusaadavuse nõudega. Just OWASP ASVS standardi kehtestamise põhimõtetest tulenevalt on siinkohal väär ka Vaidlustaja väide, mille kohaselt riigihanke alusdokumentidest nähtuvalt ei olnud enesestmõistetav, et veebi turvatestimise raport tuleks koostada nii, et sellest saab aru ka erialateadmiseta inimene. Ka selline nõue tuleneb Hankija poolt juba 01.09.2023 vaidlustuse vastuses lahti kirjutatud standardi enda eesmärkidest, mille kohaselt on üheks eesmärgiks standardi kasutamine mõõdikuna, et „anda rakenduste arendajatele ja omanikele mõõdupuu, mille abil hinnata veebirakenduste usaldusväärsust“. Viidatud lause kontekstis on selge, et kuivõrd rakenduste arendajate näol on tegemist tehnilise taustaga inimestega, siis rakenduste omanikud (käesoleval juhul Tartu Ülikooli vastavate valdkondade/üksuste juhid) ei pea olema turvatestimise valdkonna spetsialistid. Sellest tulenevalt omab ka OWASP ASVS standardi järgimine või mittejärgimine otsest mõju raporti vormistusele. Kui vormistus ei järgi nõutud standardit, ei ole ka raport lugeja jaoks arusaadav. Nagu on Hankija ka vaidlustuse vastuses korduvalt rõhutanud, siis oli Hankija selge tahe peale raporti vormistuse hinnata ka raporti arusaadavust. Seega on nii puudus 1 kui ka puudus 2 esimese kriteeriumi raames asjakohased ja põhjendatud puudused. Puuduse 3 osas on Hankija juba vaidlustuse vastuses selgitanud, et Vaidlustaja proovitöö oli vormistatud selliselt, et viide OWASP ASVS raamistikule oli üldine ning Hankijal ei olnud konkreetselt võimalik tuvastada, kas Vaidlustaja poolt proovitöös leitud turvanõrkuse puhul oli läbi viidud konkreetselt OWASP ASVS tase 1 standardile vastavad kontrollid. Puuduse 4 sisust ja selle mõjust kriteeriumi 1 alusel hindepunktide andmisele on Vaidlustaja täiesti valesti aru saanud. Puudus 4 ei seisne selles, et Vaidlustaja proovitöö kaaskiri sisaldab „vaid teoreetilisi turvasoovitusi“. Puudus 4 seisneb selles, et Vaidlustaja esitas koos proovitööga täiendava kaaskirja, mille raames: 16 (30)  1) Vaidlustaja on dokumendis viidanud, et selle dokumendi näol on tegemist ametliku raportiga, kuid mis seda tegelikult ei ole (kaaskirja näol oli tegemist lisamaterjaliga); 2) Vaidlustaja on käsitlenud tellimuse skoopi mittekuuluvaid teemasid. Teisisõnu, puudus 4 seisneb selles, et Vaidlustaja on proovitööga koos esitanud eksitava sisuga täiendava dokumendi, mille näol ei ole tegemist nõutud raportiga ja mis tegelikult ei sisalda ka konkreetselt raportis nõutud infot. Seega ei ole Vaidlustaja suutnud vormistada oma proovitöö raames esitatud dokumente selliselt, et üksteisest oleksid selgelt eristatavad ametlik raport ja lisadokumendid. See avaldab ka otsest mõju kogu proovitöö arusaadavusele. Puuduse 5 osas on Hankija vaidlustuse vastuses konkreetselt öelnud, et Vaidlustaja raporti kokkuvõte oli raskesti mõistetav seetõttu, et Vaidlustaja kasutas raporti koostamiseks oma raporti formaati, mis OWASP ASVS taseme 1 standardiga kokku ei läinud. Puuduse 6 osas on vaidlustuse vastuses põhjalikult selgitatud, et Vaidlustaja proovitöös leitud turvanõrkus ei olnud tõendatud sellises formaadis, et see: 1) oleks kohe raportit lugedes arusaadav ilma vajaduseta viia läbi täiendavaid tegevusi; 2) oleks tuvastatav igal ajahetkel ning ei sõltuks Vaidlustaja poolt viidatud päringu tegemise ajahetkest (ehk oleks ajas püsiv). Hindamismetoodika kohaselt hinnati selle kriteeriumi alusel null punktiga sellist tööd, mille puhul töö vormistus ja arusaadavus ei vasta Hankija ootustele üldse. Hankija tõi juba 17.08.2023 otsuse põhjenduste raames välja mitmed olulise kaaluga puudused, mille põhjal see hinnang esimese alamkriteeriumi alusel antud on. Kui antud hindamiskriteerium tundus Vaidlustajale arusaamatu, oleks õige käitumine olnud juba hankemenetluse alguses esitada hankijale läbi RHR-i vastav küsimus ja/või ettepanek riigihanke alusdokumentide täiendamiseks. 5.8.3. Kuivõrd Hankijal ei olnud Vaidlustaja proovitöö kontrollimisel võimalik kindlaks teha, milliseid OWASP ASVS standardi taseme 1 järgi nõutavaid kontrolle on Vaidlustaja proovitöö koostamisel teostanud, siis ei leia Vaidlustaja proovitöö pinnalt tõendamist ka asjaolu, et Vaidlustaja proovitöö teostamise turvatestimise metoodika vastab nõutud standardile. Kokkuvõtlikult on Hankija sellele puudusele viidanud ka juba 17.08.2023 otsuse põhjenduses ning täiendavad selgitused selle kohta, kuidas Vaidlustaja proovitöö ei vastanud OWASP ASVS standardile, on Hankija välja toonud juba vaidlustuse vastuses. OWASP ASVS standardi kasutamine ja sellele vastavus oli ja on kogu turvatestimise teenuse hankemenetluse üks olulisemaid nõudeid ja mis pidi seega iga turvatestimise valdkonna spetsialistina tegutsevale pakkujale ka arusaadav olema. Kuivõrd läbiviidud testimise metoodika standardile vastavust ei ole Vaidlustaja proovitöö pinnalt võimalik tuvastada, ei ole võimalik ka kriteeriumi 2 eest Vaidlustaja proovitööle punkte anda. 5.8.4. Hindamismetoodika kohaselt saab kolm punkti selline proovitöö, mis antud kriteeriumi alusel vastab Hankija ootustele osaliselt. Kuna Vaidlustaja tõi välja vähemalt ühe olulise puuduse, kuid selle põhjendused ja kirjeldused lähtusid Vaidlustaja oma metoodikast (mitte OWASP ASVS standardi taseme 1 kontrollidest), on antud hinne õige ja põhjendatud. Hankija ei ole kordagi väitnud, et hindepunktide andmisel arvestatakse turvanõrkuste arvu, kuid arvestas, et vähemalt üks turvanõrkus Vaidlustaja esitatud raportis siiski leidus. Paraku Vaidlustaja poolt proovitöös leitud turvanõrkuse kohta esitatud põhjendus ja kirjeldus vastas 17 (30) Hankija ootustele vaid osaliselt, mille põhjustest on kirjutatud juba 17.08.2023 otsuse põhjenduste raames (vt laused „Ootasime vähemalt OWASP ASVS taseme 1 turvatesti raportit, mis muuhulgas esitaks selgelt, milliseid standardi kontrolle on tehtud ja mida mitte.”, „Pakkuja poolt esitati meile kaks segaselt vormistatud dokumenti, mis ei sisaldanud arusaadavaid viiteid OWASP ASVS standardi kasutamisele.” ja „Raportis puudus tõend (näiteks ekraanipilt) leitud turvanõrkuse kohta, oli toodud vaid viide sellele, kuidas võiks nõrkust tuvastada” ). Täiendavalt on kriteeriumi 3 alusel hindepunktide andmist selgitatud ka 01.09.2023 esitatud vaidlustuse vastuses. Seega asjakohased selgitused selle kohta, miks vastavad turvanõrkuse põhjendused ja kirjeldused vaid osaliselt Hankija ootustele, on toodud juba 17.08.2023 otsuse põhjendustes ning Hankija ei ole neid esitanud tagantjärgi. 5.8.5. Asjaolu, et Vaidlustaja proovitöös antud soovitus turvanõrkuse leevendamiseks oli väga üldine, ongi konkreetselt tinginud asjaolu, et Hankijal ei olnud võimalik Vaidlustaja proovitöö põhjal aru saada, kuidas pelgalt sellise üldise ja üldteada turvasoovituse andmine (mille puhul võib eeldada, et Hankija juba niikuinii oma tegevustes soovitust tõenäoliselt ka rakendab) aitaks Hankija süsteeme turvalisemaks muuta konkreetse leiu valguses ja spetsiifilise turvanõrkuse eemaldamiseks. Vaidlustaja soovituse üldisusele on Hankija viidanud ka 17.08.2023 otsuse põhjendustes. Hindamismetoodika kohaselt hinnatakse proovitööd neljanda kriteeriumi alusel kolme punktiga juhul, kui töö antud kriteeriumi alusel vastab Hankija ootustele osaliselt. Kuna Vaidlustaja tõi välja vähemalt ühe olulise puuduse, kuid see oli Hankija eesmärke silmas pidades liiga üldine, on antud hinne õige ja põhjendatud. Vaidlustaja poolt on täiesti meelevaldne väita, et kui Hankija soovis hinnata soovituste spetsiifilisust, pidanuks ta seda riigihanke alusdokumentides kajastama. Juba pelgalt asjaolu, et Hankija on korraldanud riigihanke veebide turvatestimise teenuse tellimiseks, peaks olema selge viide igale mõistlikule isikule, et Hankija sooviks on tellida teenust, mis pakuks Hankijale turvatestimist tasemel, milleks Hankijal endal võimekust ei ole. Ehk soovituste nii- öelda spetsiifilisuse nõue tuleneb juba eos riigihanke enda eesmärkidest. Asjaolule, et soovitakse hankeleping sõlmida oma valdkonna spetsialistidega, on korduvalt viidatud riigihanke alusdokumentides, täpsemalt nii „Pakkumuse esitamise ettepaneku“ p-s 2.2., kui ka TK p-s 2.1. Hankija ei saa nõustuda väitega, et valdkonna spetsialist ei saanud pakkumust esitades aru oma kirja pandud lausete sisu professionaalsuse tasemest, sh asjaolust, et tegemist oli liiga üldiste ja konkreetset turvanõrkust vaid kaudselt lahendavate soovitustega. Vaidlustaja on pakkumust esitades kinnitanud, et on tutvunud enne pakkumuse esitamist kõigi riigihanke alusdokumentides sisalduvate nõuete ja tingimustega, saanud võimaluse küsida Hankijalt täiendavat informatsiooni hanketeate ja hankedokumentide kohta, on teadlik Hankija eesmärkidest ja soovidest ning on arvestanud kõigi tingimustega, mis võivad mõjutada hankelepingu täitmist, mh maksumust ning kulutusi teiste hankelepingu alusel tekkivate kohustuste täitmisele. Vaidlustaja ei esitanud enne pakkumuste esitamise tähtaega Hankijale ühtegi täpsustavat küsimust. Samas proovitöös viidatud kuupäevade kohaselt oli tal selleks aega piisavalt. Proovitöö raport on dokumendis olevate andmete kohaselt loodud 12.06.2023 ning selle koostamiseks tehtud tööd viidi läbi ajavahemikus 05.-12.06.2023. Pakkumuste esitamise tähtpäev oli 03.07.2023 kell 14:00. 6. Kolmas isik, Cyberarch Consulting OÜ, palub jätta vaidlustus rahuldamata. 6.1. Vaidlust ei ole selles, et proovitöö hindamine on oma olemuselt subjektiivne. Juhul kui 18 (30) Vaidlustaja leiab, et tingimused on liiga subjektiivsed, siis oleks ta pidanud hindamiskriteeriumid vaidlustama enne pakkumuste esitamise tähtaega. Pakkuja peab hindamisele minevate dokumentide koostamisel olema eriti hoolikas ning ei saa loota sellele, et hankija laseb hindamisele kuuluvat dokumenti parandada või selgitada peale pakkumuste esitamist, kuna see rikuks ilmselgelt pakkujate võrdse kohtlemise põhimõtet. Kõikidel pakkujatel on võrdne aeg proovitöö koostamiseks ning selle hilisem täiendamine või selgitamine isegi vaidlustusmenetluse ajal (nt hankijale arusaadavamaks tegemine) riivab teiste pakkujate õigust võrdsele kohtlemisele (TlnHKo 3-20-1722, p 23-25). Seega, proovitöid tuleb hinnata selle üksnes ja ainult selle info alusel, mis oli Hankijale pakkumuste esitamise tähtajaks esitatud ning vaidlustuskomisjoni järelkontroll peaks aluseks võtma esitatud proovitöö ja Hankija põhjendused vastavate punktide andmiseks. Vaidlustaja täiendavad selgitused ja info, mida proovitöös ei kajastu, tuleks jätta vaidluse lahendamisel tähelepanuta. 6.2. Proovitöö kriteerium 1 - proovitöö infosüsteemi testimise raport on vormistatud korrektselt ja arusaadavalt TK p 4.1. kohaselt pidi pakkuja esitama koos pakkumusega proovitöö, mis põhineb tellija poolt näidatud veebipõhise infosüsteemi https://mahara.ut.ee/ kiirmeetodil turvatestimise (vähemalt OWASP ASVS tase 1 meetodil) läbiviimisel. Vaidlustaja väidab, et Hankija ei seadnud nõudeid või eeldusi raporti vormistusele, kuid sellega ei saa nõustuda. Raporti koostamisel peab see järgima OWASP ASVS standardit (ehk peab olema raportis välja toodud standardi punktid), mis on kergelt jälgitav ja arusaadav nii tehnilise taustaga kui ka mitte tehnilise taustaga inimestele. Seega kui Hankija ei saanud aru, kas standardit on järgitud või mitte, siis ongi proovitöö vormistatud mittekorrektselt ja mittearusaadavalt. Turvatestimist pakkuva ettevõtjana peaks Vaidlustaja teadma, et kui Hankija (või ükskõik, mis teine klient) tellib tööd OWASP ASVS standardi alusel, on neil kohustus juba standardi põhiselt välja tuua kõik kontrollid, mis nad tegid ja, mida nad ei teinud. Seda ei pea Hankija eraldi välja tooma, vaid see tuleneb juba standardist. Samuti andis Hankija päris pikalt aega küsimusi esitada ja proovitööd teha, seega kui tekkis küsimusi või miski ei olnud arusaadav, oleks pidanud seda läbi RHRi küsima või välja tooma. Standardi tekstis lk 1442 on välja toodud, mis peaks raportis sisalduma, mistõttu ei saa nõustuda Vaidlustaja väitega, et standard ei anna juhiseid ega reguleeri raporti/kokkuvõtte sisu: Sertifitseerimisorganisatsioon peab igasse aruandesse lisama kontrolli ulatuse (eriti kui põhikomponent ei kuulu kontrolli alla, näiteks SSO-autentimine), kokkuvõtte kontrollitulemustest, sealhulgas läbitud ja ebaõnnestunud testidest, koos selgete viidetega selle kohta, kuidas ebaõnnestunud katseid lahendada. Katsetatava rakenduse suhtes ei pruugi kehtida teatavaid kontrollinõudeid. Näiteks kui pakute oma klientidele olekuta teenusekihi API-t ilma kliendi rakenduseta, ei ole paljud V3 seansihalduse nõuded otseselt rakendatavad. Sellistel juhtudel võib sertifikaati väljaandev organisatsioon siiski nõuda ASVS-i täielikku järgimist, kuid peab igas aruandes selgelt märkima põhjuse, miks selliseid välistatud kontrollinõudeid ei kohaldata. Üksikasjalike tööpaberite, kuvatõmmiste või filmide, skriptide hoidmist probleemi usaldusväärseks ja korduvaks kasutamiseks ning elektroonilisi testimisandmeid, näiteks puhverserveri logide ja nendega seotud märkmete, näiteks puhastusloendi pealtkuulamist, peetakse tööstusharu tavapäraseks praktikaks ja see võib olla 42 ASVS/4.0/OWASP Application Security Verification Standard 4.0.3-en.pdf at v4.0.3· OWASP/ASVS GitHub 19 (30) tõesti kasulik tulemuste tõendamiseks kõige kõikidele arendajatele. Ei piisa lihtsalt tööriista käivitamisest ja tõrgetest teatamisest - see ei anna (üldse) piisavaid tõendeid selle kohta, et kõiki sertifitseerimistaseme küsimusi on põhjalikult testitud. Vaidluse korral peaks olema piisavalt kinnitavaid tõendeid, mis näitavad, et iga kontrollitud nõue on tõepoolest testitud.43 Hankija soovis kindlaid ja (nt kuvatõmmistega) tõestatud turvanõrkusi, mitte turvanõrkuseid, mis võivad süsteemis olla. Kolmas isik koostas turvatestimise kokkuvõtte, mille lõpus on üks suur kokkuvõtte, mis võtab selgelt kokku turvatestimise tulemused. Kui Hankija väidab, et nende jaoks oli Vaidlustaja proovitöö raskesti mõistetav (sh kas ja mis määral standardit järgiti) ja nad ootasid ikkagi ühte kokkuvõtet, mida teised pakkujad pakkusid, siis Kolmanda isiku hinnangul on just Vaidlustaja koostanud mittearusaadava turvatestimise kokkuvõtte, mitte ei ole probleem Hankija põhjendustes või ebamõistlikes ootustes. 6.3. Proovitöö kriteerium 2 - Proovitöö testimise metoodika vastab OWASP ASVS standardile Kuivõrd Kolmas isik ei oma ligipääsu Vaidlustaja koostatud proovitööle, siis on siinkohal seisukoha andmine raskendatud. Hankija 01.09.2023 seisukohas on toodud, et Vaidlustaja raportit kontrollides ja võrreldes standardiga ei olnud Hankijal võimalik tuvastada, milliseid OWASP ASVS taseme 1 kontrolle on sisuliselt tehtud ja milliseid mitte. Kuna ühtegi otsest vastavust standardi struktuurile ja kontrollidele ei olnud esitatud, siis sellest lähtuvalt ei ole Vaidlustaja oma proovitöös tõendanud, et OWASP ASVS taseme 1 kõik ettenähtud kontrollid standardist on päriselt läbitud. Kui eeltoodu vastab tõele, siis on selge, et 0 punkti oli õigustatud, sest proovitöö ei vastanud üldse Hankija ootustele. 6.4. Proovitöö kriteerium 3 - Proovitöö leitud puudused on põhjendatud ja kirjeldatud arusaadavalt Kolmas isik raporteeris 10 tõendatud turvanõrkust ja Vaidlustaja ainult 1 tõendamata turvanõrkuse, mis peaks eraldiseisvalt juba näitama Vaidlustaja proovitöö kvaliteeti. Vaidlustaja on saanud 3 punkti, mis on Kolmanda isiku hinnangul isegi liiga palju arvestades Hankija seisukohti, mille kohaselt peavad põhjendused ja kirjeldused olema raportis toodud arusaadavalt ning täpselt ja raporti lugeja peab saama üheselt aru, mis turvanõrkus leiti, kuskohas see on ja milles see seisneb. Seega olukorras, kus Vaidlustaja raportist ei tulenenud millise standardi kontrolli raames see puudus leiti ning ka vastav tõendusmaterjal oli puudu, siis peaks kohane tulem olema, et proovitöös leitud puudused ei olnud põhjendatud ja kirjeldatud arusaadavalt ja korrektne arv punkte oleks pidanud olema 0. 6.5. Proovitöö kriteerium 4 - Proovitöö testimise tulemusena esitatud soovitused on arusaadavad ja täidetavad 12 kuu jooksul Esitatud soovitus peaks olema väga spetsiifiline vastavalt Hankija süsteemile, tehnoloogiale või tootele. Seetõttu üldisest soovitusest ei pruugi piisata turvanõrkuse leevendamiseks. Kui 43 Inglise keeles: A certifying organization must include in any report the scope of the verification (particularly if a key component is out of scope, such as SSO authentication), a summary of verification findings, including passed and failed tests, with clear indications of how to resolve the failed tests. Certain verification requirements may not be applicable to the application under test. For example, if you provide a stateless service layer API without a client implementation to your customers, many of the requirements in V3 Session Management are not directly applicable. In such cases, a certifying organization may still claim full ASVS compliance, but must clearly indicate in any report a reason for non-applicability of such excluded verification requirements. Keeping detailed work papers, screenshots or movies, scripts to reliably and repeatedly exploit an issue, and electronic records of testing, such as intercepting proxy logs and associated notes such as a cleanup list, is considered standard industry practice and can be really useful as proofs of the findings for the most doubtful developers. It is not sufficient to simply run a tool and report on the failures; this does not (at all) provide sufficient evidence that all issues at a certifying level have been tested and tested thoroughly. In case of dispute, there should be sufficient assurance evidence to demonstrate each and every verified requirement has indeed been tested. 20 (30) soovitus pole piisavalt spetsiifiline, siis polegi see Hankija jaoks arusaadav ega ka täidetav 12 kuu jooksul. Üldiseid soovitusi turvanõrkuste parandamiseks saab leida ka lihtsalt googeldades, kuid sellisel juhul ei peakski siis vaidlustaja ega ka näiteks kolmas isik soovitusi eraldi välja tooma vaid lihtsalt kopeerima googlest mingi üldise soovituse. Kokkuvõttes, soovitused peavad olema spetsiifilised ja rakendatavad nagu Kolmas isik enda raportites (sh käesolevas hankes esitatud proovitöös) kasutab. VAIDLUSTUSKOMISJONI PÕHJENDUSED 7. Vaidlustus on esitatud vaidlustusmenetlusse kaasatud Kolmanda isiku Cyberarch Consulting OÜ pakkumuse edukaks tunnistamise otsusele põhjendusel, et Hankija on Vaidlustaja proovitööd kõigis kriteeriumites hinnanud valesti ja omistanud Vaidlustaja proovitööle põhjendamatult vähe punkte (6 punkti). Vaidlustaja on seisukohal, et tema proovitöö oleks pidanud kõigis kriteeriumites saama 5 punkti, kokku 20 punkti. Kolmanda isiku edukaks tunnistatud pakkumus on saanud hindamisel 90 punkti, Vaidlustaja pakkumus 86 punkti. Seega peaks Vaidlustaja pakkumus proovitöö hindamisele saama juurde vähemalt 4 punkti, et see pakkumus osutuks edukaks (Vaidlustaja pakkumuses esitatud maksumus on madalam ja kui pakkumused saavad võrdse arvu väärtuspunkte, siis tunnistatakse edukaks pakkumus, kus on esitanud madalam maksumus („Pakkumuse esitamise ettepaneku“ p 5.5.)). 8. „Pakkumuse esitamise ettepaneku“ p 5.2.2. kohaselt on proovitöö hindamisel võimalik saada 20 punkti. Proovitöö hindamine toimub osade kaupa, millest igaühe puhul hinnatakse, kas lahendus vastab Hankija ootustele täielikult (5 punkti), vastab osaliselt (3 punkti) või ei vasta üldse (0). Proovitöö puhul hinnatakse järgmist: - proovitöö infosüsteemi testimise raport on vormistatud korrektselt ja arusaadavalt; - proovitöö testimise metoodika vastab OWASP ASVS standardile; - proovitöö leitud puudused on põhjendatud ja kirjeldatud arusaadavalt; - proovitöö testimise tulemusena esitatud soovitused on arusaadavad ja täidetavad 12 kuu jooksul. Lisa 1 „Tehniline kirjeldus“ (edaspidi TK) p-is 4. on sätestatud proovitöö tingimused ja hindamine: „4.1. Pakkuja esitab koos pakkumusega proovitöö, mis põhineb tellija poolt näidatud veebipõhise infosüsteemi https://mahara.ut.ee/ kiirmeetodil turvatestimise (vähemalt OWASP ASVS tase 1 meetodil) läbiviimisel. Leitud vead tuleb esitada koos näidetega ning esitada ka soovitused nende kõrvaldamiseks. Proovitöö tuleb teha vaatluse teel avalikust internetist ning selle käigus ei ole lubatud teha mingeid ründeid ega muid veebi muutvaid(kahjustavaid) tegevusi. Proovitöö käigus ei ole vaja tegeleda veebilehe väliste teenuste (sh SSO teenus auth.ut.ee serveris) testimisega. Proovitöö testimise tulemused esitatakse raporti kujul. Proovitöö raport võib olla inglise keeles. 4.2. Töö hindamine toimub osade kaupa, millest igaühe puhul hinnataks, kas lahendus vastab hankija ootustele täielikult (5 punkti), vastab osaliselt (3 punkti) või ei vasta üldse (0). Kokku on võimalik proovitöö hindamisest saada kuni 20 punkti 21 (30) 4.3. Proovitöö teostamisel hinnatavad kriteeriumid on alljärgnevad: - 4.3.1. Infosüsteemi testimise raport on vormistatud korrektselt ja arusaadavalt - 4.3.2. Testimise metoodika vastab OWASP ASVS standardile - 4.3.3. Leitud puudused on põhjendatud ja kirjeldatud arusaadavalt - 4.3.4. Testimise tulemusena esitatud soovitused on arusaadavad ja tellija poolt reaalselt täidetavad 6 kuu jooksul44“ Proovitöö hindamise aluste kohta on enne pakkumuste esitamise tähtpäeva esitatud Hankijale järgmine küsimus: „Proovitöö kirjelduses on öeldud, et Proovitöö tuleb teha vaatluse teel avalikust internetist ning selle käigus ei ole lubatud teha mingeid ründeid ega muid veebi muutvaid(kahjustavaid) tegevusi. Kas antud juhul on mõeldud, et testimist tuleb teha ilma infosüsteemi sisselogimata? Kas on mõeldud nii, et audentitud vaade infosüsteemist ei kuulu soovitud proovitöö skoopi? Vastasel juhul oleks vaja juurdepääsu süsteemi sisselogimiseks.“ Hankija on sellele 26.06.2023 vastanud järgmiselt: „Proovitöö jaoks ei ole sisse logida vaja ning palume raport koostada avaliku info põhjal.“ Rohkem selgitustaotlusi hindamise aluste kohta pole esitatud. Samuti pole hindamise aluseid vaidlustatud. Seega hindamise alused on kehtivad nii pakkujatele kui ka Hankijale45. 9. Riigihanke tulemusena sõlmitakse hankeleping professionaalse IT veebide turvatestimise teenuse osutajaga, kes viib läbi praktilise turvatestimise Hankija veebipõhiste infosüsteemide osas (TK p 2.1.) ja koostab vastava raporti. Pakkumuses esitatav proovitöö pidi Hankijale näitama seda, kuidas pakkuja viib läbi Hankija poolt näidatud veebipõhise infosüsteemi https://mahara.ut.ee/ kiirmeetodil turvatestimise vähemalt OWASP ASVS tase 1 meetodil. Vaidlustuskomisjoni hinnangul on oluline see, et riigihanke alusdokumendid ei näinud proovitöö hindamisel ette, et Hankija võtab punkte maha, vaid punktide andmine proovitöö eest pidi toimuma 4 kriteeriumi alusel ja lähtudes sellest, kas proovitööna koostatud raport, seal toodud andmed ja informatsioon vastavad Hankija ootustele. Pakkujatele olid teada nõuded proovitööle, kriteeriumid ja see, mida ja kuidas Hankija hindab. Pakkuja pidi proovitöö koostamisel arvestama sellega, et maksimaalsed punktid saab pakkumus, mis vastab igas kriteeriumis täielikult Hankija ootustele. 10. OWASP (Open Worldwide Application Security Project) ASVS (Application Security Verification Standard) (https://raw.githubusercontent.com/OWASP/ASVS/v4.0.3/4.0/OWASP%20Application%20 Security%20Verification%20Standard%204.0.3-en.pdf), (edaspidi Standard) on dokument, millest pakkujad proovitöö koostamisel pidid lähtuma. Standardi ülevaade asub Standardi lk 11-16. Kontrollid, mis tuleb Standardi kohaselt läbida, on detailselt kirjeldatud Standardi lk 17-54. Standard näeb ette kolm taset. Sõltuvalt sellest, millisest tasemest lähtuvalt pakkuja oli 44 Vaidlustuskomisjon peab vajalikuks viidata vastuolule: Lisa 1 „Tehniline kirjeldus“ p-is 4.3.4. on märgitud 6 kuud, aga „Pakkumuse esitamise ettepanekus“ on 12 kuud, kuid see vastuolu ei ole pakkumuse edukaks tunnistamise otsuse õiguspärasuse hindamisel oluline 45 Tallinna Ringkonnakohus 18.02.2013, 3-12-2650, p 18 22 (30) proovitöö teinud, on Standardis ette nähtud konkreetsete kontrollide tegemine. Pakkuja pidi proovitöö tegema vähemalt Standardi tasemest 1 lähtuvalt, kuid võis lähtuda ka tasemest 2 või 3. Proovitöö tuli teha veebipõhise infosüsteemi https://mahara.ut.ee/ kiirmeetodil turvatestimisest. Vaidlustuskomisjon on seisukohal, et TK p 4. ja Standardi järgi pidid proovitöös olema vähemalt:  Standardi vastava taseme järgi läbi viidud kontrollid;  kontrollide tulemusena tuvastatud probleemid/puudused/vead koos näidetega;  soovitused. Lisaks pidid pakkujad silmas pidama, et proovitöös nimetatud leitud puudused (turvanõrkused) peavad olema põhjendatud ja kirjeldatud arusaadavalt ning soovitused peavad samuti olema arusaadavad ja täidetavad. 11. Vaidlustuskomisjon on seisukohal, et hankijad võivad vaidlustusmenetluses vaidlustatud otsuse põhjendusi täpsustada, kuid oluline on see, et vaidlustuskomisjon peab olema veendunud, et need on ikka täpsustused ja hankija on neist otsuse tegemisel lähtunud. Riigikohus on oma 11.12.2020 otsuse 3-20-1198 p-s 21 märkinud järgmist: „21. Hindamiskriteeriume tuleb kohaldada objektiivselt ja ühetaoliselt kõigi pakkujate suhtes (Euroopa Kohtu otsus asjas nr C-19/00: SIAC Construction, p 44). RHS § 117 lg 1 teise lause järgi peab hankija otsus pakkumuse edukaks tunnistamise kohta olema põhjendatud. RHS § 47 lg 4 p 3 kohaselt tuleb teistele vastavaks tunnistatud pakkujatele esitada edukat pakkumust iseloomustavad andmed, mis andsid hankijale eelise tema pakkumusega võrreldes. Seejuures on piisav, kui pakkumuse edukaks tunnistamise korraldusest või selles viidatud dokumendist nähtuvad, millistele alustele hankija otsustused tuginevad (kolleegiumi otsus asjas nr 3-3-1-45-12, p 29). Väga üldsõnalised põhjendused võivad olla vastuolus RHS § 117 lg-ga 1 ja § 47 lg 4 p-ga 3, vaidluse korral saab aga hankija otsuse põhjendusi kohtumenetluses täpsustada. Mida üldisemad on hindamiskriteeriumid ja -metoodika, seda avaram on hankija hindamisruum ning seda põhjalikumad peavad läbipaistvuse tagamiseks olema hinnete põhjendused. Kui RHAD-s kehtestatud hindamismetoodika sisaldab täpseid hinnete kirjeldusi, võivad need tagada piisava läbipaistvuse ka ilma hinnete hilisema põhjendamiseta.“ Seega on Riigikohus pidanud võimalikuks, et hankija saab pakkumuse edukaks tunnistamise otsuse põhjendusi kohtumenetluses täpsustada. Pole alust asuda seisukohale, et hankija seda vaidlustusmenetluses teha ei saa. Käesoleval juhul on Hankija vaidlustusmenetluses täiendavalt põhjendanud Vaidlustaja proovitööle punktide andmist. Vaidlustuskomisjon on seisukohal, et kontrollides Vaidlustaja pakkumuse (proovitöö) hindamist kriteeriumide alusel, tuleb vaidlustuskomisjonil arvestada ka Hankija poolt vaidlustusmenetluses esitatud neid täiendavaid põhjendusi, millede puhul vaidlustuskomisjon leiab, et neist on Hankija otsust tehes ka lähtunud. 12. Vaidlustaja on pakkumuses mh esitanud kaks dokumenti (inglise keelsed): 23 (30)   Web Penetration Testing Assessment Report (edaspidi Proovitöö);  Web Penetration Testing Cover Letter (edaspidi Cover Letter). Cover Letter algab järgmise lausega: „This document serves as an official report on the web assessment conducted for Tartu University's student application.“. Vaidlustuskomisjon nõustub Hankijaga, et hindamisel sai aluseks võtta ainult Proovitöö, sellele ei vaidle vastu ka Vaidlustaja. 13. Kriteeriumis 1 hinnati, kas proovitöö infosüsteemi testimise raport on vormistatud korrektselt ja arusaadavalt. Vaidlust pole, et selle kriteeriumi kohaselt tuli hinnata Proovitöö raporti vormistust. Vaidlustuskomisjon leiab, et hinnata ei tulnud ainult seda, kas vormistus korrektne, vaid ka seda, kas vormistus tagab proovitööst arusaadavuse. Vaidlustuskomisjon leiab, et Hankija ei pidanud hindama ainult kitsalt vormistust, vaid ka seda, kas proovitöö raporti ülesehitus ja struktuur võimaldavad mõista läbi viidud testimisi ja nende tulemusi. Hankija ei saanud selle kriteeriumi alusel hindamisel arvestada proovitöö raporti sisu, kuid hinnates seda, kas vormistus tagab arusaadavuse, ei saanud Hankija jätta toomata konkreetseid näiteid, mis tõendavad seda, et vormistuspuudused ei võimalda proovitöö raportit mõista. Vaidlustaja Proovitöö raport on saanud 0 punkti – st Vaidlustaja Proovitöö raporti vormistuse korrektsus ja arusaadavus ei vasta üldse Hankija ootustele. Hankija põhjendustest tuleneb 6 puudust:  Proovitöö raport ei järgi Standardit;  Proovitöö raportis ei ole eristatud, milliseid Standardi kontrolle on tehtud ja mida mitte;  Proovitöö raport ei sisaldanud viidet Standardi kasutamisele;  Cover Letter sisaldab vaid teoreetilisi turvasoovitusi;  Proovitöö raporti kokkuvõte oli raskesti mõistetav;  Proovitöö raportis puudub tõend leitud turvanõrkuse kohta. Otsuse põhjendustest tuleneb ka see, et Vaidlustaja oli esitanud kaks segaselt vormistatud dokumenti, mis ei sisaldanud arusaadavaid viiteid OWASP ASVS standardi kasutamisele, mõlema dokumendi kokkuvõte oli esitatud raskesti mõistetavalt, sh hajutatud mitme erineva punkti vahele. Raportis puudus tõend (näiteks ekraanipilt) leitud turvanõrkuse kohta, oli toodud vaid viide sellele, kuidas võiks nõrkust tuvastada. Vaidlustusmenetluses on Hankija täpsustanud, et:  Proovitöö raporti vormistuslikud puudused seisnevad selles, et raporti üldine ülesehitus ei ole arusaadav;  Proovitöö raportis on tulemused esitatud raskesti mõistetavana mitme punktis;  Proovitöö raporti vormistamiseks oli Vaidlustaja kasutanud formaati, mille ülesehitus ei läinud kokku Standardi ülesehituse ja struktuuriga. Lisaks on Hankija selgitanud, et raport ei tohi olla eksitav ja sisaldada asjaolusid, mida Hankija küsinud ja/või pakkuja tegelikult kontrollinud ei ole. Vaidlustaja ei nõustu Hankijaga: 24 (30)   Standardist ega ka riigihanke alusdokumentidest ei tulene Proovitöö vormistuslikke nõudeid;  kui Hankija soovis, et Proovitöös on selgelt eristatud, milliseid Standardi kontrolle on tehtud ja mida mitte, oleks ta pidanud selle riigihanke alusdokumentides ette nägema;  Standardi kasutamisele on viidatud mitmes kohas: lk-l 5 punktis „Limitations“, k-l 11 punkti 12 tabelis „References“, lk-l 11 punktis 13 „Testing methodology“, Proovitöö selliseid viiteid sisaldama ei pidanud;  viide Vaidlustaja esitatud dokumendile Cover Letter ei ole seotud Proovitöö vormistusega;  kõik kokkuvõtte punktid asusid samal Proovitöö ühel leheküljel, nende eraldatus erinevate punktide all samal leheküljel ei saa kuidagi kokkuvõtet teha raskesti mõistetavaks;  kas ja millised tõendid on Proovitöös esitatud, ei ole kriteeriumis 1 punktide andmise aluseks. Vaidlustuskomisjon saab Vaidlustaja seisukohadest aru nii, mingeid nõudeid proovitöö vormistusele üldse polnud, mistõttu Hankija viidatud puudusi ei esinenud. Vaidlustuskomisjon ei nõustu Vaidlustajaga. 12.1. Vaidlustuskomisjon on seisukohal, et kui proovitöö raporti vormistamisel ei ole järgitud Standardit, avaldab see otsest mõju ka proovitööst arusaadavusele. Sõltuvalt sellest, millise Standardi taseme alusel pakkuja proovitöö koostas, tuli veebipõhise infosüsteemi https://mahara.ut.ee/ kiirmeetodil turvatestimisel läbi viia vastavad kontrollid (vt käesoleva otsuse p 10.) – V1 kuni V14. Vaidlustuskomisjon ei nõustu Vaidlustajaga selles, et Proovitöös on Standardile piisavalt viidatud ja et Standardijärgsete kontrollide välja toomist polnud nõutud. See on elementaarne, et sellises raportis viidatakse selgelt sellele, mille alusel, millest lähtuvalt raport on koostatud. Eriti käesoleval juhul, kui Standardist lähtumist konkreetselt ka hinnatakse. Pakkuja ei saanud eeldada, et TK-s toodud nõue järgida Standardit on piisav. Vaidlustuskomisjon on seisukohal, et kui proovitöö tuli teha lähtuvalt Standardist, siis ei saanud selles valdkonnas tegutsev pakkuja aru saada selliselt, et proovitööst ei pea selgelt ja üheselt arusaadavalt nähtuma Standardist lähtumine ja Standardi vastava taseme järgi tehtud kontrollid. 12.2. Hankija on viidanud sellele, et Vaidlustaja Proovitöö raport on koostanud lähtudes oma formaadist. Vaidlustuskomisjon on seisukohal, et Vaidlustaja Proovitööst pole tõesti võimalik välja lugeda, et:  lähtuti Standardi mingist tasemest;  tehti Standardist tulenevaid kontrolle. Vaidlustaja Proovitöö lk-l 5 punktis „Limitations“ on järgmine lause: „These areas form a crucial part of the OWASP (Open Web Application Security Project) methodology, which serves as the industry standard for application security testing.“. Tegemist pole viitega Standardile. Proovitöö lk 11 tabelis on toodud viide [---]. 25 (30) Proovitöö lk 11 p-is 13 „Testing methodology“ on järgmine lause: „The methodology used focused on the OWASP framework for evaluating web applications. The test method was "Blackbox".“ Vaidlustuskomisjon on seisukoha, et pigem viitab Proovitöö lk 11 tabel sellele, et kasutatud on [---] metoodikat, mis aga erineb Standardist. Standardiga pole kooskõlas ka Vaidlustaja Proovitöö lk 11-17 toodud kontrollid. Alles vaidlustusmenetluses on Vaidlustaja selgitanud seda, millised Standardi kontrollid V1-V14 vastavad Vaidlustaja Proovitöös toodud kontrollidele A1-A10. Seega on Hankija õigesti järeldanud, et Vaidlustaja Proovitööst ei tulene selgelt Standardi järgimine, Vaidlustaja on kasutanud oma raporti formaati, mis ei läinud kokku Standardiga ja see asjaolu muutis Proovitöö vormistuse Hankija jaoks ebaselgeks. 12.3. Vaidlustuskomisjoni hinnangul on Proovitöö raporti vormistamise korrektsuse ja arusaadavusega seotud ka Cover Letter esitamine pakkumuses. Pakkuja pidi esitama proovitööna raporti. Cover Letter näol on aga tegemist justkui Proovitööd täiendava dokumendiga, mis aga ei täienda Proovitööd millegagi. Hankija on pidanud vajalikuks sellise dokumendi esitamise ära märkimist puudusena Vaidlustaja Proovitöö vormistamises. Vaidlustuskomisjon leiab, et Vaidlustajal puudus mistahes vajadus Cover Letter esitamiseks, Hankija võis selle esitamisest pidada vormistuslikuks puuduseks. 12.4. „Executive Summary“, „Overview“ ja „Assessement Summary“ on Vaidlustaja Proovitöös ühel leheküljel, kuid Hankija viide kokkuvõtte raskesti mõistetavusele tuleneb eelkõige sellest, et Proovitööst ei nähtu see, millistest Standardi kontrollidest tulenevalt need kokkuvõtted on tehtud. 12.5. Vaidlustaja Proovitööst tulenevalt on leitud üks turvanõrkus. Hankija heidab õigustatult Proovitööle ette seda, et selle turvanõrkuse kohta puuduvad andmed, mis võimaldaksid:  läbi viia täiendavaid tegevusi;  seda tuvastada igal ajahetkel. Vaidlustuskomisjon nõustub Hankijaga selles, et TK p 4.1. kohaselt tulid Proovitöös esitada vead koos näidetega, sellega, et tavapäraselt esitatakse avastatud vea kohta ekraanipilt. Vaidlustaja Proovitöös on üks ekraanipilt, kuid see ei kajasta leitud viga. Vaidlustuskomisjon leiab, et tegemist on vormistusliku puudusega (andmed, näited esitamata), mis muudab Proovitöö vähem arusaadavamaks. 12.6. Vaidlustuskomisjon on seisukohal, et kui Vaidlustaja Proovitöö on vormistatud oma formaadis, Hankijal polnud võimalik tuvastada Standardi järgimist ja Standardis ette nähtud kontrollide tegemist, siis sai Hankija asuda seisukohale, et Vaidlustaja Proovitöö vormistuse korrektsus ja arusaadavus ei vasta üldse Hankija ootustele ja anda selles kriteeriumis 0 punkti. 13. Kriteeriumis 2 hinnati testimise metoodika vastavust Standardile. Vaidlustaja Proovitöö on saanud 0 punkti ja selliselt hindamist on Hankija otsuses põhjendanud järgmiselt: „Pakkuja ei ole proovitöö puhul üldse järginud OWASP ASVS tase 1 metoodikat.“ 26 (30) Vaidlustusmenetluses on Hankija täpsustanud, et:  Proovitöös ei olnud võimalik piirduda üksnes lausega, mis lühidalt teatab, et „töö fookuses oli standard“. Proovitöö põhjal peab Hankijal olema reaalne sisuline võimalus hinnata kirja pandud tegevuste ja leidude põhjal, et Standardit on töö käigus ka tegelikult järgitud. Vaidlustaja Proovitöö põhjal ei olnud see võimalik;  Proovitööd kontrollides ja võrreldes Standardiga ei olnud Hankijal võimalik tuvastada, milliseid Standardi taseme 1 kontrolle on sisuliselt tehtud ja milliseid mitte;  Proovitöös polnud tõendanud, et Standardi taseme 1 kõik ettenähtud kontrollid Standardist on päriselt läbitud, puuduvad selgitused nende kontrollide kohta, mida ei saanud läbida või mida ei läbitud;  Proovitöös pole järgitud Standardi tuumaks olevat kontrollide nimekirja ja struktuuri ega esitanud selgitusi omaenda loodud raporti põhja tõlgendamisele;  Standardi kasutamine ja sellele vastavus on selle hankemenetluse üks olulisemaid nõudeid ja mis pidi seega iga turvatestimise valdkonna spetsialistina tegutsevale pakkujale ka arusaadav olema. Vaidlustaja on vaidlustusmenetluses viidanud, et Proovitöö ptk-s 13 „Turvatestimise metoodika“ („Testing methodology“) on kirjeldatud kõik sammud, mida Vaidlustaja testide raames läbi viis. Proovitöö etapid A1—A10 vastavad Standardi kontrollidele järgmiselt:  A1- V5;  A2-V5;  A3-V3, V12;  A4-V4, V11;  A5-V4;  A6-V7;  A7-V2, V3;  A8- V6, V8, V13;  A9-V9;  A10-V4. Vaidlustuskomisjon on seisukohal, et Vaidlustaja selgitus näitab selgelt, et Hankijal polnud võimalik Vaidlustaja Proovitööst aru saada, millised Standardis ette nähtud kontrollid olid tehtud – Proovitöös ei olnud toodud A1-A10 vastavust Standardi kontrollidele. Seega ei ole Vaidlustaja koostanud Proovitööd lähtudes Standardist. Standardis toodud kontrollide nimetused ja nummerdamine tagab selle, et kõik saaksid raportist ühte moodi aru. Käesoleval juhul on Vaidlustaja kasutanud teistsugust metoodikat ja oma formaati. Vaidlustuskomisjon leiab, et Hankija sai asuda seisukohale, et Vaidlustaja Proovitöös kasutatud metoodika ei vasta üldse Hankija ootustele ja anda selles kriteeriumis 0 punkti. 14. Kriteeriumis 3 hinnatakse, kas proovitöö leitud puudused on põhjendatud ja kirjeldatud arusaadavalt. Vaidlustaja Proovitöö on saanud 3 punkti ja selliselt hindamist on Hankija otsuses põhjendanud järgmiselt: „Leitud oli vaid üks turvanõrkus (süsteemis oli meile teadaolevalt rohkem puuduseid) ning selle põhjendused ja kirjeldused vastavad vaid osaliselt meie ootustele.“ 27 (30) Vaidlustusmenetluses on Hankija täpsustanud, et:  leitud turvanõrkuste arvu hindepunktide andmisel arvesse ei võetud, hindamisel on Hankija lähtunud sellest, kas Vaidlustaja Proovitöös toodud puudus on kirjeldatud põhjendatult ja arusaadavalt - Proovitöö lugeja peab saama üheselt aru, mis turvanõrkus leiti, kuskohas see on ja milles see seisneb;  Vaidlustaja Proovitöö kohaselt on leidnud üks turvanõrkuse ja seda on oma metoodika kohaselt põhjendatud. Leitud turvanõrkuse põhjendus aga ei ole seostatud Standardiga ning Hankijal puudus seega võimalus hinnata, millise Standardi kontrolli raames vastav puudus leiti. Vaidlustaja on Proovitöö p-s 12 kaudselt viidanud, et kasutas Standardi asemel hoopis [---] kontrollinimekirja. ([---] kontrollinimekiri on alamhulk ja ei ole samaväärne Standardi tase 1 kontrollidega);  heaks viisiks turvanõrkuse esitamisel on ekraanipildid, kuid Proovitöö ei sisaldanud leitud turvanõrkuse kohta ühtegi ekraanipilti ega ka muud ajas püsivat tõendit. Vaidlustaja turvanõrkuse kirjelduses esines üksnes viide sellele, kuidas võiks nõrkust tuvastada [---] päringu abil, kui selliselt ei pruugi alati olla võimalik enam üheselt tagantjärgi tõendada, et leitud turvanõrkus turvatestimise ajal ka esines. Vaidlustaja viitab sellele, et leiu ülevaade („Overview of the finding“), mõjutatud komponendid („Affected components“), kirjeldus („Description“), sammud leiu taasloomiseks („Steps to reproduce“), turvanõrkuse kõrvaldamise soovitused („Disposal recommendations“) ja allikad („References“) on esitatud ja leiab, et Vaidlustaja tuvastatud turvanõrkus on põhjendatud ja kirjeldatud arusaadavalt. Vaidlustaja Proovitöös on leitud turvanõrkust kirjeldatud p-s 12. „Findings and recommendations“. Õige on Hankija viide, et Proovitöös on seda leitud turvanõrkust põhjendatud ja kirjeldatud oma metoodika kohaselt, sest pole aru saada, millise Standardi kontrolli käigus see avastati. „References“ on viidatud hoopis [---] kontrollinimekirjale, mis ei seondu Standardiga. Hankija on puudusena välja toonud ka avastatud turvanõrkusest ekraanipildi puudumise. Vaidlustuskomisjon leiab, et puudus (turvanõrkus) pole piisavalt põhjendatud ja kirjeldatud siis, kui pole teada Standardi kontroll, mille alusel see tuvastati ja kust see tuvastati, mistõttu Hankija sai asuda seisukohale, et Vaidlustaja Proovitöös toodud turvanõrkuse põhjendused ja kirjeldused vastavad osaliselt Hankija ootustele ja anda selles kriteeriumis 3 punkti. 15. Kriteeriumis 4 hinnatakse, kas testimise tulemusena esitatud soovitused on arusaadavad ja täidetavad 12 kuu jooksul. Vaidlustaja Proovitöö on saanud 3 punkti (vastab osaliselt Hankija ootustele) ja selliselt hindamist on Hankija otsuses põhjendanud järgmiselt: „Esitatud soovitus leitud turvanõrkuse leevendamiseks oli väga üldine ([---]).“ Vaidlustusmenetluses on Hankija täpsustanud, et:  esitatud soovituste kirjeldus on vähemalt sama oluline kui leitud puuduste kirjeldus, kuivõrd see annab Hankijale suunised, kuidas oma süsteemid turvaliseks muuta;  Proovitöös on esitanud Hankijale üldteada turvasoovitused, mis on elementaarse küberhügieeni osa;  Proovitöö ei sisalda konkreetseid juhiseid, mida peab Hankija (leidu arvestades kasvõi kohe) ette võtma tuvastatud turvanõrkuse eemaldamiseks;  Proovitöös ei ole esitatud soovitusi lahti kirjutatud ega selgitatud, üks soovitustest ei 28 (30)  aita Hankijal konkreetset leitud turvanõrkust lahendada, kuivõrd Vaidlustaja poolt leitud turvanõrkusega tarkvarakomponent on rakenduse tööks vajalik;  Proovitöös puudusid suuniseid selle kohta, kuidas kontrollida tulemust pärast seda, kui soovitused saavad ellu viidud. Puudus info selle kohta, kas konkreetse turvanõrkuse lahendamise järgselt võib olla vaja teha täiendav turvatestimine või piisab ka mõne lihtsama kontrolli testimisest. Vaidlustuskomisjon on seisukohal, et soovituse arusaadavuse hindamine ei tähenda üksnes seda, kas soovitus on sõnastatud selgelt, vaid ka seda, et Hankija saab aru, mida ta vastavalt soovitusele peab konkreetse puuduse (turvanõrkuse) puhul tegema (mis aitaks Hankija süsteeme turvalisemaks muuta konkreetse leiu valguses ja spetsiifilise turvanõrkuse eemaldamiseks). Proovitöö raport ei ole ette nähtud hästi sõnastatud üldiste turvasoovituste jagamiseks. Vaidlust pole selles, et Vaidlustaja Proovitöös on järgmised soovitused: „Develop a patch- management strategy to ensure that security updates are promptly applied to all thirdparty libraries in your application. Also, consider reducing your attack surface by removing any libraries that are no longer in use.“ Vaidlustuskomisjon nõustub Hankijaga, et tegemist on üldiste soovitustega, mida saab anda iga ajahetkel ja mis ei pea tulenema konkreetsest testimisest. Need soovitused ei aita lahendada Standardist tuleneva kontrolli läbi viimisel avastatud konkreetset puudust (turvanõrkust). Vaidlustuskomisjon leiab, et kuna esitatud soovitused on üldised ja ei seondu testimise tulemustega, siis sai Hankija asuda seisukohale, et Vaidlustaja Proovitöös toodud soovitused vastavad osaliselt Hankija ootustele ja anda selles kriteeriumis 3 punkti. 16. Tulenevalt eespooltoodust on vaidlustuskomisjon seisukohal, et Hankija on õigesti (põhjendatult ja kontrollitavalt) andnud Vaidlustaja Proovitööle kokku 6 punkti. Hankija ei ole teinud Vaidlustaja Proovitöö hindamisel vigu, mis oleksid viinud ebaõige hindamistulemuseni. Puudub alus Hankija otsuse tunnistada Kolmanda isiku pakkumus edukaks kehtetuks tunnistamiseks. 17. Vaidlustusmenetluse kulud Lähtudes sellest, et vaidlustus jääb RHS § 197 lg 1 p-i 4 alusel rahuldamata, kuuluvad vaidlustusmenetluse kulude osas kohaldamisele RHS § 198 lg-d 3 ja 8. 17.1. Hankija pole kulude välja mõistmist taotlenud. 17.2. Vaidlustaja kulud jäävad tema enda kanda. 17.3. Kolmas isik on tähtaegselt taotlenud lepingulise esindaja kulude väljamõistmist summas 1215,00 eurot käibemaksuta, 6,75 tunni õigusabi osutamise eest, tunnihinnaga 180 eurot + käibemaks. Vaidlustuskomisjon leiab, et arvestades vaidluse sisu ja mahtu ei ole Kolmanda isiku 29 (30) lepingulise esindaja kulud täielikult põhjendatud ja vajalikud. Vaidlus oli Vaidlustaja Proovitöö hindamises, aga kuna Kolmandal isikul puudus sellele juurdepääs, siis sai Kolmas isik oma arvamuse kujundada piiratud informatsioonist lähtuvalt ja ei vajanud seisukoha koostamiseks 6,75 tundi. Vaidlustuskomisjoni hinnangul on vajalikud ja põhjendatud Kolmanda isiku lepingulise esindaja kulud kokku 900 eurot (käibemaksuta), 5 tunni (tunnitasuga 180 eurot) õigusabi osutamise eest. Seega tuleb Vaidlustajalt Kolmanda isiku kasuks välja mõista 900 eurot (käibemaksuta). (allkirjastatud digitaalselt) Ulvi Reimets 30 (30)