Riigihangete vaidlustuskomisjon
Tartu mnt 85, Tallinn,
Harju maakond, 10115 07.09.2023
Esitatud e-kirja teel
CYBERARCH CONSULTING OÜ
SEISUKOHT JA KULUDE NIMEKIRI
Riigihange: „Veebide turvatestimise teenuse tellimine“ (viitenumber 265540)
Kolmas isik: Cyberarch Consulting OÜ
Registrikood 14515469
Pihlaka tee 19, 62107 Tartu maakond
Kolmanda isiku esindaja: Vandeadvokaat Kadri Matteus
Advokaadibüroo Matteus
Tartu mnt 82, 10112 Tallinn
tel 53419810
menetlusdokumendid:
[email protected]
Hankija: Tartu Ülikool
Registrikood 74001073
Ülikooli 18, 50090 Tartu
Hankija esindaja Tuuli Ilula
E-post:
[email protected]
Telefon: 737 6632
Vaidlustaja: Wisercat Estonia OÜ
Registrikood 14133207
Lelle 24, 11318 Tallinn
Vaidlustaja esindaja: Erki Fels, vandeadvokaat
Advokaadibüroo PricewaterhouseCoopers Legal
Tatari 1, 10116 Tallinn
E-post
[email protected]
TAOTLUSED:
1 Jätta vaidlustus rahuldamata.
2 Mõista Kolmanda isiku õigusabikulud summas 1215 EUR välja Vaidlustajalt.
PÕHJENDUSED
1.1 Vaidlustaja esitas 28.08.2023 vaidlustuse Tartu Ülikooli riigihankes „Veebide turvatestimise
teenuse tellimine“ ning Kolmandat isikut teavitati vaidlustuse esitamisest 29.08.2023. Kolmandale
isikule avaldati vaidlustaja poolt koostatud avaldus, millest on suurel määral eemaldatud teksti
ärisaladuse argumendil.
1.2 Kolmandale isikule avaldati 01.09.2023 seisuga teine versioon vaidlustusavaldusest, milles on
võrreldes esialgse vaidlustusega vähem varjatud teavet. Vaatamata eeltoodule ei pidanud Kolmas
isik ilma Hankija seisukohtadega tutvumata mõistlikuks esitada enda seisukoht 01.09.2023
tähtajaks.
1.3 Kolmandale isikule edastati Hankija seisukoht 04.09.2023.
1.4 Käesolevaga esitab Kolmas isik enda seisukoha ja lepingulise esindaja kulude nimekirja.
SEISUKOHT
2.1 Arvestades Kolmanda isiku ja Hankija argumente leiab Kolmas isik, et vaidlustus tuleb jätta
rahuldamata, kuna Hankija otsus on õiguspärane. Vaidluse tuum seisneb Vaidlustaja proovitöö
kvaliteedis ning Hankija hinnangus sellele vastavalt etteantud hindamiskriteeriumitele (RHS § 117
lg 1). Kolmas isik kui kogenud professionaal turvatestimine valdkonnas nõustub täielikult Hankija
seisukohtadega 01.09.2023 arvamuses.
2.2 Vaidlust ei ole selles, et proovitöö hindamine on oma olemuselt subjektiivne. Riigikohus on (ka
Vaidlustaja enda poolt ohtralt viidatud) proovitöö hindmaist puudutavas lahendis nr 3-20-1198
leidnud, et hindamiskomisjonile peab jääma vabadus oma tööd korraldada, muutmata
hindamiskriteeriume ega nende osakaale. Üldjuhul tuleks lisaks sisulistele hindamiskriteeriumidele
RHAD-s määrata kindlaks hindamismetoodika (sh punktiskaala), kuid see ei pea olema
ammendav, teisisõnu võib seda pärast pakkumuste avamist kohandada konkreetsetele
pakkumustele. Hankijatel ei ole kvalitatiivse hindamise kriteeriumidesse võimalik kirja panna kõiki
detaile, mis võivad hindamisel oluliseks osutuda. Vajaduse korral võib aga jätta metoodika ka ette
kindlaks määramata ja kujundada see tervikuna alles pärast pakkumuste avamist (Euroopa Kohtu
otsus asjas nr C-6/15: Dimarso, p-d 27-31; C-252/10 P: Evropaïki Dynamiki, p 35).
Hindamismetoodika kohandamise õigus annab hankijale pakkumuste hindamisel suurema
otsustusruumi kui pakkumuste vastavuse kontrollimisel (vrd kolleegiumi otsus nr 3-19-1464/41, p
13) (otsuse p 20). Seetõttu ei saa nõustuda vaidlustaja seisukohtadega, mille kohaselt ei tohi
hankija vähendada hindepunkte asjaolude eest, mida ei ole selgelt hindamiskriteeriumites välja
toodud. Veelkord, hindamise läbiviimine on paindlikum ja annab hankijale suurema otsustusruumi
kui pakkumuste vastavuskontroll. Juhul kui vaidlustaja leiab, et tingimused on liiga subjektiivsed,
siis oleks ta pidanud hindamiskriteeriumid vaidlustama enne pakkumuste esitamise tähtaega.
2.3 Pakkuja peab hindamisele minevate dokumentide koostamisel olema eriti hoolikas ning ei saa loota
sellele, et hankija laseb hindamisele kuuluvat dokumenti parandada või selgitada peale
pakkumuste esitamist, kuna see rikuks ilmselgelt pakkujate võrdse kohtlemise põhimõtet. Kõikidel
pakkujatel on võrdne aeg proovitöö koostamiseks ning selle hilisem täiendamine või selgitamine
isegi vaidlustusmenetluse ajal (nt hankijale arusaadavamaks tegemine) riivab Kolmanda isiku
õigust võrdsele kohtlemisele (TlnHKo 3-20-1722, p 23-25). Seega, proovitöid tuleb hinnata selle
üksnes ja ainult selle info alusel, mis oli hankijatele pakkumuste esitamise tähtajaks esitatud ning
vaidlustuskomisjoni järelkontroll peaks aluseks võtma esitatud proovitöö ja Hankija põhjendused
vastavate punktide andmiseks. Vaidlustaja täiendavad selgitused ja info, mida proovitöös ei
kajastu, tuleks jätta vaidluse lahendamisel tähelepanuta.
2.4 Proovitöö hindamiskriteeriumi alamkriteerium 1 - proovitöö infosüsteemi testimise raport on
vormistatud korrektselt ja arusaadavalt
2.4.1 HD Lisa 1 ehk teenuse kirjelduse p 4.1 kohaselt pidi pakkuja esitama koos pakkumusega proovitöö,
mis põhineb tellija poolt näidatud veebipõhise infosüsteemi https://mahara.ut.ee/ kiirmeetodil
turvatestimise (vähemalt OWASP ASVS tase 1 meetodil) läbiviimisel. Vaidlustaja väidab, et
hankija ei seadnud nõudeid või eeldusi raporti vormistusele, kuid sellega ei saa nõustuda. Raporti
koostamisel peab see järgima OWASP ASVS standardit (ehk peab olema raportis välja toodud
standardi punktid), mis on kergelt jälgitav ja arusaadav nii tehnilise taustaga kui ka mitte tehnilise
taustaga inimestele. Seega kui hankija ei saanud aru, kas standardit on järgitud või mitte, siis ongi
proovitöö vormistatud mittekorrektselt ja mittearusaadavalt.
2.4.2 Turvatestimist pakkuva ettevõttena peaks Vaidlustaja teadma, et kui hankija (või ükskõik, mis teine
klient) tellib tööd OWASP ASVS standardi alusel, on neil kohustus juba standardi põhiselt välja
tuua kõik kontrollid, mis nad tegid ja, mida nad ei teinud. Seda ei pea hankija eraldi välja tooma
vaid see tuleneb juba standardist. Samuti andis Hankija päris pikalt aega küsimusi esitada ja
proovitööd teha, seega kui tekkis küsimusi või miski ei olnud arusaadav, oleks pidanud seda läbi
RHRi küsima või välja tooma.
2.4.3 Standardi tekstis lk 141 on välja toodud, mis peaks raportis sisalduma, mistõttu ei saa nõustuda
vaidlustaja väitega, et standard ei anna juhiseid ega reguleeri raporti/kokkuvõtte sisu:
Sertifitseerimisorganisatsioon peab igasse aruandesse lisama kontrolli ulatuse (eriti kui
põhikomponent ei kuulu kontrolli alla, näiteks SSO-autentimine), kokkuvõtte kontrollitulemustest,
sealhulgas läbitud ja ebaõnnestunud testidest, koos selgete viidetega selle kohta, kuidas
ebaõnnestunud katseid lahendada. Katsetatava rakenduse suhtes ei pruugi kehtida teatavaid
kontrollinõudeid. Näiteks kui pakute oma klientidele olekuta teenusekihi API-t ilma kliendi
rakenduseta, ei ole paljud V3 seansihalduse nõuded otseselt rakendatavad. Sellistel juhtudel võib
sertifikaati väljaandev organisatsioon siiski nõuda ASVS-i täielikku järgimist, kuid peab igas
aruandes selgelt märkima põhjuse, miks selliseid välistatud kontrollinõudeid ei kohaldata.
Üksikasjalike tööpaberite, kuvatõmmiste või filmide, skriptide hoidmist probleemi usaldusväärseks
ja korduvaks kasutamiseks ning elektroonilisi testimisandmeid, näiteks puhverserveri logide ja
nendega seotud märkmete, näiteks puhastusloendi pealtkuulamist, peetakse tööstusharu
tavapäraseks praktikaks ja see võib olla tõesti kasulik tulemuste tõendamiseks kõige kõikidele
arendajatele. Ei piisa lihtsalt tööriista käivitamisest ja tõrgetest teatamisest; See ei anna (üldse)
piisavaid tõendeid selle kohta, et kõiki sertifitseerimistaseme küsimusi on põhjalikult testitud.
Vaidluse korral peaks olema piisavalt kinnitavaid tõendeid, mis näitavad, et iga kontrollitud nõue
on tõepoolest testitud.2
2.4.4 Hankija soovis kindlaid ja (nt kuvatõmmistega) tõestatud turvanõrkusi, mitte turvanõrkuseid, mis
võivad süsteemis olla. Kolmas isik koostas turvatestimise kokkuvõtte, mille lõpus on üks suur
kokkuvõtte, mis võtab selgelt kokku turvatestimise tulemused. Kui hankija väidab, et nende jaoks
oli Vaidlustaja proovitöö raskesti mõistetav (sh kas ja mis määral standardit järgiti) ja nad ootasid
ikkagi ühte kokkuvõtet, mida teised pakkujad pakkusid, siis Kolmanda isiku hinnagul on just
Vaidlustaja koostanud mittearusaadava turvatestimise kokkuvõtte, mitte ei ole probleem Hankija
põhjendustes või ebamõistlikes ootustes.
1 ASVS/4.0/OWASP Application Security Verification Standard 4.0.3-en.pdf at v4.0.3 · OWASP/ASVS · GitHub
2
Inglise keeles: A certifying organization must include in any report the scope of the verification (particularly if a key
component is out of scope, such as SSO authentication), a summary of verification findings, including passed and
failed tests, with clear indications of how to resolve the failed tests. Certain verification requirements may not be
applicable to the application under test. For example, if you provide a stateless service layer API without a client
implementation to your customers, many of the requirements in V3 Session Management are not directly applicable.
In such cases, a certifying organization may still claim full ASVS compliance, but must clearly indicate in any report a
reason for non-applicability of such excluded verification requirements. Keeping detailed work papers, screenshots or
movies, scripts to reliably and repeatedly exploit an issue, and electronic records of testing, such as intercepting proxy
logs and associated notes such as a cleanup list, is considered standard industry practice and can be really useful as
proofs of the findings for the most doubtful developers. It is not sufficient to simply run a tool and report on the failures;
this does not (at all) provide sufficient evidence that all issues at a certifying level have been tested and tested
thoroughly. In case of dispute, there should be sufficient assurance evidence to demonstrate each and every verified
requirement has indeed been tested.
2.4.5 Isegi kui VAKO peaks leidma, et mõned põhjendused alamkriteeriumi 1 osas ei ole asjakohased,
siis see ei muuda lõpptulemust, et asjakohaste põhjenduste tõttu oli selle kriteeriumi osas 0 punkti
põhjendatud.
2.5 Proovitöö hindamiskriteeirumi alamkriteeirum 2 - Proovitöö testimise metoodika vastab OWASP
ASVS standardile
2.5.1 Kuivõrd Kolmas isik ei oma ligipääsu Vaidlustaja koostatud proovitööle, siis on siinkohal seisukoha
andmine raskendatud. Hankija 01.09.2023 seisukohas on toodud, et Vaidlustaja raportit
kontrollides ja võrreldes standardiga ei olnud hankijal võimalik tuvastada, milliseid OWASP ASVS
taseme 1 kontrolle on sisuliselt tehtud ja milliseid mitte. Kuna ühtegi otsest vastavust standardi
struktuurile ja kontrollidele ei olnud esitatud, siis sellest lähtuvalt ei ole vaidlustaja oma proovitöös
tõendanud, et OWASP ASVS taseme 1 kõik ettenähtud kontrollid standardist on päriselt läbitud (p
2.1.2). Kui eeltoodu vastab tõele, siis on selge, et 0 punkti oli õigustatud, sest proovitöö ei vastanud
üldse hankija ootustele.
2.6 Proovitöö hindamiskriteeirumi alamkriteeirum 3 - Proovitöö leitud puudused on põhjendatud ja
kirjeldatud arusaadavalt
2.6.1 Kolmas isik raporteeris 10 tõendatud turvanõrkust ja Vaidlustaja ainult 1 tõendamata turvanõrkuse,
mis peaks eraldiseisvalt juba näitama Vaidlustaja proovitöö kvaliteeti. Vaidlustaja on saanud 3
punkti, mis on Kolmanda isiku hinnangul isegi liiga palju arvestades Hankija seisukoha p-s 2.1.3
toodud seisukohti, mille kohaselt peavad põhjendused ja kirjeldused olema raportis toodud
arusaadavalt ning täpselt ja raporti lugeja peab saama üheselt aru, mis turvanõrkus leiti, kuskohas
see on ja milles see seisneb. Seega olukorras, kus Vaidlustaja raportist ei tulenenud millise
standardi kontrolli raames see puudus leiti ning ka vastav tõendusmaterjal oli puudu, siis peaks
kohane tulem olema, et proovitöös leitud puudused ei olnud põhjendatud ja kirjeldatud
arusaadavalt ja korrektne arv punkte oleks pidanud olema 0.
2.7 Proovitöö hindamiskriteeirumi alamkriteeirum 4 - Proovitöö testimise tulemusena esitatud
soovitused on arusaadavad ja täidetavad 12 kuu jooksul
2.7.1 Esitatud soovitus peaks olema väga spetsiifiline vastavalt hankija süsteemile, tehnoloogiale või
tootele. Seetõttu üldisest soovitusest ei pruugi piisata turvanõrkuse leevendamiseks. Kui soovitus
pole piisavalt spetsiifiline, siis polegi see hankija jaoks arusaadav ega ka täidetav 12 kuu jooksul.
Üldiseid soovitusi turvanõrkuste parandamiseks saab leida ka lihtsalt googeldades, kuid sellisel
juhul ei peakski siis vaidlustaja ega ka näiteks kolmas isik soovitusi eraldi välja tooma vaid lihtsalt
kopeerima googlest mingi üldise soovituse. Kokkuvõttes, soovitused peavad olema spetsiifilised ja
rakendatavad nagu Kolmas isik enda raportites (sh käesolevas hankes esitatud proovitöös)
kasutab.
2.8 Kokkuvõttes on ilmne, et Vaidlustaja on esitanud nõrga kvaliteediga proovitöö ning hindepunktide
vaidlustamisel püüab kasutada maksiime, mis seonduvad pakkumuse vastavuse, mitte
hindamisega. Hankijal on kvaliteedi hindamisel oluliselt suurem otsustusruum ning seda isegi
vaatamata Riigikohtu poolt kujundatud suunisele, kus kohus peab minema kaugemale ilmselgete
vigade testist ja kontrollima sisuliselt kaebaja etteheiteid hindamisele (3-20-1198, p 17). Kusjuures
viidatud Riigikohtu lahendis hindasid vaidlustuskomisjon, halduskohus ja ringkonnakohus hankija
otsust ilmselge vea testi alusel ning Riigikohus hindas otsuse põhjendatust sisulisemalt. Kuigi
Riigikohus tuvastas mõned vastuolud hankija argumentatsioonis, leidis ta, et hindamise tulem oli
kokkuvõttes siiski õiguspärane3.
3 https://riigihankeblogi.com/2020/12/14/hindamise-oigusparasusest-oigusjarglusest-ja-menetluskuludest-riigikohtu-
otsuse-3-20-1198-valguses/
LEPINGULISE ESINDAJA KULUDE NIMEKIRI
3.1 Kolmas isik taotleb Vaildustajalt lepingulise esindaja kulude väljamõistmist summas 1215,00 EUR
käibemaksuta. Kokku on tööd tehtud 6,75h tunnihinnaga 180 EUR+km. Tehtud tööde täpne
kirjeldus on nähtav tööde aruandes – Lisa 1.
MENETLUSLIKUD TEATED
4.1 Käesolev menetlusdokument on edastatud samaaegselt ka teistele menetlusosalistele.
Lugupidamisega
/Allkirjastatud digitaalselt/
Kadri Matteus
Vandeadvokaat
Lepinguline esindaja