Otsus

OTSUS Vaidlustusasja number 150-25/286764 Otsuse kuupäev 22.07.2025 Vaidlustuskomisjoni liige Angelika Timusk Vaidlustus MINDTITAN OÜ vaidlustus Riigi Tugiteenuste Keskuse riigihankes „Süvaõppe kasutusvõimalused ruumiandmete hõivel (Maa- ja Ruumiamet)“ (viitenumber 286764) ühispakkujate STACC OÜ ja REGIO OÜ pakkumuse edukaks tunnistamise otsusele Menetlusosalised Vaidlustaja, MINDTITAN OÜ, esindaja Kristjan Jansons Hankija, Riigi Tugiteenuste Keskus, esindaja Mihkel Rääk Kolmas isik, ühispakkujad STACC OÜ ja REGIO OÜ Vaidlustuse läbivaatamine Kirjalik menetlus RESOLUTSIOON RHS § 197 lg 1 p 4 ja RHS § 198 lg 3 alusel 1. Jätta MINDTITAN OÜ vaidlustus rahuldamata. 2. Jätta MINDTITAN OÜ vaidlustusmenetluse kulud tema enda kanda. EDASIKAEBAMISE KORD Halduskohtumenetluse seadustiku § 270 lg 1 alusel on vaidlustuskomisjoni otsuse peale halduskohtule kaebuse esitamise tähtaeg kümme (10) päeva arvates vaidlustuskomisjoni otsuse avalikult teatavaks tegemisest. JÕUSTUMINE Otsus jõustub pärast kohtusse pöördumise tähtaja möödumist, kui ükski menetlusosaline ei esitanud kaebust halduskohtusse. Otsuse osalisel vaidlustamisel jõustub otsus osas, mis ei ole seotud edasikaevatud osaga (riigihangete seaduse § 200 lg 4). ASJAOLUD JA MENETLUSE KÄIK 1. 21.02.2025 avaldas Riigi Tugiteenuste Keskus (edaspidi ka Hankija) riigihangete registris avatud hankemenetlusega läbiviidava riigihanke „Süvaõppe kasutusvõimalused ruumiandmete hõivel (Maa- ja Ruumiamet)“ (viitenumber 286764) (edaspidi Riigihange) hanketeate ja tegi kättesaadavaks muud riigihanke alusdokumendid (edaspidi RHAD). Pakkumuste esitamise tähtpäevaks esitasid pakkumuse seitse pakkujat, nende hulgas MINDTITAN OÜ ning ühispakkujad STACC OÜ ja REGIO OÜ. 2. Hankija 06.06.2025 otsusega tunnistati ühispakkujate STACC OÜ ja REGIO OÜ pakkumus edukaks. 3. 16.06.2025 laekus Riigihangete vaidlustuskomisjonile (edaspidi vaidlustuskomisjon) MINDTITAN OÜ (edaspidi ka Vaidlustaja) vaidlustus ühispakkujate STACC OÜ ja REGIO OÜ (edaspidi ka Kolmas isik) pakkumuse edukaks tunnistamise otsusele (edaspidi ka Otsus) Vaidlustaja pakkumuse ebaõige hindamise põhjusel. 4. Vaidlustuskomisjon teatas 25.06.2025 kirjaga nr 12.2-10/150 menetlusosalistele, et vaatab vaidlustuse läbi esitatud dokumentide alusel kirjalikus menetluses, tegi teatavaks otsuse avalikult teatavaks tegemise aja ning andis täiendavate seisukohtade ja dokumentide esitamiseks aega kuni 30.06.2025 ja neile vastamiseks 03.07.2025. Vaidlustuskomisjoni määratud esimeseks tähtpäevaks esitas täiendava seisukoha Vaidlustaja. Teiseks tähtpäevaks esitasid täiendava seisukoha Hankija. MENETLUSOSALISTE PÕHJENDUSED 5. Vaidlustaja, MINDTITAN OÜ, põhjendab vaidlustust järgmiselt. 5.1. Vaidlustaja pakkumuse hindamisel on esitatud väiteid, mis on ebatõesed või ei ole vastavuses RHAD-iga. 5.2. Hindamisprotokolli punkt: proovitöö 5.2.1. Hankija väide: Proovitöö kood oli Pythoni keeles ja arusaadavalt kommenteeritud, kuid selle jooksutamisel tekkis tõrkeid. Hankija sai koodi jooksma, kui kasutas pakkumuse teist testpilti. Kuna pakkuja kood ei jooksnud tõrgeteta kõigil testpiltidel, siis leidis hindamiskomisjon, et koodi kohta tekkis 1-2 küsimust, mistõttu ei saanud koodile omistada maksimumpunkte. Proovitöö kirjeldus sisaldas kõiki nõutud osi, oli kirjutatud ladusalt ja väga hästi selgitatud. Töös oli näha, et pakkuja katsetas erinevaid lähenemisviise. Vaidlustaja selgitus: Kuna antud punkt tekitas küsimuse, kuidas see võimalik on, palus Vaidlustaja 09.06.2025 teabevahetuses Hankija selgitust, mille sai 12.06.2025. Hankija tõdeb, et pakkujatele edastatud testpildil (pilt number 14) töötas kood edukalt. Nähtub, et Hankijal esinesid tehnilised raskused proovitöö koodi jooksutamisel lisapildil, mille tehnilist iseloomu on muudetud. Oluline sissejuhatus antud tehnilisse teemasse on see, et Hankija on RHAD dokumendis „Nõuded proovitööle_2403“ (edaspidi Nõuded) sõnastanud järgmised punktid: - Hankija annab ette märgendatud treeningandmed ning testpildi (lähteandmed); - testimisel antakse pakkujatele ette 1 testpilt suurusega kuni 0,5GB. Testpilt edastatakse nii TIF kui ka PNG formaadis; - mudeli testimise viivad pakkujad läbi enda taristul ning esitavad Hankijale tulemuse, st mudeli tuvastatud aknad raster- või vektorkujul (formaadid proovitöö väljundite osas); - proovitöö peab olema sooritatud Hankija etteantud andmete pealt. Proovitöö tulemusel valminud mudelit testitakse lähteandmetega samaväärsete andmete peal. 5.2.2. Proovitööga on kaks probleemi: - Hankija on eiranud enda kirjeldatud proovitöö tingimusi (testinud 1 pildi asemel 2 pildiga, millest teine pilt on tehniliselt erinev sellele, millega algne testimine oli plaanis); - Vaidlustajale tagasiside andmisel on esitatud pilt, millega Hankijal oli väidetavalt probleeme, kuid mis Vaidlustaja poolsel kontrollimisel töötab veatult. 2 (14) 5.2.2.1. Vaidlustajal on õigustatud ootus, et proovitöö teostamisel peab tehniliselt arvestama Vaidlustajale algselt edastatud proovitöö pildiga, millel proovitöö lahendust testitakse. Hankija kaasas aga omal algatusel ja eelnevalt teavitamata kaks pilti (minnes sellega vastuollu enda sõnastatud proovitöö reeglitega), kusjuures teise pildi puhul oli tegemist tehnilises mõistes erineva pildiga. Hankija ei saanud eeldada, et pakkuja peaks arvestama nõuetega ning erijuhtudega, mida ei ole proovitöö dokumendis kirjeldatud. Hankija ise põhjendas seda sellega, et alusandmete augmenteerimise käigus on tavapärane piltide pööramine ja muul viisil manipuleerimine ootuspärane ja lahendus peaks siiski töötama ka selliselt. Probleemi avaldudes saatis Vaidlustaja Hankijale täpsustavad küsimused testimise kohta. Hankija vastas ning edastas väidetavalt probleemse pildi, millega Vaidlustaja lahendus jooksis korrektselt. 5.2.2.2. Teabevahetuses kirjeldas Hankija järgmist olukorda proovitöö testimise kohta: Proovitöö kood oli Pythoni keeles ja arusaadavalt kommenteeritud, kuid selle jooksutamisel tekkis tõrkeid. Hankija sai koodi jooksma, kui kasutas pakkumuse teist testpilti. Kuna pakkuja kood ei jooksnud tõrgeteta kõigil testpiltidel, siis leidis hindamiskomisjon, et koodi kohta tekkis 1-2 küsimust, mistõttu ei saanud koodile omistada maksimumpunkte. Ja hilisemas vestluses: Hankija jooksutas pakkujate koode kahel testpildil: img_14 ja img_13. Pilt number 14 oli proovitöö testimise käigus pakkujatele edastatud pilt. Pilti nr 13 pakkujatele ei edastatud, seda kasutas hankija sisemiseks testimiseks ja koodi hindamiseks. Kahe pildi erinevus on see, et pilti nr 13 on keeratud 180 kraadi. Kõigi pakkujate koode jooksutati kahel pildil ja üksnes teie koodil esines pildiga nr 13 tõrkeid. Hankijal puudub täpne arusaam, mis tõrkeid põhjustas, aga kuna teise pildiga teie kood toimis, siis võib põhjust seostada pildi pööramisega. Käsuga "gdalinfo" tuvastatud erinevused kahe pildi vahel: Origin point: img_13.tif: Starts at (14204, 0) img_14.tif: Starts at (0, 10652) – pööramata pilt Pixel Size: img_13.tif: (1, 1) img_14.tif: (1, -1) – negatiivne Y väärtus on tavapärane Corner Coordinates: img_13.tif: pööratud piltidel ei ole ükski nurga koordinaat Y-teljel img_14.tif: pööramata piltidel on mõlema vasaku nurga koordinaat Y-teljel Kuna hankija alustas teie koodi hindamisel pildist nr 13, siis olid küsimused peamiselt seotud tõrkega, et koodi jooksutamisel ei suudetud leida geomeetria veergu. Pildi vahetamine lõpuks aitas. Siit lingilt on võimalik alla laadid ka pilt nr 13, et saaksite ka koodi sellel jooksutada: https://transit.envir.ee/message/c8dGO2FQ38pdhf6ZxYjenJ Protokollis on koodi hinde selgituseks toodud selle mittetoimivus pildil nr 13, mis tekitas hankijas küsimusi, sest ühegi teise pakkumuse kood ei andnud sarnast tõrget. Hankija hinnangul viitab see kõrgendatud tundlikkusele alusandmete parameetrites, st eeldatakse liiga perfektset sisendit. Alusandmete augmenteerimise käigus on nt tavapärane piltide pööramine ja muul viisil manipuleerimine, mis ei tohiks koodi toimimist takistada. Mõlema pildi koodi jooksutamise käsud ja tõrketeated on samuti kaasa pandud ja lingilt kättesaadavad. Loodetavasti aitab selgitus ja pildi nr 13 testimise võimalus teil saada selgust selle osas, mis koodis tõrke võis põhjustada. Kõige olulisema detailina nähtub eeltoodust, et Hankija ütleb selgelt, et teostas testimise kahel pildil, mitte ühel nagu RHAD-is nõutud. Pakkujatele teadmata oli lahenduse testimine pildil Img_13. Sellega esines Hankijal tõrkeid ning selle eest võeti Vaidlustaja pakkumuselt punkte vähemaks. 5.2.2.3. Isegi, kui lisapildi kasutamine oleks vastavuses RHAD-iga, ei mõista Vaidlustaja Hankija probleeme pildi kasutamisega. Vaidlustaja teostas pärast hindamisprotokolli kättesaamist ning Hankija selgitusi omapoolse lisatestimise, et viga taasluua, kuid protsessi käigus andis Hankija Vaidlustajale vale pildi, millega üritada viga taasluua. Sellega viga taasloodav ei olnud. 5.2.2.4. Viidet, et testimisel kasutatakse uut ja tehniliselt teistsugust pilti ning jooksutatakse 3 (14) kahel, mitte ühel pildil, proovitöö kirjelduses ei leidu. See ei ole iseenesest mõistetav, et sellist asja tehakse, eriti olukorras kus Hankija on sõnastanud, et testimisel antakse pakkujale ette 1 testpilt. Tehniliste lahenduste puhul ei saa oodata, et funktsioonid töötavad „out-of-the-box’’, vaid tehnilised nõuded tuleb sõnastada eelnevalt, et tagada ka nende hindamise õiguspärasus ja kontrollitavus. Sisuliselt sõnastas Hankija ühe ootuse proovitöös, kuid praktikas toimis teisiti ning kasutas laiendatud, kuid mitte iseenesest eeldatavate eeldustega testimist ning võttis pakkumuselt punkte vähemaks, kui lahendus ei vastanud Hankija ootustele, mis RHAD-ist ei nähtunud. 5.2.2.5. Selline lähenemine on vastuolus proovitöö eesmärgiga. Hankija sõnastatud proovitöö eesmärk on välja selgitada, kas pakkuja suudab luua aknaid tuvastava süvaõppe mudeli. Vaidlustaja tõestas, et suudab seda maksimumpunktide vääriliselt. Vaidlustaja on tehniliselt võimeline looma koodi, mis on teistsuguste sisendandmete töötlemiseks piisavalt robustne, kuid see ei olnud proovitöö eesmärk. 5.2.3. Proovitöö punktide mõju. Proovitöö vähendatud punktide tõttu sai Vaidlustaja pakkumus proovitöö koodi eest 7 punkti (mitte maksimaalsed 10). Korrektsel hindamisel oleks tulnud proovitöö eest anda 3 punkti rohkem. 5.3. Hindamisprotokolli punkt: projektiplaan 5.3.1. Hankija väide: Pakkuja lähenemine on katsetava iseloomuga, mis toetab innovatsiooniprojekti ellu viimist. Hindamiskomisjon pidas tähelepanuväärseks seda, et pakkuja paneb rõhku andmete ühilduvusele rahvusvahelisel tasandil ning omab head tunnetust ruumiandmete valdkonna tulevikusuundadest. Samuti hindas komisjon kõrgelt pakkumuse loovat lähenemist (üks segmentatsioonimudel teede, veekogude ja hoonete tuvastamiseks - väidetavalt targem ja mitte silmaklappidega), kuigi lähenemine tekitab hankijas kõhklusi ajakava täitmise osas ja mudeli rakendamise etapis (edasi treenimise ja täiendamise keerukus pärast projekti lõppu). Pakkuja demonstreerib eeskujulikke võtteid masinõppeprojekti juhtimisest (nt välja toodud igas etapis ka kasutusjuhu testimine (EHR, PÄA), reaalse kasu mõõtmise töövoo loomine). Ajakava ja eelarve on üldiselt realistlikud (90€/h, lõpus 3 kuud puhvrit), samas on pakkumusel kõrgendatud risk, et integreeritud mudeli puhul ei jõua pakkuja 1. aastaga nõutud osa (st 2 nähtuse tuvastamist) üle anda. Riskide ja nende maandamismeetmete kirjeldus näitab pakkuja arusaamist ja üldist võimekust riske maandada, kuid mõne teguri osas on riskianalüüs puudulik. Riskianalüüsis on kõrgendatud ajakava risk ja pakkuja potentsiaalne rahavoo risk (3 mudeli asemel on 1, st ka pikem aeg enne osamakset) välja toomata ja maandamata. 5.3.1.1. Vaidlustaja selgitus ajakava riski osas: Hankija väide, et ajakava risk on riskianalüüsis välja toomata, ei vasta tõele. Riskianalüüsis on risk Ajakavast ei peeta kinni esimene välja toodud risk koos riski maandamise nüanssidega. Lisaks on projektiplaani visiooni osas ammendavalt põhjendatud, et ühe mudeli lähenemine on eeldatavalt soodsam nii kvaliteedi, ajalise ressursi kui ka arvutusliku ressursi osas. Ajakava võimaldab lihtsalt iteratiivse arendusmetoodikaga läbida rohkem iteratsioone ja luua iteratiivselt aina parema mudeli. Puudub argumenteeritud ning faktipõhine põhjendus, miks ühe mudeli põhine lahendus on riskantsem, millega loob Hankija olukorra, kus on võimatu kontrollida hindamisprotokolli fakti- ja õiguspõhisust ning veenduda, et tegu ei ole ühe pakkuja subjektiivse eelistamisega teisele . 5.3.1.2. Vaidlustaja selgitus rahavoo riski osas: Hankepassi kohaselt on kvalifitseerimise tingimuseks (RHS § 100 lg 1 p 4) seatud, et pakkuja viimase kolme käesoleva riigihanke algamise ajaks lõppenud majandusaasta netokäivete 4 (14) (müügitulu) summa peab olema kokku vähemalt 300 000 (kolmsada tuhat) eurot. Vaidlustaja finantsseisund on sobiv. Lisaks on lubatud 12 kuud I ja II etapi tööde ja aruannete üleandmiseks aeg töövõtulepingu p- i 3.1.1 alusel ja sellesse piiri Vaidlustaja pakkumuses kirjeldatud ajagraafiku alusel mahub. Eelnevat arvestades ei ole asjakohane Hankija hinnang, et Vaidlustaja pakkumuse ajagraafik tekitab riski Vaidlustaja rahavoogudele, kuna Vaidlustaja vastab nii netokäibe kui ka ajagraafiku nõuetele. Vaidlustaja rahavoogude juhtimine arvestab ka pikemate projektide ning sellest tulenevate sissetulekute hajutamisega pikemate perioodide vahele. Hankija ei saa omal algatusel ning RHAD-i nõuetest mööda minnes seada seda Riigihanke hindamisprotsessis kitsenduseks. 5.3.2. Riskianalüüsi punktide mõju Ajakava ja rahavoo vähendatud punktide tõttu anti pakkumusele riskianalüüsi eest 3 punkti (mitte 5). Korrektse hindamise korral oleks Vaidlustaja pakkumus saanud 2 punkti rohkem. 5.4.Kui Hankija oleks punkte andnud õigesti, oleks Vaidlustaja pakkumusele tulnud omistada kokku 85,27, mis on rohkem kui Kolmanda isiku pakkumusel (84,37) ja Vaidlustaja pakkumus oleks tulnud edukaks tunnistada. 5.5. 27.30.2025 täiendas Vaidlustaja oma seisukohti. 5.5.1. Proovitöö 5.5.1.1. Tänu Hankija lisaselgitustele mõistab Vaidlustaja, milliseid tehnilisi operatsioone on Hankija tõenäoliselt pildiga 13 teinud. Teabevahetuse kaudu Vaidlustajale 12.06.2025 antud pildiga 13 ei oldud selliseid operatsioone tehtud ja sellega töötab Vaidlustaja kood edukalt. See viitab sellele, et RTK on eraldi teostanud operatsioone ja näinud vaeva, et leida viis, kuidas koodi jooksutades tekiks viga. 5.5.1.2. Hankija selgitused ei muuda Vaidlustaja seisukohta, et ta täitis proovitöö eesmärgi selgitada välja, kas pakkuja suudab luua aknaid tuvastava süvaõppe mudeli. Vaidlustaja suutis seda teha maksimumpunktide vääriliselt (Hankija ise tõdeb, et kood töötab selle pildiga, mis pakkujatele edastati). 5.5.1.3. Vaidlustaja kood töötab edukalt kõikide piltidega (treeningandmetega, mida oli 12 pilti, ja testpildiga 14), mille Hankija väljastas enne pakkumuse esitamise tähtpäeva. Lisaks töötab kood ka 12.06.2025 teabevahetuses edastatud lisapildiga 13, mille peal lisaoperatsioone ei ole teostatud. Pakkuja ei pea eeldama, et tuleks arvestada teistsuguste eeltöötlustega, kui need, mida enne pakkumuse esitamise tähtaega on nähtud. 5.5.1.4. Hankija püüab jätta mulje, nagu oleks tegu tühise erinevusega. Kui hanke lähteandmeid oleks lubatud muuta, siis võimaldaks see otsida ka teisi viise koodi katki tegemiseks kas sisendandmete modifitseerimise/eeltöötlemise teel (nt kanalite lisamine) või miks mitte ka teiste meetoditega (näiteks teostada turvateste, kuigi turvanõudeid pole välja toodud). Hankija selgitus, et treenimise faasis on pilte meelega augmenteerinud, tõestab ainult seda, et Vaidlustajal on tehniline võimekus ja teadmine selliseid asju teha. 5.5.1.5. Kuna kood töötas Hankija antud andmetel, oli lisapildiga selle katkitegemiseks viisi leidmine ebavajalik tegevus, mis ei ole proovitöö eesmärk. Hankija väidab, et testimisel kasutatud piltide arv ei olnud piiratud, kuid Nõuded ütlevad, et Testimisel antakse pakkujatele ette 1 testpilt. 5.5.2. Riskianalüüs 5 (14) 5.5.2.1. Hankija kaldub teemast kõrvale kui selgitab, kuidas Vaidlustaja ajakava kahtlusi tekitab. Samas on projektiplaani kirjelduse, sh ka ajakava eest antud talle maksimumpunktid. Hindamismetoodikas väljatoodu järgi tähendab see, et Pakutud projekti aja- ja tegevuskava on hankelepingu nõuetekohaseks täitmiseks mõistlik ja objektiivselt põhjendatud ning Vastab täielikult riigihanke alusdokumentides kirjeldatud tellija ootustele. Samuti on hindamisprotokollis nimetatud, et ajakava on hästi põhjendatud ja realistlik. Lisaargumentidena välja toodud kahtlusi või murekohti ajakava kohta arvesse võtta ei ole õige, kui projektiplaani kirjelduse, sh ajakava eest on juba maksimumpunktid antud. Arvesse saab võtta ainult riskianalüüsi väidetavaid puuduseid. 5.5.2.2. Riskianalüüsi puhul oli hindamisprotokollis ette heidetud kahte puudust: puudu on ajakava ja rahavoo risk. Hankija vastuses jääb mulje, et rahavoo riski puudumise etteheitest on Hankija loobunud, kuid on sidunud selle ajakava riskiga. Ajakava risk on riskianalüüsis välja toodud. 5.5.2.3. Välja toodud risk Ajakavast ei peeta kinni koos riski maandamise nüanssidega katab ajakava riski ära. Teised riskid (Hankija võtmeisiku kättesaamatus, andmete ettevalmistamine Maa- ja Ruumiameti poolt viibib) on olemuselt teistsugused, sest need ei ole Vaidlustaja kontrolli all. 6. Hankija, Riigi Tugiteenuste Keskus, vaidleb vaidlustusele vastu. 6.1. Vaidlustaja on seisukohal, et tema pakkumus oleks pidanud saama proovitöö koodi eest 3 punkti rohkem ja riskianalüüsi eest 2 punkti rohkem ning Hankija oleks pidanud tunnistama Vaidlustaja pakkumuse edukaks. Hankija ei nõustu vaidlustuses esitatud seisukohtadega. 6.2. Hankija on lähtunud pakkumuste hindamisel RHAD-is, sh hindamismetoodikas, sätestatud reeglitest ega ole muutnud pakkumuste hindamise käigus hindamiskriteeriumeid. Vaidlustaja ei ole Riigihanke alusdokumente sh nõudeid proovitööle ega hindamismetoodikat vaidlustanud. Hankija ei lisanud hindamise käigus täiendavaid hindamiskriteeriume ning ükski hindamiskriteerium ei olnud pakkujate jaoks salajane. 6.3. Proovitöö 6.3.1. Vaidlustaja koodi jooksutamisel ilmnesid Vaidlustaja koodis tõrked. Kõikide teiste pakkujate esitatud koodi jooksutamisel samalaadi tõrge puudus. Esmaste tõrgetega pöördus Hankija Vaidlustaja poole ja küsis selgitusi koodi jooksutamiseks. Pakkuja selgitas ning see lahendas koodi jooksutamise tõrked osaliselt. Kood ei jooksnud ja peamine veateade oli seotud tundmatu geomeetriaga. Veateade ei tuvastanud sisendandmete ebasobivust. Hankija hindamiskomisjon jätkas katsetega kood tööle saada, jagades koodi Keskkonnaministeeriumi Infotehnoloogiakeskuse spetsialistiga, kuid veateade oli sama. Lõpuks, kui sisendiks võeti teine pilt, siis probleemid lahenesid. Hankija jagas seejärel koodi hindamiskomisjoni koosseisu kuuluva masinõppespetsialistiga, et koodi ka väljaspool haldusala jooksutada ja näha, kas viga võis olla tingitud Hankija seadmetest, taristust või võrgusätetest. Väline ekspert sai piltidega 13 ja 14 samad tulemused, mis kinnitas Hankijale, et probleem oli pakkuja koodis. Tingimus, et testimisel antakse pakkujatele ette 1 testpilt suurusega kuni 0,5GB ning testpilt edastatakse nii TIF kui ka PNG formaadis, puudutab nõudeid proovitööle ning antud nõuet on Hankija järginud. 6.3.2. Hankija ei ole proovitöö nõuete vastu eksinud. Nõuded, sh testimise tingimused, on sätestatud proovitöö korraldusele. Proovitöö testimine ja pakkuja koodi hindamine on kaks erinevat asja. Proovitöö nõuete kohaselt: Proovitöö üks osa on mudeli testimine, mis toimub 6 (14) hankija poolt ette antud testandmetel piiratud aja jooksul. Proovitöö tulemusel valminud mudel pidi läbima testimise. Vastavalt proovitöö nõuetele viisid mudeli testimise läbi pakkujad enda taristul ning esitasid Hankijale tulemuse, mis sisaldas mudeli tuvastatud aknad raster- või vektorkujul (formaadid proovitöö väljundite osas). Testimine toimus 2 päeva enne pakkumuste esitamise tähtpäeva kell 10.00–13.00. Hankija andis kõikidele Riigihanke juurde registreerunud huvitatud isikutele teada testimise ajast ning ligipääsu treeningandmetele ning testpildile läbi RHR-i teabevahetuse (sõnumid 950974; 951224; 952258; 956274; 956277; 956284; 956297; 956302; 956305 ja 958159). Pakkujad esitasid allkirjastatud testimise tulemuse pakkumuse koosseisus. Proovitöö testimine toimus enne pakkumuse esitamist. 6.3.3. Koos pakkumusega esitati ja proovitöö all hinnati kolme proovitöö tulemit: - testimise tulemus; - mudeli kood; - proovitöö kirjeldus. Vaidlustaja väidab ekslikult, et Hankija on mudeli koodi hindamisel läinud vastuollu enda seatud nõuetega, jooksutades pakkujate koode muudel piltidel kui pakkujatega jagatud pildil 14. Koodi hindamisel on välja toodud, et kood peab olema kommenteeritud, hästi toimiv, loogiline ja Pythoni keeles ning seda vaadati nii vastavuskontrollis, kui ka hindamisel. Hankija ei ole üheski RHAD-i dokumendis väitnud, et pakkujate koodi hindamisel lähtutakse koodi toimimisest vaid pildil 14. Kuna kõikide lähteandmete puhul on tegemist samaväärsete andmetega, kasutas Hankija koodide jooksutamisel teadlikult ka teisi pilte ning selline Hankija tegevus on kooskõlas RHAD-iga. 6.3.4. Hankija ei ole proovitöö tingimustes väljendanud, et lähteandmed oleksid ilma igasuguse eeltöötluseta. Lähteandmeteks olevad kaldpildid on toodetud kaameraga, mis pildistab neljas erinevas suunas. Need katavad suurt vaatesektorit ja on mahult suured. Pilti nr 13 on pööratud seetõttu, et see on tehtud nö tahavaatavast kaamerast, mis oma positsiooni tõttu pildistab tagurpidi. On ootuspärane, et kaldpilte on vaja eeltöödelda (nt pöörata). Pööramine on levinud eeltöötluse samm selliste masinõppeprojektide puhul, kus alusandmeteks on pildid. Ka pakkujatele edastatud treeningandmete seas oli pööratud pilte, mistõttu peaks kõik pakkujate koodid oskama arvestada ja jooksma pööratud piltidega. Piltide pööramine ei ole mõjutanud mudeli toimimist. Pilt nr 13 on pööratud rohkem, kui teised pildid 90 kraadi asemel 180 kraadi, kuid seda pole ebatavalisel või äärmuslikul viisil muudetud. Pakkujatel oli võimalus tutvuda lähteandmetega, sh pööratud piltidega, treenimise etapis kogu testimisele eelneval ajal. Mudelid peaksid suutma objekte tuvastada pikslipõhiselt, olenemata, kas pikslid on pööratud või mitte. Kuigi pilt nr 13 on pööratud, on see samaväärne teiste lähteandmetega, kuna tuvastuse jaoks olulised aspektid nagu pildi sisu, suurus, piksli kuju, eraldusvõime, spektraalsed omadused ja objektistruktuur säilisid muutumatuna. 6.3.5. Tehisarul põhinevate mudelite üks aluspõhimõtteid on, et mudel peab olema robustne, st mitte liiga tundlik sisendi osas. Pildi pööramine on rahvusvaheliselt aktsepteeritud praktika nt sisendandmete augmenteerimisel (juurde tootmisel) või mudeli robustsuse testimisel, mis aitab hinnata mudeli üldistusvõimet. Piltide pööramise praktikat kinnitab ka see, et pakkuja on ise lähteandmeid augmenteerides pööranud. 6.3.6. Tõele ei vasta Vaidlustaja väide, et pildi pööramine on tehniliselt oluline nüanss. Vaidlustaja kood ei jooksnud pildil nr 13, kuid samas andis tulemuse teisel pildil. Kuna kood ei toiminud kõikidel piltidel tõrgeteta, tekitas see hindamiskomisjonis küsimusi, mistõttu polnud võimalik Vaidlustaja pakkumusele maksimaalseid punkte omistada. Hankija hindamiskomisjon püüdis leida koodi tõrgetele vastust, et mh omistada hindamismetoodika alusel Vaidlustaja pakkumusele korrektsed punktid. Kokku jooksutas Vaidlustaja koodi 3 inimest eraldiseisvalt ja veateated olid täpselt samad: probleem geomeetriaga. 7 (14) Veateatel puudub otsene viide pildile või selle pööramisele. Veateade ei tule pildi pööramisest. 6.3.7. Tavapärane on hoida kood nii lihtsana kui võimalik ja tuvastada vigade juurpõhjus. Selle on Hankija välja toodud ka proovitöö nõuetes viidatud Clean Code üldpõhimõtete p-is 2 ja 4 (General rules). Proovitöö nõuetes on Hankija selgesõnaliselt öelnud, et hästi toimiv kood on kooskõlas koodi loomise hea tavaga ning, et aluseks võib võtta nt Robert C. Martini “Clean Code” põhimõtted (Summary of 'Clean code' by Robert C. Martin GitHub). Kui Vaidlustaja kood oleks hea tava kohaselt sisaldanud sisendi valideerimist (st juurpõhjuse tuvastamist ning teavitust selle kohta, kui sisendandmed on koodi jaoks ebasobivad), siis oleks olnud tekkinud tõrge paremini diagnoositav ning võimalik, et küsimusi koodiga poleks hindamiskomisjonil tekkinud. Hankija hindamiskomisjon tegi omaltpoolt piisavalt koodi tööle saamiseks ja vea tuvastamiseks, kuid koodi valikuline toimimine ning ebamäärased veateated tekitasid hindamiskomisjonis põhjendatud küsimusi, mistõttu ei saa Vaidlustajale koodi eest omistada maksimumpunkte. 6.3.8. Hankija ei ole läinud vastuollu proovitöö reeglitega ega hindamismetoodikas sätestatud tingimustega. Hankija jooksutas koodide toimivuse hindamisel neid teadlikult mitmel pildil ja ei olnud piiratud üksnes testimisel kasutatud pildiga nr 14. 6.4. Riskianalüüs projektiplaanis 6.4.1. Hankija on hinnanud Vaidlustaja vastavust kvalifitseerimise tingimusele vastavalt kvalifitseerimise tingimustele RHAD-is ning Hankija on omistanud majanduslikult soodsaima pakkumuse väljaselgitamiseks punkte ja hinnanud pakkumusi hindamismetoodika alusel. Kvalifitseerimise tingimustele vastavuse kontroll ja pakkumuste hindamine hindamismetoodika alusel on kaks erinevat asja. 6.4.2. Hindamiskomisjon ei ole võtnud punkte maha pakkuja likviidsuse tõttu vaid seetõttu, et pakkuja ei ole riskianalüüsis piisavalt selgitanud enda valitud metoodikast tulenevat ajakava riski ega sisuliselt selle maandamismeetmeid. Protokollis on viidatud potentsiaalsele rahavoo riskile, mille fookus on ajakava teostamise riskil. Hankijale jääb arusaamatuks, miks Vaidlustaja omistab riskianalüüsis kaotatud punktid eelkõige majanduslikele näitajatele. 6.4.3. Protokollis on selgelt fookuses metoodikast tulenev surve 1. aasta ajakavale ja rangele tähtajale, sealjuures peab hindamiskomisjon Vaidlustaja võimekust töid teostada üldiselt heaks, aga mitte maksimumpunktide vääriliseks. Väljavõte hindamiskomisjoni protokollist: Ajakava ja eelarve on üldiselt realistlikud (90€/h, lõpus 3 kuud puhvrit), samas on pakkumusel kõrgendatud risk, et integreeritud mudeli puhul ei jõua pakkuja 1. aastaga nõutud osa (st 2 nähtuse tuvastamist) üle anda. Hankija hindmiskomisjon on oma protokollis Vaidlustaja pakkumusele 3 punkti omistamisega mh selgitanud, et riskianalüüs tagab mõningate mööndustega hankelepingu nõuetekohase täitmise ja vastab seega üle keskmise RHAD-is kirjeldatud Hankija ootustele. 6.4.4. Hankija ei väida, et Vaidlustaja ei oleks ajakavaga seotud riske hinnanud. Hindamiskomisjon peab riskide hindamist üldiselt heaks, kuid Vaidlustaja pole oma metoodikavalikust tulenevalt piisava detailsusega ajakava riske läbi mõelnud ja kirjeldanud. Hindamisprotokolli sõnastuse kohaselt: Ajakava ja eelarve on üldiselt realistlikud (90€/h, lõpus 3 kuud puhvrit), samas on pakkumusel kõrgendatud risk, et integreeritud mudeli puhul ei jõua pakkuja 1. aastaga nõutud osa (st 2 nähtuse tuvastamist) üle anda. Riskide ja nende maandamismeetmete kirjeldus näitab pakkuja arusaamist ja üldist võimekust riske maandada, kuid mõne teguri osas on riskianalüüs puudulik. Riskianalüüsis on kõrgendatud ajakava risk ja pakkuja potentsiaalne rahavoo risk (3 mudeli asemel on 1, st ka pikem aeg enne osamakset) välja toomata ja maandamata. Siin on silmas peetud rõhuasetust sõnal kõrgendatud. 8 (14) Hindamiskomisjoni liikmed süüvisid põhjalikult riskianalüüsi. Ajakava muutustega seotud riske analüüsis mitu (nt ajakavast ei peeta kinni, Hankija võtmeisiku kättesaamatus, andmete ettevalmistamine Maa- ja Ruumiameti poolt viibib), aga puudulikuks pidas hindamiskomisjon just pakkuja metoodikast (kolmest mudelist koosnev integreeritud mudel esimese aasta jooksul) tuleneva ajasurve maandamist esimesel aastal (kus puhveraeg tähtajani on 0 nädalat). Tegemist on ambitsioonika ettevõtmisega teostada esimesel aastal vähemalt 1,5 kordne tööde maht. Sealjuures peavad integreeritud mudeli edukaks tunnistamise jaoks olema täidetud kõigi kolme andmegrupi (teed, vooluveekogud, hooned) sihttasemed, semantilised ja geomeetrilised ootused korraga. 6.4.5. Hankijal peab olema aega kõigi andmegruppide jaoks toota treeningandmeid, vahetulemusi testida, tagasisidet anda ning kaardistajate töökiiruse muutusi mõõta. Vahe- ja lõpptulemusi valideeritakse ka lõppkasutajate peal ning pakkuja peab jõudma tööde üle andmiseks koostada ka kolme etapi dokumentatsiooni. Hankija ei väida, et 1,5-kordne töö maht esimesel aastal on võimatu, kuid olematu puhveraeg I aasta lõpus ja esimese aasta töömahu mitte adresseerimine riskianalüüsis tekitas hindamiskomisjonis kahtluse, et pakkuja arvates on esimese kahe mudeli üleandmise tähtaeg libisev, mida see aga ei ole. Hankelepingu projekti p- i 3.1.1 kohaselt I ja II etapi tööd (I ja II mudel) ja aruanded antakse üle hiljemalt 12 kuu jooksul, pärast hankelepingu sõlmimist. Sama hankelepingu projekti p-i 3.1.3 kohaselt lepingu p-ides 3.1 ja 3.1.1. kehtestatud töö üleandmise tähtpäevad ning p-is 2.1. esitatud tööde maksumus jääb muutmata, isegi kui on vajadus täpsustada aja- ja tegevuskava. 6.5.5. Tempokas ajakava esimesel aastal võib realiseeruda kvaliteedi languses, et tähtajast kinni pidada. Hankija jääb protokollis toodud seisukohale, et riskianalüüs tagab tellija hinnangul mõningate mööndustega hankelepingu nõuetekohase täitmise ja vastab seega üle keskmise riigihanke alusdokumentides kirjeldatud tellija ootustele, kuid ei saa öelda, et Hankijal oleks täis veendumus Vaidlustaja korrektses lepingu nõuetekohase täitmise võimekuses, mistõttu ei saa omistada riskianalüüsi eest maksimumpunkte. 6.6 Hankija esitas 03.07.2025 täiendava seisukoha. 6.6.1. Vaidlustaja eksitab vaidlustuskomisjoni, jättes mulje, et nõuded proovitööle on sama asi, mis nõuded koodi hindamisele. Proovitöö on tervik, mille ühe väljundina pidid pakkujad esitama Hankijale enda treenitud mudeli koodi. Vaidlustaja kasutab läbivalt segamini termineid „proovitöö“, „kood“ ja „testimine“, kuigi proovitöö osas on vaidlustatud ainult ühe hindamiskriteeriumi – mudeli kood – punktid. Vaidlustus baseerub suures osas proovitöö teiste hindamiskriteeriumide metoodikal või proovitöö nõuetel, mis ei kohaldu koodi hindamisele. Kohatu on rääkida testimisest või nõuetest proovitööle, kui vaidlustatud on mudeli koodi eest antud punktid. Vaidlustaja püüab kas menetlust segaseks ajada või ei ole ta ise hindamismetoodikast aru saanud. 6.6.2. Hankija ei ole läinud vastuollu proovitöö nõuetega ega hindamismetoodikas sätestatud tingimustega. Hankija hindas koode, jooksutades neid teadlikult mitmel pildil ja ei olnud piiratud üksnes testimisel kasutatud pildiga nr 14. Proovitöö nõuetes sätestatud tingimus, et testimisel antakse pakkujatele ette 1 testpilt suurusega kuni 0,5GB ning testpilt edastatakse nii TIF kui ka PNG formaadis, puudutab üksnes testimist ning antud nõuet on Hankija ka järginud. Hankija hindamiskomisjon võttis riskianalüüsi osas Vaidlustaja pakkumuselt punkte maha, kuna Vaidlustaja pole riskianalüüsis piisavalt selgitanud enda valitud metoodikast tulenevat ajakava riski ega sisuliselt selle maandamismeetmeid. Hankija on mh protokollis viidanud potentsiaalsele rahavoo riskile, mille fookus on ajakava teostamise riskil. 6.6.3. Proovitöö 9 (14) 6.6.3.1. Nõuded proovitööle on dokument, mis sätestab eelkõige seda, mida pakkujad proovitöö osana peavad esitama, millistel andmetel pakkujad mudelit peavad treenima ning kuidas on korraldatud proovitöö testimine. Kood on proovitöö üks väljund, sisuliselt mudeli kirjapilt Pythoni keeles, ning koodi hindamine on proovitöö üks alakriteeriume. Teised kaks proovitöö alakriteeriumi on proovitöö kirjeldus ja mudeli edukus, mida hinnati 07.04.2025 korraldatud testimisega. 6.6.3.2. Vaidlustaja räägib läbisegi koodi alakriteeriumi eest maha võetud punktidest, mudeli testimisest (mis on tegelikult seotud mudeli edukuse alakriteeriumiga) ja nõuetest proovitööle (täpsemalt, testimise korraldusest). Vaidlustatud on üksnes koodi alakriteeriumi osa, mitte mudeli edukus, mida testimisega hinnati. Koodi puhul hinnatakse seda, kas kood toimib, on loogiline, on Pythoni keeles või tekitab küsimusi. Kui kood tekitab hindamiskomisjonis küsimusi, ei saa hindamismetoodika alusel selle eest anda maksimumpunkte. 6.6.3.3. Mudeli edukust hinnati 07.04.2025 toimunud testimise põhjal, mis on sisuliselt proovitöö „eksam“. Testimise sooritasid pakkujad pilt nr 14 peal ning edastasid Hankijale tulemused, millelt arvutati numbriline vääring (F-skoor) ning mis oli aluseks mudeli edukuse eest antavatele punktidele. Vaidlustaja väide, et Vaidlustaja tõestas, et suudab seda teha maksimumpunktide vääriliselt (hankija ise tõdeb, et kood töötab selle pildiga, mis pakkujatele edastati) on väär. Vaidlustaja ei oleks mingil juhul saanud proovitöö eest maksimumpunkte isegi kui koodi eest omistataks maksimumpunktid, sest mudeli edukuse eest ei saanud Vaidlustaja maksimumpunkte. Koodi jooksmine ühel valitud pildil ei anna proovitöö eest maksimumpunkte. 6.6.3.4. Vale on ka Vaidlustaja väide: Leiame, et oleme proovitöö täitnud maksimumpunktide vääriliselt. Vaidlustaja mõtleb siin ilmselt koodi alakriteeriumit, kuid näitab suutmatust mõista hindamismetoodikat, viidates kogu proovitöö punktidele. 6.6.3.5. Tõele ei vasta Vaidlustaja väide, mille kohaselt Hankija ütleb, et testimisel kasutatud piltide arv ei olnud piiratud, kuid proovitöö nõuded ütlevad selgelt, et “Testimisel antakse pakkujatele ette 1 testpilt”. Hankija ei ole RHAD-is öelnud, et testimisel kasutatud piltide arv ei ole piiratud. Vastupidi, testimise nõuded, mh see, et pakkujatele antakse ette proovitöö puhul üks testpilt, on selgelt Nõuetes kirjas. Vaidlustaja ei oska vahet teha proovitöö alakriteeriumitel ja nende hindamisel. 6.6.3.6. 12.06.2025 sõnumis nr 974314 selgitas Hankija RHR-is Vaidlustajale, et Hankija jooksutas pakkujate koode kahel testpildil: img_14 ja img_13. Pilt number 14 oli proovitöö testimise käigus pakkujatele edastatud pilt. Pilti nr 13 pakkujatele ei edastatud, seda kasutas hankija koodi hindamiseks. Kahe pildi erinevus on see, et pilti nr 13 on keeratud 180 kraadi. Hankija jooksutas kõigi pakkujate koode kahel pildil ning üksnes vaidlustaja koodil esines pildiga nr 13 tõrkeid. Hankijal puudub täpne arusaam, mis tõrkeid põhjustas, aga kuna teise pildiga vaidlustaja kood toimis, siis võib põhjust seostada pildi pööramisega. Käsuga "gdalinfo" tuvastatud erinevused kahe pildi vahel: Origin point: img_13.tif: Starts at (14204, 0) img_14.tif: Starts at (0, 10652) – pööramata pilt Pixel Size: img_13.tif: (1, 1) img_14.tif: (1, -1) – negatiivne Y väärtus on tavapärane Corner Coordinates: img_13.tif: pööratud piltidel ei ole ükski nurga koordinaat Y-teljel img_14.tif: pööramata piltidel on mõlema vasaku nurga koordinaat Y-teljel. Kuna Hankija alustas Vaidlustaja koodi hindamisel pildist nr 13, siis olid küsimused peamiselt seotud tõrkega, et koodi jooksutamisel ei suudetud leida geomeetria veergu. Pildi vahetamine 10 (14) lõpuks aitas. Hankija tõi hindamiskomisjoni protokollis koodi hinde selgituseks koodi mittetoimivus pildil nr 13, mis tekitas Hankijas küsimusi, kuna ühegi teise pakkumuse kood ei andnud sarnast tõrget. Hankija hinnangul viitas see kõrgendatud tundlikkusele alusandmete parameetrites, st eeldatakse liiga perfektset sisendit. Alusandmete augmenteerimise käigus on nt tavapärane piltide pööramine ja muul viisil manipuleerimine, mis ei tohiks koodi toimimist takistada. Kuna Vaidlustaja kood ei jooksnud tõrgeteta kõigil testpiltidel, siis leidis Hankija hindamiskomisjon, et koodi kohta tekkis 1 kuni 2 küsimust, mistõttu ei saanud Vaidlustaja koodile ka omistada maksimumpunkte lähtuvalt Hankija seatud hindamismetoodikast. 6.6.3.7. 12.06.2025 RHR-i sõnumiga nr 974314 edastas Hankija Vaidlustajale lisaks sõnumis toodud sisulisele selgitusele ka lingi https://transit.envir.ee/message/c8dGO2FQ38pdhf6ZxYjenJ[1], millelt Vaidlustaja sai alla laadida pildi nr 13, eesmärgiga, et Vaidlustaja saaks koodi jooksutada ka ise. Vaidlustusmenetluse käigus sai Hankija teadlikuks, et on RHR-i sõnumis nr 974314 ekslikult edastatud lingiga kaasa pannud pildi, mis ei vasta sõnumis nr 974314 toodud kirjeldusele. 6.6.3.8. Hankija edastab Vaidlustajale ise pööratud pildi testimiseks, mille põhjal on võimalik veenduda sõnumiga nr 974314 edastatud olukorra kirjelduse ja parameetrite tõesuses. Sõnumi nr 974314 olukorra kirjeldusele vastav pilt (mis jäi sõnumiga nr 974314 edastamata) ja olukorra kirjeldusele mittevastav pilt (mis edastati sõnumiga nr 974314) on kättesaadavad transiti vahendusel lingilt https://transit.envir.ee/message/8f4P2lpFEM8UnOUYNVyBnD (03.07.2025): - img_13_VASTAB KIRJELDUSELE.tif ja - img_13_EI VASTA KIRJELDUSELE_saadetud 12.06.tif. Kirjeldusele vastavast failist nähtub, et selle info on Vaidlustaja saanud Hankijalt RHR-is 12.06.2025 sõnumiga nr 974314. 6.6.3.9. Hankija ei ole modifitseeritud „salapiltidel“ Vaidlustaja koodi jooksutanud pahatahtliku eesmärgiga leida Vaidlustaja koodis vigu. Hankija on 12.06.2025 sõnumiga nr 974314 selgitanud Vaidlustajale sisuliselt, et Vaidlustaja kood ei jooksnud pildil nr 13 ning Hankija kirjeldas koodi veateadet Vaidlustajale. Sõnumiga nr 974314 saatis Hankija Vaidlustajale selgituse, veateate ja pildi nr 13, et Vaidlustaja saaks ka ise jooksutada koodi ja viga korrata. Saadetud sõnumi juurde manustas Hankija ekslikult sõnumi kirjeldusele mittevastava pildi. Hankija ei ole Vaidlustaja koodi jooksutamise veateadet välja mõelnud. 6.6.3.10. Hindamismetoodika alusel ei saanud Hankija omistada Vaidlustaja pakkumusele maksimumpunkte. Kui Vaidlustaja kood oleks jooksnud kirjeldatud parameetritega pildil, siis ei oleks hindamiskomisjonil tekkinud küsimusi ja oleks saanud koodile omistada maksimumpunktid. Hankija jääb seisukohale, et pildi pööramine on tavapärane eeltöötluse viis. 6.6.3.11. Tahavaate kaamerapildi 180 kraadi keeramine oli vajalik selleks, et Hankija ei peaks pildi digimise käigus kaela nihestama. Sarnaselt pööras Hankija küljevaate pilte 90 kraadi ühele või teisele poole. Pööramata piltide digimine eeldaks tööd ebainimlikus asendis. See, et treeningandmete komplektis ei olnud ühtki 180 kraadi pööratud pilti, oli juhus ja mitte Hankija soov pakkujate koode hilisemas faasis katki teha. Kõnealune pilt nr 13 oli esimene pilt, millega koodi toimivust katsetati, koodi katki tegemise viise ei ole otsitud. Ka koodi toimivuse testimisel pole sellist eesmärki seatud, et kontrollida koodi vastupidavust katki tegemisele. 6.6.3.12. Proovitöö nõuetes sätestatud tingimus, et testimisel antakse pakkujatele ette 1 testpilt suurusega kuni 0,5GB ning testpilt edastatakse nii TIF kui ka PNG formaadis, käib üksnes proovitöö nõuete kohta. Testimine on protsess, mille viisid läbi pakkujad ise, nö proovitöö eksam. Testimise jaoks oli Hankija igaks juhuks ette valmistanud kaks testpilti, millest üks läks kasutusse (pilt 14). Juhul, 11 (14) kui testimise ajal oleks pildiga 14 olnud probleem, siis oleks Hankija saanud jagada selle asemel pilti nr 13. Testimine sujus ja pilti nr 13 vaja ei läinud, mistõttu oli seda hea kasutada hilisemas etapis koodide jooksutamiseks ja hindamiseks. 6.6.3.13. Hankija ei eksinud enda proovitöö nõuete vastu, sh ei jaganud pakkujatega rohkem kui üht pilti ega hinnanud proovitöö tulemusi (F-skoor) ühelgi muul pildil kui pilt 14, mida oli pakkujatega jaganud. Koodide hindamise etapis (erineb testimisest) jooksutas Hankija pakkujate koode teadlikult mitmel pildil ja ta ei olnud piiratud üksnes testimisel kasutatud pildiga nr 14. 6.6.4. Riskianalüüs projektiplaanis 6.6.4.1. Hankija selgitab veelkord riskianalüüsi hindamiskriteeriumi maksimumpunktide ja Vaidlustaja pakkumusele omistatud kolme punkti erinevust: - esimese puhul on hindamismetoodika kohaselt tellija pakkumuse põhjal veendunud pakkujapoolses võimekuses tagada hankelepingu nõuetekohane täitmine: - teise puhul aga tagab riskianalüüs tellija hinnangul mõningate mööndustega hankelepingu nõuetekohase täitmise, kusjuures kolme punkti omistamise kirjelduses on hindamismetoodikas eraldi välja toodud, et Projektiplaani ajakava ja tegevuskavaga seotud riskide ja nende maandamismeetmete kirjeldus näitab pakkuja arusaamist ja üldist võimekust riske maandada, kuid mõne teguri osas on riskianalüüs puudulik või vastuoluline või pakkuja poolt põhjendamata. 6.6.4.2. Hindamiskomisjon lähtus punktide andmisel hindamismetoodikast ja leidis, et Vaidlustaja pole riskianalüüsis käsitlenud kõiki projektis ette tulla võivaid probleeme (projekti 1. aasta ajakava libisemine üle lubatud tähtaja), seega on Vaidlustaja riskianalüüs kolme punkti vääriline. Kuna riskianalüüs on kolme punkti vääriline, siis pole Hankijal veendumust Vaidlustaja võimekuses hankelepingut nõuetekohaselt täita, vaid see on tagatud mõningate mööndustega. 6.6.4.3. Projektiplaani maksimumpunktid ja riskianalüüsi madalamad punktid ei ole teineteist välistavad. Kuna riskide maandamine ajakava osas oli riskianalüüsis puudulik (st kolme punkti vääriline), võeti punkte siiski riskianalüüsi hindamiskriteeriumi all maha. VAIDLUSTUSKOMISJONI PÕHJENDUSED 7. Riigihankes oli 4 hindamiskriteeriumi, millest vaidlustus puudutab kahte: projektiplaan ja proovitöö. Mõlemad nimetatud hindamiskriteeriumid jagunevad omakorda kolmeks alakriteeriumiks, millest vaidlustatakse kummaski hindamist ühe alakriteeriumi alusel: - proovitöö hindamiskriteeriumis alakriteeriumi väljund 2: Mudeli kood (edaspidi Koodi kriteerium); - projektiplaani hindamiskriteeriumis alakriteeriumi riskianalüüs (edaspidi Riskianalüüsi kriteerium). Esimesel juhul on maksimaalne võimalik väärtuspunktide arv 10, millest Vaidlustaja pakkumusele on omistatud 7 ja teisel juhul on maksimaalne võimalik väärtuspunktide arv 5, millest Vaidlustaja pakkumusele on antud 3. Vaidlus käib üksnes punktide andmise üle Vaidlustaja pakkumusele ja selleks, et Vaidlustajal võiks tekkida põhimõtteline võimalus edestada hindepunktidega Kolmanda isiku pakkumust, peab Hankija olema eksinud mõlema alakriteeriumi alusel Vaidlustaja pakkumusele hindepunktide andmisel (kokku 5 väärtuspunkti), kuna Kolmanda isiku pakkumuse edukaks tunnistamise otsusest nähtuvalt on Kolmanda isiku pakkumuse edu Vaidlustaja pakkumuse ees 4,1 punkti (Kolmanda isiku pakkumusele on omistatud 84,37 punkti ja Vaidlustaja pakkumusele 12 (14) 80,27 punkti). 8. Kuna menetlusosalised on peamise rõhuasetuse pannud Vaidlustaja pakkumuse hindamisele Koodi kriteeriumi alusel, siis alustab vaidlustuskomisjon Otsuse õiguspärasuse hindamist Vaidlustaja pakkumusele nimetatud hindamiskriteeriumi alusel hindepunktide omistamise kontrollist. 8.1. Koodi kriteeriumi kohaselt omistatakse punkte vaidlustusse puutuvas osas järgmiselt: - mudeli koodi eest omistatakse 10 punkti, kui kood toimib, on Pythoni keeles loogiliselt üles ehitatud ning kommenteeritud selliselt, et hankijal ei teki küsimusi; - mudeli koodi eest omistatakse 7 punkti, kui kood toimib, on Pythoni keeles ja kommenteeritud selliselt, et hankijal tekib 1-2 küsimust. Seega maksimumpunktid omistatakse pakkumusele vaid juhul, kui Hankijal mingeid küsimusi koodi hindamisel Koodi kriteeriumi alusel ei teki ja hindepunktide vähendamiseks piisab ühe küsimuse tekkimisest Hankijal. Otsuses viidatud hindamiskomisjoni 04.06.2025 koondprotokollist (edaspidi Protokoll) nähtuvalt põhjendab Vaidlustaja pakkumusele Koodi kriteeriumi alusel 7 hindepunkti andmist üks lause: kuna pakkuja kood ei jooksnud tõrgeteta kõigil testpiltidel, siis leidis hindamiskomisjon, et koodi kohta tekkis 1-2 küsimust, mistõttu ei saanud koodile omistada maksimumpunkte. 8.2. Vaidlustaja küsis 09.06.2025 RHR-i teabevahetuses Hankijalt selgitust, mille sai 12.06.2025 (sõnumi ID 974314). Hankija selgitas, et pakkujatele proovitöö tegemiseks edastatud testpildil (pilt 14) Vaidlustaja kood töötas, kuid Hankija tuvastas tõrked koodi töötamisel lisapildil (pilt 13), sh kinnitas Hankija üheselt mõistetavalt, et Protokollis on koodi hinde selgituseks toodud selle mittetoimivus pildil nr 13, mis tekitas hankijas küsimusi. Vaidlustuskomisjon on seisukohal, et isegi kui Hankija eksis selgitustega kaasa pandud pildiga (vt Hankija seisukohtade p 6.6.3.7), olid sõnalised selgitused Vaidlustaja koodi kohta sisulised ja põhjendasid seda, milline küsimus Hankijal seoses Vaidlustaja koodi testimisega tekkis. Hankija on piisavalt põhjendanud, et Vaidlustaja kood ei töötanud pildil 13 tõrgeteta ja sisulise vaidluse raskuspunkt taandub sellele, kas RHAD-ist tulenes Hankijale õigus testida koodi ka pildil 13 või pidi Hankija piirduma pakkumuste hindamisel pakkujate koodide jooksutamisega proovitöö tegemiseks pakkujatele edastatud testpildil 14. Märkimisväärne on, et Vaidlustaja ise on pakkumuses esitatud dokumendist „Juhend koodi jooksutamiseks“ märkinud, et hinnang edukusele pärineb treeningust, kus testpildiks oli pilt 12. Vaidlustuskomisjon on seisukohal, et kui RHAD ei piiranud Hankija õigust Koodi kriteeriumi alusel esitatud koode pakkumuste hindamisel jooksutada ka pildil 13, siis on õige Hankija väide Protokollis hindepunktide vähendamisel, et kood ei jooksnud tõrgeteta kõigil testpiltidel (konkreetsel juhul pildil 13) ja Hankijal tõusetunud küsimus(ed) tõrgete kohta täidavad Koodi kriteeriumi koosseisu maksimaalsete hindepuntide andmata jätmiseks. 8.3. Vaidlustuskomisjon on seisukohal, et Vaidlustaja eksib väites, et Hankija pidi Koodi kriteeriumi alusel hindamisel piirduma Vaidlustaja proovitöö testimisega pildil 14 ja õige on Hankija väide, et Nõuetes tuleb eristada nõudeid proovitööle ja nõudeid koodi hindamisele. Sisuliselt väidab Vaidlustaja, et Hankija pidi piirduma testimisel (hindamisel Koodi kriteeriumi alusel) lähteandemetega (Nõuetes on sätestatud, et Lähteandmed (nii treeningandmed kui ka testandmed) tulevad Hankijalt. Lähteandmed on pildid (rasterandmed), mis on duublis tif ja jpeg formaadis.[---]), kuid Vaidlustaja jätab tähelepanuta Nõuetes esitatud proovitöö tingimuste kolmanda punkti, mis sätestab järgneva: • Proovitöö peab olema sooritatud hankija etteantud andmete pealt. Proovitöö tulemusel valminud mudelit testitakse lähteandmetega samaväärsete andmete peal. Seega proovitöö (ehk mudeli loomine, treenimine) peab toimuma nende andmetega, mille Hankija pakkujatele algselt andis, mis tagab võrdse lähtealuse kõigile pakkujatele, kuid Hankija 13 (14) on RHAD-is selgelt öelnud, et testimiseks kasutatakse andmeid, mis on samaväärsed (oma olemuselt, struktuurilt ja omadustelt sarnased) algsetele andmetele (lähteandmetele), millega mudel treeniti, kuid need andmed ei ole täpselt samad. Tulenevalt eespooltoodust on vaidlustuskomisjon seisukohal, et Vaidlustaja pidi Nõuetest aru saama, et Hankijal on õigus testida koodi ka lähteandmetega samaväärsete andmete peal, sh pildil 13. Hankija on vaidlustusmenetluses asjakohaselt selgitanud pildi 13 samaväärsust lähteandmetega, arvestades ka asjaolu, et pilti 13 pöörati (p-id 6.3.4 ja 6.3.5). Hankija on sealjuures rõhutanud, et veateatel puudub otsene viide selle pööramisele, mistõttu fakt, et Hankija pilti 13 koodi testimisel pööras, Hankija põhjendustest nähtuvalt iseenesest täiendavaid küsimusi Koodi kriteeriumi kohaldamisel ei tekitanud. 8.4. Vaidlustuskomisjon on seisukohal, et kuna: - Vaidlustaja koodi jooksutamine pildil 13 Vaidlustaja pakkumuse hindamiseks on kooskõlas RHAD-iga (Nõuetega ja Koodi kriteeriumiga); - Hankijal tekkisid koodi jooksutamisel pildil 13 tõrked; - tõrgete tekkimine võis Hankijas tekitada Koodi kriteeriumis märgitud küsimuse(d) ja Protokollist nähtuvalt küsimused Hankijal ka tekkisid; - küsimuste tekkimisel oli Hankija õigustatud Vaidlustaja pakkumuse hindamisel Koodi kriteeriumi alusel hindepunkte vähendama, siis on Hankija hinnanud Vaidlustaja pakkumust vastavalt RHAD-is sätestatud hindamise kriteeriumile (Koodi kriteeriumile), Hankija ei ole eksinud Vaidlustaja pakkumuse hindamisel Koodi kriteeriumi alusel ja Hankija ei pidanud omistama Vaidlustaja pakkumusele Koodi kriteeriumi alusel maksimaalseid väärtuspunkte. 9. Vaidlustuskomisjon kordab, et Vaidlustaja pakkumusel oleks võimalus osutuda edukaks vaid juhul, kui Hankija on omistanud hindepunkte valesti mõlema hindamiskriteeriumi – nii Koodi kriteeriumi kui ka Riskianalüüsi kriteeriumi alusel. Olukorras, kus Hankija ei ole eksinud Koodi kriteeriumi alusel Vaidlustaja pakkumuse hindamisel, ei oleks Vaidlustajal võimalik saavutada oma pakkumuse edukaks tunnistamist isegi juhul, kui Hankija oleks tema pakkumust Riskianalüüsi kriteeriumi alusel valesti hinnanud (mida vaidlustuskomisjon antud juhul vastavasisulise kontrolli teatamata jätmise põhjusel ei väida, kuna juhul kui osa väiteid ei saa mõjutada vaidluse lõpptulemust, siis on need ebaolulised ning nende suhtes ei pea võtma ammendavat seisukohta (Riigikohtu 11.12.2020 otsus asjas nr 3-20-1198, p 26)). Tulenevalt eespooltoodust on Hankija Otsus õige ja kooskõlas RHS § 117 lg-ga 1 ning selle kehtetuks tunnistamiseks alus puudub. 10. Vaidlustusmenetluse kulud Lähtudes sellest, et vaidlustus jääb RHS § 197 lg 1 p-i 4 alusel rahuldamata, kuuluvad vaidlustusmenetluse kulude osas kohaldamisele RHS § 198 lg-d 3 ja 8. Hankija ei taotlenud kulude väljamõistmist. Kolmas isik oma seisukohti ei esitanud, mistõttu tal kulusid tekkida ka ei saanud. Vaidlustaja kulud jäävad tema enda kanda. (allkirjastatud digitaalselt) Angelika Timusk 14 (14)