Tere taas.
Pisut üle kuu aja tagasi arutasime siin meililistis Verbatiumi hoonete päritolu teemal. Andmete päritolu uurimine oli vaid osa minu lõputööst, teine osa oli töötada välja lahendus, mis omaks võimekust andmete uuendamiseks. Nüüd seoses sellega, et olen lõputööga suures osas ühele poole saanud (kaitsmine on juuni algul), oleksin huvitatud pärisandmete korrastamisest. Eesmärk on automaatselt uuendada võimalikult paljude Verbatiumi impordiga lisatud hoonete kuju (sõlmi / nodes), säilitades samal ajal nende hoonete (joonte / ways) ajaloo ning minimeerides naaberelementidele tekkiva kahju. Järgnevalt annan ülevaate uuendamise skripti tööpõhimõttest ning testkeskkonnas (kohalik VM) tehtud katsete tulemustest. Lühidalt on põhimõte uuendada ainult kõige vanemaid eraldiseisvaid hoonekujusid, mille muutmine ei tohiks mõjutada teisi elemente. Lähtepunkt oli tagada skripti taaskasutatavus tulevikus, ehk tegelikult vaikimisi ei valita mitte ainult Verbatiumi hooneid, vaid kõiki, mille kuju on vanem kui 10 aastat. Seeläbi on võimalik hiljem kasutada skripti nt 2013. aasta impordi tarbeks, kui tollast rasterandmest loetud kuju hakataks liiga kehvaks pidama. Põhjus, miks ma ajalise filtri valisin oli see, et selle negatiivi on Overpassiga tõhusam realiseerida kui kasutajanime põhjal filtreerimist (s.t "vali kõik sõlmed, mis on uuemad kui X" vs "vali kõik sõlmed, mida ei ole muutnud kasutaja X"). Terve Harjumaa puhul räägime kahe päringu võrdluses 37653 (Verbatium ja vanem kui 2008-09-28 [1]) vs 43629 (vanem kui 2011-02-24 [2]) vs 45336 (vanem kui 2011-05-24 [3]) hoonet. 24. veebruari päringu lisasin sellepärast, et ma viitasin sarnasele päringule varasemas kirjas. Suvel 2011 lisati Harjumaale suur hulk hooneid (~7000), aga ma ei usu, et nende uuendamine oleks nii kriitiline, et neid tuleks kaasata. Kõik algab mõne eelviidatud Overpassi päringuga sobivate hoonete leidmisest. Overpassi päringul on küll kaasas ingliskeelsed kommentaarid, aga tööpõhimõte on järgnev: * Leitakse kõik Harjumaa hooned koos sõlmedega. * Nende hulgast jäetakse alles hooned, mille ükski sõlm ei vasta tingimusele X (nt ei ole Verbatiumi lisatud). * Seejärel eemaldatakse hooned, mis jagavad ühist sõlme mõne mitte-hoonega. Skriptis endas on veel täiendavad lisakontrollid, mis on kirjas allpool 5. punkti alapunktidena. Skripti tööpõhimõte OSMi vaatepunktist: 1) Lae Overpassiga hooned alla 2) Leia iga OSMi hoonele Maa-ameti vaste. Võrdlemisel kasutatakse külgnevuskastide kattuvust, mistõttu nt piklikel diagonaalsetel hoonetel võib vastasdiagonaalis olla suhteliselt suur nihe [4]. Alla 15% kastide kattuvust ignoreeritakse. Hooned on jagatud mälus 1km suurustesse ruutudesse, et neid saaks kiiremini otsida ning samuti saab hoida muudatuskogumite suuruse kontrolli all. 3) Hoonet üldse üritatakse muuta, kui OSMi kujule vastab vähemalt 15% ulatuses ainult 1 ETAKi hoone. 4) Muudatuskogumite piirid on valitud ühikruutude sorteerimise teel. Alustatakse edelast ning liigutakse 10km laiuse vööndiga alt üles vasakult paremale (SW -> NE). Uus kogum tehakse, kui uue hoone muutmine tõstaks muudatuste koguarvu üle 10'000 (muudatuskogumi maksimumsuurus) või jõutakse 10km vööndi kõige ülemise elemendini. Illustreeririv joonis: [5] 5) Ühe ühikruudu sees on hoonete uuendamine korrapäratu. Siiski kontrollitakse teatud tingimustele vastamist. Nendeks on: 5.1) Iga hoone olemasolev sõlm võib olla seotud vaid ühe joonega (Overpass kontrollis külgnevust mitte-hoonetega, aga siin arvestatakse hoonetega). 5.2) Ükski neist sõlmedest ei tohi omada atribuute/silte. Nt entrance=* pole lubatud, sest skript võib ukse tahtmatult majanurgaks muuta. 5.3) OSMis juba olemasoleval hoonel ei tohi olla rohkem sõlmi kui Maa-ameti kujul. Sama kogus on lubatud. Ennetab probleeme viisnurksete ristkülikutega. 6) Hoone sõlmede uuendamisel üritatakse seada OSMi ja Maa-ameti sõlmed omavahel vastavusse nii, et neid tuleks võimalikult vähe liigutada. Uusi sõlmi lisandub minimaalselt. 7) Lõpuks uuendatakse ka hoonet kui joont ennast. Kantakse sisse uued sõlmed, aga siinkohal teen ettepaneku mõningateks automaatparandusteks. 7.1) Uuendada või lisada hoone maaamet:ETAK silt. 7.2) ~~Idee lisada kõrgusinfo.~~ Järele mõeldes ei ole see mõistlik, sest StreetComplete ei küsi korruste arvu ega katuse tüüpi, kui hoone kõrgus on juba meetrites antud. Äkki uuendada ainult neid, kus korruste arv on juba olemas? 7.3) Eemaldada muudetud hoonetelt sildid created_by (60tk), CityIdx (46tk) 7.4) Kui name ja addr:housenumber sildi väärtused on samad, eemaldada nimi. (30-60 juhtumit) Olen skripti kuskil 4-5 korda virtuaalmasinas täismahus läbi proovinud. Skript töötas kohalikus VMis olevat OSM-APIt kasutades 9-10h. Aprilli lõpu seisuga vaadeldi 43925 hoonet, edukalt muudeti 32364 (74%). Tulemuste jaotus on toodud allpool tabelilaadse moodustisena. Viimased 3 rida on kokkuvõtlikud summeerimised. Tulemust "Ühtegi sobivat hoonet ei leitud" võib tõlgendada ka nii, et sobiv hoone on läheduses küll olemas, kuid kujundite suhteline nihe on nii suur, et nad ei kattu piisaval määral, et ETAK hoonekuju külgnevuskast kattuks OSMi omaga vähemalt 15% ulatuses. Mitme põhjuse alla koonduvad olukorrad, kus majale on lisatud ukse sõlm (Hoonekuju on detailsem + Sõlmel on sildid) või oli tegu Vanalinna majaga (Hoone sõlm on jagatud teise hoonega + detailsem kuju). Kogus Tulemus 32364 Hoone uuendatud. 5198 Ühtegi sobivat hoonet ei leitud 2594 OSMis olev hoonekuju on detailsem kui Maa-ameti kontuur. 1897 Hoone sõlm on jagatud teise hoonega. 1424 Valik mitme hoone vahel 442 Mitu põhjust (2 tk) 6 Versioonikonflikt 11561 Muutmine ebaõnnestus 32364 Muutmine õnnestus 43925 Vaadeldud hooned Skripti väljund jaguneb 40 muudatuskogumisse. Igaühe laius on maksimaalselt 10 km ning neid hakatakse lisama edelast, liikudes 10 km laiuste vöönditega alt üles vasakult paremale. Muudatuskogumite eeldatav jagunemine – [6] Näide hoonetest, kus skripti tööl oli suurim mõju (enamik neist asuvad Pirital). Punane number on OSMi ID, pruunikas-hall praegune kuju, sinine uus [7]. Skripti link – [8]. Formaalse poole pealt tuleks luua ka Wikisse vastav leht, aga ma ei ole kindel, mida sinna kirjutada. SviMiku kirjeldused (lehel Maa-amet#Import) on näiteks palju lakoonilisemad, kui ametlik eeskiri nõuab. Tegin leheküljega algust ning ootaks parandussoovitusi – [9] Tahaks arutada läbi mõned kitsaskohad. Verbatiumi andmete päritolu probleemi sai arutatud varem ning paistab, et nende säilitamine OSM andmebaasi sügavustes ei ole vist probleem. Seoses ETAKi ja OSMi erinevast lähenemisest sisehooviga hoonetele tekib tehniline probleem, ehk need hooned, mida OSMis oleks õige salvestada relatsioonina paistavad ETAKis olevat endiselt ühe joonena, mistõttu võib tekkida nt iseendaga lõikumine (vt pilti), mida validaatorid suudavad õnneks suhteliselt kergesti tuvastada. Konkreetsel pildil on Laagri raamatukogu [10] Kolmas on juba suurem ja põhimõttelisem küsimus. Peale skripti valmis saamist puutusin kokku väitega, et „One feature, one element“ kehtib ka ajalises plaanis, ehk kui viimase 12 aasta jooksul on maja ära lammutatud ning uus asemele ehitatud, siis kuidagi tuleks arvata ära, et midagi on muutunud ning sinna kohta uus hoone asemele joonistada. Mis te sellest arvate? Minu seisukoht oleks, et … a) …arvestades, et Verbatiumi impordil on masuaegsed majad kenasti olemas, … b) …lisatud hooned paiknevad pigem vanemate majadega piirkondades ning … c) …hoonete aadresse on SviMik uuendanud 2013 ja 2019. aastal, … …ei pea ma elementide taaskasutusest tulenevaid riske oluliseks. Aga sooviks kuulda teie arvamust. Lõplikud kokkuvõtvad küsimused: Mis on talk-ee arvamus? Kas võtta kätte ja uuendada hoonete kujud ära või loobuda? Kas piirduda ainult Verbatiumiga (~37 tuh) või kaasata ka muud vanad hooned (+ ~8 tuh) kaasajastamisesse. Millised on ettepanekud-soovitused wiki vastava lehekülje osas? [9] Mul ei ole head ettekujutust, mida sinna kirjutada. Mis saab edasi neist, mida automaatselt ei anna arvatavasti parandada? Varasemas kirjas mainiti „lööktöö“ tegemist. Hetkeseisuga tuleks lisaks eelmainitud 11561 muutmata hoonele töödelda hinnanguliselt veel 9000 hoonet, mis sisaldavad vähemalt üht Verbatiumi sõlme [1], [11]. Arvan, et 4-5 tuh hoonet saaks muuta siis, kui 5. punktis toodud eelduseid lõdvendada ning lisada tugi sõlmede kustutamiseks. Soovitaksin nende viimastega tegelemiseks kaasata talgutesse nii Eesti kui ka rahvusvahelist kogukonda, sest tegemist on suhteliselt täpselt määratletava probleemiga, mille saab üpriski detailselt lahti kirjutada. Tervitades, Fghj753 Viited/Lingid: [1] - https://overpass-turbo.eu/s/17zK [2] - https://overpass-turbo.eu/s/17zG [3] - https://overpass-turbo.eu/s/17zE [4] - https://github.com/kallejre/geo/blob/main/building%20geometry%20importer/building%20footprint%20updater/util.py#L207 [5] - https://cdn.discordapp.com/attachments/486819875206070273/845275338626826240/unknown.png [6] - https://cdn.discordapp.com/attachments/599196002699837461/837289769339584512/unknown.png [7] - https://cdn.discordapp.com/attachments/599196002699837461/835563238066225212/unknown.png [8] - https://github.com/kallejre/geo/tree/main/building%20geometry%20importer/building%20footprint%20updater [9] - https://wiki.openstreetmap.org/wiki/Maa-amet_building_geometry_update [10] - https://cdn.discordapp.com/attachments/486819875206070273/847167921011556372/unknown.png [11] - https://overpass-turbo.eu/s/17LB PS. Meililist teatas, et esialgne kiri oli liiga pikk ning jäi ootama moderaatorite heakskiitu. Lõikasin uues versioonis varasemate kirjavahetuste teksti lühemaks, aga ma ei saa vana kirja enam tagasi kutsuda. Soovitan vana kirja listist eemaldada From: Margus Värton <margusvar...@gmail.com> Sent: Thursday, April 15, 2021 9:11 PM To: OpenStreetMap Estonia <talk-ee@openstreetmap.org> Subject: Re: [Talk-ee] (OSM) Küsimus Verbatiumi hooneimpordi teemal Hoi, Ma mäletan aega, kui Eesti kaart OSMis oli imporditud sakiline rannajoon ning üks GPS-track Tallinnast Rakvere poole, mis kujutas enesest maanteed. Kõik. Rohkem ei olnud mitte midagi. Edasine on vabatahtlike töö ja mõned impordid. OSMi olemus on selline, et vanad ja väärad andmed vajuvad nii ehk naa kusagile ära ning aina uuemad andmed tulevad peale. Kui me kusagil selles muutumiste ahelas oleme vea teinud - nagu Verbatium ilmselt on - siis on paljude aastate möödudes täiesti mõttetu kogu seda muutumise ahelat minema visata, sest kõik olulised rekvisiidid on korrektse litsentsiga uuendatud niikuinii. Ja kui millelgi ei ole, siis tuleb seda nüüd lööktööga teha ja kogu lugu. Maa-ametiga on see lugu, et palju aastaid ei saanud sealsed asjapulgad üldse aru, mis loom on andmete litsents. Kui me küsisime, siis öeldi midagi umbes sellist, et 'no aga meil on ju teenused püsti, milles küsimus?'. Mitte keegi ei olnud vastu, ent ametlikku nõusolekut Maa-ameti teenuste põhjal tuletatud andmekogu loomiseks ei tahetud anda - ei olnud seisukohta, kas Maa-ameti andmeid tuleks käsitada kui rahalist väärtust omavat vara või avaandmeid või veel midagi vahepealset. Nii et Avatud Maakaardi Seltsi nimele kunagi väljastatud ametlik ja kirjalik nõusolek tuletatud andmekogu loomiseks oli selles ajas väga oluline väärtus. See dokument kehtib ilmselt ikka veel. DWG seisukoht aga on väga mõistlik. - M - Kontakt fghj753 (<fghj...@hot.ee <mailto:fghj...@hot.ee> >) kirjutas kuupäeval N, 15. aprill 2021 kell 19:34: Tere, Olen Tallinna 2006 paberkaarti juba uurinud. Väikesed sarnasused leiduvad, aga esiteks on Tallinna kaart märgatavalt parema kvaliteediga kui Verbatiumi andmed (nt paljud hooned on täisnurksed) ning loogiliselt võttes ei tohiks Tallinna linna kaart naabervaldasid sisaldada. Vana kaardi vektor on tänapäeval allalaetav Tallinna kaardiarhiivi (https://gis.tallinn.ee/kaardiarhiiv/) lehelt. Vektorkaardilt selgub, et ümmarguste osadega hooned (levinud Pirital ja Nõmmel) on vanal Tallinna kaardil isegi detailsemad kui praegusel Maa-ameti vektoril. Samuti puuduvad kaardilt hooned, mis olid linna piirist kaugemal kui 200 meetrit. Vahepeal sain DWG-lt kommentaari Verbatiumi teemal. Kui ma nädal tagasi neile kirjutasin, olin 90% kindel, et 2008. aasta juhtumis kasutati Maa-ameti vektorandmeid, aga vahepeal on see kindlus vähenenud. Nende ametlik vastus on põhimõtteliselt sama, mis Maa-ametil. The official comment of DWG about this issue is that we haven't had a complaint yet so had no reason to investigate it more closely. And from what you write it sounds unlikely that we would get a complaint. Unless you want to make one in which case we might have to delete everything ;) Vastusel oli ka vähem ametlik osa mis vastas küsimusele, mida teha, kui kahtlasest allikast pärit vanu andmeid on vahepeal uuendatud. We had similar situations where a data source became legal to use after it had been used for an import. In theory, the legally clean path would be to delete the old data and purge it from the history (we call this a "redaction"), and re-create a new object. We try to be realistic about such things though, and not make everyone's life harder than it needs to be. /…/ If an object is updated later from a different source, it is often hard to know if all properties of the object have actually been superseded. If there's a building with a house number and someone changes the four corners of the building, is the house number still "old"...? Minu arvates omavad Verbatiumi hooned ajaloolist väärtust illustreerimaks, kui palju on (OSM) kaardi kvaliteet aastatega paranenud. Võttes arvesse, et algne import ei sisaldanud tegelikult isegi mitte building-silte (kasutati buildung=yes), usun, et ebatõenäolises tulevikustsenaariumis, kus andmed tulebki andmebaasist kustutada, peaks olema suhteliselt lihtne tõestada, et andmete hilisem versioon lähtub täielikult muust (s.t Maa-ameti) andmekogust. K From: Anti Kasuk via Talk-ee <talk-ee@openstreetmap.org <mailto:talk-ee@openstreetmap.org> > Sent: Thursday, April 15, 2021 5:07 PM To: talk-ee@openstreetmap.org <mailto:talk-ee@openstreetmap.org> Cc: Anti Kasuk <k...@lap.ee <mailto:k...@lap.ee> > Subject: Re: [Talk-ee] (OSM) Küsimus Verbatiumi hooneimpordi teemal Ups saatsin enne vastuse ainult Margusele. Samal ajal kui need Verbatiumi hooned tekkisid liikus ringi üks dgn fail mis oli väidetavalt pärit Tallinna linna süsteemist. ehk siis tänase Tallinna avanadmete TAR baasi eelane ..... Tallinna hooned olid mälu järgi väga selle moodi. Vana pea ei pea kõike kinni aga minu mälu järgi oli võimalik andmedi alla sikutada ka tollasest ehr'ist sellel ajal olid hoonete ruumikujud juba olemas ? Eomap'il oli ja on ka korralik baas. Maaamet müüs sammuti sellel ajal vist juba vektorit .... Ärikataloogi plaadil oli ka mingi kaart... Igal juhul võiks need Verbatiumi andmed üle kirjutada 100% ausate avaandmetega... kasu On 15.04.2021 14:32, Margus Värton wrote: Hoi, Verbatiumi andmete allikas on olnud segane ning nendel aladel, kus mina hooneid sisestada toksisin, oli minu metoodika lihtne - Verbatium minema ja uued hooned peale, koos aadressiinfoga. Selleks oli SviMik-ul väga tore JOSMi plugin olemas. Osm.svimik.com <http://Osm.svimik.com> on jälle püsti ning midagi ta näitab, aga kas see tähendab seda, et aadressibaasi jälle uuendatakse, vot seda ma küll ei tea. Tunnistan, et seoses aktiivse mere-eluga olen maismaakaartidest kuidagi eemale jäänud :). Kui Verbatiumi andmed on Maa-ameti aluskaardilt vektoriseeritud, siis ma nende õigusliku korrektsuse pärast väga ei põeks, küll aga võiks Svimik'u saidile teha ühe mõõdupuu juurde - Verbatiumi andmete ülekirjutamise oma. Aktiivsest baasist peaks need välja saama küll. Verbatiumiga otse ei ole vist tõesti keegi edukalt suhelnud. M. Kontakt Kalle Johannes Reinmets (<kre...@taltech.ee <mailto:kre...@taltech.ee> >) kirjutas kuupäeval K, 14. aprill 2021 kell 13:22: Tere, See konkreetne kiri on Talk-ees ka ilusti olemas, Bartosz Fabianowski kommentaar Tallinna bussipeatuste teemal. Tänu temale ja ta Päästameti viitele ma tegelikult Maa-ameti suunas hakkasingi uurima. Hetkel kõrvutan ma vanu Maa-ameti säilinud Verbatiumi hoonetega ( <https://overpass-turbo.eu/s/166V> https://overpass-turbo.eu/s/166V) ja ma ei saa aru. Mõni nihe, nagu Mereranna tee 16 Haabneemes on äravahetamiseni sarnane põhikaardiga, aga sealsamas kõrval on Idapõllu tee ja Heldri põik, kus põhikaardi ja OSMi sarnasus ei klapi. Kas kuskil võis olla 2008. aasta põhikaart, mida ajalooliste kaartide rakendusse ei ole lisatud? Iseenesest WMS+OCR+OSM töötlemine sagedusega 1 hoone sekundis pidavat olema tollasele arvutiriistvarale igati jõukohane. Kas tõesti mitte keegi teine peale Fabianowski ei ole viimase 13 aasta jooksul Verbatiumiga suhelnud? Kalle Reinmets From: Jaak Laineste < <mailto:jaak.laine...@gmail.com> jaak.laine...@gmail.com> Sent: Wednesday, April 14, 2021 12:56 PM To: Kalle Johannes Reinmets < <mailto:kre...@taltech.ee> kre...@taltech.ee> Cc: <mailto:margusvar...@gmail.com> margusvar...@gmail.com Subject: Re: (OSM) Küsimus Verbatiumi hooneimpordi teemal Hoi, Minumeelest seda, et see pole ilmselgelt teadaolevate suurfirmade andmed sai ka kontrollitud kunagi. Aga enne googlet olid Eestis mingid väikefirmad kes lõid ka oma kaardiandmeid ja müüsid neid oma tootena (desktoptarkvara tol ajal), ilmselt keegi lekitas sealt shapefailidena seda "internetti". Ma oma isiklikust meiliarhiivist leidsin vahepeal sellise lõigu: I asked the mapper who imported the stops (verbatium). His reply indicated a very unfortunate misunderstanding of the way copyright works: "I think this is open source data, bcs it is free accesible in the internet, and there nothing about author or copyright" -- Jaak Laineste _______________________________________________ Talk-ee mailing list Talk-ee@openstreetmap.org <mailto:Talk-ee@openstreetmap.org> https://lists.openstreetmap.org/listinfo/talk-ee _______________________________________________ Talk-ee mailing list Talk-ee@openstreetmap.org <mailto:Talk-ee@openstreetmap.org> https://lists.openstreetmap.org/listinfo/talk-ee
_______________________________________________ Talk-ee mailing list Talk-ee@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-ee
