Re: [Talk-cz] rúian bot - první výsledky testů
co se týče načítání bodů z api, tak jsem to omezil na nody, které mají tag addr:housenumber a tag addr:country=CZ (doufám, že adresní body v čr mají aspoň tyto tagy, pokud ne, tak bych to musel udělat jinak). *** jakým způsobem budeme pracovat s OSM addr, které jsou vloženy v polygonech budov(building=yes)? Převedeme tyto addr informace před prací bota na z polygonu body (centroindy polygonů) ? pro testy jsem použil BOX(14.63 50.55,14.68 50.58). pro párování bodů jsem nastavil maximální povolenou vzdálenost na 0.005, *** na prvni pohled mi neni zrejme co je cilem parovani, ale v k.u. Tuřany, k.u. Chrlice je běžná vzdálenost bodů addr v OSM (import z UIR-ADR) vůči WMS CUZK:KM 10 až 30 metrů, h. hanoj ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian - struktura dat adresních bodů
On Sun 2012-08-05 19:50:25, Petr Morávek wrote: Ještě bych se přimlouval za úplné vypuštění tagu is_in (alespoň pro administrativní jednotky od obce výš). Přijde mi zbytečné tam znova vypisovat informaci, která už je jednou na relacích hranic (když už je tu v nás máme tak hezky komplet). Ja nevim... je to par bajtu, a kdo vi jaky software to pouziva. Nechal bych to tam... neni to velkej problem... Pavel -- (english) http://www.livejournal.com/~pavelmachek (cesky, pictures) http://atrey.karlin.mff.cuni.cz/~pavel/picture/horses/blog.html ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian bot - první výsledky testů
Dne 6.8.2012 04:54, Mirek Dlask napsal(a): Je otázka, zda nejsou v RÚIAN adresní body domů bez č.p. , asi tam budou adresní body rozestavěných domů. Ty v OSM předpokládám nejsou. Nebo by se asi zobrazovaly tečky bez čísel!? Buď zkusit zmenšit boxík na nějaké garáže, nebo průmysl bez č.p. , nebo SELECT adresních bodů bez čísel popisných a zároveň evidenčních, jsou-li ... adresní body bez čísla v rúian neexistují (jsou tam pouze 4, ale ty mají příznak smazání), protože to z podstaty věci není adresa :-) za adresní body bez čísla lze ale považovat stavební objekty (na nich je právě definovaný ten typ čísla bez čísla). podle mě ale nemá smysl je zobrazovat jako body, budovy (které mají definovanou geometrii) se do osm z rúian dřív nebo později také dostanou. 150 je fakt nějak moc Mirek ff smime.p7s Description: Elektronicky podpis S/MIME ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian bot - první výsledky testů
Dne 6.8.2012 08:05, hanoj napsal(a): co se týče načítání bodů z api, tak jsem to omezil na nody, které mají tag addr:housenumber a tag addr:country=CZ (doufám, že adresní body v čr mají aspoň tyto tagy, pokud ne, tak bych to musel udělat jinak). *** jakým způsobem budeme pracovat s OSM addr, které jsou vloženy v polygonech budov(building=yes)? Převedeme tyto addr informace před prací bota na z polygonu body (centroindy polygonů) ? dobře že se o nich zmiňuješ, na ně jsem úplně zapomněl. upravím bota tak, aby načítal i adresy z budov. následně při aktualizaci by pak bot údaje o adrese z budovy mohl smazat a vytvořil by nový adresní bod. pro testy jsem použil BOX(14.63 50.55,14.68 50.58). pro párování bodů jsem nastavil maximální povolenou vzdálenost na 0.005, *** na prvni pohled mi neni zrejme co je cilem parovani, ale v k.u. Tuřany, k.u. Chrlice je běžná vzdálenost bodů addr v OSM (import z UIR-ADR) vůči WMS CUZK:KM 10 až 30 metrů, cílem párování je zjistit, který bod z osm odpovídá kterému bodu z rúian. na základě toho pak může dojít ze strany bota k aktualizaci již existujícího bodu místo odstranění jednoho a vytvoření druhého, takže dojde k zachování historie. neumím přepočítávat vzdálenost ze stupňů na metry, ale odhadem ten limit 0.005 bude asi tak 500m. ono když bota pustím na malém území, tak tenhle parametr nehraje roli, ale když bych ho pustil na celé čr, tak se potřebuju vyhnout tomu, aby mi pároval mezi sebou body z opačných krajů republiky jako shodné (vzhledem k tomu, že u některých adresních bodů v osm chybí addr:city, tak je to možné). takhle bot spáruje jen body, které jsou v od sebe vzdálené maximálně 500m. (v příkladu, který jsem uváděl v prvním mailu, je maximální vzdálenost dvou spárovaných bodů cca 100m.) h. hanoj ff smime.p7s Description: Elektronicky podpis S/MIME ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian bot - první výsledky testů
A taky ti musíme držet palce ;-) při řešení duplicit adresních bodů :-( M. Boleslav, Debř ... Docela by mě zajímal počet. Co s nima? Smazat ty vzdálenější, co nejdříve, respektive pře aktualizací? Už jsem jednou zmiňoval, že na některých adresních bodech jsou další tagy. name, amenity, operator, http://www.openstreetmap.org/browse/node/1767482902/history Převést tagy na nové body, nebo budovy? Jinak co jsem našel, už jsem před časem opravoval. V budoucnu bude asi problém se jmény ulic http://tools.geofabrik.de/osmi/?view=addresseslon=15.18443lat=50.46818zoom=18opacity=0.97overlays=buildings,buildings_with_addresses,postal_code,nodes_with_addresses_defined,nodes_with_addresses_interpolated,no_addr_street,street_not_found,interpolation,interpolation_errors,connection_lines,nearest_points,nearest_roads Tím tvým postupem se vlastně i aktualizuje název ulice u adresního bodu. Ulici na Václava Havla bude muset přejmenovat člobrda. Mirek Dne 6. srpna 2012 12:29 Miroslav Šulc fordf...@fordfrog.com napsal(a): Dne 6.8.2012 08:05, hanoj napsal(a): co se týče načítání bodů z api, tak jsem to omezil na nody, které mají tag addr:housenumber a tag addr:country=CZ (doufám, že adresní body v čr mají aspoň tyto tagy, pokud ne, tak bych to musel udělat jinak). *** jakým způsobem budeme pracovat s OSM addr, které jsou vloženy v polygonech budov(building=yes)? Převedeme tyto addr informace před prací bota na z polygonu body (centroindy polygonů) ? dobře že se o nich zmiňuješ, na ně jsem úplně zapomněl. upravím bota tak, aby načítal i adresy z budov. následně při aktualizaci by pak bot údaje o adrese z budovy mohl smazat a vytvořil by nový adresní bod. pro testy jsem použil BOX(14.63 50.55,14.68 50.58). pro párování bodů jsem nastavil maximální povolenou vzdálenost na 0.005, *** na prvni pohled mi neni zrejme co je cilem parovani, ale v k.u. Tuřany, k.u. Chrlice je běžná vzdálenost bodů addr v OSM (import z UIR-ADR) vůči WMS CUZK:KM 10 až 30 metrů, cílem párování je zjistit, který bod z osm odpovídá kterému bodu z rúian. na základě toho pak může dojít ze strany bota k aktualizaci již existujícího bodu místo odstranění jednoho a vytvoření druhého, takže dojde k zachování historie. neumím přepočítávat vzdálenost ze stupňů na metry, ale odhadem ten limit 0.005 bude asi tak 500m. ono když bota pustím na malém území, tak tenhle parametr nehraje roli, ale když bych ho pustil na celé čr, tak se potřebuju vyhnout tomu, aby mi pároval mezi sebou body z opačných krajů republiky jako shodné (vzhledem k tomu, že u některých adresních bodů v osm chybí addr:city, tak je to možné). takhle bot spáruje jen body, které jsou v od sebe vzdálené maximálně 500m. (v příkladu, který jsem uváděl v prvním mailu, je maximální vzdálenost dvou spárovaných bodů cca 100m.) h. hanoj ff ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian bot - první výsledky testů
Dne 6.8.2012 15:00, Mirek Dlask napsal(a): A taky ti musíme držet palce ;-) při řešení duplicit adresních bodů :-( M. Boleslav, Debř ... Docela by mě zajímal počet. kdyžtak mi pošli boudning box pro oblast, kde je hodně duplicit, a já na tom pustím bota a uvidíme, co z něj vyleze. Co s nima? Smazat ty vzdálenější, co nejdříve, respektive pře aktualizací? no, jestli se nepletu, tak duplicity se vyfiltrují tím botem, protože první bod se namapuje na odpovídající bod v rúian, a druhý bod už nebude na co namapovat, takže zbyde a bot ho bude brát jako nadbytečný a určený k odstranění. Už jsem jednou zmiňoval, že na některých adresních bodech jsou další tagy. name, amenity, operator, http://www.openstreetmap.org/browse/node/1767482902/history Převést tagy na nové body, nebo budovy? Jinak co jsem našel, už jsem před časem opravoval. taky jsem si toho všimnul. vzhledem k tomu, že bot u bodů, které existují v rúian i v osm, provede aktualizaci bodu v osm, tak ke ztrátě informací nedojde (upraví pouze adresní tagy + source). jiná situace je u duplicit, tam je otázka, který bod si bot vybere (aktuálně ten bližší k souřadnicím v rúian) a tam pak může dojít ke ztrátě určitých tagů. asi by se to dalo nějak ošetřit, např že by bot přidával větší váhu bodu, který má více tagů, ale to je otázka, jestli by to nemělo negativní vliv na párování. na budovy bych to asi (aspoň v tuhle chvíli) nepřeváděl, protože budov je v osm nesrovnatelně méně než adresních bodů. osobně ani netuším, zda je tohle tagování adresních bodů (amenity apod) ok nebo by se to mělo dělat jinak. V budoucnu bude asi problém se jmény ulic http://tools.geofabrik.de/osmi/?view=addresseslon=15.18443lat=50.46818zoom=18opacity=0.97overlays=buildings,buildings_with_addresses,postal_code,nodes_with_addresses_defined,nodes_with_addresses_interpolated,no_addr_street,street_not_found,interpolation,interpolation_errors,connection_lines,nearest_points,nearest_roads Tím tvým postupem se vlastně i aktualizuje název ulice u adresního bodu. Ulici na Václava Havla bude muset přejmenovat člobrda. přesně tak, bot by měl zvládnout i přejmenování ulic na adresních bodech (ale ne na ulicích). určitě by nebyl problém někam reportovat změnu názvu ulice (adresy obecně), aby to pak někdo mohl ručně zkontrolovat a zaktualizovat případně související objekty (název ulice apod). Mirek ff Dne 6. srpna 2012 12:29 Miroslav Šulc fordf...@fordfrog.com mailto:fordf...@fordfrog.com napsal(a): Dne 6.8.2012 08:05, hanoj napsal(a): co se týče načítání bodů z api, tak jsem to omezil na nody, které mají tag addr:housenumber a tag addr:country=CZ (doufám, že adresní body v čr mají aspoň tyto tagy, pokud ne, tak bych to musel udělat jinak). *** jakým způsobem budeme pracovat s OSM addr, které jsou vloženy v polygonech budov(building=yes)? Převedeme tyto addr informace před prací bota na z polygonu body (centroindy polygonů) ? dobře že se o nich zmiňuješ, na ně jsem úplně zapomněl. upravím bota tak, aby načítal i adresy z budov. následně při aktualizaci by pak bot údaje o adrese z budovy mohl smazat a vytvořil by nový adresní bod. pro testy jsem použil BOX(14.63 50.55,14.68 50.58). pro párování bodů jsem nastavil maximální povolenou vzdálenost na 0.005, *** na prvni pohled mi neni zrejme co je cilem parovani, ale v k.u. Tuřany, k.u. Chrlice je běžná vzdálenost bodů addr v OSM (import z UIR-ADR) vůči WMS CUZK:KM 10 až 30 metrů, cílem párování je zjistit, který bod z osm odpovídá kterému bodu z rúian. na základě toho pak může dojít ze strany bota k aktualizaci již existujícího bodu místo odstranění jednoho a vytvoření druhého, takže dojde k zachování historie. neumím přepočítávat vzdálenost ze stupňů na metry, ale odhadem ten limit 0.005 bude asi tak 500m. ono když bota pustím na malém území, tak tenhle parametr nehraje roli, ale když bych ho pustil na celé čr, tak se potřebuju vyhnout tomu, aby mi pároval mezi sebou body z opačných krajů republiky jako shodné (vzhledem k tomu, že u některých adresních bodů v osm chybí addr:city, tak je to možné). takhle bot spáruje jen body, které jsou v od sebe vzdálené maximálně 500m. (v příkladu, který jsem uváděl v prvním mailu, je maximální vzdálenost dvou spárovaných bodů cca 100m.) h. hanoj ff ___ Talk-cz mailing list Talk-cz@openstreetmap.org mailto:Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz smime.p7s Description: Elektronicky podpis S/MIME ___ Talk-cz mailing list Talk-cz@openstreetmap.org
Re: [Talk-cz] rúian bot - první výsledky testů
Test box na duplicity 14.9 50.44 ,14.9250.41 Není to celá MB. Kněžmost - místo kde č.p. nedostavají domy ale dvorky .-) http://maps.fordfrog.com/?zoom=18lat=50.49012lon=15.03952layers=B00FFF Dne 6. srpna 2012 15:27 Miroslav Šulc fordf...@fordfrog.com napsal(a): Dne 6.8.2012 15:00, Mirek Dlask napsal(a): A taky ti musíme držet palce ;-) při řešení duplicit adresních bodů :-( M. Boleslav, Debř ... Docela by mě zajímal počet. kdyžtak mi pošli boudning box pro oblast, kde je hodně duplicit, a já na tom pustím bota a uvidíme, co z něj vyleze. Co s nima? Smazat ty vzdálenější, co nejdříve, respektive pře aktualizací? no, jestli se nepletu, tak duplicity se vyfiltrují tím botem, protože první bod se namapuje na odpovídající bod v rúian, a druhý bod už nebude na co namapovat, takže zbyde a bot ho bude brát jako nadbytečný a určený k odstranění. Už jsem jednou zmiňoval, že na některých adresních bodech jsou další tagy. name, amenity, operator, http://www.openstreetmap.org/browse/node/1767482902/history Převést tagy na nové body, nebo budovy? Jinak co jsem našel, už jsem před časem opravoval. taky jsem si toho všimnul. vzhledem k tomu, že bot u bodů, které existují v rúian i v osm, provede aktualizaci bodu v osm, tak ke ztrátě informací nedojde (upraví pouze adresní tagy + source). jiná situace je u duplicit, tam je otázka, který bod si bot vybere (aktuálně ten bližší k souřadnicím v rúian) a tam pak může dojít ke ztrátě určitých tagů. asi by se to dalo nějak ošetřit, např že by bot přidával větší váhu bodu, který má více tagů, ale to je otázka, jestli by to nemělo negativní vliv na párování. na budovy bych to asi (aspoň v tuhle chvíli) nepřeváděl, protože budov je v osm nesrovnatelně méně než adresních bodů. osobně ani netuším, zda je tohle tagování adresních bodů (amenity apod) ok nebo by se to mělo dělat jinak. V budoucnu bude asi problém se jmény ulic http://tools.geofabrik.de/osmi/?view=addresseslon=15.18443lat=50.46818zoom=18opacity=0.97overlays=buildings,buildings_with_addresses,postal_code,nodes_with_addresses_defined,nodes_with_addresses_interpolated,no_addr_street,street_not_found,interpolation,interpolation_errors,connection_lines,nearest_points,nearest_roads Tím tvým postupem se vlastně i aktualizuje název ulice u adresního bodu. Ulici na Václava Havla bude muset přejmenovat člobrda. přesně tak, bot by měl zvládnout i přejmenování ulic na adresních bodech (ale ne na ulicích). určitě by nebyl problém někam reportovat změnu názvu ulice (adresy obecně), aby to pak někdo mohl ručně zkontrolovat a zaktualizovat případně související objekty (název ulice apod). Mirek ff Dne 6. srpna 2012 12:29 Miroslav Šulc fordf...@fordfrog.com napsal(a): Dne 6.8.2012 08:05, hanoj napsal(a): co se týče načítání bodů z api, tak jsem to omezil na nody, které mají tag addr:housenumber a tag addr:country=CZ (doufám, že adresní body v čr mají aspoň tyto tagy, pokud ne, tak bych to musel udělat jinak). *** jakým způsobem budeme pracovat s OSM addr, které jsou vloženy v polygonech budov(building=yes)? Převedeme tyto addr informace před prací bota na z polygonu body (centroindy polygonů) ? dobře že se o nich zmiňuješ, na ně jsem úplně zapomněl. upravím bota tak, aby načítal i adresy z budov. následně při aktualizaci by pak bot údaje o adrese z budovy mohl smazat a vytvořil by nový adresní bod. pro testy jsem použil BOX(14.63 50.55,14.68 50.58). pro párování bodů jsem nastavil maximální povolenou vzdálenost na 0.005, *** na prvni pohled mi neni zrejme co je cilem parovani, ale v k.u. Tuřany, k.u. Chrlice je běžná vzdálenost bodů addr v OSM (import z UIR-ADR) vůči WMS CUZK:KM 10 až 30 metrů, cílem párování je zjistit, který bod z osm odpovídá kterému bodu z rúian. na základě toho pak může dojít ze strany bota k aktualizaci již existujícího bodu místo odstranění jednoho a vytvoření druhého, takže dojde k zachování historie. neumím přepočítávat vzdálenost ze stupňů na metry, ale odhadem ten limit 0.005 bude asi tak 500m. ono když bota pustím na malém území, tak tenhle parametr nehraje roli, ale když bych ho pustil na celé čr, tak se potřebuju vyhnout tomu, aby mi pároval mezi sebou body z opačných krajů republiky jako shodné (vzhledem k tomu, že u některých adresních bodů v osm chybí addr:city, tak je to možné). takhle bot spáruje jen body, které jsou v od sebe vzdálené maximálně 500m. (v příkladu, který jsem uváděl v prvním mailu, je maximální vzdálenost dvou spárovaných bodů cca 100m.) h. hanoj ff ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing listTalk-cz@openstreetmap.orghttp://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list
Re: [Talk-cz] rúian bot - první výsledky testů
Ahoj, jak ten bot rychlý? Aneb za jak dlouho by zpracoval (pokusně) celou ČR - tedy vygeneroval log? Můžeš udělat histogram vzdáleností spárovaných bodů? Honza Dne 6. srpna 2012 4:54 Mirek Dlask dlas...@gmail.com napsal(a): Je otázka, zda nejsou v RÚIAN adresní body domů bez č.p. , asi tam budou adresní body rozestavěných domů. Ty v OSM předpokládám nejsou. Nebo by se asi zobrazovaly tečky bez čísel!? Buď zkusit zmenšit boxík na nějaké garáže, nebo průmysl bez č.p. , nebo SELECT adresních bodů bez čísel popisných a zároveň evidenčních, jsou-li ... 150 je fakt nějak moc Mirek Dne 5. srpna 2012 23:30 Miroslav Šulc fordf...@fordfrog.com napsal(a): tak jsem dodělal bota do stádia, že načte body z osm api a z rúian db, pokusí se je spárovat a vygeneruje nějaké statistiky. pokud se někdo chce podívat do kódu, tak je k dispozici na https://github.com/fordfrog/ruian2osm co se týče načítání bodů z api, tak jsem to omezil na nody, které mají tag addr:housenumber a tag addr:country=CZ (doufám, že adresní body v čr mají aspoň tyto tagy, pokud ne, tak bych to musel udělat jinak). pro testy jsem použil BOX(14.63 50.55,14.68 50.58). pro párování bodů jsem nastavil maximální povolenou vzdálenost na 0.005, nicméně největší vzdálenost mezi shodnými body je 0,0009538 (RÚIAN: POINT(14.6562825 50.5617608) CZ, Doksy, Hálkova 890 OSM: POINT(14.6553375 50.5616313) CZ, null, Hálkova 890, http://maps.fordfrog.com/?zoom=18lat=50.56166lon=14.65557layers=0B0FTF). u tohohle bodu je zajímavé, že údaj v kú je jiný než údaj v rúian (je to vidět z kú vrstvy, u nás ale zatím neproběhla digitalizace). co se týče propojování, tak úspěšnost byla následující: Total matched nodes: 1 136 Total unmatched nodes - RÚIAN: 150, OSM: 15 z toho mj vyplývá, že pokud jsem nikde neudělal chybu, tak v dané oblasti je oproti rúian navíc 15 adresních bodů a 150 jich chybí (což je opravdu dost na tak malé území, aspoň podle mě). k párování ještě poznámka. to že se body sprárovaly ještě neznamená, že osm obsahuje kompletní adresy. jak jsem psal jinde, u nás kompletně chybí addr:city, součástí adresy není ani addr:postcode. párování probíhá v několika cyklech, nejdříve podle celé adresy, nespárované body se pak porovnávají podle ulice a čísla, a to co zbyde se nakonec porovná pouze podle čísla. ve všech případech se ještě zohledňuje vzdálenost bodů. pro programátory podrobnější info tady: https://github.com/fordfrog/ruian2osm/blob/next_release/src/main/java/com/fordfrog/ruian2osm/AddressNodesMatcher.java tady je ještě údaj o průměrné vzdálenosti propojených bodů: Average matched node distance: 0,046 v příloze posílám (snad proleze zip) kompletní log z bota. uvítal bych, pokud by se někdo na ten log podíval, jestli tam nenajde ještě něco zajímavého (nějaké zjevné chyby, na co si dát pozor apod.). stejně tak, pokud budete někdo chtít, abych pustil bota (samozřejmě pouze v testovacím režimu) na nějaké vaší oblíbené oblasti, tak mi pošlete bounding box a já vám pošlu log z bota. ff ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian bot - první výsledky testů
Mimochodem znáte plugin Conflation pro JOSM? http://wiki.openstreetmap.org/wiki/JOSM/Plugins/Conflation Nemám s tím zkušenosti (jsem tu nový), ale podle popisu to lze použít pro poloautomatický import a slučování dat z vnějších databází do OSM. Např. právě přiřazování adres z RÚIAN existujícím prvkům v OSM. Možná to není vhodné na plně automatický chod, ale třeba by to šlo použít na manuální dočišťování? Jan Původní zpráva Od: Jan Bilak jan.bilak@gmail.com Předmět: Re: [Talk-cz] rúian bot - první výsledky testů Datum: 06.8.2012 16:04:59 Ahoj, jak ten bot rychlý? Aneb za jak dlouho by zpracoval (pokusně) celou ČR - tedy vygeneroval log? Můžeš udělat histogram vzdáleností spárovaných bodů? Honza Dne 6. srpna 2012 4:54 Mirek Dlask dlas...@gmail.com napsal(a): Je otázka, zda nejsou v RÚIAN adresní body domů bez č.p. , asi tam budou adresní body rozestavěných domů. Ty v OSM předpokládám nejsou. Nebo by se asi zobrazovaly tečky bez čísel!? Buď zkusit zmenšit boxík na nějaké garáže, nebo průmysl bez č.p. , nebo SELECT adresních bodů bez čísel popisných a zároveň evidenčních, jsou-li ... 150 je fakt nějak moc Mirek Dne 5. srpna 2012 23:30 Miroslav Šulc fordf...@fordfrog.com napsal(a): tak jsem dodělal bota do stádia, že načte body z osm api a z rúian db, pokusí se je spárovat a vygeneruje nějaké statistiky. pokud se někdo chce podívat do kódu, tak je k dispozici na https://github.com/fordfrog/ruian2osm co se týče načítání bodů z api, tak jsem to omezil na nody, které mají tag addr:housenumber a tag addr:country=CZ (doufám, že adresní body v čr mají aspoň tyto tagy, pokud ne, tak bych to musel udělat jinak). pro testy jsem použil BOX(14.63 50.55,14.68 50.58). pro párování bodů jsem nastavil maximální povolenou vzdálenost na 0.005, nicméně největší vzdálenost mezi shodnými body je 0,0009538 (RÚIAN: POINT(14.6562825 50.5617608) CZ, Doksy, Hálkova 890 OSM: POINT(14.6553375 50.5616313) CZ, null, Hálkova 890, http://maps.fordfrog.com/?zoom=18lat=50.56166lon=14.65557layers=0B0FTF). u tohohle bodu je zajímavé, že údaj v kú je jiný než údaj v rúian (je to vidět z kú vrstvy, u nás ale zatím neproběhla digitalizace). co se týče propojování, tak úspěšnost byla následující: Total matched nodes: 1 136 Total unmatched nodes - RÚIAN: 150, OSM: 15 z toho mj vyplývá, že pokud jsem nikde neudělal chybu, tak v dané oblasti je oproti rúian navíc 15 adresních bodů a 150 jich chybí (což je opravdu dost na tak malé území, aspoň podle mě). k párování ještě poznámka. to že se body sprárovaly ještě neznamená, že osm obsahuje kompletní adresy. jak jsem psal jinde, u nás kompletně chybí addr:city, součástí adresy není ani addr:postcode. párování probíhá v několika cyklech, nejdříve podle celé adresy, nespárované body se pak porovnávají podle ulice a čísla, a to co zbyde se nakonec porovná pouze podle čísla. ve všech případech se ještě zohledňuje vzdálenost bodů. pro programátory podrobnější info tady: https://github.com/fordfrog/ruian2osm/blob/next_release/src/main/java/com/fordfrog/ruian2osm/AddressNodesMatcher.java tady je ještě údaj o průměrné vzdálenosti propojených bodů: Average matched node distance: 0,046 v příloze posílám (snad proleze zip) kompletní log z bota. uvítal bych, pokud by se někdo na ten log podíval, jestli tam nenajde ještě něco zajímavého (nějaké zjevné chyby, na co si dát pozor apod.). stejně tak, pokud budete někdo chtít, abych pustil bota (samozřejmě pouze v testovacím režimu) na nějaké vaší oblíbené oblasti, tak mi pošlete bounding box a já vám pošlu log z bota. ff ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] Zásahy BOTa - nutné a provedené opravy
Ahoj, to já taky, spoustu míst jsem doplnil či dokorigoval, přidal další cesty apod. Měl jsem na to totiž celé dny, tak jsem od rána do večera mapoval. Momentálně čas nemám, tak to jde chvíli k ledu. Ale prioritou jsou pro mne silnice, aby řádně fungoval navigační SW postavený na OSM. I když programátoři naštěstí teď pozastavili update dat. Ale dost mne překvapily oblasti větších měst, kde i zásadní chyby a zničené úseky vůbec nebyly i po několika dnech napraveny. To v těch desetitisícových městech není jediný člověk, který by si rodnou hroudu opravil sám? Protože tak je to nejlepší, ve svém městě jsem toho taky hodně nahodil jen z toho, že to znám, to bych nikde nevyčetl (ne z legálních zdrojů)... ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian bot - první výsledky testů
Dne 6.8.2012 16:04, Jan Bilak napsal(a): Ahoj, jak ten bot rychlý? Aneb za jak dlouho by zpracoval (pokusně) celou ČR - tedy vygeneroval log? no, chvíli by mu to asi trvalo, ale v tom nevidím problém. až budu mít aspoň trochu jistotu, že z toho nepolezou bláboly, tak to můžu zkusit na celé čr. akorát mám trochu obavy z toho, že ten log bude až moc velký. Můžeš udělat histogram vzdáleností spárovaných bodů? nad tímhle už jsem přemýšlel. zkusím to rozdělit po nějakých rozumných intervalech a přidám to do těch výstupních statistik. Honza ff Dne 6. srpna 2012 4:54 Mirek Dlask dlas...@gmail.com napsal(a): Je otázka, zda nejsou v RÚIAN adresní body domů bez č.p. , asi tam budou adresní body rozestavěných domů. Ty v OSM předpokládám nejsou. Nebo by se asi zobrazovaly tečky bez čísel!? Buď zkusit zmenšit boxík na nějaké garáže, nebo průmysl bez č.p. , nebo SELECT adresních bodů bez čísel popisných a zároveň evidenčních, jsou-li ... 150 je fakt nějak moc Mirek Dne 5. srpna 2012 23:30 Miroslav Šulc fordf...@fordfrog.com napsal(a): tak jsem dodělal bota do stádia, že načte body z osm api a z rúian db, pokusí se je spárovat a vygeneruje nějaké statistiky. pokud se někdo chce podívat do kódu, tak je k dispozici na https://github.com/fordfrog/ruian2osm co se týče načítání bodů z api, tak jsem to omezil na nody, které mají tag addr:housenumber a tag addr:country=CZ (doufám, že adresní body v čr mají aspoň tyto tagy, pokud ne, tak bych to musel udělat jinak). pro testy jsem použil BOX(14.63 50.55,14.68 50.58). pro párování bodů jsem nastavil maximální povolenou vzdálenost na 0.005, nicméně největší vzdálenost mezi shodnými body je 0,0009538 (RÚIAN: POINT(14.6562825 50.5617608) CZ, Doksy, Hálkova 890 OSM: POINT(14.6553375 50.5616313) CZ, null, Hálkova 890, http://maps.fordfrog.com/?zoom=18lat=50.56166lon=14.65557layers=0B0FTF). u tohohle bodu je zajímavé, že údaj v kú je jiný než údaj v rúian (je to vidět z kú vrstvy, u nás ale zatím neproběhla digitalizace). co se týče propojování, tak úspěšnost byla následující: Total matched nodes: 1 136 Total unmatched nodes - RÚIAN: 150, OSM: 15 z toho mj vyplývá, že pokud jsem nikde neudělal chybu, tak v dané oblasti je oproti rúian navíc 15 adresních bodů a 150 jich chybí (což je opravdu dost na tak malé území, aspoň podle mě). k párování ještě poznámka. to že se body sprárovaly ještě neznamená, že osm obsahuje kompletní adresy. jak jsem psal jinde, u nás kompletně chybí addr:city, součástí adresy není ani addr:postcode. párování probíhá v několika cyklech, nejdříve podle celé adresy, nespárované body se pak porovnávají podle ulice a čísla, a to co zbyde se nakonec porovná pouze podle čísla. ve všech případech se ještě zohledňuje vzdálenost bodů. pro programátory podrobnější info tady: https://github.com/fordfrog/ruian2osm/blob/next_release/src/main/java/com/fordfrog/ruian2osm/AddressNodesMatcher.java tady je ještě údaj o průměrné vzdálenosti propojených bodů: Average matched node distance: 0,046 v příloze posílám (snad proleze zip) kompletní log z bota. uvítal bych, pokud by se někdo na ten log podíval, jestli tam nenajde ještě něco zajímavého (nějaké zjevné chyby, na co si dát pozor apod.). stejně tak, pokud budete někdo chtít, abych pustil bota (samozřejmě pouze v testovacím režimu) na nějaké vaší oblíbené oblasti, tak mi pošlete bounding box a já vám pošlu log z bota. ff ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz smime.p7s Description: Elektronicky podpis S/MIME ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian - struktura dat adresních bodů
Ahoj Petře, Jak už jsem psal dříve, is_in obsahuje informaci z mapy katastrálních území neodvoditelnou. Jednak někdy KÚ obsahuje více obcí, druhak se někdy obec jmenuje trochu jinak něž katasrální území. Je ke zvážení, jestli je addr:city plnohodnotnou náhradou. Libor On Sun 05-08-12 19:50:25, Petr Morávek wrote: Ještě bych se přimlouval za úplné vypuštění tagu is_in (alespoň pro administrativní jednotky od obce výš). Přijde mi zbytečné tam znova vypisovat informaci, která už je jednou na relacích hranic (když už je tu v nás máme tak hezky komplet). Petr 05.08.12, Miroslav Šulc fordf...@fordfrog.com: ahoj, pustil jsem se do toho bota nad rúian daty. z analýzy rúian dat mi vyplývá, že sestavení adresy lze udělat následovně: - adresní místa s vazbou na ulici mají definovanou ulici - adresní místa bez vazby na ulici nemají asociovanou žádnou ulici - určení obce adresního místa vazbou na stavební objekt a u něj přes vazbu na část obce až na samotnou obec (a následně na nějaký vyšší územní celek - okres, region) k tomu připojuju ilustrační tabulku (typ_kod 1 = má číslo domovní, 2 = má číslo evidenční; has_ulice f = nemá definovanou vazbu na ulici, t = má definovanou vazbu na ulici; count = počet adresních míst; has_cobce = má vazbu na část obce; has_momc = má vazbu na městský obvod/městskou část; has_parcela = má vabzu na parcelu): ruian_new=# select so.typ_kod, am.ulice_kod is not null has_ulice, count(*), count(cobce_kod) has_cobce, count(momc_kod) has_momc, count(identifikacni_parcela_id) has_parcela from rn_adresni_misto am left join rn_stavebni_objekt so on am.stavobj_kod = so.kod group by typ_kod, has_ulice order by typ_kod, has_ulice; typ_kod | has_ulice | count | has_cobce | has_momc | has_parcela -+---+-+---+--+- 1 | f | 1098413 | 1098413 | 2190 | 1048078 1 | t | 1350292 | 1350292 | 266197 | 1310712 2 | f | 353978 |353978 |31947 | 273816 2 | t | 112828 |112828 |16215 | 81166 3 | f | 3 | 0 |0 | 3 3 | t | 1 | 0 |0 | 1 (6 rows) z ní vyplývá, že všechny adresní body typu 1 (má číslo domovní) a 2 (má číslo evidenční) mají v tabulce stavebních objektů vazbu na část obce. problematika určení parametrů adresního bodu by tedy měla být až potud jasná. (možná se lze ještě pozastavit nad otázkou, zda do informací o adresních bodech zahrnout i městský obvod/městskou část). další oblastí je tagování adresních bodů. když se podívám třeba tady u nás na adresní body, tak jejich otagování se dost různí (nevím, jestli jsem postihnul všechny případy, ale asi ne): 1) číslo domovní bez tagu addr:city addr:conscriptionnumber=666 addr:country=CZ addr:housenumber=666 addr:street=Lesní is_in=Doksy, Liberecký kraj, CZ source:addr=mvcr:adresa source:loc=cuzk:km 2) evidenční číslo bez tagu addr:city a addr:street addr:country=CZ addr:housenumber=ev.479 addr:provisionalnumber=479 is_in=Staré Splavy, Doksy, Liberecký kraj, CZ note=Nekonzistence cuzk:km a mvcr:adresa source=cuzk:km 3) evidenční číslo s tagem addr:street, ale bez addr:city addr:country=CZ addr:housenumber=ev.399 addr:provisionalnumber=399 addr:street=Klůček is_in=Doksy, Liberecký kraj, CZ source:addr=mvcr:adresa source:loc=cuzk:km 4) očekával bych adresní body typu 1) včetně tagu addr:city, ale u nás jsem je nenašel takže otázkou je, jaké tagy má mít adresní bod s číslem domovním a s číslem evidenčním (v obci a mimo obec). osobně bych očekával u všech adresních bodů následující tagy: addr:city=Litovel addr:conscriptionnumber=678 addr:country=CZ addr:housenumber=678/1 addr:postcode=78401 addr:street=Mlýnská addr:streetnumber=1 is_in=Litovel, Olomoucký kraj, CZ source:addr=ruian ref:ruian=123456789 případně lze ještě přidat tag s částí obce. tady je odkaz na addr tag na osm: http://wiki.openstreetmap.org/wiki/Key:addr poslední věc, na kterou jsem narazil, je, že kraje, které jsou použité v osm datech, dnes již neexistují. co jsem pochopil z dokumentace rúian, tak se nyní používají tzv regiony soudržnosti, jejichž názvy jsou víceméně totožné s kraji (nicméně ne s těmi v osm). tady je seznam regionů: ruian_new=# select nazev from rn_region_soudrznosti; nazev - Praha Střední Čechy Jihozápad Severozápad Severovýchod Jihovýchod Střední Morava Moravskoslezsko (8 rows) takže např liberecký kraj zmíněný v příkladech nahoře neexistuje, stejně tak olomoucký. tady je pak otázka, jakou identifikaci použít v is_in, zda použít regiony soudržnosti (jako náhradu krajů), nebo pro lepší identifikaci použít raději okresy. takže když to shrnu, tak: - identifikace
Re: [Talk-cz] rúian - struktura dat adresních bodů
Libor Pechacek wrote: Ahoj Petře, Jak už jsem psal dříve, is_in obsahuje informaci z mapy katastrálních území neodvoditelnou. Jednak někdy KÚ obsahuje více obcí, druhak se někdy obec jmenuje trochu jinak něž katasrální území. Je ke zvážení, jestli je addr:city plnohodnotnou náhradou. Libor Ahoj, asi budu potřebovat trochu vyjasnit, co jsi měl namysli... 1) KÚ je vždy součástí jenom jedné obce. Jedinou výjimkou je obec Strýčice, která nemá žádné KÚ a leží na území obce Radošovice. 2) Název KÚ je pro adresní body irelevantní - v žádném formátu adresy se neuvádí, pokud se nepletu, č.p. by měla být unikátní v rámci části obce, jméno KÚ do toho nikde nevstupuje. 3) Osobně si myslím, že addr:city by mělo obsahovat jméno obce a to sice z čistě praktických důvodů - je to položka, která se typicky píše na obálku, máme netriviální počet přesahů, kdy adresní body patřící pod obec A, leží na území obce B (sice se tyhle anomálie pomalu odstraňují, ale existují). Tag is_in zabilo jeho nadužívání (až zneužívání) pro vše možné i nemožné, takže nikdo přesně neví, co vlastně jeho obsah má znamenat, proto bych se mu snažil vyhnout. Přijde mi celkem zbytečné psát třeba: is_in=Pardubice, okres Pardubice, Pardubický kraj, Severovýchod, Česká republika když to samé získám prostým pohledem (dotazem do databáze) na hranice, které máme komplet. I nominatim, který se používá na openstreetmap.org tohle obstojně zvládá. (Předpokládám, že počet meziokresních, nedej bože mezikrajských, přesahů bude řádově menší než meziobecních... víte vůbec někdo o takovém případě? Kolik jich v republice je?) Když už něco dávat do is_in, tak jméno části obce... a to říkám jen proto, že mě momentálně nenapadá lepší tag ;-) Pěkný večer, Petr Morávek aka Xificurk PS: Ah, až teď když jsem to všechno dopsal, tak mě trklo, že jsi možná pod pojmem obec neměl namysli pojem ze zákona č. 128/2000 Sb. (O obcích), ale obecně sídlo. Je to tak? Můžeš prosím vyjasnit? signature.asc Description: OpenPGP digital signature ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] rúian bot - první výsledky testů
tak jsem přidal do statistik bota ještě ten histogram vzdáleností spárovaných bodů a informace o změně názvu obce/ulice adresního bodu. tady jsou doksy: http://pastebin.com/M5AwaeFNhttp://pastebin.com/jtbpMzdX tady je část mladé boleslavi a kosmonos: http://pastebin.com/jtbpMzdX ff Dne 6.8.2012 19:27, Miroslav Šulc napsal(a): v příloze posílám log z bota. tady pak ještě výtah z logy pro ty, kterým se nebude chtít zip otevírat: ... smime.p7s Description: Elektronicky podpis S/MIME ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
