Re: [Talk-se] Naturvårdsverkets nya Nationella MarktäckeData
Hej igen Bra jobbat Grigory! Ang. större import kontinuerligt se tex: https://forum.openstreetmap.org/viewtopic.php?id=65563 Jag har lagt in en del skog runt Härnösand och datat som nu är tillgängligt väsentligt bättre än vad jag lagt in. Jag undrar om vi likt bussstoppen i Norge har mera glädje på sikt av att överskriva redan inlagd skog i stället för att lämna några tusen rektangulära hål som manuellt måste fyllas? Vad tycker ni? När det gäller skog så är det min förhoppning att denna data är så bra att vi inte kommer behöva ändra så mkt på den framöver (förhoppningsvis). NKA föreslog i tråden ovan att vid import av samma data överskrivs allt som inte ändrats i OSM mellan importerna. Det tycker jag låter som en bra strategi om den är gångbar i vårt fall givet alla konverteringar och filtreringar hit och dit. Ang. redigeringsergonomi: Visst är det skönt när alla ytor är angränsande multipolygoner som är lagom stora och delar vägar med varann, men det är nog inte realistiskt att kartlägga hela Sveriges yta så tyvärr. Alternativet med NMD kommer visst att betyda stor skillnad både på Carto och i vektorvy, men om vi lär nykomlingar att koncentrera sig på annat än markytor i början så kommer det nog att gå alldeles bra. Det finns mycket att göra som inte är skog på kartan till att vi alla kan ha händerna fulla ändå. On 2019-04-11 19:33, Grigory Rechistov via Talk-se wrote: > Hej Erik! > De är rimliga farhågor. > > >10GB för Kiruna är rätt stor mängd data > Det är faktiskt 1,7 GB, jag mindes fel. Tänk på att a) det är rå > vektordata, jag ämnar gallra det ordentligt som beskrevs tidigare, b) > Kirunaområdet är undantaget, 82% av de 291 kommuner har GML-filer > mindre än 250 MB (också rådata som ska gallras). > > >Jobbet med att jämka det som finns och det som läggs in kommer behöva > göras igen när låt oss säga NMD 2025 kommer. > Låt oss importera först den data som kom år 2018 :-) Men jag har redan > en plan för den \ (•◡•) / Fråga mig om du är nyfiken (annars brukar > jag skriva mejl till denna tråd som är orimligt långa). Kortfattat: > att hitta och beskriva skillnaden mellan två rasterbilder är i princip > enklare än mellan två vektorbildar. > > >Importera påverkar också redigerar ergonomin rätt mycket. > Mitt syfte är att lägga till ny data som inte överstiger den > datavolymen som redan finns i databasen. Det vill säga, upp till 100 > MB ny vektor objekt för varje 100 MB som redan finns där. > Datauppladdningen ska ske genom JOSM-redigeraren. Om man inte kan > hantera ny lagret i JOSM blir det klart kännetecken att dess volym är > för stor. Vi får se i alla fall om det är genomförbart eller inte. > > Jag vill också lägga till att att ha skogar synliga i OSM-kartan är > viktig för mig som kartanvändare. Olika företag (t ex hitta.se) har > rätt bra friluftskartor över Sverige. Jag vill att vi också har ett > öppen alternativ till det för Sverige och andra länder. > > > Четверг, 11 апреля 2019, 11:58 +03:00 от Erik Johansson > : > > Detta var min poäng med att inte importera för mycket terräng > typer och för små polygoner, 10GB för Kiruna är rätt stor mängd > data och kommer höja ribban rejält för att handskas med Sveriges > osm data. > > Jobbet med att jämka det som finns och det som läggs in kommer > behöva göras igen när låt oss säga NMD 2025 kommer. Denna import > kommer göra det jobbet svårare. > > Importera påverkar också redigerar ergonomin rätt mycket. Är jag > ensam om att tycka detta? > > > Den tors 11 apr. 2019 10:44Grigory Rechistov via Talk-se > > > skrev: > > Hej Christian, tack! > > >Det kan vara svårt att få många att sätta upp hela kedjan av > script och program som behövs. > Jo, det är sant. Jag kunde inte föreställa mig att jag skulle > behöva så flera verktyg och skriva så många nya skript innan > jag hade börjat arbeta med datat. Det blir väl jobbigt för > någon annan att upprepa efter mina steg även om jag ordentligt > dokumenterar dem (och det gör jag inte…) > > >men frågan är ifall det inte vore lättast att en person kör > igenom scripten för alla kommuner? > Det är mitt syfte. Jag ämnar förberedda nästan färdiga > OSM-filer för samtliga kommuner själv. Sedan hjälper andra att > rätta till återstående varningar och att ladda upp datat till > OSM-databasen som sista steget. Hittills orkar min hemdator > med beräkningsbelastningen, men ifall den inte räcker till får > jag tillgång till några få starkare datorer för att klara sig. > > >Jag tar gärna på mig min hemkommun och ett par andra. > Tack! Om allt går bra får jag hem färdigställa > OSM-Sverigekarta inför min sommarsemester. > > Sålänge konverterade jag GeoTIFF:erna till GML:erna. Här är > länken: > https://drive.google.com/open?id=1aVqgPf18rlEwuoAzAWHo5EgvPb5CNAb3 (4 > GB) >
Re: [Talk-se] Naturvårdsverkets nya Nationella MarktäckeData
Hej Erik! De är rimliga farhågor. >10GB för Kiruna är rätt stor mängd data Det är faktiskt 1,7 GB, jag mindes fel. Tänk på att a) det är rå vektordata, jag ämnar gallra det ordentligt som beskrevs tidigare, b) Kirunaområdet är undantaget, 82% av de 291 kommuner har GML-filer mindre än 250 MB (också rådata som ska gallras). >Jobbet med att jämka det som finns och det som läggs in kommer behöva göras >igen när låt oss säga NMD 2025 kommer. Låt oss importera först den data som kom år 2018 :-) Men jag har redan en plan för den \ (•◡•) / Fråga mig om du är nyfiken (annars brukar jag skriva mejl till denna tråd som är orimligt långa). Kortfattat: att hitta och beskriva skillnaden mellan två rasterbilder är i princip enklare än mellan två vektorbildar. >Importera påverkar också redigerar ergonomin rätt mycket. Mitt syfte är att lägga till ny data som inte överstiger den datavolymen som redan finns i databasen. Det vill säga, upp till 100 MB ny vektor objekt för varje 100 MB som redan finns där. Datauppladdningen ska ske genom JOSM-redigeraren. Om man inte kan hantera ny lagret i JOSM blir det klart kännetecken att dess volym är för stor. Vi får se i alla fall om det är genomförbart eller inte. Jag vill också lägga till att att ha skogar synliga i OSM-kartan är viktig för mig som kartanvändare. Olika företag (t ex hitta.se) har rätt bra friluftskartor över Sverige. Jag vill att vi också har ett öppen alternativ till det för Sverige och andra länder. >Четверг, 11 апреля 2019, 11:58 +03:00 от Erik Johansson : > >Detta var min poäng med att inte importera för mycket terräng typer och för >små polygoner, 10GB för Kiruna är rätt stor mängd data och kommer höja ribban >rejält för att handskas med Sveriges osm data. > >Jobbet med att jämka det som finns och det som läggs in kommer behöva göras >igen när låt oss säga NMD 2025 kommer. Denna import kommer göra det jobbet >svårare. > >Importera påverkar också redigerar ergonomin rätt mycket. Är jag ensam om att >tycka detta? > > >Den tors 11 apr. 2019 10:44Grigory Rechistov via Talk-se < >talk-se@openstreetmap.org > skrev: >>Hej Christian, tack! >> >>>Det kan vara svårt att få många att sätta upp hela kedjan av script och >>>program som behövs. >>Jo, det är sant. Jag kunde inte föreställa mig att jag skulle behöva så flera >>verktyg och skriva så många nya skript innan jag hade börjat arbeta med >>datat. Det blir väl jobbigt för någon annan att upprepa efter mina steg även >>om jag ordentligt dokumenterar dem (och det gör jag inte…) >> >>>men frågan är ifall det inte vore lättast att en person kör igenom scripten >>>för alla kommuner? >>Det är mitt syfte. Jag ämnar förberedda nästan färdiga OSM-filer för samtliga >>kommuner själv. Sedan hjälper andra att rätta till återstående varningar och >>att ladda upp datat till OSM-databasen som sista steget. Hittills orkar min >>hemdator med beräkningsbelastningen, men ifall den inte räcker till får jag >>tillgång till några få starkare datorer för att klara sig. >> >>>Jag tar gärna på mig min hemkommun och ett par andra. >>Tack! Om allt går bra får jag hem färdigställa OSM-Sverigekarta inför min >>sommarsemester. >> >>Sålänge konverterade jag GeoTIFF:erna till GML:erna. Här är länken: >>https://drive.google.com/open?id=1aVqgPf18rlEwuoAzAWHo5EgvPb5CNAb3 (4 GB) >>Tänk på att: >>1. Uppackade filer tar upp 55 GB på hårddisken >>2. XML-filstorlekar varieras mellan 3 MByte för Sundbybergs kommun till 10 >>(?) GByte för Kirunas kommun. >> >>Mina nästa steg är: >>1. Slutföra med conflation-skriptet >>2. Filtrera GML-filerna och ta bort mindre vägar (att filtrera rastern räckte >>tydligen inte). Det verkar att vissa transformationer är lättare att utföra >>på GML-formaterade data än på OSM-filer. 55 GByte är ju överdrivet. >> >>>Четверг, 11 апреля 2019, 9:13 +03:00 от Christian Asker < >>>christian.as...@gmail.com >: >>> >>>Hej. Bra jobbat! Jag tar gärna på mig min hemkommun och ett par andra. >>> >>>Jag vet att du har lagt ned massa arbete redan, men frågan är ifall det inte >>>vore lättast att en person kör igenom scripten för alla kommuner? Det kan >>>vara svårt att få många att sätta upp hela kedjan av script och program som >>>behövs. >>> >>> >>>Mvh Christian >>> >>> >>> >> >>Med vänliga hälsningar, >>Grigory Rechistov >>With best regards, >>Grigory Rechistov >>___ >>Talk-se mailing list >>Talk-se@openstreetmap.org >>https://lists.openstreetmap.org/listinfo/talk-se С наилучшими пожеланиями, Григорий Речистов. Med vänliga hälsningar, Grigory Rechistov With best regards, Grigory Rechistov ___ Talk-se mailing list Talk-se@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-se
Re: [Talk-se] Naturvårdsverkets nya Nationella MarktäckeData
Detta var min poäng med att inte importera för mycket terräng typer och för små polygoner, 10GB för Kiruna är rätt stor mängd data och kommer höja ribban rejält för att handskas med Sveriges osm data. Jobbet med att jämka det som finns och det som läggs in kommer behöva göras igen när låt oss säga NMD 2025 kommer. Denna import kommer göra det jobbet svårare. Importera påverkar också redigerar ergonomin rätt mycket. Är jag ensam om att tycka detta? Den tors 11 apr. 2019 10:44Grigory Rechistov via Talk-se < talk-se@openstreetmap.org> skrev: > Hej Christian, tack! > > >Det kan vara svårt att få många att sätta upp hela kedjan av script och > program som behövs. > Jo, det är sant. Jag kunde inte föreställa mig att jag skulle behöva så > flera verktyg och skriva så många nya skript innan jag hade börjat arbeta > med datat. Det blir väl jobbigt för någon annan att upprepa efter mina steg > även om jag ordentligt dokumenterar dem (och det gör jag inte…) > > >men frågan är ifall det inte vore lättast att en person kör igenom > scripten för alla kommuner? > Det är mitt syfte. Jag ämnar förberedda nästan färdiga OSM-filer för > samtliga kommuner själv. Sedan hjälper andra att rätta till återstående > varningar och att ladda upp datat till OSM-databasen som sista steget. > Hittills orkar min hemdator med beräkningsbelastningen, men ifall den inte > räcker till får jag tillgång till några få starkare datorer för att klara > sig. > > >Jag tar gärna på mig min hemkommun och ett par andra. > Tack! Om allt går bra får jag hem färdigställa OSM-Sverigekarta inför min > sommarsemester. > > Sålänge konverterade jag GeoTIFF:erna till GML:erna. Här är länken: > https://drive.google.com/open?id=1aVqgPf18rlEwuoAzAWHo5EgvPb5CNAb3 (4 GB) > Tänk på att: > 1. Uppackade filer tar upp *55 GB* på hårddisken > 2. XML-filstorlekar varieras mellan 3 MByte för Sundbybergs kommun till 10 > (?) GByte för Kirunas kommun. > > Mina nästa steg är: > 1. Slutföra med conflation-skriptet > 2. Filtrera GML-filerna och ta bort mindre vägar (att filtrera rastern > räckte tydligen inte). Det verkar att vissa transformationer är lättare att > utföra på GML-formaterade data än på OSM-filer. 55 GByte är ju överdrivet. > > Четверг, 11 апреля 2019, 9:13 +03:00 от Christian Asker < > christian.as...@gmail.com>: > > Hej. Bra jobbat! Jag tar gärna på mig min hemkommun och ett par andra. > > Jag vet att du har lagt ned massa arbete redan, men frågan är ifall det > inte vore lättast att en person kör igenom scripten för alla kommuner? Det > kan vara svårt att få många att sätta upp hela kedjan av script och program > som behövs. > > > Mvh Christian > > > > > Med vänliga hälsningar, > Grigory Rechistov > With best regards, > Grigory Rechistov > ___ > Talk-se mailing list > Talk-se@openstreetmap.org > https://lists.openstreetmap.org/listinfo/talk-se > ___ Talk-se mailing list Talk-se@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-se
Re: [Talk-se] Naturvårdsverkets nya Nationella MarktäckeData
Hej Christian, tack! >Det kan vara svårt att få många att sätta upp hela kedjan av script och >program som behövs. Jo, det är sant. Jag kunde inte föreställa mig att jag skulle behöva så flera verktyg och skriva så många nya skript innan jag hade börjat arbeta med datat. Det blir väl jobbigt för någon annan att upprepa efter mina steg även om jag ordentligt dokumenterar dem (och det gör jag inte…) >men frågan är ifall det inte vore lättast att en person kör igenom scripten >för alla kommuner? Det är mitt syfte. Jag ämnar förberedda nästan färdiga OSM-filer för samtliga kommuner själv. Sedan hjälper andra att rätta till återstående varningar och att ladda upp datat till OSM-databasen som sista steget. Hittills orkar min hemdator med beräkningsbelastningen, men ifall den inte räcker till får jag tillgång till några få starkare datorer för att klara sig. >Jag tar gärna på mig min hemkommun och ett par andra. Tack! Om allt går bra får jag hem färdigställa OSM-Sverigekarta inför min sommarsemester. Sålänge konverterade jag GeoTIFF:erna till GML:erna. Här är länken: https://drive.google.com/open?id=1aVqgPf18rlEwuoAzAWHo5EgvPb5CNAb3 (4 GB) Tänk på att: 1. Uppackade filer tar upp 55 GB på hårddisken 2. XML-filstorlekar varieras mellan 3 MByte för Sundbybergs kommun till 10 (?) GByte för Kirunas kommun. Mina nästa steg är: 1. Slutföra med conflation-skriptet 2. Filtrera GML-filerna och ta bort mindre vägar (att filtrera rastern räckte tydligen inte). Det verkar att vissa transformationer är lättare att utföra på GML-formaterade data än på OSM-filer. 55 GByte är ju överdrivet. >Четверг, 11 апреля 2019, 9:13 +03:00 от Christian Asker >: > >Hej. Bra jobbat! Jag tar gärna på mig min hemkommun och ett par andra. > >Jag vet att du har lagt ned massa arbete redan, men frågan är ifall det inte >vore lättast att en person kör igenom scripten för alla kommuner? Det kan vara >svårt att få många att sätta upp hela kedjan av script och program som behövs. > > >Mvh Christian > > > Med vänliga hälsningar, Grigory Rechistov With best regards, Grigory Rechistov ___ Talk-se mailing list Talk-se@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-se
Re: [Talk-se] Naturvårdsverkets nya Nationella MarktäckeData
Hej. Bra jobbat! Jag tar gärna på mig min hemkommun och ett par andra. Jag vet att du har lagt ned massa arbete redan, men frågan är ifall det inte vore lättast att en person kör igenom scripten för alla kommuner? Det kan vara svårt att få många att sätta upp hela kedjan av script och program som behövs. Mvh Christian Grigory Rechistov via Talk-se skrev: (10 april 2019 17:52:07 CEST) >Hej, >Nu har jag skurit Sverige i bitar :-)! Här >https://drive.google.com/open?id=1JfAidyqIdelsRj1tjrpG-OR6IkJuHxWE (400 >MB) finns en arkivfil med 291 GeoTIFF-filer motsvarande till samtliga >kommuner. >Kommunernas gränser hittar man här som SHP-filer: >https://atakua.org/p/nmd/kommuner-shp.tar.bz2 >Det var gjort med det här skriptet: >https://github.com/grigory-rechistov/nmd-osm-tools/blob/master/get-kommun-raster.sh > >För varje GeoTIFF-fil behöver man göra följande steg: >1. Vektorizera (gdal_vectorize) >2. Jämna ut vektorn med GRASS-Chaiken och GRASS-Douglas-Peucker >verktygen >3. Exportera till OSM-XML (genom GeoJSON som mellanformat). JOSM läser >nämligen varken SHP eller GML som QGIS producerar. >4. Konvertera etiketter, gallra datafil. >5. Conflate nya datat med det befintliga datat, fixa kvarstående >överlappande ytor manuellt eller med ett verktyg. >6. Få tillstånd och ladda datat upp till OSM under ett särskilt konto. >7. Ha koll genom osmose.openstreetmap.fr att inga problem dykt upp, >eventuellt rätta dem till. > >Jag är fortfarande upptagen med conflate-skriptet för det femte steget. > >Vi behöver även skapa en allmän tabell någonstans för att ha koll på >vilka delar redan har laddats upp till OSM, vad för problem uppstod, >vem håller på att bearbeta vilka kommuner osv. > > >>Låter som en bra ide att bruta upp importen i mindre bitar. >> >>Det ger oss också möjlighet att förbättra algoritmen om så behövs >undervägs. >> >> >>___ >>Talk-se mailing list >>Talk-se@openstreetmap.org >>https://lists.openstreetmap.org/listinfo/talk-se > > >С наилучшими пожеланиями, >Григорий Речистов. >Med vänliga hälsningar, >Grigory Rechistov >With best regards, >Grigory Rechistov -- Skickat från min Android-enhet med K-9 Mail. Ursäkta min fåordighet.___ Talk-se mailing list Talk-se@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-se
