Re: [FreeGeoCZ] velké bodové datasety na webu (TWKB, PBF)

2017-07-10 Thread Ha Noj 
Na CSV jsem nenašel žádný vzor, jak to udělat a abych přínosy tohoto
řešení. JSON jenom proto, že je to standard.

PS: tippecanoe  + tileserver.php jsem nakonec zprovoznil, tileserver.php
neni jen server, ale obsahuje i ukazky web klientu nad daty (napr.
OpenLayers), ktere se nachazi v tom samem adresari jako tileserver.php.

d.

Dne 7. července 2017 23:58 Leknín Řepánek 
napsal(a):

> No, ale čim si pomůžeš u bodů, když to dáš do topojsonu? Proč vlastně
> body rvát do jsonu? Já si myslim, že nejúspornější bude csv a myslim si,
> že by to mělo jít i nějak načtvercovat, aby se to nemuselo tahat celý,
> případně udělat i nějaký agregace, vidim, že to máš taky po čase, já
> bych to asi rozhodil do souborovýho systému.
> Je;
>
> On Fri, Jul 07, 2017 at 09:48:04PM +0200, Ha Noj wrote:
> > Díky za rady,
> >
> > 1) GPKG jsem zkusil nějaká úspora ve velikosti souboru proti TopoJSON
> je, ale
> > zase časová ztráta při dekódování. A OpenLayers to nacpe zase do paměti
> > rozežraného GeoJSON  [1]
> >
> > 2) Zkusil jsem tippecanoe  + tileserver.php [2, 3] což skončilo "Error:
> > Unimplemented type: 3", výklad je poměrně široký.
> >
> > 3) Přímo číst maptiles umí leaflet, ale jen pokud jde o rastrová(?)
> data. [4]
> >
> > 4) samotné binární PBF se mi podařilo vytvořit, ale jen pro přiložený
> příklad,
> > moje data převedená do pbf už načíst nešla s chybou "Error: Expected
> varint not
> > more than 10 bytes  pbf-dev.js:268:15". [5][6]
> >
> > 5) tedy jsem skončil zpátky u TopoJSON a Openlayers, kde to s pomocí
> ol.Cluster
> > jakž takž chodí:
> >
> > http://nakole.templ.net/prestupkyMPB-dopravni.htm
> >
> >
> > zdraví Dan Bárta
> >
> >
> > [1] http://ngageoint.github.io/geopackage-js/
> > [2] https://github.com/mapbox/tippecanoe
> > [3] https://github.com/klokantech/tileserver-php
> > [4] https://gitlab.com/IvanSanchez/Leaflet.TileLayer.MBTiles/tree/master
> > [5] https://github.com/mapbox/pygeobuf
> > [6] https://bl.ocks.org/mofoyoda/da963a75a3bb8c9437a6
> >
> > Dne 3. července 2017 10:29 Jachym Cepicky 
> napsal(a):
> >
> > Nadlaždicovat
> >
> > https://github.com/mapbox/tippecanoe
> >
> >
> > po 3. 7. 2017 v 10:03 odesílatel Vojta Dubrovsky 
> napsal:
> >
> > Ahoj,
> >
> > řešil jsem něco podobného. Nyní zobrazuji “pouze” 10k bodů, ale
> dá se
> > to použít jako usecase.
> >
> > http://vdubr.github.io/water_moldavia/
> >
> > Použil jsem TopoJSON s přesností na metry. V gzipu to dělá 80KB.
> > Atribotová data jsem vyčlenil od geometrie a stahují se ze
> složky podle
> > ID až při prokliku. Mám tam připraveny i offline filtrování.
> >
> > Koukni do dev konzole na časy, ale myslím že i 100k bodů by bylo
> stále
> > pro uživatele snesitelných.
> >
> > Kdo si vyžívá v Moldavštině, tak si může počíst.
> >
> > --
> >
> > Vojtěch Dubrovský
> >
> > m:  +420 608 075 163
> > e:   vd...@icloud.com
> > t: @vdubr
> > ln: https://cz.linkedin.com/in/vojtechdubrovsky
> >
> >
> > On 30 Jun 2017, at 17:00, Ha Noj  wrote:
> >
> > Ahoj,
> >
> > chtěl bych publikovat na webu v něčem jako Openlayers bez
> užití
> > serveru dataset o 100.000 bodech, optimálně i s nějakými
> atributy,
> > ale lze to udělat i bez atributů.
> > Máte nějakou praktickou zkušenost?
> >
> > 1) GeoJSON 32 MB/zip 3 MB/RAM 390 MB (zip za předpokladu, že
> web
> > server se s klientem dohodnou na stažení v Gzip - zdá se mi,
> že
> > tomu tak není vždy), pokud odstraním všechny atributy tak 11
> MB/zip
> > 0,7 MB/ RAM 350 MB.
> > *** klasika, ale velký a pomalý...
> >
> > 2) TopoJSON 26 MB/zip 3 MB
> > *** pro body to nemá moc význam
> >
> > 3) TWKB [1]
> > *** zajímavý! RAM 9 MB na 100.000 bodů, ale nepochopil jak se
> > vytváří soubory twkb? Získat samotnou geometrii je v psql
> > jednoduché, jak ale vytvořit korektní binární soubor?
> > psql -c "SELECT ST_AsTWKB('POINT(16 49)'::geometry);"
> >
> > 4) Geobuf PBF [2]
> > *** opět zajímavý, ale žádným z nástrojů se mi nepodařilo
> vytvořit
> > potřebný PBF soubor, vždy to končí pádem převáděcího
> nástroje [3].
> >
> > 5) Něco jiného jinak? Úplně jinak?
> >
> > zdraví
> >  Dan Bárta
>
___
FreeGeoCZ mailing list
FreeGeoCZ@fsv.cvut.cz
http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz

Re: [FreeGeoCZ] velké bodové datasety na webu (TWKB, PBF)

2017-07-07 Thread Leknín Řepánek 
No, ale čim si pomůžeš u bodů, když to dáš do topojsonu? Proč vlastně
body rvát do jsonu? Já si myslim, že nejúspornější bude csv a myslim si,
že by to mělo jít i nějak načtvercovat, aby se to nemuselo tahat celý,
případně udělat i nějaký agregace, vidim, že to máš taky po čase, já
bych to asi rozhodil do souborovýho systému.
Je;

On Fri, Jul 07, 2017 at 09:48:04PM +0200, Ha Noj wrote:
> Díky za rady,
> 
> 1) GPKG jsem zkusil nějaká úspora ve velikosti souboru proti TopoJSON je, ale
> zase časová ztráta při dekódování. A OpenLayers to nacpe zase do paměti
> rozežraného GeoJSON  [1]
> 
> 2) Zkusil jsem tippecanoe  + tileserver.php [2, 3] což skončilo "Error:
> Unimplemented type: 3", výklad je poměrně široký.
> 
> 3) Přímo číst maptiles umí leaflet, ale jen pokud jde o rastrová(?) data. [4]
> 
> 4) samotné binární PBF se mi podařilo vytvořit, ale jen pro přiložený příklad,
> moje data převedená do pbf už načíst nešla s chybou "Error: Expected varint 
> not
> more than 10 bytes  pbf-dev.js:268:15". [5][6]
> 
> 5) tedy jsem skončil zpátky u TopoJSON a Openlayers, kde to s pomocí 
> ol.Cluster
> jakž takž chodí:
> 
> http://nakole.templ.net/prestupkyMPB-dopravni.htm
> 
> 
> zdraví Dan Bárta
> 
> 
> [1] http://ngageoint.github.io/geopackage-js/
> [2] https://github.com/mapbox/tippecanoe
> [3] https://github.com/klokantech/tileserver-php
> [4] https://gitlab.com/IvanSanchez/Leaflet.TileLayer.MBTiles/tree/master
> [5] https://github.com/mapbox/pygeobuf
> [6] https://bl.ocks.org/mofoyoda/da963a75a3bb8c9437a6
> 
> Dne 3. července 2017 10:29 Jachym Cepicky  
> napsal(a):
> 
> Nadlaždicovat
> 
> https://github.com/mapbox/tippecanoe
> 
> 
> po 3. 7. 2017 v 10:03 odesílatel Vojta Dubrovsky  
> napsal:
> 
> Ahoj,
> 
> řešil jsem něco podobného. Nyní zobrazuji “pouze” 10k bodů, ale dá se
> to použít jako usecase.
> 
> http://vdubr.github.io/water_moldavia/
> 
> Použil jsem TopoJSON s přesností na metry. V gzipu to dělá 80KB.
> Atribotová data jsem vyčlenil od geometrie a stahují se ze složky 
> podle
> ID až při prokliku. Mám tam připraveny i offline filtrování. 
> 
> Koukni do dev konzole na časy, ale myslím že i 100k bodů by bylo stále
> pro uživatele snesitelných.
> 
> Kdo si vyžívá v Moldavštině, tak si může počíst.
> 
> -- 
> 
> Vojtěch Dubrovský
> 
> m:  +420 608 075 163
> e:   vd...@icloud.com
> t: @vdubr
> ln: https://cz.linkedin.com/in/vojtechdubrovsky
> 
> 
> On 30 Jun 2017, at 17:00, Ha Noj  wrote:
> 
> Ahoj,
> 
> chtěl bych publikovat na webu v něčem jako Openlayers bez užití
> serveru dataset o 100.000 bodech, optimálně i s nějakými atributy,
> ale lze to udělat i bez atributů.
> Máte nějakou praktickou zkušenost?
> 
> 1) GeoJSON 32 MB/zip 3 MB/RAM 390 MB (zip za předpokladu, že web
> server se s klientem dohodnou na stažení v Gzip - zdá se mi, že
> tomu tak není vždy), pokud odstraním všechny atributy tak 11 
> MB/zip
> 0,7 MB/ RAM 350 MB.
> *** klasika, ale velký a pomalý...
> 
> 2) TopoJSON 26 MB/zip 3 MB
> *** pro body to nemá moc význam
> 
> 3) TWKB [1]
> *** zajímavý! RAM 9 MB na 100.000 bodů, ale nepochopil jak se
> vytváří soubory twkb? Získat samotnou geometrii je v psql
> jednoduché, jak ale vytvořit korektní binární soubor?
> psql -c "SELECT ST_AsTWKB('POINT(16 49)'::geometry);"
> 
> 4) Geobuf PBF [2]
> *** opět zajímavý, ale žádným z nástrojů se mi nepodařilo vytvořit
> potřebný PBF soubor, vždy to končí pádem převáděcího nástroje [3].
> 
> 5) Něco jiného jinak? Úplně jinak?
> 
> zdraví
>  Dan Bárta
> 
> [1] https://dev.camptocamp.com/files/ol3/webgl/examples/
> webgl-points.html
> [2] https://github.com/mapbox/geobuf#install
> [3] https://stackoverflow.com/questions/35393903/geojson-
> encoding-for-using-in-leaflet-js
> 
> ___
> FreeGeoCZ mailing list
> FreeGeoCZ@fsv.cvut.cz
> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
> 
> 
> ___
> FreeGeoCZ mailing list
> FreeGeoCZ@fsv.cvut.cz
> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
> 
> 
> ___
> FreeGeoCZ mailing list
> FreeGeoCZ@fsv.cvut.cz
> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
> 
> 
> 

> ___
> FreeGeoCZ mailing list
> FreeGeoCZ@fsv.cvut.cz
> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz

Re: [FreeGeoCZ] velké bodové datasety na webu (TWKB, PBF)

2017-07-07 Thread Ha Noj 
Díky za rady,

1) GPKG jsem zkusil nějaká úspora ve velikosti souboru proti TopoJSON je,
ale zase časová ztráta při dekódování. A OpenLayers to nacpe zase do paměti
rozežraného GeoJSON  [1]

2) Zkusil jsem tippecanoe  + tileserver.php [2, 3] což skončilo "Error:
Unimplemented type: 3", výklad je poměrně široký.

3) Přímo číst maptiles umí leaflet, ale jen pokud jde o rastrová(?) data.
[4]

4) samotné binární PBF se mi podařilo vytvořit, ale jen pro přiložený
příklad, moje data převedená do pbf už načíst nešla s chybou "Error:
Expected varint not more than 10 bytes  pbf-dev.js:268:15". [5][6]

5) tedy jsem skončil zpátky u TopoJSON a Openlayers, kde to s pomocí
ol.Cluster jakž takž chodí:

http://nakole.templ.net/prestupkyMPB-dopravni.htm



zdraví Dan Bárta


[1] http://ngageoint.github.io/geopackage-js/
[2] https://github.com/mapbox/tippecanoe
[3] https://github.com/klokantech/tileserver-php
[4] https://gitlab.com/IvanSanchez/Leaflet.TileLayer.MBTiles/tree/master
[5] https://github.com/mapbox/pygeobuf
[6] https://bl.ocks.org/mofoyoda/da963a75a3bb8c9437a6

Dne 3. července 2017 10:29 Jachym Cepicky 
napsal(a):

> Nadlaždicovat
>
> https://github.com/mapbox/tippecanoe
>
>
> po 3. 7. 2017 v 10:03 odesílatel Vojta Dubrovsky 
> napsal:
>
>> Ahoj,
>>
>> řešil jsem něco podobného. Nyní zobrazuji “pouze” 10k bodů, ale dá se to
>> použít jako usecase.
>>
>> http://vdubr.github.io/water_moldavia/
>>
>> Použil jsem TopoJSON s přesností na metry. V gzipu to dělá 80KB.
>> Atribotová data jsem vyčlenil od geometrie a stahují se ze složky podle ID
>> až při prokliku. Mám tam připraveny i offline filtrování.
>>
>> Koukni do dev konzole na časy, ale myslím že i 100k bodů by bylo stále
>> pro uživatele snesitelných.
>>
>> Kdo si vyžívá v Moldavštině, tak si může počíst.
>>
>> --
>>
>> Vojtěch Dubrovský
>>
>> m:  +420 608 075 163 <608%20075%20163>
>> e:   vd...@icloud.com
>> t: @vdubr
>> ln: https://cz.linkedin.com/in/vojtechdubrovsky
>>
>> On 30 Jun 2017, at 17:00, Ha Noj  wrote:
>>
>> Ahoj,
>>
>> chtěl bych publikovat na webu v něčem jako Openlayers bez užití serveru
>> dataset o 100.000 bodech, optimálně i s nějakými atributy, ale lze to
>> udělat i bez atributů.
>> Máte nějakou praktickou zkušenost?
>>
>> 1) GeoJSON 32 MB/zip 3 MB/RAM 390 MB (zip za předpokladu, že web server
>> se s klientem dohodnou na stažení v Gzip - zdá se mi, že tomu tak není
>> vždy), pokud odstraním všechny atributy tak 11 MB/zip 0,7 MB/ RAM 350 MB.
>> *** klasika, ale velký a pomalý...
>>
>> 2) TopoJSON 26 MB/zip 3 MB
>> *** pro body to nemá moc význam
>>
>> 3) TWKB [1]
>> *** zajímavý! RAM 9 MB na 100.000 bodů, ale nepochopil jak se vytváří
>> soubory twkb? Získat samotnou geometrii je v psql jednoduché, jak ale
>> vytvořit korektní binární soubor?
>> psql -c "SELECT ST_AsTWKB('POINT(16 49)'::geometry);"
>>
>> 4) Geobuf PBF [2]
>> *** opět zajímavý, ale žádným z nástrojů se mi nepodařilo vytvořit
>> potřebný PBF soubor, vždy to končí pádem převáděcího nástroje [3].
>>
>> 5) Něco jiného jinak? Úplně jinak?
>>
>> zdraví
>>  Dan Bárta
>>
>> [1] https://dev.camptocamp.com/files/ol3/webgl/examples/webgl-points.html
>> [2] https://github.com/mapbox/geobuf#install
>> [3] https://stackoverflow.com/questions/35393903/geojson-
>> encoding-for-using-in-leaflet-js
>>
>> ___
>> FreeGeoCZ mailing list
>> FreeGeoCZ@fsv.cvut.cz
>> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
>>
>>
>> ___
>> FreeGeoCZ mailing list
>> FreeGeoCZ@fsv.cvut.cz
>> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
>>
>
> ___
> FreeGeoCZ mailing list
> FreeGeoCZ@fsv.cvut.cz
> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
>
>
___
FreeGeoCZ mailing list
FreeGeoCZ@fsv.cvut.cz
http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz

Re: [FreeGeoCZ] velké bodové datasety na webu (TWKB, PBF)

2017-07-03 Thread Jachym Cepicky 
Nadlaždicovat

https://github.com/mapbox/tippecanoe


po 3. 7. 2017 v 10:03 odesílatel Vojta Dubrovsky  napsal:

> Ahoj,
>
> řešil jsem něco podobného. Nyní zobrazuji “pouze” 10k bodů, ale dá se to
> použít jako usecase.
>
> http://vdubr.github.io/water_moldavia/
>
> Použil jsem TopoJSON s přesností na metry. V gzipu to dělá 80KB.
> Atribotová data jsem vyčlenil od geometrie a stahují se ze složky podle ID
> až při prokliku. Mám tam připraveny i offline filtrování.
>
> Koukni do dev konzole na časy, ale myslím že i 100k bodů by bylo stále pro
> uživatele snesitelných.
>
> Kdo si vyžívá v Moldavštině, tak si může počíst.
>
> --
>
> Vojtěch Dubrovský
>
> m:  +420 608 075 163 <608%20075%20163>
> e:   vd...@icloud.com
> t: @vdubr
> ln: https://cz.linkedin.com/in/vojtechdubrovsky
>
> On 30 Jun 2017, at 17:00, Ha Noj  wrote:
>
> Ahoj,
>
> chtěl bych publikovat na webu v něčem jako Openlayers bez užití serveru
> dataset o 100.000 bodech, optimálně i s nějakými atributy, ale lze to
> udělat i bez atributů.
> Máte nějakou praktickou zkušenost?
>
> 1) GeoJSON 32 MB/zip 3 MB/RAM 390 MB (zip za předpokladu, že web server se
> s klientem dohodnou na stažení v Gzip - zdá se mi, že tomu tak není vždy),
> pokud odstraním všechny atributy tak 11 MB/zip 0,7 MB/ RAM 350 MB.
> *** klasika, ale velký a pomalý...
>
> 2) TopoJSON 26 MB/zip 3 MB
> *** pro body to nemá moc význam
>
> 3) TWKB [1]
> *** zajímavý! RAM 9 MB na 100.000 bodů, ale nepochopil jak se vytváří
> soubory twkb? Získat samotnou geometrii je v psql jednoduché, jak ale
> vytvořit korektní binární soubor?
> psql -c "SELECT ST_AsTWKB('POINT(16 49)'::geometry);"
>
> 4) Geobuf PBF [2]
> *** opět zajímavý, ale žádným z nástrojů se mi nepodařilo vytvořit
> potřebný PBF soubor, vždy to končí pádem převáděcího nástroje [3].
>
> 5) Něco jiného jinak? Úplně jinak?
>
> zdraví
>  Dan Bárta
>
> [1] https://dev.camptocamp.com/files/ol3/webgl/examples/webgl-points.html
> [2] https://github.com/mapbox/geobuf#install
> [3]
> https://stackoverflow.com/questions/35393903/geojson-encoding-for-using-in-leaflet-js
>
> ___
> FreeGeoCZ mailing list
> FreeGeoCZ@fsv.cvut.cz
> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
>
>
> ___
> FreeGeoCZ mailing list
> FreeGeoCZ@fsv.cvut.cz
> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
>
___
FreeGeoCZ mailing list
FreeGeoCZ@fsv.cvut.cz
http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz

Re: [FreeGeoCZ] velké bodové datasety na webu (TWKB, PBF)

2017-07-02 Thread Jan Michálek 
Hm a co spatiallite, nebo geopackage?
Mmchdm, u bodovejch dat bys udělal celkem dost "parády" i s obyčejnskym
céesvéčkem.

Je;

Dne 30. června 2017 17:00 Ha Noj  napsal(a):

> Ahoj,
>
> chtěl bych publikovat na webu v něčem jako Openlayers bez užití serveru
> dataset o 100.000 bodech, optimálně i s nějakými atributy, ale lze to
> udělat i bez atributů.
> Máte nějakou praktickou zkušenost?
>
> 1) GeoJSON 32 MB/zip 3 MB/RAM 390 MB (zip za předpokladu, že web server se
> s klientem dohodnou na stažení v Gzip - zdá se mi, že tomu tak není vždy),
> pokud odstraním všechny atributy tak 11 MB/zip 0,7 MB/ RAM 350 MB.
> *** klasika, ale velký a pomalý...
>
> 2) TopoJSON 26 MB/zip 3 MB
> *** pro body to nemá moc význam
>
> 3) TWKB [1]
> *** zajímavý! RAM 9 MB na 100.000 bodů, ale nepochopil jak se vytváří
> soubory twkb? Získat samotnou geometrii je v psql jednoduché, jak ale
> vytvořit korektní binární soubor?
> psql -c "SELECT ST_AsTWKB('POINT(16 49)'::geometry);"
>
> 4) Geobuf PBF [2]
> *** opět zajímavý, ale žádným z nástrojů se mi nepodařilo vytvořit
> potřebný PBF soubor, vždy to končí pádem převáděcího nástroje [3].
>
> 5) Něco jiného jinak? Úplně jinak?
>
> zdraví
>  Dan Bárta
>
> [1] https://dev.camptocamp.com/files/ol3/webgl/examples/webgl-points.html
> [2] https://github.com/mapbox/geobuf#install
> [3] https://stackoverflow.com/questions/35393903/geojson-encodin
> g-for-using-in-leaflet-js
>
>
> ___
> FreeGeoCZ mailing list
> FreeGeoCZ@fsv.cvut.cz
> http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz
>
>


-- 
Jelen
Starší čeledín datovýho chlíva
___
FreeGeoCZ mailing list
FreeGeoCZ@fsv.cvut.cz
http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz

[FreeGeoCZ] velké bodové datasety na webu (TWKB, PBF)

2017-06-30 Thread Ha Noj 
Ahoj,

chtěl bych publikovat na webu v něčem jako Openlayers bez užití serveru
dataset o 100.000 bodech, optimálně i s nějakými atributy, ale lze to
udělat i bez atributů.
Máte nějakou praktickou zkušenost?

1) GeoJSON 32 MB/zip 3 MB/RAM 390 MB (zip za předpokladu, že web server se
s klientem dohodnou na stažení v Gzip - zdá se mi, že tomu tak není vždy),
pokud odstraním všechny atributy tak 11 MB/zip 0,7 MB/ RAM 350 MB.
*** klasika, ale velký a pomalý...

2) TopoJSON 26 MB/zip 3 MB
*** pro body to nemá moc význam

3) TWKB [1]
*** zajímavý! RAM 9 MB na 100.000 bodů, ale nepochopil jak se vytváří
soubory twkb? Získat samotnou geometrii je v psql jednoduché, jak ale
vytvořit korektní binární soubor?
psql -c "SELECT ST_AsTWKB('POINT(16 49)'::geometry);"

4) Geobuf PBF [2]
*** opět zajímavý, ale žádným z nástrojů se mi nepodařilo vytvořit potřebný
PBF soubor, vždy to končí pádem převáděcího nástroje [3].

5) Něco jiného jinak? Úplně jinak?

zdraví
 Dan Bárta

[1] https://dev.camptocamp.com/files/ol3/webgl/examples/webgl-points.html
[2] https://github.com/mapbox/geobuf#install
[3] https://stackoverflow.com/questions/35393903/geojson-
encoding-for-using-in-leaflet-js
___
FreeGeoCZ mailing list
FreeGeoCZ@fsv.cvut.cz
http://mailman.fsv.cvut.cz/mailman/listinfo/freegeocz