[Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Sérgio V .]

Oi Gerald, obrigado, também contado com o valioso auxílio do @naoliv e diversas 
dicas do @nighto e do pessoal sobre tratamento do material.


Sim, bem lembrado, de fato vou criar uma conta dedicada para os restantes 97%. 
Só foram 3% de upload até agora.

A documentação já está documentada ali, em: 
http://wiki.openstreetmap.org/wiki/Porto_Alegre,_Rio_Grande_do_Sul/Importa%C3%A7%C3%A3o_PMPA



O pacote com os próximos 10% dos 500.000 polígonos totais (ways) já está pronto 
para upload (ainda não feito), está 100% validado, sem um único erro ou 
warning, cerca de 50.000 objetos (polígonos) em 50MB.


Estou pensando se vale a pena mandar este upload num changeset só (com 
requisição por pacotes de 100 objetos), ou se ainda precisaria subdividir mais. 
O pessoal falou que o limite do JOSM é 50.000 objetos.


Mas a ver como é de fato esta contabilização de objetos (para o limite de 
50.000)?

-se é por polígonos como no QGIS,

-ou pelo somatório (nodes+ways+relation) como o JOSM mostra.


Pois no caso do pacote de 50MB, a contabilização é:


ARQUIVO:

PMPA-SETOR: 01-12  (de 51 setores)
Arquivo .shp(+dbf+...):51,8MB
Arquivo .osm:  50,4MB


NO QGIS:

TOTAL DE OBJETOS na

tabela de dados d

o .shp: 53.013


NO JOSM:
WAYS no .osm:  54.498
NODES no .osm: 402.211
RELATIONS no .osm: 839
TOTAL DE OBJETOS no .osm:  457.548

Neste caso então, na contagem do JOSM, seriam 457.548 objetos.

Se contar como limite 50.000 objs., teria que dividir o "total" para 10 pacotes 
de 50.000 objetos, com cerca de 5MB cada.

- - - - - - - - - - - - - - - - - - - - - - - -

Por outro lado, o último upload dos prédios PMPA, que foi para 3 bairros (Rio 
Branco a Floresta), contabilizou:

Arquivo .osm:8,6MB

WAYS no .osm:   8.817

NODES no .osm: 64.866 RELATIONS no .osm: 176 TOTAL DE OBJETOS no .osm:

73.859

Então o JOSM ali aceitou automaticamente 73.859 objetos . Que eu lembre demorou 
+/- entre 15 min a 1/2 hora no máximo.


- - - - - - - - - - - - - - - -

Sérgio / user:smaprs
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Gerald Weber]

Oi Sérgio

impressionante seu trabalho e a quantidade de dados, parabéns por conseguir
isto :D

Não sei se isto já foi sugerido, mas penso que seria desejável criar uma
conta específica para esta importação, e eventualmente documentar esta
importação também na wiki
.

abraço

Gerald



2016-05-21 20:11 GMT-03:00 Sérgio V. :

> Boa noite pessoal.
>
> Deu certo fazer no QGIS a conversão das tags do SHP-PMPA total de 500MB /
> 500.000 objetos, dividir em SHP menores (50MB), e importar estes direto
> para o JOSM.
> 100% validando no JOSM (ainda não feito o upload).
> Obrigado pelos auxílios e dicas.
>
>
>
> Compartilhando o procedimento adotado:
>
>
> No QGIS:
>
> 1. Aberto SHP-PMPA original de 500MB / 500.000 objetos (equivalente a
> 500.000 ways em .osm);
>
> 2. Convertidos CAMPOS e VALORES de uma só vez nos 500.000 (com o Table
> Manager e Field Calculator); adicionados CAMPOS 'note' e 'layer; apagados
> CAMPOS sem uso para o OSM (e porque causam problema de validação por 'tag
> inválida');
>
> 3. Dividido SHP original de 500MB / 500.000 objetos (ways) em 10 arquivos
> menores .SHP de +/- 50MB, conforme os SETORES no original.
>
>
>
> No JOSM:
>
> 4. Aberto SHP (com plugin OpenData) de 50MB e salvo como .osm:
>
> Por enquanto, testado só com o 1º SHP de 52MB.
>
> (funcionou melhor que ogr2osm, pois veio sem tags 'vazias' ('null'): o
> ogr2osm dá problema de não apagar as tags com valor null, que depois no
> JOSM acusaram 50.000 problemas no validador, e teria que apagar de novo
> tudo no JOSM.)
>
> 5. Apagado campo original "SETOR" (só usado para subdividir o SHP);
>
> 6. Passado validador no JOSM (com as tags convertidas antes no QGIS):
>
> -Dos 54.498 ways, acusou apenas:
>
> a)ERRORS:   Duplicate ways(36=menos de 1 por 1.000)  - casos em que ways
> inner foram duplicados, fazendo parte de 2 multipol: da base e do corpo.
>
> Resolução: removido multipolígono da base e ways inner, mantidos só way
> (ex-outer) da "base" adicionando building=yes e relação multipolígono do
> "corpo" com respectivos inner.
>
> :OK, CORRIGIDO E VALIDADO
>
> b)WARNIGS:
>
> Building inside building (1)
>
> :OK, CORRIGIDO E VALIDADO
>
> Ways with same position (2)
>
> :OK, CORRIGIDO E VALIDADO
>
> Mixed type duplicated nodes - Duplicated nodes (1)
>
> :OK, CORRIGIDO E VALIDADO
>
> Key 'description' invalid. - Property values contain multiple white spaces
> (9) - casos de campo 'description' com string variável
>
> :OK, CORRIGIDO E VALIDADO
>
> 
>
> STATS:
>
> 
>
> PMPA-SETOR: 01-12  (de 51 setores)
>
> Arquivo .shp(+dbf+...):51,8MB
>
> Arquivo .osm:  50,4MB
>
> TOTAL DE OBJETOS no .shp:  53.013
>
> WAYS no .osm:  54.498
>
> NODES no .osm: 402.211
>
> RELATIONS no .osm: 839
>
> TOTAL DE OBJETOS no .osm:  457.548
>
> 
>
> Desempenho NO JOSM:
>
> MEMÓRIA MÁX. atingida: 2,4GB  (de 3,3GB livres)
>
> CPU MÁX. atingida: 70%
>
> TEMPO ESTIMADO P/UPLOAD:   3 horas (Não feito upload ainda; só comparado
> com o de 9MB que levou 30min)
>
>
> - - - - - - - - - - - - - - - -
>
> Sérgio / user:smaprs
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Sérgio V .]

Boa noite pessoal.

Deu certo fazer no QGIS a conversão das tags do SHP-PMPA total de 500MB / 
500.000 objetos, dividir em SHP menores (50MB), e importar estes direto para o 
JOSM.
100% validando no JOSM (ainda não feito o upload).
Obrigado pelos auxílios e dicas.



Compartilhando o procedimento adotado:


No QGIS:

1. Aberto SHP-PMPA original de 500MB / 500.000 objetos (equivalente a 500.000 
ways em .osm);

2. Convertidos CAMPOS e VALORES de uma só vez nos 500.000 (com o Table Manager 
e Field Calculator); adicionados CAMPOS 'note' e 'layer; apagados CAMPOS sem 
uso para o OSM (e porque causam problema de validação por 'tag inválida');

3. Dividido SHP original de 500MB / 500.000 objetos (ways) em 10 arquivos 
menores .SHP de +/- 50MB, conforme os SETORES no original.



No JOSM:

4. Aberto SHP (com plugin OpenData) de 50MB e salvo como .osm:

Por enquanto, testado só com o 1º SHP de 52MB.

(funcionou melhor que ogr2osm, pois veio sem tags 'vazias' ('null'): o ogr2osm 
dá problema de não apagar as tags com valor null, que depois no JOSM acusaram 
50.000 problemas no validador, e teria que apagar de novo tudo no JOSM.)

5. Apagado campo original "SETOR" (só usado para subdividir o SHP);

6. Passado validador no JOSM (com as tags convertidas antes no QGIS):

-Dos 54.498 ways, acusou apenas:

a)ERRORS:   Duplicate ways(36=menos de 1 por 1.000)  - casos em que ways inner 
foram duplicados, fazendo parte de 2 multipol: da base e do corpo.

Resolução: removido multipolígono da base e ways inner, mantidos só way 
(ex-outer) da "base" adicionando building=yes e relação multipolígono do 
"corpo" com respectivos inner.

:OK, CORRIGIDO E VALIDADO

b)WARNIGS:

Building inside building (1)

:OK, CORRIGIDO E VALIDADO

Ways with same position (2)

:OK, CORRIGIDO E VALIDADO

Mixed type duplicated nodes - Duplicated nodes (1)

:OK, CORRIGIDO E VALIDADO

Key 'description' invalid. - Property values contain multiple white spaces (9) 
- casos de campo 'description' com string variável

:OK, CORRIGIDO E VALIDADO



STATS:



PMPA-SETOR: 01-12  (de 51 setores)

Arquivo .shp(+dbf+...):51,8MB

Arquivo .osm:  50,4MB

TOTAL DE OBJETOS no .shp:  53.013

WAYS no .osm:  54.498

NODES no .osm: 402.211

RELATIONS no .osm: 839

TOTAL DE OBJETOS no .osm:  457.548



Desempenho NO JOSM:

MEMÓRIA MÁX. atingida: 2,4GB  (de 3,3GB livres)

CPU MÁX. atingida: 70%

TEMPO ESTIMADO P/UPLOAD:   3 horas (Não feito upload ainda; só comparado com o 
de 9MB que levou 30min)



- - - - - - - - - - - - - - - -

Sérgio / user:smaprs
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Sérgio V .]

Ok. Vou deixar só as tags normais para 2D. Como no caso PMPA está validando 
tudo OK assim, sem precisar fixme para 2D, vou adicionar só note (quando são 
casos de multipol building com layer) explicando que para 3D terá que fazer 
survey.

Obrigado Nelson.

- - - - - - - - - - - - - - - -

Sérgio / user:smaprs
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Nelson A. de Oliveira]

Entendi.
Creio ser melhor deixar as tags já existentes, sem criar um novo
namespace (S3DB:*).
Mesmo ficando incompletas, pode deixar com fixme + note (se precisar
explicar algo).

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Sérgio V .]

>> naoliv

> convenção de key=S3DB:*

>Da onde você achou as tags S3DB:* ?

Inventei, ora pois. Por isto " 'proposta' convenção de key=S3DB:*". Localmente, 
para este caso (eventualmente poderia até para similares, mas inicialmente não 
é a intenção). Adaptada a partir do 
"Simple_3D_buildings, 
S3DB Proposals...). Achei que assim poderia ajudar ao menos neste caso quando 
quiser encontrar os prédios e aproveitar os que já estão em layers, quando 
quiser fazer 3D, com a chave S3DB...  Porque não tem como fazer 3D para todos 
agora. O resto que vem na sequência segue o padrão do S3DB no wiki para: 
relação type=building; role=outline (este na verdade não uma tag, mas 
indicativo do role na relação 3D); building:part=yes,... De todo modo, mesmo 
ordinariamente, quem vai fazer 3D tem que conhecer estas tags e editar em cada 
prédio manualmente, pois não tem substituição automática para colocar height=*, 
building:levels=*, que são quantitativos. Tem que fornecer de fora. Apenas que 
para aproveitar a indicação das tags de preparação para 3D na proposta, basta 
apagar onde diz "S3DB:", e acrescentar o quantitativo de andares, etc, que já 
converte em parte as tags necessárias para isto. De modo ordinário, tem que 
adicionar as tags de 3D e criar a relação. Até a relação 2D de 
type=multipolygon daria para encontrar fácil e aproveitar, basta apagar o S3DB: 
em S3DB:type=building. Gasta menos tecladas do que digitar de novo 
"type=building", etc... e as demais (onde der para aproveitar). Também já vai 
junto indicado qual é o membro outline que define a relação 3D, sem precisar 
procurar. Mas se atrapalhar mais que ajudar, deixo sem nada além das conversões 
necessárias.

- - - - - - - - - - - - - - - -

Sérgio / user:smaprs
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Nelson A. de Oliveira]

2016-05-16 19:18 GMT-03:00 Sérgio V. :
> convenção de key=S3DB:*

Da onde você achou as tags S3DB:* ?

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br