[Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Sérgio V .]

Oi Gerald, obrigado, também contado com o valioso auxílio do @naoliv e diversas 
dicas do @nighto e do pessoal sobre tratamento do material.


Sim, bem lembrado, de fato vou criar uma conta dedicada para os restantes 97%. 
Só foram 3% de upload até agora.

A documentação já está documentada ali, em: 
http://wiki.openstreetmap.org/wiki/Porto_Alegre,_Rio_Grande_do_Sul/Importa%C3%A7%C3%A3o_PMPA



O pacote com os próximos 10% dos 500.000 polígonos totais (ways) já está pronto 
para upload (ainda não feito), está 100% validado, sem um único erro ou 
warning, cerca de 50.000 objetos (polígonos) em 50MB.


Estou pensando se vale a pena mandar este upload num changeset só (com 
requisição por pacotes de 100 objetos), ou se ainda precisaria subdividir mais. 
O pessoal falou que o limite do JOSM é 50.000 objetos.


Mas a ver como é de fato esta contabilização de objetos (para o limite de 
50.000)?

-se é por polígonos como no QGIS,

-ou pelo somatório (nodes+ways+relation) como o JOSM mostra.


Pois no caso do pacote de 50MB, a contabilização é:


ARQUIVO:

PMPA-SETOR: 01-12  (de 51 setores)
Arquivo .shp(+dbf+...):51,8MB
Arquivo .osm:  50,4MB


NO QGIS:

TOTAL DE OBJETOS na

tabela de dados d

o .shp: 53.013


NO JOSM:
WAYS no .osm:  54.498
NODES no .osm: 402.211
RELATIONS no .osm: 839
TOTAL DE OBJETOS no .osm:  457.548

Neste caso então, na contagem do JOSM, seriam 457.548 objetos.

Se contar como limite 50.000 objs., teria que dividir o "total" para 10 pacotes 
de 50.000 objetos, com cerca de 5MB cada.

- - - - - - - - - - - - - - - - - - - - - - - -

Por outro lado, o último upload dos prédios PMPA, que foi para 3 bairros (Rio 
Branco a Floresta), contabilizou:

Arquivo .osm:8,6MB

WAYS no .osm:   8.817

NODES no .osm: 64.866 RELATIONS no .osm: 176 TOTAL DE OBJETOS no .osm:

73.859

Então o JOSM ali aceitou automaticamente 73.859 objetos . Que eu lembre demorou 
+/- entre 15 min a 1/2 hora no máximo.


- - - - - - - - - - - - - - - -

Sérgio / user:smaprs
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Bug no JOSM 10168

[santamariense]

@Gerald, Estive tentado resolver o problema e pude perceber que só não
estavam funcionando os atalhos (que é o que eu realmente uso), tentei
excluir alguns plugins que não utilizava e deu certo. Acho que o bug
deve ter ocorrido ao atualizar os plugins e não o JOSM

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Importação PMPA / Prédios : esquema de conversão para o OSM

[Gerald Weber]

Oi Sérgio

impressionante seu trabalho e a quantidade de dados, parabéns por conseguir
isto :D

Não sei se isto já foi sugerido, mas penso que seria desejável criar uma
conta específica para esta importação, e eventualmente documentar esta
importação também na wiki
.

abraço

Gerald



2016-05-21 20:11 GMT-03:00 Sérgio V. :

> Boa noite pessoal.
>
> Deu certo fazer no QGIS a conversão das tags do SHP-PMPA total de 500MB /
> 500.000 objetos, dividir em SHP menores (50MB), e importar estes direto
> para o JOSM.
> 100% validando no JOSM (ainda não feito o upload).
> Obrigado pelos auxílios e dicas.
>
>
>
> Compartilhando o procedimento adotado:
>
>
> No QGIS:
>
> 1. Aberto SHP-PMPA original de 500MB / 500.000 objetos (equivalente a
> 500.000 ways em .osm);
>
> 2. Convertidos CAMPOS e VALORES de uma só vez nos 500.000 (com o Table
> Manager e Field Calculator); adicionados CAMPOS 'note' e 'layer; apagados
> CAMPOS sem uso para o OSM (e porque causam problema de validação por 'tag
> inválida');
>
> 3. Dividido SHP original de 500MB / 500.000 objetos (ways) em 10 arquivos
> menores .SHP de +/- 50MB, conforme os SETORES no original.
>
>
>
> No JOSM:
>
> 4. Aberto SHP (com plugin OpenData) de 50MB e salvo como .osm:
>
> Por enquanto, testado só com o 1º SHP de 52MB.
>
> (funcionou melhor que ogr2osm, pois veio sem tags 'vazias' ('null'): o
> ogr2osm dá problema de não apagar as tags com valor null, que depois no
> JOSM acusaram 50.000 problemas no validador, e teria que apagar de novo
> tudo no JOSM.)
>
> 5. Apagado campo original "SETOR" (só usado para subdividir o SHP);
>
> 6. Passado validador no JOSM (com as tags convertidas antes no QGIS):
>
> -Dos 54.498 ways, acusou apenas:
>
> a)ERRORS:   Duplicate ways(36=menos de 1 por 1.000)  - casos em que ways
> inner foram duplicados, fazendo parte de 2 multipol: da base e do corpo.
>
> Resolução: removido multipolígono da base e ways inner, mantidos só way
> (ex-outer) da "base" adicionando building=yes e relação multipolígono do
> "corpo" com respectivos inner.
>
> :OK, CORRIGIDO E VALIDADO
>
> b)WARNIGS:
>
> Building inside building (1)
>
> :OK, CORRIGIDO E VALIDADO
>
> Ways with same position (2)
>
> :OK, CORRIGIDO E VALIDADO
>
> Mixed type duplicated nodes - Duplicated nodes (1)
>
> :OK, CORRIGIDO E VALIDADO
>
> Key 'description' invalid. - Property values contain multiple white spaces
> (9) - casos de campo 'description' com string variável
>
> :OK, CORRIGIDO E VALIDADO
>
> 
>
> STATS:
>
> 
>
> PMPA-SETOR: 01-12  (de 51 setores)
>
> Arquivo .shp(+dbf+...):51,8MB
>
> Arquivo .osm:  50,4MB
>
> TOTAL DE OBJETOS no .shp:  53.013
>
> WAYS no .osm:  54.498
>
> NODES no .osm: 402.211
>
> RELATIONS no .osm: 839
>
> TOTAL DE OBJETOS no .osm:  457.548
>
> 
>
> Desempenho NO JOSM:
>
> MEMÓRIA MÁX. atingida: 2,4GB  (de 3,3GB livres)
>
> CPU MÁX. atingida: 70%
>
> TEMPO ESTIMADO P/UPLOAD:   3 horas (Não feito upload ainda; só comparado
> com o de 9MB que levou 30min)
>
>
> - - - - - - - - - - - - - - - -
>
> Sérgio / user:smaprs
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br