[Talk-br] Alturas, mapas3D do OSM

[Lucas Ferreira Mation]

Pessoal,

em primeiro lugar um feliz natal.

Alguém sabe de onde vem os dados de planta dos prédios e altura que são
usados para renderizar o mapa em 3D? Esta empresa (f4map) os calcula
automaticamente de alguma forma (análise de sombras de imagens aérias) ou
estes dados já estão no OSM?

Fiquei muito surpreso de ver o quão completo isso está para São Paulo
São Paulo
http://demo.f4map.com/#lat=-23.5522503=-46.6761298=16

Já para Brasília, os prédios das superquadras parecem mais baixos do que
realmetne são

http://demo.f4map.com/#lat=-15.8045536=-47.8923768=17

Enfim, apenas queria saber se de fato estes dados estão no OSM, e como são
inseridos

feliz 2017
Lucas
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Acho que resolvi (com muita ajuda do Komzpa no IRC do OSM#DEV IRC, como
est[a resumido aqui
http://stackoverflow.com/questions/32907481/optimize-large-st-intersect-query-match-1-8m-osm-streets-to-317k-polygons
(uma das sugest'oes eh a que voce tinha dado marcos) o cruzamento de Ruas
do OSM com setores censitarios

Veja o item 2b aqui
https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sqlEsta
rodando aqui, vamos ver quanto demora


2015-10-01 23:13 GMT-03:00 Marcos Fedato :

> Peter,
>
> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do
> Wiki k.
>
> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>
> Acho que podemos seguir o que ele fez e crescer com isso.
>
> Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
>
> O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de
> 2014!
>
> Att
> Marcos Fedato
>
>
> --
> From: heroij...@hotmail.com
> To: talk-br@openstreetmap.org
> Date: Thu, 1 Oct 2015 22:40:53 -0300
>
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
> Olá Peter,
>
> 1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de
> "importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso
> precisemos guardar algo lá.
>
> Na verdade o lucas já tem um projeto criado
> https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um pelo
> OSM fique mais formal, chame mais atenção, sei lá.
>
> Nesse repo poderiamos dividir em pastas as diferentes ferramentas que
> possamos ter de desenvolver, e fica focado no tema.
>
> Acho também que poderiamos usar o Wiki do OSM para documentar em alto
> nível assim mesmo quem não é programador fica a vontade para entender o que
> fizemos.
>
> 2) Só dando crédito a pessoa correta , o Lucas que "numerou com
> letras" de A a G.
>
> Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para
> trás e definir bem o objetivo deste projeto (se é nomear automaticamente,
> apontar áreas de correção, apontar possíveis nomes para o ID, criar uma
> camada de setor censitário alinhada ao OSM para futuras análises espaciais,
> tudo isso, tudo isso e mais um pouco...).
>
> 3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo
> mais ao Wiki do OSM pois ficaria concentrado onde outros projetos já
> existem. http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos.
>
> Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM
> redirecionando para lá e ta massa também, acho que não devemos gastar muita
> energia criativa com ferramental pq gosto é como... nariz, cada um tem uma
> ferramenta especial k.
>
> Então assim, como vc teve a iniciativa, acho que vc pode escolher (só
> veria como lucas a questão de usar o repo dele ou criar pelo OSM, de qual
> Wiki, o que importa é gerarmos conteúdo de qualidade), decisões concensuais
> por listas de email são demoradas, desgastantes e normalmente... não são
> concensuais no fim .
>
> Atenciosamente,
> Marcos Fedato
>
>
> --
> Date: Thu, 1 Oct 2015 22:01:57 +
> From: ppkra...@gmail.com
> To: talk-br@openstreetmap.org
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
> Oi Alexandre, não se preocupe, e creio que aqui a maioria é intermitente,
> com seus altos e baixos de participação.
>
> Uma coisa onde *todos podem  ajudar para já adiantar o processo* é o
> seguinte:
>
> *1) *o nome do projeto Github, que tal "Organizando"? ficaria
> https://github.com/OSMBrasil/organizando
>
> *2)* O Marcos já lançou tópicos de A a G (!), que fal votarmos aqui,
> antes de começar no git, qual será o primeiro tópico a ser abordado?
>
> *3) *consolidação de textos aqui dos emails: uma série de dicas,
> questionamentos, e consensos foram expressos neste theread, quem ajudaria a
> resumir/consolidar esse blabla rico todo para servir de referência mais
> organizada e centralizada? (preparo la no Git como Wiki ou README)
>
> Peter
>
>
> Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com> escreveu:
>
> Peter Krauss e Marcos Fedato,
>
> Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para
> quem está com gás, vocês. Não posso me envolver. Tenho um bocado de
> pendências por aqui, pela comunidade mesmo, coisa que eu devia ter feito e
> não fiz. E coisa que preciso fazer, como simples traduções. Mesmo que eu
> não as tivesse, minha cabeça está cada vez mais distante dos conhecimentos
> técnicos que o projeto de vocês requer. Eu preciso resolver várias coisas
> no âmbito pessoal (particular), às quais dou mesmo mais prioridade. Por
> exemplo, meu pai tornou-se deficiente físico e... bem, estou com ele.
>
> Alexandre Magno
>
> Em 1 de outubro de 2015 17:16, Peter Krauss  escreveu:
>
> Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos
> numa cidade, como São Paulo, podemos 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Ok para reuniao 20h40 hoje.

Ainda nao consegui matar o problema do do cruzamento do OSM com os setores
censitarios.
Eu peguei as sugestoes do stack overflow
e
juntei em varias possiveis queries e coloquei tudo em

https://github.com/lucasmation/osm_cnefe_import/blob/master/OSM_Streets_SetorCensitario_spatial_match.sql

Mas nao sei interpretar muito bem o output do EXPLAIN. Peter da uma olhada
para mim por favor (interrogacao)







2015-10-02 18:10 GMT-03:00 Peter Krauss :

> Ola!
>
> Respondendo por alto a todos os tópicos,
>
> *== reuniao hoje 20h40 ==*
> Acho que estamos de acordo com isso, falta conferir o canal de voz a ser
> usado (Hangouts ou Zoom)... Eu acabo de descobrir que não estarei em casa,
> não sei se conseguirei  participar hoje. Caso alguem use cel. da Claro eu
> passo por email e falamos antes, no celular ou em fixo.
>
>
> *== PROJETOS OSM ==*
> O Marcos indicou o norte,
>
> http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos
>
> acho que podemos começar por "dar um tapa" nisso, já fiz coisa parecida
> lá na OKBR , onde
> classificamos com 2 ou 3 tags, e categorizamos os projetos, amarrando de
> forma mais sólida as páginas...
>
> No caso da descrição de quadras, etc. como se trata de Wikimedia, o mesmo
> software que usado na Wikipedia (!), posso até copiar/colar o que comecei
> na Wikipedia (
> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
>  )
> e tentar por fim uma abordagem didática para todos entendermos exatamente
> como se relacionam as quadras com o CEP e com o CNEFE... Ou seja, texto
> mais ilustrativo e didático, e conforme formos obtendo resultados concretos.
>
> Eu talvez migre uma parte (a mais técnica) da OKFN para a wiki da OSM,
> onde haverão mais colaboradores,
>   http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>
> O Alexandre comentou de um nome melhor no Github, concordo... e, pensando
> bem, acho que nem precisamos de Github para essa organização geral de
> projetos, pode ficar tudo na WikiProject_Brazil/Projetos
>  por hora.
> . ... acho que "CNEFE data, IBGE, Brasil import" e  "Mapa-do-CEP" tendem a
> convergir para algo como "city block generation" e "segmentation by faces,
> of city block", ou seja, faces de quadra serão nosso foco.
>
>
> *=== PROJETO CNEFE===*
> @Marcos, sim, o Lucas é o trator e o coordenador do projeto (!), nós vamos
> atrás a reboque, com umas pás de jardim e boa vontade esporádica ;-)
> A discussão sobre onde colocar esse projeto do Lucas de CNEFE, qual Wiki
> usar (Github ou wiki.openstreetmap), etc. podemos tentar fechar em
> https://github.com/lucasmation/osm_cnefe_import/issues/1
> aguardo você por lá ok?
> Como já somos 1 coordenador ("trator") e 2 colaboradres ("reboques"), já
> podemos estimar metas e seguir as dicas do Alexandre, "(...) um projeto
> coletivo e grande talvez deva necessariamente começar pelos planos, pela
> engenharia, pela definição de arquitetura". Os colaboradores (eu e Marcos)
> podemos iniciar por isso que não exige muita expertize nem estar com a mão
> na massa, o Lucas já  "prototipou e ensaiou" o principal, o que faltar vai
> saindo no feedback de comunidade.
>
> *===PROJETO MAPA DO CEP===*
> Acho que estamos convergindo para a fusão do CNEFE com o  MAPA DO CEP: o
> fundamento de ambos são as faces de quadra e, posteriormente, o valor de
> logística agreado.
>
>
> *== Metaphone, Lucas ==*
> A análise de duplicações de nomes de rua é complexa,  tem mil meandros e
> em geral cada cidade  uma peculiaridade (as respectivas Câmaras Municipais
> são as responsáveis)... As duplicações seriam talvez um projetinho a parte,
> acho que podemos até tratar em outro *git* e fazer centenas de
> experimentos e demonstrações com planilhas CSV.
> - - -
> PS: Olhei por alto o seu link
> 
> , parece que estamos em consenso.  A ultima vez que discuti o assunto foi
> em http://pt.stackoverflow.com/a/10202/4186
> RESUMO: basta instalar o Metaphone no PostgreSQL: precisa indexar com
> metaphone poque é exponencialmente mais rápido do que comparar par-a-par
> com semelhança. O indexador sugerido (as ruas do Brasil exigem 90% fonética
> do portugues) já faz também uma espécie de *stemming
>  *grosseiro por ficar só com
> prefixos. Aí, como diz também seu link, com grupos de similares em mãos,
> aplica-se a semelhança par-a-par.
>
>
>
>
> Em 2 de outubro de 2015 02:13, Marcos Fedato 
> escreveu:
>
>> Peter,
>>
>> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do
>> Wiki k.
>>
>> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>>
>> Acho 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

;>
>> Att
>> Marcos Fedato
>>
>>
>> --
>> Date: Wed, 30 Sep 2015 10:20:55 -0300
>>
>> From: lucasmat...@gmail.com
>> To: talk-br@openstreetmap.org
>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>
>> ops, mandei acidentalmente antes de terminar. Retomando no ponto C
>>
>> C) De fato a podemos usar o shape de setores para aproximar mais o
>> pareamento espacial (atualmente eu só usei os municípios) antes de parear
>> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
>> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
>> também é útil para a outra grande metade do projeto (na qual ainda não
>> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
>> CNEFE.
>> Eu já tentei rodar a query abaixo para fazer isso (resumindo, cruzar
>> primeiro por uf e municipio, atribuindo codigos para estes nas duas bases,
>> para reduzir o número de cruzamentos espaciais de fato entre setores e ruas
>> apenas dentro de cada municipio):
>>
>> CREATE TABLE OSM_Streets_by_SetorCensitario2 AS
>> SELECT OSM_Streets_by_Mun.*, setor_censitarioL.geom
>> FROM OSM_Streets_by_Mun, setor_censitarioL
>> WHERE OSM_Streets_by_Mun.cod_UF=
>> substring(setor_censitarioL.cd_geocodi,1,2)  AND
>> OSM_Streets_by_Mun.cod_mun= substring(setor_censitarioL.cd_geocodi,1,7)
>> AND
>> ST_Intersects(way,ST_Buffer(setor_censitarioL.geom,0.005))=true
>>
>> O problema é que é um cruzamento muito grande. Se bem me lembro, são
>> ~1.6milhoes de ruas no OSM brasil e 312 mil setores censitarios. Deixei
>> rodando por 5 dias no servidor (relativamente potente, 126GB de ram, 4
>> nucleos) e não terminou. Nao sei se tem uma forma de otimizar esta query,
>> talvez fazendo proceduralmente, num loop, muncipio a municipio (mas isso em
>> tese as 1as duas condições do WHERE já impõem). Ou entao cruzando com
>> layers espaciais intermediarios, como distrito e subdistrito antes de ir
>> pro setor censitario direto (mas não estou conseguindo criar estes layers
>> com base nos setores censitarios, por causa dos problemas topologicos
>> destes). Enfim, vou perguntar no StackOverflow para ver se alguém tem uma
>> idéia.
>>
>> D) melhorar as queries textuais, com filtros nos textos e fuzzy acho que
>> é um ótimo caminho. Uma restrição, pelo menos como eu modelei os dados, é
>> que estou fazendo pareamento de arrays contendo nomes de ruas, que
>> internamente são ordenados alfabeticamente (uma linha da tabela representa
>> uma quadra, e há uma coluna que é um array, e lá dentro tem todos os nomes
>> de rua, ordenados alfabeticamente). Se o erro ou correção ocorrer no começo
>> de certo nome de rua, isso vai afetar a ordem alfabetica dos nomes de rua,
>> e não sei como o pareamento (possivelmente fuzzy) vai reagir a isso.
>>
>> Você tem alguma idéia melhor de uma estrutura de dados mais adequada pro
>> pareamento?
>>
>> Outra coisa, estou trabalhando no PostGis-Postgresql então o ideal seria
>> os "filtros foneticos" serem implementados no próprio Postgis. Tenho boa
>> familiaridade com R também, então, se precisar sair, a 2a opção mais fácil
>> de implementar seria o R.
>>
>> E) pensei também nos blocos que parearem apenas 3 das 4 ruas. Bom,
>> considerando apenas quadras de 4 lados, para simplificar, seriam 2 quadras
>> para cada conjunto de 3 ruas. precisamos de uma forma de definir qual é
>> qual. Alguma idéia?
>>
>> F) voce mencionou uma outra idéia, na qual eu também já trabalhei um
>> pouco, que é ir seguinto a descrição textual dos setores. Estes aquivos vem
>> com dois campos: "ponto inicial" e "decrição do setor". Com banstante
>> traquejo no uso de expressões regulares da para quebrar isso em seguencias
>> de esquinas (cruzamentos). Mas uma dificuldade é que e linguagem não é
>> padrão. Como os arquivos são produzidos de forma descentralizada, pelos
>> ~500 escritórios locais do IBGE, há diferenças ao longo do brasil (talvez
>> seja por estado). Tem setores que está com "esquina da rua A com a B". Em
>> outros está "cruzamento rua A e rua B". Isso para o campo "ponto incial". A
>> descrição de setor tem ainda mais variabilidade.
>>
>> G)  Outro elelmento que ainda não eplorei, mas que vem de uma idéia do
>> Peter Krauss, é que o CEP segue uma estrutura, tal que, cada seguimento de
>> uma rua, tem o mesmo CEP para as quadras dos dois lados da rua. Isso pode
>> ser mais um elemento para "amarrar" estes pareamentos de alg

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

excelente! vou ver como instalar

estes slides explicam um pouco da intuição dos negócios fonéticos e das
comparações por proximidade de Levihnsen:
http://pt.slideshare.net/DiogoLVGRubert/palestra-diogo-rubert-pgday-campinas-2015



2015-10-01 19:49 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:

> Oi, só alguns lembretes/sugestoes pro Lucas, que talvez possam interessar,
>
> Em 1 de outubro de 2015 22:01, Lucas Ferreira Mation <
> lucasmat...@gmail.com> escreveu:
>
>> (...) O ambiente de trabalho que tenho a disposição tem R e Postgresql,
>>
>
> parece que o grosso está em PostgreSQL+PostGIS: que tal usar o R como
> parte do SQL? fica *embedded* como PL/R,
>
> http://www.joeconway.com/plr/
> http://www.postgresql.org/docs/9.3/static/external-pl.html
> http://www.postgresql.org/docs/9.3/static/xplang-install.html
>
>
>>  um script (...) que faça a correção fonética
>>
>>
> O PostgreSQL roda o melhor deles,
> http://sourceforge.net/projects/metaphoneptbr/
> tem um driver para postgreSQL, facil de usar com UBUNTU.
>
>
>
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-10-01 17:20 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
>>
>>> Oi Marcos, que tal organizarmos essa ideia de "metodologia para a
>>> organização" num Github?
>>> Acho q qualquer um pode iniciar projeto sob https://github.com/OSMBrasil
>>> voce inicia um? Se precisar de alguém mais "nerd" para o git, só avisar,
>>> posso ajudar ;-)
>>>
>>>
>>> Em 1 de outubro de 2015 15:13, Marcos Fedato <heroij...@hotmail.com>
>>> escreveu:
>>>
>>>> Oi Lucas,
>>>>
>>>> Caramba vc tem pensado bastante nisso mesmo , vou tentar ajudar
>>>> também.
>>>>
>>>> A) Até onde eu estudei, não existe base perfeita. Por exemplo, se a
>>>> gente usa ponto coletado por GPS como referência pode ser algo bom, mas
>>>> existem deformações também na coleta por GPS causados pela altitude,
>>>> qualidade do GPS e tudo mais. Porém eu já vi um fabricante de GPS falar que
>>>> pra ele, ele quer mesmo que a base dele tenha a mesma deformação do GPS
>>>> pois os usuários dele vão usar GPS para se locomover na cidade, então se
>>>> der 5m a esquerda na coleta, provavelmente o GPS do usuario também vai dar
>>>> algo parecido a 5m a esquerda, no final o ponto cai no meio da rua. Então
>>>> nada é perfeito, é preciso entender o que é a verdade conveniente para nós
>>>> k. Eu acho que essa de assumir o OSM uma boa.
>>>>
>>>> B) O processo que um colega meu tinha desenhado uma vez era "faseado",
>>>> primeiro se achava os que batiam tudo pelo nome, depois se ajustava eles
>>>> com o arruamento, depois se ajustava os setores vizinhos, depois fazia uma
>>>> junção espacial dos vizinhos com as quadras do arruamento abaixo deles,
>>>> depois se validava os atributos entre eles...
>>>> Uma época eu até estudei se a gente conseguiria fazer uma comparação de
>>>> formas de polígonos para validar se a/as quadras do arruamento realmente
>>>> batem com as do setor censitário, tipo se no setor censitário a forma é um
>>>> quadrado, mas no processo a quadra do OSM abaixo desse setor é triangular,
>>>> ou um quadrado girado x graus...
>>>> Pois esse colega tinha feito comparações usando a área e o perímetro
>>>> dos setores casados, o que já é bom.
>>>>
>>>> C) Não manjo nada de geometria direto no banco assim, mas talvez ele
>>>> esteja reprocessando o buffer a cada rodada, talvez poderia se criar uma
>>>> coluna da geometria com buffer preencher ela uma vez e então usar essa
>>>> coluna.
>>>> Menos impactante deve ser o join com os 2 ands, se eu me lembro bem no
>>>> geocodigo do município já tem o estado, então não precisa fazer join com o
>>>> estado, o municipio só já é estado e município.
>>>>
>>>> D) Já usei um processo parecido desse de ordem alfabética quando eu
>>>> queria cruzar 2 bases de dados usando as esquinas para achar os pontos de
>>>> referência. O que eu tinha em mente é que eu não precisava achar tudo, se
>>>> eu achasse 40% sei lá, o resto eu faria o processo de alinhar pelos
>>>> vizinhos, extrapolando o deslocamento de um para outro. Porém o que a gente
>>>> pode fazer é usar comparação de nome a nome ao invés de somar tudo. de
>>>> depois fazer o join de volta e ver quantos no

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

ops, mandei acidentalmente antes de terminar. Retomando no ponto C

C) De fato a podemos usar o shape de setores para aproximar mais o
pareamento espacial (atualmente eu só usei os municípios) antes de parear
as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
também é útil para a outra grande metade do projeto (na qual ainda não
avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
CNEFE.
Eu já tentei rodar a query abaixo para fazer isso (resumindo, cruzar
primeiro por uf e municipio, atribuindo codigos para estes nas duas bases,
para reduzir o número de cruzamentos espaciais de fato entre setores e ruas
apenas dentro de cada municipio):

CREATE TABLE OSM_Streets_by_SetorCensitario2 AS
SELECT OSM_Streets_by_Mun.*, setor_censitarioL.geom
FROM OSM_Streets_by_Mun, setor_censitarioL
WHERE OSM_Streets_by_Mun.cod_UF=
substring(setor_censitarioL.cd_geocodi,1,2)  AND
OSM_Streets_by_Mun.cod_mun= substring(setor_censitarioL.cd_geocodi,1,7)
AND
ST_Intersects(way,ST_Buffer(setor_censitarioL.geom,0.005))=true

O problema é que é um cruzamento muito grande. Se bem me lembro, são
~1.6milhoes de ruas no OSM brasil e 312 mil setores censitarios. Deixei
rodando por 5 dias no servidor (relativamente potente, 126GB de ram, 4
nucleos) e não terminou. Nao sei se tem uma forma de otimizar esta query,
talvez fazendo proceduralmente, num loop, muncipio a municipio (mas isso em
tese as 1as duas condições do WHERE já impõem). Ou entao cruzando com
layers espaciais intermediarios, como distrito e subdistrito antes de ir
pro setor censitario direto (mas não estou conseguindo criar estes layers
com base nos setores censitarios, por causa dos problemas topologicos
destes). Enfim, vou perguntar no StackOverflow para ver se alguém tem uma
idéia.

D) melhorar as queries textuais, com filtros nos textos e fuzzy acho que é
um ótimo caminho. Uma restrição, pelo menos como eu modelei os dados, é que
estou fazendo pareamento de arrays contendo nomes de ruas, que internamente
são ordenados alfabeticamente (uma linha da tabela representa uma quadra, e
há uma coluna que é um array, e lá dentro tem todos os nomes de rua,
ordenados alfabeticamente). Se o erro ou correção ocorrer no começo de
certo nome de rua, isso vai afetar a ordem alfabetica dos nomes de rua, e
não sei como o pareamento (possivelmente fuzzy) vai reagir a isso.

Você tem alguma idéia melhor de uma estrutura de dados mais adequada pro
pareamento?

Outra coisa, estou trabalhando no PostGis-Postgresql então o ideal seria os
"filtros foneticos" serem implementados no próprio Postgis. Tenho boa
familiaridade com R também, então, se precisar sair, a 2a opção mais fácil
de implementar seria o R.

E) pensei também nos blocos que parearem apenas 3 das 4 ruas. Bom,
considerando apenas quadras de 4 lados, para simplificar, seriam 2 quadras
para cada conjunto de 3 ruas. precisamos de uma forma de definir qual é
qual. Alguma idéia?

F) voce mencionou uma outra idéia, na qual eu também já trabalhei um pouco,
que é ir seguinto a descrição textual dos setores. Estes aquivos vem com
dois campos: "ponto inicial" e "decrição do setor". Com banstante traquejo
no uso de expressões regulares da para quebrar isso em seguencias de
esquinas (cruzamentos). Mas uma dificuldade é que e linguagem não é padrão.
Como os arquivos são produzidos de forma descentralizada, pelos ~500
escritórios locais do IBGE, há diferenças ao longo do brasil (talvez seja
por estado). Tem setores que está com "esquina da rua A com a B". Em outros
está "cruzamento rua A e rua B". Isso para o campo "ponto incial". A
descrição de setor tem ainda mais variabilidade.

G)  Outro elelmento que ainda não eplorei, mas que vem de uma idéia do
Peter Krauss, é que o CEP segue uma estrutura, tal que, cada seguimento de
uma rua, tem o mesmo CEP para as quadras dos dois lados da rua. Isso pode
ser mais um elemento para "amarrar" estes pareamentos de alguma forma.



enfim, estes são menos comentarios sobre as idéias que você mencionou.
Vamos pensar mais nisso para "espremer" tudo de informação últil no CNEFE e
vice-versa








2015-09-30 9:53 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:

> fantástico Marcos,
>
> eu já "ataquei" várias linhas das que você sugeriu, mas ainda não
> completei. Tenho trocado algumas idéias a respeito, off-line do grupo para
> não tumultuar muito por aqui, com o  Peter Krauss. Podemos te incluir na
> conversa.
>
> Vamos por partes:
>
> A) A primeira grande dúvida que eu tenho é quanto podemos confiar no
> posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor
> censitário e o OSM não batem, como eu posse ter certeza que o certo é o
> OSM? Será que o mapeador não se baseou numa imagem de satélite que também
> estava deslocada? Enfim, no meu

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Arlindo. Concordo com você. A idéia de parear é para acertar nomes de ruas
e  atribuir endereços.
Uma segunda idéia é usar os dados do OSM (supondo que estejam certos) para
corrigir o shapes de setor censitário do IBGE. Mas nunca corrigir o OSM com
base nos shapes do IBGE, até porque são bem mais agregados (por setor
censitário) e, estes sim, sabemos que tem problemas

2015-09-30 10:52 GMT-03:00 Arlindo Pereira <openstreet...@arlindopereira.com
>:

> Não manjo de GIS para opinar sobre os trechos de código referidos, mas eu
> acho que pegar os nomes de rua do CNEFE para o OSM e corrigir um eventual
> desalinhamento do OSM são duas tarefas distintas, que seriam melhor
> atacadas separadamente.
>
> []s
> Arlindo
>
>
> 2015-09-30 9:53 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:
>
>> fantástico Marcos,
>>
>> eu já "ataquei" várias linhas das que você sugeriu, mas ainda não
>> completei. Tenho trocado algumas idéias a respeito, off-line do grupo para
>> não tumultuar muito por aqui, com o  Peter Krauss. Podemos te incluir na
>> conversa.
>>
>> Vamos por partes:
>>
>> A) A primeira grande dúvida que eu tenho é quanto podemos confiar no
>> posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor
>> censitário e o OSM não batem, como eu posse ter certeza que o certo é o
>> OSM? Será que o mapeador não se baseou numa imagem de satélite que também
>> estava deslocada? Enfim, no meu código estou de certa forma tomando o
>> posicionamento de ruas do OSM como "verdade", mas seria bom pensar um pouco
>> melhor nisso. Eu vi nos vídeos do SotM-Latin-America-2015 um cara da Mapbox
>> apresentando como eles tem umas técnicas para corrigir o posicionamento de
>> ruas do OSM, que aplicaram no Japao e em Lima.
>>
>>
>> B) Agora de manhã estou trabalhando nesta idéia de usar os quarteiroes
>> que parearem e que sejam setores de um só quarteirão como pontos de
>> controle para corrigir a malha de setores censitarios.
>>
>> Dos 95mil  quarteiroes que eu consegui parear, 952 são setores com um
>> único quarteirão (que são os que de fato podemos parear no momento). Estes
>> 952 setores são de 81 municípios (eu estava com esperança de que seriam
>> mais). Para estes eu vou calcular a distancia (ST_distance) e o angulo
>> (ST_Azimuth) entre os centroides das quadras pareadas do OSM e do CNEFE.
>> Como você falou isso vai nos dar uma lista de pontos de controle.
>>
>>  Com isso podemos:
>> b1) ter uma lista de "margens de erro" do shape de setor censitário para
>> cada municipio (ou melhor pros 81 muncípios em que há estes casos). Isso
>> serve para definir o buffer (max(ST_distance) para usar quando parear o
>> shape de setores censitarios com os ruas do OSM (como você sugere).
>> b2) Usar os pontos de controle para corrigir o shape de setor censitario.
>> Isto é, fazer uma transformação afim (que estica partes do mapa e contrai
>> outras partes) com base nestes pontos.
>>
>> C) De fato a podemos usar o shape de setores para aproximar mais o
>> pareamento espacial (atualmente eu só usei os municípios) antes de parear
>> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
>> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
>> também é útil para a outra grande metade do projeto (na qual ainda não
>> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
>> CNEFE.
>> Eu já tentei rodar uma query para fazer isso
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-09-30 9:14 GMT-03:00 Marcos Fedato <heroij...@hotmail.com>:
>>
>>> Caros,
>>>
>>> Eu trabalhei alguns anos com essa parte de endereçamento e tenho muito a
>>> ajudar nesse processo do CNEFE.
>>>
>>> Além dos acentos e da lógica fuzzy (que pode adicionar erros), podemos
>>> usar alguma coisa de fonética brasileira(que pode adicionar erros) e
>>> tabelas auxiliares(que pode adicionar erros) com nomes padrão, dando
>>> replace em erros conhecidos de grafia (AKA: juscelino kubitschek é
>>> difícil de escrever).
>>>
>>> Tem esse algoritimo em Delphi que eu achei uma vez, que faz um trabalho
>>> fantastico de fonética BR (tecnicamente não é BR é do Portugês) (AKA:
>>> soundex não é bom para matches exatos) http://pastebin.com/KpYxxw5e.
>>>
>>> Vamos supor que o "quarteirão" tenha 4 ruas e 3 delas tem nome no OSM e
>>> estes nomes batem, a gente pode supor que a rua que faltou no OSM tem o
>

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

B) (melhorando o item B, do email anterior) Flexibilizei agora um pouco a
busca por setores plenamente pareados. Ao invés de olhar só para setores de
um único quarteirão, estou olhando agora para setores que tiveram todos
seus setores pareados.
Agora é póssível mapear 2272 setores, pertencentes a 207 municipios

2015-09-30 9:53 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:

> fantástico Marcos,
>
> eu já "ataquei" várias linhas das que você sugeriu, mas ainda não
> completei. Tenho trocado algumas idéias a respeito, off-line do grupo para
> não tumultuar muito por aqui, com o  Peter Krauss. Podemos te incluir na
> conversa.
>
> Vamos por partes:
>
> A) A primeira grande dúvida que eu tenho é quanto podemos confiar no
> posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor
> censitário e o OSM não batem, como eu posse ter certeza que o certo é o
> OSM? Será que o mapeador não se baseou numa imagem de satélite que também
> estava deslocada? Enfim, no meu código estou de certa forma tomando o
> posicionamento de ruas do OSM como "verdade", mas seria bom pensar um pouco
> melhor nisso. Eu vi nos vídeos do SotM-Latin-America-2015 um cara da Mapbox
> apresentando como eles tem umas técnicas para corrigir o posicionamento de
> ruas do OSM, que aplicaram no Japao e em Lima.
>
>
> B) Agora de manhã estou trabalhando nesta idéia de usar os quarteiroes que
> parearem e que sejam setores de um só quarteirão como pontos de controle
> para corrigir a malha de setores censitarios.
>
> Dos 95mil  quarteiroes que eu consegui parear, 952 são setores com um
> único quarteirão (que são os que de fato podemos parear no momento). Estes
> 952 setores são de 81 municípios (eu estava com esperança de que seriam
> mais). Para estes eu vou calcular a distancia (ST_distance) e o angulo
> (ST_Azimuth) entre os centroides das quadras pareadas do OSM e do CNEFE.
> Como você falou isso vai nos dar uma lista de pontos de controle.
>
>  Com isso podemos:
> b1) ter uma lista de "margens de erro" do shape de setor censitário para
> cada municipio (ou melhor pros 81 muncípios em que há estes casos). Isso
> serve para definir o buffer (max(ST_distance) para usar quando parear o
> shape de setores censitarios com os ruas do OSM (como você sugere).
> b2) Usar os pontos de controle para corrigir o shape de setor censitario.
> Isto é, fazer uma transformação afim (que estica partes do mapa e contrai
> outras partes) com base nestes pontos.
>
> C) De fato a podemos usar o shape de setores para aproximar mais o
> pareamento espacial (atualmente eu só usei os municípios) antes de parear
> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
> também é útil para a outra grande metade do projeto (na qual ainda não
> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
> CNEFE.
> Eu já tentei rodar uma query para fazer isso
>
>
>
>
>
>
>
>
>
>
>
>
>
> 2015-09-30 9:14 GMT-03:00 Marcos Fedato <heroij...@hotmail.com>:
>
>> Caros,
>>
>> Eu trabalhei alguns anos com essa parte de endereçamento e tenho muito a
>> ajudar nesse processo do CNEFE.
>>
>> Além dos acentos e da lógica fuzzy (que pode adicionar erros), podemos
>> usar alguma coisa de fonética brasileira(que pode adicionar erros) e
>> tabelas auxiliares(que pode adicionar erros) com nomes padrão, dando
>> replace em erros conhecidos de grafia (AKA: juscelino kubitschek é
>> difícil de escrever).
>>
>> Tem esse algoritimo em Delphi que eu achei uma vez, que faz um trabalho
>> fantastico de fonética BR (tecnicamente não é BR é do Portugês) (AKA:
>> soundex não é bom para matches exatos) http://pastebin.com/KpYxxw5e.
>>
>> Vamos supor que o "quarteirão" tenha 4 ruas e 3 delas tem nome no OSM e
>> estes nomes batem, a gente pode supor que a rua que faltou no OSM tem o
>> nome da rua que sobrou no CNEFE.
>>
>> A gente pode usar não só os municipios, mas também os setores censitários
>> para achar exatamente onde estão os nomes faltantes.
>>
>> Os setores censitários tem uma tabela de descrição do entorno. É um campo
>> de texto livre para cada setor falando as ruas por onde ele é delimitado.
>> Com alguma inteligência a gente pode quebrar esse campo em ruas e cruzar
>> com o OSM também.
>>
>> O problema conhecido de cruzar diferentes bases de dados espaciais é o
>> deslocamento que pode haver entre uma e outra, tenho alguns esboços
>> interessantes de como resolver isso saíndo do mundo tabular e utilizando
>> GIS.
>>
>> Minha idei

Re: [Talk-br] Duvida precisão de bases censitarias

[Lucas Ferreira Mation]

boa pergunta

Na parte de usar dados do CNEFE para completar ruas sem nomes, eu não tinha
pensado em nada do tipo de uma grande importação.
O que eu tinha pensado que talvez fosse útil seria prover algum tipo de
interface pra facilitar a vida do mapeador. Poderia por exemplo aparecer
uma sugestão de nome, já meio pre selecionada (por meio de cruzamentos
espaciais que rolassem no background) vinda do CNEFE. Aí o mapeador poderia
aceitar ou rejeitar.

Outra possibilidade seria verificar nomes de ruas que "não batem" entre OSM
e CNEFE, como checagem de erros. Neste caso o mapeador seria perguntado: "é
isso mesmo?"

Eu acho que consigo contribuir com a cruzamento espacial em sí. Chegando na
lista de sugestões. Não saberia desenvolver estas ferramentas de interface
pro programador.

Voltando a pergunta,  não sei dizer muito sobre a qualidade dos dados do
CNEFE. Acho que nem o próprio IBGE se manifesta muito a respeito. O que
eles dizem é que não é um dado 100%, use sob sua conta e risco. Mas o que
precisamos de uma idéia é se é um dado com 1%, 10% ou 80% de erros.

Seria legal se outros mapeadores que usam o CNEFE se manifestassem sobre a
percepção eles, a frequencia de erros, etc.

Se os erros forem realmente muito frequentes e a qualidade do CNEFE for
mito baixa talvez não valha a pena tentar usar os nomes do CNEFE no OSM.
(isso não tira a utilidade de bater os quarteirões, que são casos em que os
nomes de ruas batem, e que serve para pegar os endereços do CNEFE).









2015-09-30 12:25 GMT-03:00 Helio Cesar Tomio :

> Vcs acreditam na precisão das bases censitarias para acertar dados do OSM?
> Porque qto aos nomes de vias e Poi's durante minhas edições, vi muitas
> diferenças ou erros.
> Nas quadras do ibge nas cidades menores tem muita informação imprecisa,
> sejam vias ou nomes.
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

coloquei agora.
Mudei o codigo mesmo , que estava grande demais pro Readme para

https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql



2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro <aguiar.mar...@gmail.com>:

> Oi, Lucas!
>
> Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
> repositório e fiquei fuçando o código e o que eu entendi é que ainda não
> está disponível, certo?
>
> Marcio Aguiar Ribeiro
>
> 2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:
>
>> Pessoal,
>>
>> retomando este assunto:
>>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>>
>> O Cnefe tem 2.1 milhões de quarteirões.
>> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
>> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
>> tem todos os lados nomeados.
>>
>> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
>> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
>> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
>> batessem nas duas bases.
>>
>> Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
>> Para estes quarteirões temos todos os endereços que estão no CNEFE.
>>
>> Os municípios com mais quarteirões são:
>>
>> São Paulo - 5mil.
>> Bejo Horizonte -  3,5mil
>> Curitiba - 3.2mil
>> Campo Grande - 2.7mil
>> Fortaleza - 1.9mil
>> Ribeirão Preto - 1.7mil
>> Rio de Janeiro - 1.5mil
>>
>> e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
>> menos de 20 quarteirões encontrados.
>>
>> Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
>> matches.
>>
>>
>>
>> ao longo do dia vou migrar o código para:
>> https://github.com/lucasmation/osm_cnefe_import
>>
>>
>>
>> Lucas
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-07-14 12:12 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
>>
>>> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
>>> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
>>> conversar mais tecnicamente ;-)
>>>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
>>> também ajuda)
>>> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo
>>> mais geral das discussões...
>>>
>>> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
>>> apreciada em
>>>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>>> que tal começarmos pelo CEP2?
>>>
>>> - - - -
>>> Quanto os problemas legais (direitos autorais reclamados pela ECT bem
>>> como lei do monopólio) , precisamos de apoio internacional, inclusive da
>>> OSM... Comecei a busca por essa discussão (link abaixo), e senti
>>> receptividade,
>>>
>>> *http://opendata.stackexchange.com/q/5600/1313
>>> <http://opendata.stackexchange.com/q/5600/1313>*
>>> a parte juridica é importante para não jogarmos nosso tempo no lixo...
>>> Até onde conversei com advogados, se criarmos uma metodologia (algoritmos)
>>> para espacialização do CEP (ver links Wikipedia com preliminares), não tem
>>> problema algum: o primeiro a publicar é o autor... Por isso acho importante
>>> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
>>> no http://arxiv.org
>>>
>>>
>>>
>>>
>>>
>>> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation <
>>> lucasmat...@gmail.com> escreveu:
>>>
>>>> Pessoal, estou colocando o que já tenho de código em:
>>>>
>>>>
>>>> https://github.com/lucasmation/osm_cnefe_import
>>>> (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar
>>>> mais feedback dos desenvolvedores do OSM no mundo, foruns, etc)
>>>>
>>>> Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
>>>> elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
>>>> teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
>>>> quadras não pareadas. Mas o quão certo, 100% é isso?
>>>>
>>>> abs
>>>> Lucas
>>>>
>>>>
>>>>
>>>>
>>>> 2015-07-13 19:0

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,

retomando este assunto:
 consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.

O Cnefe tem 2.1 milhões de quarteirões.
O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
tem todos os lados nomeados.

O primeiro critério do cruzamento foi que os quarteirões tinham que cair no
mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O 2o
critéiro foi que os nomes de todas as ruas que compõem o quarteirão
batessem nas duas bases.

Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
Para estes quarteirões temos todos os endereços que estão no CNEFE.

Os municípios com mais quarteirões são:

São Paulo - 5mil.
Bejo Horizonte -  3,5mil
Curitiba - 3.2mil
Campo Grande - 2.7mil
Fortaleza - 1.9mil
Ribeirão Preto - 1.7mil
Rio de Janeiro - 1.5mil

e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
menos de 20 quarteirões encontrados.

Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
matches.



ao longo do dia vou migrar o código para:
https://github.com/lucasmation/osm_cnefe_import



Lucas








2015-07-14 12:12 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:

> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
> conversar mais tecnicamente ;-)
>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
> também ajuda)
> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo mais
> geral das discussões...
>
> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
> apreciada em
>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
> que tal começarmos pelo CEP2?
>
> - - - -
> Quanto os problemas legais (direitos autorais reclamados pela ECT bem como
> lei do monopólio) , precisamos de apoio internacional, inclusive da OSM...
> Comecei a busca por essa discussão (link abaixo), e senti receptividade,
>
> *http://opendata.stackexchange.com/q/5600/1313
> <http://opendata.stackexchange.com/q/5600/1313>*
> a parte juridica é importante para não jogarmos nosso tempo no lixo... Até
> onde conversei com advogados, se criarmos uma metodologia (algoritmos) para
> espacialização do CEP (ver links Wikipedia com preliminares), não tem
> problema algum: o primeiro a publicar é o autor... Por isso acho importante
> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
> no http://arxiv.org
>
>
>
>
>
> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation <lucasmat...@gmail.com
> > escreveu:
>
>> Pessoal, estou colocando o que já tenho de código em:
>>
>>
>> https://github.com/lucasmation/osm_cnefe_import
>> (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
>> feedback dos desenvolvedores do OSM no mundo, foruns, etc)
>>
>> Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
>> elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
>> teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
>> quadras não pareadas. Mas o quão certo, 100% é isso?
>>
>> abs
>> Lucas
>>
>>
>>
>>
>> 2015-07-13 19:01 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
>>
>>> Oi gente, acabo de me inscrever na lista... Posso participar da
>>> discussão?
>>>
>>> Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
>>> ajudam a resolver ambiguidades e
>>> dar mais confiança à geocodificação... Até onde verifiquei, o
>>> Mapa-do-CEP não oferece problema jurídico...
>>> Postei um esboço metodológico da sua construção, na Wikipedia,
>>>
>>> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
>>> que acham?
>>> Alguem falou em quadras por aqui, é justamente o foco metodológico...
>>>   http://gis.stackexchange.com/q/80498/7505
>>>
>>> PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
>>> de referencia é o http://adresse.data.gouv.fr/
>>>
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Reunião Periodica - OSM Brasil‏‏

[Lucas Ferreira Mation]

legal, hoje poderei participar. Vai ser 12h00? em qual local/software?

2015-08-19 10:23 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Que ótimo, teremos ao menos uma *lista dos CEPs válidos*??
 A partir da *lista* (só isso uma lista de números inteiros!) podemos
 viabilizar o projeto Mapa-do-CEP,
http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP

 Essa tal de lista dos CEPs precisa ser oficial, com carimbo de CC0
 https://creativecommons.org/publicdomain/zero/1.0/ dado pela ECT...
 Idealmente, para o OSM, seria importante também a listagem oficial (grafia
 e acentos corretos) de nomes de logradouros (que as prefeituras ão
 obrigadas a fornecer além dos correios) e nomes de bairro/loteamento,





 2015-08-19 9:58 GMT-03:00 Thierry Jean thierryaj...@hotmail.com:

 Caros,

 Estive nos Correios em Brasilia, a semana passada, e tenho boas noticias.

 Sugiro que falemos hoje às 12h, horário habitual.

 Abs,

 Time: Aug 19, 2015 12:00 PM (GMT-3:00) Sao Paulo
 Join from PC, Mac, iOS or Android: https://zoom.us/j/5694747229

 Or join by phone:
 +55 21 3958 7888 (Brazil Toll)
 Meeting ID: 569 474 7229
 International numbers available:
 https://zoom.us/zoomconference?m=tJqmRt7UxT13wmNluWqjTAVcKHBy1rtq


 Thierry Jean



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,

e ai, vamos ter a conversa mesmo hoje?
12h00?

alguém pode criar a reunião (google hangouts, ou alguma outra plataforma)?
(se precisar tenho skype também)






2015-07-14 12:12 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
 semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
 conversar mais tecnicamente ;-)
  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
 também ajuda)
 Como sou novato, pretendo seguir um pouco pelas bordas e no escopo mais
 geral das discussões...

 A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
 apreciada em
http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
 que tal começarmos pelo CEP2?

 - - - -
 Quanto os problemas legais (direitos autorais reclamados pela ECT bem como
 lei do monopólio) , precisamos de apoio internacional, inclusive da OSM...
 Comecei a busca por essa discussão (link abaixo), e senti receptividade,

 *http://opendata.stackexchange.com/q/5600/1313
 http://opendata.stackexchange.com/q/5600/1313*
 a parte juridica é importante para não jogarmos nosso tempo no lixo... Até
 onde conversei com advogados, se criarmos uma metodologia (algoritmos) para
 espacialização do CEP (ver links Wikipedia com preliminares), não tem
 problema algum: o primeiro a publicar é o autor... Por isso acho importante
 termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
 no http://arxiv.org





 Em 14 de julho de 2015 11:13, Lucas Ferreira Mation lucasmat...@gmail.com
  escreveu:

 Pessoal, estou colocando o que já tenho de código em:


 https://github.com/lucasmation/osm_cnefe_import
 (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
 feedback dos desenvolvedores do OSM no mundo, foruns, etc)

 Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
 elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
 teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
 quadras não pareadas. Mas o quão certo, 100% é isso?

 abs
 Lucas




 2015-07-13 19:01 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi gente, acabo de me inscrever na lista... Posso participar da
 discussão?

 Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
 ajudam a resolver ambiguidades e
 dar mais confiança à geocodificação... Até onde verifiquei, o
 Mapa-do-CEP não oferece problema jurídico...
 Postei um esboço metodológico da sua construção, na Wikipedia,

 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 que acham?
 Alguem falou em quadras por aqui, é justamente o foco metodológico...
   http://gis.stackexchange.com/q/80498/7505

 PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
 de referencia é o http://adresse.data.gouv.fr/


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal, estou colocando o que já tenho de código em:


https://github.com/lucasmation/osm_cnefe_import
(que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
feedback dos desenvolvedores do OSM no mundo, foruns, etc)

Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
quadras não pareadas. Mas o quão certo, 100% é isso?

abs
Lucas




2015-07-13 19:01 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi gente, acabo de me inscrever na lista... Posso participar da discussão?

 Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente ajudam
 a resolver ambiguidades e
 dar mais confiança à geocodificação... Até onde verifiquei, o Mapa-do-CEP
 não oferece problema jurídico...
 Postei um esboço metodológico da sua construção, na Wikipedia,

 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 que acham?
 Alguem falou em quadras por aqui, é justamente o foco metodológico...
   http://gis.stackexchange.com/q/80498/7505

 PS: sobre pontos de endereçamento de utilidade publica, um bom projeto de
 referencia é o http://adresse.data.gouv.fr/


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] OSM - CNEFE

[Lucas Ferreira Mation]

pessoal,

fica marcada então a reunião para quarta feira, 15/07, 12h00. Ok?

abaixo já algumas dúvidas que tenho tido:

1) Como é a normatização dos nomes de ruas no Brasil? Dentro de um
município duas ruas diferentes podem legalmente ter o mesmo nome? Varia de
município a município?

2) Existe algum banco de dados com os nomes corretos das ruas? Como o
George falou, existem duas situações: o nome do OSM estar errado, ou o
nome do CNEFE estar errado. Seria muito bom ter uma 3a fonte, o mais
oficial possível, para nomes de ruas. Existem listas separadas, talvez
município a município, que contenham isso, e que podem ser juntadas?

3) Em algum momento vou precisar fazer um cruzamento espacial entre os
dados do OSM e os polígonos de setores censitários (que são a fonte mais
espaciamente precisa dos dados do Censo). Só que os shapes de setores
censitários muitas vezes estão deslocados em algum direção. Como estes
shapes agregam informações de vários provedores locais de mapas, estes
erros podem variar significativamente entre municípios. Seria interessante
ter uma medida de margem de erro entre os Setores Censistários e a
realidade, para colocar como margem de tolerância ( ST_Buffer() ) no
cruzamento espacial.








2015-07-10 14:56 GMT-03:00 Vitor George vitor.geo...@gmail.com:

 Topo conversar na semana que vem, Lucas. Será bom retomar este assunto.

 Fiz um script para importar dados do CNEFE ao MongoDB, não deve ser
 difícil alterar para ser ao PostGIS:

 https://github.com/vgeorge/cnefe-parser

 Usei este script to Thiago como base:

 https://github.com/tmpsantos/cnefe-tools/blob/master/cnefe-validator

 Abraço,
 Vitor




 2015-07-10 11:20 GMT-03:00 George Silva georger.si...@gmail.com:

 Olá Lucas, bom dia!


 Trabalho no IPEA. Há mais o menos 1 ano eu propuz algo aqui na lista
 sobre usar o CNEFE no OSM (e o inverso também: usar os dados do OSM para
 melhorar a espacialização dos dados do CENSO). Desde então o projeto ficou
 parado.


 Show de bola, acho que é um casamento legal.


 Montei um servodor Postgres/PostGis forte e importei os dados do OSM
 (geofabrik planet dump do Brasil, usando o osm2pgsql).

 Consegui fazer um negócio interessante que é definir quarteirões a
 partir das ruas do OSM. Cada quarteirão é caracterizado por um conjunto
 (array) de ruas. Então, contanto que os nomes de ruas estejam corretos, dá
 para mapear os quarteirões do OSM com os quarteirões do CNEFE. Com isso
 seria possível importar os endereços para cada seguimento de rua, caso isso
 seja de interesse da comunidade.


 Certo.


 A outra coisa a ser feita é usar o CNEFE, a partir da malha de setores
 censitários, para identificar possíveis nomes de ruas para o OSM. Nesta
 parte eu ainda não trabalhei, mas está na minha lista de tarefas.


 Acho que podemos usar para conferir os nomes de ruas. Mas existem duas
 situações: o nome do OSM estar errado, ou o nome do CNEFE errado, certo?



 Seria ótimo ter ajuda de outras pessoas, principalmente programadores
 com experiência com SQL/Postgres/Postgis. E também pessoas da comunidade
 que entendam bem os conceitos etc (por exemplo, para definir os quarteirões
 eu levei em conta algumas tags que identificavam ruas, mas talvez eu tenha
 perdido algo, não colocando ferrovias, ou includo ruas subterrâneas por
 exemplo).


 Suba os códigos no Github e vejo o que posso ajudar (pelo menos na
 questão do PostGIS - já que sou novo no OSM.


 Eu vou colocar todos os códigos que usar no github. Infelizmente não
 posso abrir o servidor do Ipea em que importei os dados do OSM para pessoas
 de fora. Mas tendo os códigos públicos as pessoas podem ir replicando em
 casa, ou fazendo sugestões que nos rodaremos por aqui.


 Show.

 Por mim um hangout na quarta seria ok!

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,

1) obrigado, Ok, entendo que existem ruas distintas com mesmo nome dentro
de um município. Mas quão sério é este problema? Afeta qual porcentagem dos
municípios? E qual porcentagem, em média, das ruas de dos municípios me que
isso ocorre? Alguém já tentou estimar estas coisas, ou imagina alguma forma
de fazê-lo?

Pergunto porque, talvez se for algo raro seja possível supor a unicidade do
nome (exceto Brasília, Goiânia, etc) e depois tratar as duplicidades
separadamente.
E pensando bem, talvez este problema não atrapalhe a importação de dados
CNEFE  OSM

2) Vários falaram que existem fontes oficiais de listas de ruas para várias
cidades.
Alguém da comunidade se anima a organizar uma tabela, wiki (ou mesmo
sequencia de emails) com as fontes de informação para cada município e um
link onde fosse possível baixar a base. Eu posso tentar fazer a integração
destas bases, mas preciso desta lista.

O Vitor menciona o uso da base dos correios para validação dos nomes (entre
CNEFE e OSM). Levando em conta a questão dos direitos autorais, isos pode
ser feito? Não se trataria extrair dados da base dos correios, apenas
usá-la para validar (se o tema for polêmico vamos deixar para debater em
outra tread, esta já tem muito assunto...).

3) Em breve mando uns print-screens de Setor Censitário vs. OSM.











2015-07-13 11:33 GMT-03:00 Reinaldo Neves rne...@equacao.com.br:

 Bom dia George,

 Sinto ser portador de más notícias, e espero manter a cabeça em cima dos
 ombros, mas creio que vai ter que revisar os sistemas em produção que use
 essa tupla como identificador.  Como indiquei em outro email tipo e nome de
 logradouro não podem ser usados como PK sem incorrer em graves problemas
 caso o sistema seja de uso nacional.

 Caso alguém da lista precise de maiores esclarecimento por favor é só
 avisar.

 Abraços

 ___
 Reinaldo Neves
 Equação Informática
 (11) 3221-3722

 Reinaldo

 De: George Silva [mailto:georger.si...@gmail.com]
 Enviada em: segunda-feira, 13 de julho de 2015 10:57
 Para: OpenStreetMap no Brasil
 Assunto: Re: [Talk-br] OSM - CNEFE

 Sempre que fiz algum sistema o que identifica o logradouro e a tupla tipo
 + nome. Para mim estes exemplos não são duplicados.

 Em segunda-feira, 13 de julho de 2015, Vitor George 
 vitor.geo...@gmail.com escreveu:
 Reinaldo, mas o tipo logradouro não serve diferenciar o nome nestes casos?
 Existirá duas ruas Antonio Carlos Magalhães na mesma cidade?

 2015-07-13 10:19 GMT-03:00 Reinaldo Neves rne...@equacao.com.br:
 Vitor bom dia,

 O caso de BH não é único, mas talvez seja das poucas cidades em que exista
 uma lei regulando isso.  Eu trabalho com validação de endereços há alguns
 anos e o problema é recorrente.

 Alias para ficarmos num único exemplo em Salvador temos:
 7 - Rua Antonio Carlos Magalhães,
 5 - Avenida Antonio Carlos Magalhães
 2 - Rua Luis Eduardo Magalhães
 2 - Avenida Luis Eduardo Magalhães

 Sem contar travessas e praças com o mesmo nome.

 Reinaldo

 De: Vítor Rodrigo Dias [mailto:vitor.d...@gmail.com]
 Enviada em: segunda-feira, 13 de julho de 2015 09:55
 Para: OpenStreetMap no Brasil
 Assunto: Re: [Talk-br] OSM - CNEFE
 Lucas,

 Há casos em cidades grandes onde pode haver essa duplicidade, mesmo no
 caso de haver lei proibindo. Já vi reportagens versando sobre a existência
 de ruas duplicadas aqui em Belo Horizonte, mas não sei se ainda existem ou
 já foram corrigidas.

 Em 13 de julho de 2015 08:49, Lucas Ferreira Mation lucasmat...@gmail.com
 escreveu:
 pessoal,

 fica marcada então a reunião para quarta feira, 15/07, 12h00. Ok?

 abaixo já algumas dúvidas que tenho tido:

 1) Como é a normatização dos nomes de ruas no Brasil? Dentro de um
 município duas ruas diferentes podem legalmente ter o mesmo nome? Varia de
 município a município?

 2) Existe algum banco de dados com os nomes corretos das ruas? Como o
 George falou, existem duas situações: o nome do OSM estar errado, ou o
 nome do CNEFE estar errado. Seria muito bom ter uma 3a fonte, o mais
 oficial possível, para nomes de ruas. Existem listas separadas, talvez
 município a município, que contenham isso, e que podem ser juntadas?

 3) Em algum momento vou precisar fazer um cruzamento espacial entre os
 dados do OSM e os polígonos de setores censitários (que são a fonte mais
 espaciamente precisa dos dados do Censo). Só que os shapes de setores
 censitários muitas vezes estão deslocados em algum direção. Como estes
 shapes agregam informações de vários provedores locais de mapas, estes
 erros podem variar significativamente entre municípios. Seria interessante
 ter uma medida de margem de erro entre os Setores Censistários e a
 realidade, para colocar como margem de tolerância ( ST_Buffer() ) no
 cruzamento espacial.








 2015-07-10 14:56 GMT-03:00 Vitor George vitor.geo...@gmail.com:
 Topo conversar na semana que vem, Lucas. Será bom retomar este assunto.

 Fiz um script para importar dados do CNEFE ao MongoDB, não deve ser
 difícil alterar para ser

[Talk-br] OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,


Trabalho no IPEA. Há mais o menos 1 ano eu propuz algo aqui na lista sobre
usar o CNEFE no OSM (e o inverso também: usar os dados do OSM para melhorar
a espacialização dos dados do CENSO). Desde então o projeto ficou parado.
Mas agora está sobrando mais tempo e eu estou dominando mais
SQL/Postgres/Postgis. Consegui fazer alguns avaços, que listo abaixo.

Vamos marcar uma reunião on-line (hangout) para discutir este negócio? que
tal terça, ou quarta, ou quinta se semana que vem, na hora do almoço?

abaixo descrevo o que já fiz e algumas idéias

abs
Lucas



Montei um servodor Postgres/PostGis forte e importei os dados do OSM
(geofabrik planet dump do Brasil, usando o osm2pgsql).

Consegui fazer um negócio interessante que é definir quarteirões a partir
das ruas do OSM. Cada quarteirão é caracterizado por um conjunto (array) de
ruas. Então, contanto que os nomes de ruas estejam corretos, dá para mapear
os quarteirões do OSM com os quarteirões do CNEFE. Com isso seria
possível importar os endereços para cada seguimento de rua, caso isso seja
de interesse da comunidade.

A outra coisa a ser feita é usar o CNEFE, a partir da malha de setores
censitários, para identificar possíveis nomes de ruas para o OSM. Nesta
parte eu ainda não trabalhei, mas está na minha lista de tarefas.


Seria ótimo ter ajuda de outras pessoas, principalmente programadores com
experiência com SQL/Postgres/Postgis. E também pessoas da comunidade que
entendam bem os conceitos etc (por exemplo, para definir os quarteirões eu
levei em conta algumas tags que identificavam ruas, mas talvez eu tenha
perdido algo, não colocando ferrovias, ou includo ruas subterrâneas por
exemplo).

Eu vou colocar todos os códigos que usar no github. Infelizmente não posso
abrir o servidor do Ipea em que importei os dados do OSM para pessoas de
fora. Mas tendo os códigos públicos as pessoas podem ir replicando em casa,
ou fazendo sugestões que nos rodaremos por aqui.
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Cartórios

[Lucas Ferreira Mation]

É, o complicado é que esta é uma jabuticaba nossa... Nos EUA por exemplo
acho que notary é um advogado c poder de validar um contrato. Mas o cara
vai ate o contrato, em geral não é um lugar físico
Em 21/05/2014 20:12, Fernando Trebien fernando.treb...@gmail.com
escreveu:

 Suspeito que o mais próximo é pensando na relação entre cartório e
 notary. Este último é mapeado com office=lawyer+lawyer=notary.

 Outra opção, talvez menos clara, é office=government.

 2014-05-21 18:58 GMT-03:00 Raffaello Bruno Limongi Freire
 raffaellobr...@hotmail.com:
  Oi,
 
  alguém sabe como mapear cartório de registro de imóveis, hipotecas e
 notas?
 
  Obrigado,
  Raffaello Bruno
 
  ___
  Talk-br mailing list
  Talk-br@openstreetmap.org
  https://lists.openstreetmap.org/listinfo/talk-br
 



 --
 Fernando Trebien
 +55 (51) 9962-5409

 Nullius in verba.

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Maratona de Edições da Copa

[Lucas Ferreira Mation]

Já tem uma Wiki sobre a Mapatona rolando???


2014-05-13 13:33 GMT-03:00 Wille wi...@wille.blog.br:

 Pode ser Mapatona sim!

 Coloquei a lista de cidades sede com link para o mapa da cidade e para o
 estádio no wiki.




 On 13-05-2014 12:48, Fernando Trebien wrote:

 Eu concordo, e posso ajudar se quiserem. Mas pra não dar confusão (e
 quem sabe até estimular a participação internacional), talvez seja bom
 ter um canal também pros estrangeiros que não falam português.

 2014-05-13 12:35 GMT-03:00 Vitor George vitor.geo...@gmail.com:

 Muito legal!

 O que vocês acham de chamar de Mapatona?

 Também podemos divulgar em inglês, já que pode rolar muito mapeamento de
 cadeira.


 2014-05-13 11:44 GMT-03:00 Wille wi...@wille.blog.br:

 Concordo!


 Então seriam 3 objetivos gerais:

 1. Melhorar o mapeamento no entorno dos estádios;
 2. Melhorar o mapeamento de POIs úteis a turistas: pontos turísticos,
 hotéis, restaurantes...
 3. Melhorar os endereços das regiões que se encaixam nos critérios acima
 mencionados.

 A data pode ser dia 30/05 mesmo?

 Criei a página no Wiki:
 http://wiki.openstreetmap.org/wiki/Mapathon_Copa_2014

 abçs,
 wille


 On 13-05-2014 11:36, Fernando Trebien wrote:

 Pensei em mais uma sugestão de assunto. O que mais falta no mapa
 brasileiro para os usuários comuns? Endereços! Esse poderia ser o foco
 da maratona.

 Nos dias anteriores à maratona, os participantes observariam nas suas
 cidades se a numeração é normalmente sequencial (caso em que dá pra
 usar interpoladores) ou se é irregular (caso em que é necessário
 mapear o endereço de cada residência individualmente). Poderiam
 inclusive começar a coletar esses endereços, usando métodos como o
 FieldPapers, tracklogs (à la OSMAnd), ou qualquer outro de sua
 preferência. E no dia, nós nos preocuparíamos em colocar esses
 endereços no mapa e em ajudar respondendo dúvidas sobre como mapear e
 resolver eventuais problemas (casos em que por exemplo o Nominatim não
 está retornando os endereços).

 Podemos escolher lugares relacionados com a Copa (estádios, regiões
 hoteleiras e/ou turísticas, regiões boêmias, etc.) e mapear os
 endereços nas proximidades desses centros. Isso daria visibilidade ao
 problema e provavelmente estimularia outros usuários a continuar esse
 mapeamento depois.

 Os participantes da maratona também poderiam aproveitar os dias
 anteriores para investigar se existe uma fonte de dados de endereços
 importável na sua cidade e/ou no seu estado. Daí no dia da maratona
 estaríamos ajudando-os com o processo de importação.

 O que acham?

 2014-05-13 11:12 GMT-03:00 Lists li...@gimnechiske.org:

 Quando definido o dia e o alvo do Mapaton, podemos devulgar no Wiki
 para
 convidar pessoas que talvez não ler este lista.

 Aun Johnsen

 On May 13, 2014, at 8:54, Fernando Trebien 
 fernando.treb...@gmail.com
 wrote:

 Acho que funcionou bem, mas como clientes IRC ocupam menos espaço na
 tela,
 acho que mais gente deixaria o programa aberto e visível enquanto
 mapeia
 (eu
 tinha uma tendência a deixar o MoPad em segundo plano pra usar o
 espaço
 da
 tela pra fazer a tradução).

 Temos algum objetivo específico com a maratona? Tipo mapear o entorno
 de
 estádios, ou mapear alojamentos, aeroportos, pontos turísticos?

 On May 13, 2014 12:12 AM, Alexandre Magno Brito de Medeiros
 alexandre@gmail.com wrote:

 O MoPad não funcionou bem, durante do FISL?


 Em 12 de maio de 2014 23:19, Wille wi...@wille.blog.br escreveu:

 [...] a ideia de fazer uma maratona de edições nas cidades sede da
 Copa.
 [...] Poderíamos nos reunir em um canal de IRC e quem quiser
 organizar
 eventos presenciais em suas cidades.


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br

  ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br





 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Dados históricos OSM-Brasil

[Lucas Ferreira Mation]

Valeu Alexandre!!!


2014-05-09 4:12 GMT-03:00 Alexandre Magno Brito de Medeiros 
alexandre@gmail.com:

 Importei os PDF no Inkscape https://pt.wikipedia.org/wiki/Inkscape e
 exportei (salvei) como SVG https://pt.wikipedia.org/wiki/SVG. Era PDF
 vetorial https://pt.wikipedia.org/wiki/Desenho_vetorial. Então eu
 enviei os SVG para o wiki e eles estão sendo exibidos com largura 
 660pxhttp://wiki.openstreetmap.org/wiki/Stats_-_Brasil.
 Os navegadores de hoje exibem SVG (na verdade, o wiki exibe um PNG resultado
 de conversão 
 automáticahttp://wiki.openstreetmap.org/w/images/thumb/8/84/Brasil_history_points.svg/660px-Brasil_history_points.svg.png).
 Se aqui existisse um problema, seria  o caso de se pegar os mesmos SVG do
 wiki, abri-los no Inkscape, e fazer a exportação para 
 bitmaphttps://pt.wikipedia.org/wiki/Raster(
 PNG https://pt.wikipedia.org/wiki/PNG) em resolução 
 (dpihttps://pt.wikipedia.org/wiki/Dpi)
 alta ou tamanho satisfatório.

 Alexandre Magno


 Em 8 de maio de 2014 22:27, Nelson A. de Oliveira nao...@gmail.comescreveu:

 2014-05-08 21:50 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:
  O Stata me permite salvar nestas resoluções:

 Tem como gerar PNG com anti-aliasing?
 E não dá para especificar um tamanho (ou resolução) na hora de exportar?



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Dados históricos OSM-Brasil

[Lucas Ferreira Mation]

putz, não sei porque aconteceu isso, tá numa resolução bem pior que o
normal.
O Stata me permite salvar nestas resoluções:

 .psas(ps) PostScript
.eps   as(eps)EPS (Encapsulated PostScript)
.wmf   as(wmf)Windows Metafile
.emf   as(emf)Windows Enhanced Metafile
.pdf   as(pdf)PDF
.png   as(png)PNG (Portable Network Graphics)
.tif   as(tif)TIFF

mas o wiki do OSM só aceita estas:   png, gif, jpg, jpeg, doc, pdf, odt,
odp, svg.

tentei trocar para pdf mas além de não melhorar as imagens ainda ficaram
pequenas.


2014-05-08 18:10 GMT-03:00 Alexandre Magno Brito de Medeiros 
alexandre@gmail.com:

 Se tinha imagem de resolução melhor... acho que não vale à pena economizar
 tanto no tamanho. Tem? O wiki redimensiona na exibição.

 Alexandre Magno


 Em 8 de maio de 2014 18:03, Lucas Ferreira Mation 
 lucasmat...@gmail.comescreveu:

 joguei nesta wiki (incompleta...)

 http://wiki.openstreetmap.org/wiki/Stats_-_Brasil


 2014-05-08 16:36 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:

 Fiz agora o da malha total (ruas + rodovias, etc) (supondo que estas
 sejam indicadas pelo tag highway no history file)


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] lecença do OSM, uso pelo governo/empresas

[Lucas Ferreira Mation]

Interessante ver os contra argumentos nos comentários do post, me deixou na
duvida sobre o que seria a melhor forma.

Mas acho que haveria demanda sim, por parte dos governos. Ouvi falar que
mesmo o ibge teve muita dificuldade e licitações complicadas com
fornecedores de mapas locais para conseguir uma malha de ruas do Brasil. E
depois, quando os recenseadores foram a campo verificaram que alguns mapas
tinham muitos erros em alguns locais.

Sem falar no custo que é fazer uma licitação no Brasil, formulação de
edital, jurídica, depois fornecedores que perderam recorrendo, etc. Aqui no
ipea fizemos uma conta de padeiro ( não é oficial!) do custo das horas
dos funcionários envolvidos numa licitação de software e serviços
similares. O custo estimado foi 10 mil reais, independente se o programa
custe 100 ou 100 mil reais.

Seria muito mais fácil se as equipes pudessem contar com o mapa do OSM e
depois valida-lo.

Na prefeituras, que tem condições de equipe e orçamento muito piores, seria
mais útil ainda.

Agora não tinha pensado na possibilidade dos órgãos públicos
disponibilizarem os dados com uma licença SA, ao invés de domínio publico.
Será que haveria restrições quanto a isso?

Em 24/04/2014 22:36, Wille wi...@wille.blog.br escreveu:

 Lucas,

 a questao é que a prefeitura de Nova Iorque libera os dados em Domínio
 Público, assim ela não poderiam pegar os dados do OSM que estão disponíveis
 em ODbL, importar na base de dados da prefeitura e depois redistribuir em
 domínio público.

 No entanto, acho pouquíssimo provável que algum órgão governamental abra
 mão de ter controle sobre seus dados para importar dados do OpenStreetMap.

 Com a ODbL, podemos utilizar uma grande quantidade de fontes de dados no
 OSM e garantir que isso continue livre e não seja privatizado. Se o OSM
 migrasse para uma licença sem share-alike não poderia se beneficiar de
 dados que exijam share-alike

 Recomendo ler esse post e principalmente os comentários:
 http://www.openstreetmap.org/user/lxbarth/diary/21221



 On 24-04-2014 22:21, Lucas Ferreira Mation wrote:

 Pessoal,

 estava assistindo este vídeo do Stata of the Map 2014 - US:
 http://stateofthemap.us/session/more-open/

 em que ele diz que governos não poderiam usar os dados do OSM para
 atualizar suas bases oficiais. Ele dá o exemplo do governo da cidade
 de Nova Iorque, que disponibiliza os dados de todos os prédios para
 importação no OSM, mas não pode usar os dados do OSM para atualizar
 seus dados. Acho que a questão é o share-alike, pois se o governo
 utilizar os dados do OSM e com isso atualizar sua base, a base
 divulgada também precisaria ser share-alike

 É isso mesmo? no Brasil também não seria possível este uso?

 Lucas

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: Listas de endereços por município

[Lucas Ferreira Mation]

Pessoal,

esse é o espírito.
Vamos tentar computar uma lista com os links ou arquivos de listagens de
ruas das prefeituras?

Similar ao que foi feito para os shapes das prefeituras aqui:
http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Importa%C3%A7%C3%B5es/Prefeituras

Com base nisso vai dar para juntar tudo e filtrar o CNEFE. Posso fazer este
cruzamento, não consigo encontrar as listagens locais/oficiais.

Lucas




2014-04-25 10:43 GMT-03:00 Reinaldo Neves rne...@equacao.com.br:

 Grafia de rua realmente é um problema sério, penas para ficar em um
 exemplo que tenho catalogado devido ao processo de Auditoria de Endereços
 que faço em relação a base de CEPs, este é um caso real retirado de arquivo
 de um cliente:



 RUA *RROUXINOL* NR 575

 R *ROXINOL* NUM 575

 R *ROUCHINOL* 575

 R *REGIONOL* 575

 RUA *AV* ROUXINOL 575

 R *ROXINO* 575

 R *AVENIDA* ROUXINOL 575

 R *ROUSCHINOL* 575



 Algumas coisas podem ser dicionarizadas mas com muito critério, outras
 somente um trabalho manual mesmo, apenas para ficar num caso já citado aqui
 não é possível dicionarizar usando fonética ( Izabel e Isabel, Sousa e
 Souza ) entre outros, pois ambas as grafias são corretas.



 Os cadastros da prefeitura são as melhores referências, seguido pelo
 correio (Base mantida a mais tempos com objetivo de endereçamento) e o
 CNEFE em ultima instância ( pelo volume de dados disponível numa única
 fonte ), nos casos de placas de rua o problema não é o cadastro mas a
 execução do serviço até pouco tempo atrás tínhamos placas para a R Estela e
 R Stela uma em frente a outra aqui em São Paulo.  Só para constar o Correio
 não tem nenhuma Rua Doutor Ébano catalogada no CEP.



 Mesmo podendo existir algum erro no CNEFE alguma informação é melhor que
 nenhuma informação, de qualquer maneira estou corrigindo a base CNEFE que
 tenho aqui e padronizando de acordo com a EXCT no caso de cidades com CEP
 por logradouro, mas o processo é realmente longo.



 De resto para minhas inserções no OSM sigo o critério de não alterar o
 source para correções do tipo ROUCHINOL  para ROUXINOL, MEM SA para MEM DE
 SA, acentuação, pluralidade, etc



 Reinaldo







 *De:* John Packer [mailto:john.pack...@gmail.com]
 *Enviada em:* quinta-feira, 24 de abril de 2014 23:36
 *Para:* OpenStreetMap no Brasil
 *Assunto:* Re: [Talk-br] Listas de endereços por município



 Por mim, poderia ser passado um corretor ortográfico pelos nomes de ruas
 retirados pelo IBGE.

 Não tem nenhuma garantia de qualidade neles.



 Em 24 de abril de 2014 23:30, Lucas Ferreira Mation lucasmat...@gmail.com
 escreveu:

 Tem casos em que é clara a grafia, como em JK e outros nomes comuns,  da
 para fazer um dicionário. Mas tem vários casos em que não da para saber.

 Se conseguíssemos juntar listas de varias fontes oficiais/corretas, ou
 pelo menos mais corretas que o CNEFE, eu posso fazer um matching
 probabilístico p ficar c um cnefe com as grafias corrigidas. Assim daria p
 juntar as vantagens do cnefe ter ruas com algumas indicação de localização
 (setor censitário), com a grafia correta das listagens oficiais

 Em 24/04/2014 23:17, Alexandre Magno Brito de Medeiros 
 alexandre@gmail.com escreveu:

 Sim, é basicamente isso. Não me lembro de ter inserido ou retirado termos
 ou letras de algum nome. A não ser um singular/plural evidentemente
 destoante.

 Alexandre Magno



 Em 24 de abril de 2014 23:12, Nelson A. de Oliveira nao...@gmail.com
 escreveu:

 Se são correções do tipo Joao → João não há necessidade de mudar o source.





 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Listas de endereços por município

[Lucas Ferreira Mation]

Pessoal,

alguém tem um levantamento de listagens de endereços (das prefeituras
ou outras fontes) de cada cidade?

Estou tentando filtrar o CNEFE mas há muitos casos em que há 2 ou 3
grafias para o mesmo nome de rua, e não há como saber qual é o certo.
Se tivessemos listagens das ruas de cada município, ou algo similar
poderímos potencializar o uso do CNEFE com mais confiança.

Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] lecença do OSM, uso pelo governo/empresas

[Lucas Ferreira Mation]

Pessoal,

estava assistindo este vídeo do Stata of the Map 2014 - US:
http://stateofthemap.us/session/more-open/

em que ele diz que governos não poderiam usar os dados do OSM para
atualizar suas bases oficiais. Ele dá o exemplo do governo da cidade
de Nova Iorque, que disponibiliza os dados de todos os prédios para
importação no OSM, mas não pode usar os dados do OSM para atualizar
seus dados. Acho que a questão é o share-alike, pois se o governo
utilizar os dados do OSM e com isso atualizar sua base, a base
divulgada também precisaria ser share-alike

É isso mesmo? no Brasil também não seria possível este uso?

Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] lecença do OSM, uso pelo governo/empresas

[Lucas Ferreira Mation]

É justamente isso. Um governo não pode disponibilizar dados públicos
com uma clausula share-alike',  os dados públicos tem que ser de uso
indiscriminado, inclusive de redistribuição por um 3o.
Logo não poderiam usar dados do OSM. Procede?

2014-04-24 22:32 GMT-03:00 Alexandre Magno Brito de Medeiros
alexandre@gmail.com:
 Só no caso de redistribuição, talvez. Não vou ler a licença agora.

 Alexandre Magno


 Em 24 de abril de 2014 22:21, Lucas Ferreira Mation lucasmat...@gmail.com
 escreveu:

 Pessoal,

 estava assistindo este vídeo do Stata of the Map 2014 - US:
 http://stateofthemap.us/session/more-open/

 em que ele diz que governos não poderiam usar os dados do OSM para
 atualizar suas bases oficiais. Ele dá o exemplo do governo da cidade
 de Nova Iorque, que disponibiliza os dados de todos os prédios para
 importação no OSM, mas não pode usar os dados do OSM para atualizar
 seus dados. Acho que a questão é o share-alike, pois se o governo
 utilizar os dados do OSM e com isso atualizar sua base, a base
 divulgada também precisaria ser share-alike

 É isso mesmo? no Brasil também não seria possível este uso?

 Lucas


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Listas de endereços por município

[Lucas Ferreira Mation]

Tem casos em que é clara a grafia, como em JK e outros nomes comuns,  da
para fazer um dicionário. Mas tem vários casos em que não da para saber.

Se conseguíssemos juntar listas de varias fontes oficiais/corretas, ou
pelo menos mais corretas que o CNEFE, eu posso fazer um matching
probabilístico p ficar c um cnefe com as grafias corrigidas. Assim daria p
juntar as vantagens do cnefe ter ruas com algumas indicação de localização
(setor censitário), com a grafia correta das listagens oficiais
 Em 24/04/2014 23:17, Alexandre Magno Brito de Medeiros 
alexandre@gmail.com escreveu:

 Sim, é basicamente isso. Não me lembro de ter inserido ou retirado termos
 ou letras de algum nome. A não ser um singular/plural evidentemente
 destoante.

 Alexandre Magno


 Em 24 de abril de 2014 23:12, Nelson A. de Oliveira 
 nao...@gmail.comescreveu:

 Se são correções do tipo Joao → João não há necessidade de mudar o source.



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Exemplo de visualização 3D com dados do OSM

[Lucas Ferreira Mation]

Pessoal,

terminei transformação dos dados do CNEFE para ficar com uma base de número
de andares por edifício (na verdade por bloco) para o bairro de vista
alegre. Está aqui:

https://www.dropbox.com/s/6qycg6ifammbihu/CNEFE2010_altura_edificos_VISTA_ALEGRE_Rio_de_Janeiro_RJ.xls

 Demorou um pouco porque tive que dar um hipon nos dados (normalizar por
bloco e agregar, hipóteses sobre a numeração de números de apartamento
baixo) mas agora saiu.
Arlindo, dá uma olhada para ver se as coisas fazem sentido na sua área.

Só tratei dos casos em que o CNEFE diz que há apartamentos, e mais de um,
em cada endereço.

Agora que já tá feito, basta rodar o script para o Brasil todo ou qualquer
outra subivisão (municípios, distrito, subdistrito, etc).

Se alguém quiser para sua área me peça.



Detalhes:

Ao fazer isso tive que fazer umas hipóteses sobre como os apartamentos são
numerados nos edifícios;

Alguém sabe se existe uma regra, ou pelo menos um padrão comummente
aplicado para numeração de apartamento de certo prédio/bloco?
Os edifícios começam sempre no térreo, e o andar imediatamente acima é o
1o?
Na maioria dos casos é isso que tenho encontrado, mas há casos em que a
numeração dos apartamentos está começando no 201, ...,  Nestes casos posso
considerar que o 1o andar seria o térreo (que não tem apartamentos)?


Em geral os endereços na base são do tipo 101, 102, 103, 201, 202, 203,
etc.. Há também uns poucos casos com 101 b, em que ignorei o b.
A regra que apliquei foi:
a) se os números dos apartamentos tem 3 ou 4 dígitos, e o antepenúltimo
número é zero em todos os apartamentos do bloco, então tenho certeza que a
centena (ou do milhar+centena) denota o andar.
b) caso contrário (números de 3 ou 4 dígitos mas um dos penúltimos número
não é zero), então é necessário um procedimento mais complicado.  Por
exemplo, o número de apartamento 111. A dúvida é se se trata de o
apartamento 11 do 1o andar ou do apartamento 1 do 11o andar  (tenho uma tia
que mora num apartamento 111, e se trata do 1o andar)

Neste caso a estratégia é: suponha que o algarismo da dezena (ou da dezena
e do milhar) seja o andar. Verifique se há um número constate de
apartamentos por andar ( identificados pelos dígitos das dezenas e
unidades, e/ou pelo número de linhas daquele andar na base)

Lucas




2014-04-22 0:18 GMT-03:00 Alexandre Magno Brito de Medeiros 
alexandre@gmail.com:

 Alguém sabe dizer se e como é possível modelar esta caixa 
 d'águahttp://goo.gl/maps/9ul5d
 ?

 Alexandre Magno


 Em 13 de abril de 2014 10:24, Paulo Carvalho paulo.r.m.carva...@gmail.com
  escreveu:

 Legal isso!

 Os prédios que mapeei ficaram ótimos:
 http://demo.f4map.com/#lat=-23.0017312lon=-43.3906494zoom=17camera.phi=35.753

 As duas escadinhas são minha tentativa de reproduzir o condomínio
 Sundeck:
 [image: Imagem inline 1]



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Exemplo de visualização 3D com dados do OSM

[Lucas Ferreira Mation]

Arnildo,

desculpe a demora, correria no trabalho. Fiz a seleção de todos os
endereços de Vista Alegre, no Rio de Janeiro/RJ, segundo o que o IBGE
classifica como a localidade de vista alegre. Acredito que é um
conceito que tenta aproximar o que chamamos de bairro, mas não tenho
certeza dos detalhes. Outra coisa é que vista alegre é um bairro
baixo, sem tantos prédios e os que tem são mais baixos (até 4
andares).

A localidade de Vista Alegre tem 6930 endereços, divididos em 29
setores censitários e 80 quadras, e 242 faces de quadras (uma quadra
retangular teria 4 faces).
Já adianto neste neste link coloquei o link com a lista completa de endereços:

https://www.dropbox.com/s/y4nzrazwk7p3yiy/CNEFE2010_limp_VISTA_ALEGRE_Rio_de_Janeiro_RJ.xls

Agora estou programando uma forma como colapsar/normalizar estes dados
para ficar um uma linha por prédio., com uma estimativa do número de
andares. Mas pelo menos você já pode ir olhando os dados.


Lucas







2014-04-11 22:47 GMT-03:00 Arlindo Pereira openstreet...@arlindopereira.com:
 Ideia bacana! Se você puder, posso experimentar com os prédios do bairro de
 Vista Alegre, no Rio de Janeiro/RJ, se houverem dados disponíveis (ou
 qualquer outro bairro, na verdade). Um quarteirão basta.

 []s


 2014-04-11 22:31 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:

 Pessoal, se a informacao do número de andares for suficiente, acho que
 isso pode ser estimado usando o CNEFE, com alguma validação/conhecimento
 local.

 A ideia é o seguinte.  Se a pessoa souber o endereço certinho ou
 ,preferencialmente, o cep (em geral prédios maiores tem cep próprio) daria
 para estimar o numero de andares do prédio com base na estrutura de
 complementos dos endereços dos domicílios do prédio.

 Po exemplo , se os complementos são: ap 101, ap102, ap201,... ap1801, eu
 posso supor q o prédio tem 18 andares. Não é garantido, mas pode ajudar o
 mapeador local.

 Se alguem se animar em testar esta ideia na sua cidade ou bairro me avise
 que eu preparo uma lista da estimativa do no de andares de cada endereço na
 área.

 Abs
 Lucas

 Em 11/04/2014 22:08, Arlindo Pereira openstreet...@arlindopereira.com
 escreveu:

 Maneiro!

 Já tinha tentado mexer com isso e não tinha conseguido ver renderizado.
 Agora sim! =) http://demo.f4map.com/#lat=-22.9569227lon=-43.1768235zoom=18

 Como uma sugestão, mapeem os prédios mais altos da sua cidade. Uma ideia
 que eu tive uma vez (mas nunca coloquei em prática) era de mapear os prédios
 dessa lista:
 http://pt.wikipedia.org/wiki/Anexo:Lista_de_arranha-c%C3%A9us_do_Brasil


 []s
 Nighto

 2014-04-11 21:40 GMT-03:00 John Packer john.pack...@gmail.com:

 Pessoal, pra me gabar um pouco.

 Andei dando uma mexida no meu campus, e aos poucos estou adicionando
 umas informações para visualização 3D em sites como o f4map.com (precisa de
 um navegador moderno com WebGL).
 Está ficando bem legal:
 no F4:
 http://demo.f4map.com/#lat=-26.2530405lon=-48.8550115zoom=18camera.theta=57.319camera.phi=-2.005
 no OSM:
 http://www.openstreetmap.org/way/263290462#map=17/-26.25337/-48.85415

 E tem um outro usuário aqui em Joinville que, entre outras coisas, andou
 detalhando um dos pontos turísticos da cidade:
 No F4:
 http://demo.f4map.com/#lat=-26.3217907lon=-48.8462260zoom=19camera.theta=49.92camera.phi=-165.194
 No OSM:
 http://www.openstreetmap.org/node/2619265385#map=18/-26.32202/-48.84655
 E no mapa Humanitário:
 http://www.openstreetmap.org/node/2619265385#map=19/-26.32179/-48.84667layers=H

 Abs,
 João

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] CNEFE, sugerir nomes do CNEFE para ruas sem nome do OSM

[Lucas Ferreira Mation]

pessoal,
(estou dividindo as idéias do uso do CNEFE em diferentes emails, acho
que tinha coisa demais e estava ficando confuso).

A idéia seria usar o CNEFE + shape file dos setores censiotários para
sugerir nomes de ruas para os mapeadores. Ou seja, um plugin no  JOSM
e/ou no ID. Ao clicar no way o plugin sugeriria uma lista de nomes.

A pessoa usaria a IBGE Layer que o thiago fez como background, mas
não precisaria digitar no nome, poderia pegar da lista pronta.

Estes nomes viriam de um cruzamento de dados espaciais entre os
seguimentos do OSM e o CNEFE+shape de setores censitários. Ou seja,
seriam sugeridos os nomes de ruas daquele setor no CNEFE. O cruzamento
eu sei como fazer (tem que deixar um buffer  de uns 50m para corrigir
problemas do traçado dos setores).

Mas não tenho idéia como criar este plugin. Alguém saberia fazer isso?

Outra implementação possível seria usando o maproulette, ele iria
aleatoriamente escolhendo ways não nomeados do OSM e dando uma lista
de nomes de rua possíveis para a pessoa escolher.

abs
Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] CNEFE, sugerir nomes do CNEFE para ruas sem nome do OSM

[Lucas Ferreira Mation]

Acho que isso, combinado ao IBGE Layer, vai ser muito últil mesmo.
Temos 1.4 milhões de seguimentos de ruas no OSM. Destes apenas 974 mil
com nome. Ou seja 31% dos seguimentos de rua estão sem nome.
Eu já fiz o cruzamento OSM-ruas com Shape de Municípios.
Vou tentar fazer agora com o shape de setores censitários. Talvez o
Qgis não aguente, aí vai ser necessário fazer no PostGis, ou SQL
server.

2014-04-16 11:28 GMT-03:00 Fernando Trebien fernando.treb...@gmail.com:
 Ou Lucas,

 Eu suspeito que uma implementação com o LeafletJS seria mais fácil
 tanto pra fazer quanto pra dar manutenção. Não seria tão integrado
 quando um plugin pro editor, mas seria praticamente tão útil quanto, é
 só uma questão de atualizar a comparação periodicamente. Os dados, eu
 creio, você pode colocar no próprio Github (com isso eu posso ajudar e
 sei que várias outras pessoas também podem).

 Se você realmente acha que vale à pena fazer um plugin, sem dúvida o
 melhor caminho é com o JOSM. O iD não tem plugins até onde eu sei (mas
 não o conheço a fundo). Daria pra olhar o código-fonte de plugins que
 já existem, estão todos no site do JOSM, mas acho que isso vai lhe
 consumir um tempo considerável.

 Pergunta: você já conseguiu extrair o nome das ruas do OSM por setor do IBGE?

 2014-04-16 10:13 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:
 pessoal,
 (estou dividindo as idéias do uso do CNEFE em diferentes emails, acho
 que tinha coisa demais e estava ficando confuso).

 A idéia seria usar o CNEFE + shape file dos setores censiotários para
 sugerir nomes de ruas para os mapeadores. Ou seja, um plugin no  JOSM
 e/ou no ID. Ao clicar no way o plugin sugeriria uma lista de nomes.

 A pessoa usaria a IBGE Layer que o thiago fez como background, mas
 não precisaria digitar no nome, poderia pegar da lista pronta.

 Estes nomes viriam de um cruzamento de dados espaciais entre os
 seguimentos do OSM e o CNEFE+shape de setores censitários. Ou seja,
 seriam sugeridos os nomes de ruas daquele setor no CNEFE. O cruzamento
 eu sei como fazer (tem que deixar um buffer  de uns 50m para corrigir
 problemas do traçado dos setores).

 Mas não tenho idéia como criar este plugin. Alguém saberia fazer isso?

 Outra implementação possível seria usando o maproulette, ele iria
 aleatoriamente escolhendo ways não nomeados do OSM e dando uma lista
 de nomes de rua possíveis para a pessoa escolher.

 abs
 Lucas

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 --
 Fernando Trebien
 +55 (51) 9962-5409

 Nullius in verba.

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] CNEFE, sugerir nomes do CNEFE para ruas sem nome do OSM

[Lucas Ferreira Mation]

sabemos que o CNEFE tem problemas. Além disso não tem como eu saber só
com base no CNEFE qual rua é qual.

Então seria assim. Você clica numa rua sem nome e ele te sugere uma
lista dos nomes de rua que há no CNEFE para o(s) setor(es) por onde
aquela rua passa. Aí o usuário avalia se é alguma daquelas ruas e se
está com algum problema de grafia e marca.

2014-04-16 12:17 GMT-03:00 Paulo Carvalho paulo.r.m.carva...@gmail.com:
 Cocordo que nome errado em rua é problema.  No entanto, se for fazer,
 colocar também um fixme indicando incerteza no nome da rua.

 []s

 Paulo


 Em 16 de abril de 2014 12:09, Wallace Silva wsi...@gmail.com escreveu:

 Mas isso vai ser usado apenas como opção para o usuário certo? Porque tem
 cidades que eu mesmo tendo baixado do IBGE ele estava tão errado.. que
 deixei a cidade sem nome.. vi uma cidade que tinha mais de 15 ruas com o
 mesmo nome.. se for para auxiliar o usuário vai ser muito maneiro, mas se
 for colocar nome na rua que esta sem nome de forma automática, vai ser um
 problema..


 Em 16 de abril de 2014 11:59, Lucas Ferreira Mation
 lucasmat...@gmail.com escreveu:

 Acho que isso, combinado ao IBGE Layer, vai ser muito últil mesmo.
 Temos 1.4 milhões de seguimentos de ruas no OSM. Destes apenas 974 mil
 com nome. Ou seja 31% dos seguimentos de rua estão sem nome.
 Eu já fiz o cruzamento OSM-ruas com Shape de Municípios.
 Vou tentar fazer agora com o shape de setores censitários. Talvez o
 Qgis não aguente, aí vai ser necessário fazer no PostGis, ou SQL
 server.

 2014-04-16 11:28 GMT-03:00 Fernando Trebien fernando.treb...@gmail.com:
  Ou Lucas,
 
  Eu suspeito que uma implementação com o LeafletJS seria mais fácil
  tanto pra fazer quanto pra dar manutenção. Não seria tão integrado
  quando um plugin pro editor, mas seria praticamente tão útil quanto, é
  só uma questão de atualizar a comparação periodicamente. Os dados, eu
  creio, você pode colocar no próprio Github (com isso eu posso ajudar e
  sei que várias outras pessoas também podem).
 
  Se você realmente acha que vale à pena fazer um plugin, sem dúvida o
  melhor caminho é com o JOSM. O iD não tem plugins até onde eu sei (mas
  não o conheço a fundo). Daria pra olhar o código-fonte de plugins que
  já existem, estão todos no site do JOSM, mas acho que isso vai lhe
  consumir um tempo considerável.
 
  Pergunta: você já conseguiu extrair o nome das ruas do OSM por setor do
  IBGE?
 
  2014-04-16 10:13 GMT-03:00 Lucas Ferreira Mation
  lucasmat...@gmail.com:
  pessoal,
  (estou dividindo as idéias do uso do CNEFE em diferentes emails, acho
  que tinha coisa demais e estava ficando confuso).
 
  A idéia seria usar o CNEFE + shape file dos setores censiotários para
  sugerir nomes de ruas para os mapeadores. Ou seja, um plugin no  JOSM
  e/ou no ID. Ao clicar no way o plugin sugeriria uma lista de nomes.
 
  A pessoa usaria a IBGE Layer que o thiago fez como background, mas
  não precisaria digitar no nome, poderia pegar da lista pronta.
 
  Estes nomes viriam de um cruzamento de dados espaciais entre os
  seguimentos do OSM e o CNEFE+shape de setores censitários. Ou seja,
  seriam sugeridos os nomes de ruas daquele setor no CNEFE. O cruzamento
  eu sei como fazer (tem que deixar um buffer  de uns 50m para corrigir
  problemas do traçado dos setores).
 
  Mas não tenho idéia como criar este plugin. Alguém saberia fazer isso?
 
  Outra implementação possível seria usando o maproulette, ele iria
  aleatoriamente escolhendo ways não nomeados do OSM e dando uma lista
  de nomes de rua possíveis para a pessoa escolher.
 
  abs
  Lucas
 
  ___
  Talk-br mailing list
  Talk-br@openstreetmap.org
  https://lists.openstreetmap.org/listinfo/talk-br
 
 
 
  --
  Fernando Trebien
  +55 (51) 9962-5409
 
  Nullius in verba.
 
  ___
  Talk-br mailing list
  Talk-br@openstreetmap.org
  https://lists.openstreetmap.org/listinfo/talk-br

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br




 --
 Cordeiro de Deus que tira os pecados do mundo, tenha piedade de nós...

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Videos do State of the Map US, 2014

[Lucas Ferreira Mation]

Pessoal,

neste último fim de semana foi o State of the Map dos EUA. Já
colocaram a maioria dos vídeos on-line:
http://stateofthemap.us/schedule/

ainda não assisti, mas pelos títulos parece que tem coisa bem bacana.

abs
Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Exemplo de visualização 3D com dados do OSM

[Lucas Ferreira Mation]

Pessoal, se a informacao do número de andares for suficiente, acho que isso
pode ser estimado usando o CNEFE, com alguma validação/conhecimento local.

A ideia é o seguinte.  Se a pessoa souber o endereço certinho ou
,preferencialmente, o cep (em geral prédios maiores tem cep próprio) daria
para estimar o numero de andares do prédio com base na estrutura de
complementos dos endereços dos domicílios do prédio.

Po exemplo , se os complementos são: ap 101, ap102, ap201,... ap1801, eu
posso supor q o prédio tem 18 andares. Não é garantido, mas pode ajudar o
mapeador local.

Se alguem se animar em testar esta ideia na sua cidade ou bairro me avise
que eu preparo uma lista da estimativa do no de andares de cada endereço na
área.

Abs
Lucas
Em 11/04/2014 22:08, Arlindo Pereira openstreet...@arlindopereira.com
escreveu:

 Maneiro!

 Já tinha tentado mexer com isso e não tinha conseguido ver renderizado.
 Agora sim! =)
 http://demo.f4map.com/#lat=-22.9569227lon=-43.1768235zoom=18

 Como uma sugestão, mapeem os prédios mais altos da sua cidade. Uma ideia
 que eu tive uma vez (mas nunca coloquei em prática) era de mapear os
 prédios dessa lista:
 http://pt.wikipedia.org/wiki/Anexo:Lista_de_arranha-c%C3%A9us_do_Brasil


 []s
 Nighto

 2014-04-11 21:40 GMT-03:00 John Packer john.pack...@gmail.com:

 Pessoal, pra me gabar um pouco.

 Andei dando uma mexida no meu campus, e aos poucos estou adicionando umas
 informações para visualização 3D em sites como o f4map.com (precisa de
 um navegador moderno com WebGL).
 Está ficando bem legal:
 no F4:
 http://demo.f4map.com/#lat=-26.2530405lon=-48.8550115zoom=18camera.theta=57.319camera.phi=-2.005
 no OSM:
 http://www.openstreetmap.org/way/263290462#map=17/-26.25337/-48.85415

 E tem um outro usuário aqui em Joinville que, entre outras coisas, andou
 detalhando um dos pontos turísticos da cidade:
 No F4:
 http://demo.f4map.com/#lat=-26.3217907lon=-48.8462260zoom=19camera.theta=49.92camera.phi=-165.194
 No OSM:
 http://www.openstreetmap.org/node/2619265385#map=18/-26.32202/-48.84655
 E no mapa Humanitário:
 http://www.openstreetmap.org/node/2619265385#map=19/-26.32179/-48.84667layers=H

 Abs,
 João

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

Só para atualizar,

Um problema a menos. O Peter Körner, que é o desenvolvedor do extrator
do history file, fez um uma extração para o Brasil.
Se alguém mais quiser usar está em:
http://osm.personalwerk.de/full-history-extracts/latest/south-america/brazil.osh.pbf

acho que o diretório latest são os arquivos históricos mais
recentemente criados, mas cada um deles cobre os dados desde o início.
Pelo que entendi, para acessar este arquivo preciso usar o OSMIUM ou o
 Osmconvert

Enfim, agora preciso pensar sobre como fazer as queries sobre
quantos notes havia em cada período, ou qual era o comprimento total
dos ways em cada período. Não tenho idéia como proceder...
Ou se tem que primeiro exportar os dados válidos em cada período para
algum arquivo mais fácil de trahalhar (CSV)  e depois calcular estas
estatísticas.







2014-04-08 23:27 GMT-03:00 Alexandre Magno Brito de Medeiros
alexandre@gmail.com:
 Lucas,

 Só depois eu notei que o full-history-extracts tem dados atuais, no
 diretório latest. É possível que sejam os mesmos do site geofabrik. Ainda
 não tenho familiaridade com esses arquivos grandes.

 Não sei quais  ferramentas você acha que eu propus a você. Eu estava
 comentando a aplicação que eu pretendo fazer delas.

 Se você quiser conhecer rapidamente alguns XML menores (ou outros formatos,
 geojson etc), pode fazer extracts com o overpass-turbo.eu. Eu também não
 tenho familiaridade com este mas pelo menos já pude experimentá-lo e
 imaginar possibilidades.

 Quanto ao PostGis, eu não faço ideia, apesar de saber que é a ferramenta
 especialista para geoprocessamento. Não tenho contato com ele. Você me
 pergunta sobre como poderia ter dados OSM em uma base relacional (por
 exemplo, no Microsoft SQL Server). Por favor, siga Pesquisando forma de
 conhecer todos que mapearam em um país.

 Um CSV pode ser importado em PostgreSQL ou MySQL, por exemplo. Não deve ser
 diferente com Microsoft SQL Server. Antes ou depois dos dados estarem no
 banco, dá-se algum tratamento a eles, para que se tornem úteis e a consulta.

 Mudando um pouco o assunto. Para NoSQL. Eu importei em MongoDB e tenho
 consultado com sucesso aqueles dois pequenos CSV do naoliv (stats-pt). Tenho
 usado o Robomongo. Mas é algo completamente diferente de usar SQL, e tem
 suas limitações. Vai resolver os requisitos do unipt-stats...

 Quero esclarecer uma coisa. O que eu pretendo fazer não é geoprocessamento.
 Apenas obter algumas informações úteis de redução de escopo que já fora
 obtida por geoprocessamento. Consultar os tais CSV -- isso do unipt-stats --
 será muitas e muitas vezes algo trivial. Não se compara ao que um extract
 faz. Só que querer fazer extract para minúcias não dá. Já é muito difícil e
 custoso tratar todos os dados errônios do Planet. Eu acho que é viável
 buscarmos extracts que ofereçam visualizações intermediárias dos dados,
 que possam ser consultadas.

 Alexandre Magno


 Em 8 de abril de 2014 22:49, Lucas Ferreira Mation lucasmat...@gmail.com
 escreveu:

 Valeu Alerxandre,

 O link pro geofabrik que você coloca é para um dump dos dados autais
 do OSM. Eu inclusive já baixei e estou usando o shape de ruas para
 fazer as comparações com o CNEFE e as possibilidades de importação
 deste (vou mandar um email sobre isso na outra tread em breve). Neste
 arquivo shape eu sei como trabalhar. Minha dificuldade é com estes
 dumps do OSM, lí que são XML, mas não faço idéia como transformar isso
 numa base de dados manipulável na minha máquna.

 Não sei se fui claro. Só queria fazer um gráfico em que Y = número de
 ruas , ou pontos do OSM no Brasil, e X= tempo. Não estou querendo
 fazer coisas mais complexas como vizualização da rede crescendo, etc.

 Pelo que entendi, o procedimento no link que mandei no email original
 é para baixar um arquivo que tem toda a história de alterações da
 base, mas filtrando apenas a área do Brasil. Aí teriamos que agregar
 esta base por pontos ou ruas em cada período.

 Não tenho familiaridade com estas ferramentas todas que você listou.
 No IRC me disseram que para abrir o history file eu teria que ter uma
 máquina Linux e alguma forma de baixar e tratar os dados. Mas isso
 para mim seria bem difícil de implementar, não manjo de linux,
 programação, etc. Eu tenho acesso a um SQL Server e posso talvez
 conseguir um PostGis. Dá para baixar os dados direto para para estes
 bancos de dados e manipulá-los neles?



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

Transcrevo mais dicas do Peter:




2014-04-09 13:54 GMT-03:00 Alexandre Magno Brito de Medeiros 
alexandre@gmail.com:

 [image: Imagem inline 1]
 Se encontrem erro nos UML que desenho, por favor, avisem-me (por e-mail),
 mas com calma. Poderá atá ser o caso de uma modificação intencional, com o
 objetivo de transmitir a mensagem com mais coloquialidade.

 Essa aí é a ideal original. Considera apenas o MongoDB. Não pretendo
 redesenhar. Toma tempo. Mas considerem também o que tenho escrito.

 Alexandre Magno


 Em 9 de abril de 2014 13:32, Alexandre Magno Brito de Medeiros 
 alexandre@gmail.com escreveu:

 Em e-mails passados, tenho usado a palavra extract para me referir a
 visualizações simplificadas dos conjuntos de dados do OpenStreetMap.
 Especialmente pensando naqueles arquivos CSV gerados por osmjs -j
 OSMQualityMetrics/UserStats.js brazil.osm.pbf. Eu sei que o uso corrente
 não é esse. Atualmente, o que o pessoal chama extract ainda é coisa como o
 brazil.osm.pbf. Penso que podemos considerar um extract de outro extract.
 Estou explicitando essa diferenciação para não fazermos confusão.

 Sim, eu penso que o caminho é usar Osmconvert, OSMIUM, osmjs, ou algo
 como o new-osm-stats / 
 fast_stats.pyhttps://github.com/dpaleino/new-osm-stats/blob/master/fast_stats.py(o
  projeto do David Paleino), e até mesmo o
 overpass-turbo.eu, aprendermo-los, para gerarmos as tais
 visualizações, sejam em CSV, JSON, ou já diretamente dentro de um SGBD. O
 unipt-stats entrará como um utilitário de linha de comando ou lib de
 domínio comum para a lida com SGBD nessas intenções; apenas o projeto
 deverá estar preparado para receber novos plugues (implementações de
 consultas, e conectores de resultados de extracts → pegar um extract e
 auxiliar sua importação útil no SGDB escolhido para implementação das
 consultas correlatas).

 No meio de tempo, a pessoa pode apenas resolver o problema da importação,
 sem criar as consultas como caso de uso dentro do unipt-stats. Daí ela
 simplesmente usa um Robomongo ou Microsoft SQL Server e consulta
 manualmente o dados que quiser. O Robomongo, por exemplo, possibilita
 salvarmos e carregarmos código de consulta Javascript. Escolhendo um nome
 significativo para o arquivo e comentando-o para explicar algo, já temos
 uma possibilidade: ir colecionando essas consultas .js que depois poderão
 ser reescritas com mínimo esforço dentro de um projeto como o unip-stats.

 Alexandre Magno


 Em 9 de abril de 2014 10:10, Lucas Ferreira Mation lucasmat...@gmail.com
  escreveu:

 Só para atualizar,

 Um problema a menos. O Peter Körner, que é o desenvolvedor do extrator
 do history file, fez um uma extração para o Brasil.
 Se alguém mais quiser usar está em:

 http://osm.personalwerk.de/full-history-extracts/latest/south-america/brazil.osh.pbf

 acho que o diretório latest são os arquivos históricos mais
 recentemente criados, mas cada um deles cobre os dados desde o início.
 Pelo que entendi, para acessar este arquivo preciso usar o OSMIUM ou o
  Osmconvert

 Enfim, agora preciso pensar sobre como fazer as queries sobre
 quantos notes havia em cada período, ou qual era o comprimento total
 dos ways em cada período. Não tenho idéia como proceder...
 Ou se tem que primeiro exportar os dados válidos em cada período para
 algum arquivo mais fácil de trahalhar (CSV)  e depois calcular estas
 estatísticas.




 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


inline: unipt-stats.png___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

ops, repetindo:

transcrevo mais dicas do Piter:

 Then I intend to use: OSMIUM or Osmconvert
I don't think osmconvert can process history files. osmosis can't
either. osmium is a library that can do this but you'll have to write a
program agains this lib which does what ever you want.

 now in need to do some homework to find out what do do after that.
 What format to convert the data into? and how that would work?
 I'm thinking I'll need to create a CSV with all the points that
 existed in a given period. And repeat the processo for every 6months
 or so. And take note of the number of lines in each CSV. Or maybe
 query the history file directly for the number of nodes in each
 period.
You may take a look at
https://github.com/MaZderMind/osm-history-renderer/blob/master/TUTORIAL.md

Its one of the tools I use to process history files. I't'll give you a
postgres -database which you can query to give you numbers for a given
point in time.

 I suppose a more interesting ,but also more complicated thing, would
 be to calculate the ways lenght of all ways in a given period
the above importer creates PostGIS-Geometries for ways, nodes and
polygons, so you can use PostGIS-Functions to get way-lenghtes,
polygon-areas for each given point in time.

 In the end what I want is a graph in with Y=number of nodes, or lenght
 for ways and X=time
There should be tons of fools go generate charts and graphs from
postgresql queries.


2014-04-09 13:58 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:

 Transcrevo mais dicas do Peter:




 2014-04-09 13:54 GMT-03:00 Alexandre Magno Brito de Medeiros 
 alexandre@gmail.com:

 [image: Imagem inline 1]
 Se encontrem erro nos UML que desenho, por favor, avisem-me (por e-mail),
 mas com calma. Poderá atá ser o caso de uma modificação intencional, com o
 objetivo de transmitir a mensagem com mais coloquialidade.

 Essa aí é a ideal original. Considera apenas o MongoDB. Não pretendo
 redesenhar. Toma tempo. Mas considerem também o que tenho escrito.

 Alexandre Magno


 Em 9 de abril de 2014 13:32, Alexandre Magno Brito de Medeiros 
 alexandre@gmail.com escreveu:

 Em e-mails passados, tenho usado a palavra extract para me referir a
 visualizações simplificadas dos conjuntos de dados do OpenStreetMap.
 Especialmente pensando naqueles arquivos CSV gerados por osmjs -j
 OSMQualityMetrics/UserStats.js brazil.osm.pbf. Eu sei que o uso corrente
 não é esse. Atualmente, o que o pessoal chama extract ainda é coisa como o
 brazil.osm.pbf. Penso que podemos considerar um extract de outro extract.
 Estou explicitando essa diferenciação para não fazermos confusão.

 Sim, eu penso que o caminho é usar Osmconvert, OSMIUM, osmjs, ou algo
 como o new-osm-stats / 
 fast_stats.pyhttps://github.com/dpaleino/new-osm-stats/blob/master/fast_stats.py(o
  projeto do David Paleino), e até mesmo o
 overpass-turbo.eu, aprendermo-los, para gerarmos as tais
 visualizações, sejam em CSV, JSON, ou já diretamente dentro de um SGBD. O
 unipt-stats entrará como um utilitário de linha de comando ou lib de
 domínio comum para a lida com SGBD nessas intenções; apenas o projeto
 deverá estar preparado para receber novos plugues (implementações de
 consultas, e conectores de resultados de extracts → pegar um extract e
 auxiliar sua importação útil no SGDB escolhido para implementação das
 consultas correlatas).

 No meio de tempo, a pessoa pode apenas resolver o problema da
 importação, sem criar as consultas como caso de uso dentro do unipt-stats.
 Daí ela simplesmente usa um Robomongo ou Microsoft SQL Server e consulta
 manualmente o dados que quiser. O Robomongo, por exemplo, possibilita
 salvarmos e carregarmos código de consulta Javascript. Escolhendo um nome
 significativo para o arquivo e comentando-o para explicar algo, já temos
 uma possibilidade: ir colecionando essas consultas .js que depois poderão
 ser reescritas com mínimo esforço dentro de um projeto como o unip-stats.

 Alexandre Magno


 Em 9 de abril de 2014 10:10, Lucas Ferreira Mation 
 lucasmat...@gmail.com escreveu:

 Só para atualizar,

 Um problema a menos. O Peter Körner, que é o desenvolvedor do extrator
 do history file, fez um uma extração para o Brasil.
 Se alguém mais quiser usar está em:

 http://osm.personalwerk.de/full-history-extracts/latest/south-america/brazil.osh.pbf

 acho que o diretório latest são os arquivos históricos mais
 recentemente criados, mas cada um deles cobre os dados desde o início.
 Pelo que entendi, para acessar este arquivo preciso usar o OSMIUM ou o
  Osmconvert

 Enfim, agora preciso pensar sobre como fazer as queries sobre
 quantos notes havia em cada período, ou qual era o comprimento total
 dos ways em cada período. Não tenho idéia como proceder...
 Ou se tem que primeiro exportar os dados válidos em cada período para
 algum arquivo mais fácil de trahalhar (CSV)  e depois calcular estas
 estatísticas.




 ___
 Talk-br mailing list
 Talk-br

[Talk-br] Lista de nomes de Ruas com erros e typos no OSM - Brasil

[Lucas Ferreira Mation]

Pessoal,

Fiz uns testes dos nomes de Ruas no OSM-Brasil. Objetivo era chegar
numa base limpa para cruzar com o CNEFE, mas acho que já é um
resutlado de interesse por sí só, então já adianto neste email

Basicamente eu fiz a comparação dos nomes de ruas no OSM dentro de
cada cidade, para tentar achar nomes duplicados e/ou com algum erro de
grafia. Para isso fiz um pareamento fuzzy/probabilistico entre os
nomes de ruas em cada cidade, usando o método de Levenshtein (
threshold = 0.1). Resultados:

Dos  1.392k ways (seguimentos de ruas) que o OSM tem, 964k  (69%)
destes estão sem nome. Portanto há 428 mil ruas com nome. Colapsando
por nome de rua e município (usando a divisão municipal de 2010 do
IBGE) ficamos com 297k ruas (na verdade são pares de nome de
rua-município).  Aí apliquei o método mesmo método de Levenshtein (
threshold = 0.1) e encontrei 10.2k ruas que potencialmente são
duplicadas, devido a typos no nome, etc.

Coloquei estes casos nestes arquivos (é o mesmo dado, só para
facilitar o acesso)

excel: 
https://www.dropbox.com/s/9akoujoaww4xqf1/Erros_Nomes_Ruas_Municipios_OSM.xls

csv:
https://www.dropbox.com/s/jjd67ayn22vgyqo/Erros_Nomes_Ruas_Municipios_OSM.csv

Alguém se anima a encarar estas correções? Como encaminhar isso?
abs
Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Mudança na URL da layer TMS do IBGE

[Lucas Ferreira Mation]

Muito bacana. Tem como deixar a layer dos blocos transparente e manter a
imagem de satélite por trás?
Em 09/04/2014 18:05, Arlindo Pereira openstreet...@arlindopereira.com
escreveu:

 O pessoal do Mapbox propôs hospedar gratuitamente.


 []s
 Arlindo


 2014-04-09 18:01 GMT-03:00 Alexandre Magno Brito de Medeiros 
 alexandre@gmail.com:

 Isso custará https://www.mapbox.com/plans/ quanto?

 Alexandre Magno


 Em 9 de abril de 2014 17:23, Thiago Marcos P. Santos tmpsan...@gmail.com
  escreveu:

 Estou de férias esta semana, mas até o dia 19/abril espero fazer
 upload de todas as cidades do Brasil para o Mapbox.

 Aí vou ter o endereco definitivo da layer e posso mandar um patch para o
 JOSM.


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

Ola pessoal.

Estava procurando gráficos similares ao que você encontra aqui,
http://wiki.openstreetmap.org/wiki/Stats, principalmente em relação ao
número de pontos e vias ao longo do tempo, só que para o Brasil.

Alguém já fez?

Perguntei no IRC, e me disseram que seria necessário baixar um extrato
só com o Brasil do full-history file, que tem as várias versões da
base em cada período. Para extrair isso teria que rodar este
algoritmo:
https://github.com/MaZderMind/osm-history-renderer/blob/master/TUTORIAL.md
Alguns extracts pré-prontos para outras regiões estão em:
http://osm.personalwerk.de/full-history-extracts/
Veja também:
http://wiki.openstreetmap.org/wiki/History_API_and_Database
http://wiki.openstreetmap.org/wiki/User:MaZderMind/Reading_OSM_History_dumps


alguém com mais familiaridade conseguiria fazer isso (sem grande esforço)?

Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] idéias dados IBGE OSM: CNEFE, setores censitários, quarteirões.

[Lucas Ferreira Mation]

Opa, não sabia qu eo Hermann já tava com a comparação em andamento.
Em que pé está isso? Digo isso porque finalmente consegui fazer o spatial
join do shape de ruas do OSM com o shape de municípios do IBGE. Ia agora
cruzar com os dados do CNEFE. Acho que dá até para fazer uns refinamentos
como corrigir para typos no CNEFE e no OSM, fazer matching
probabilistico/fuzzy (reclink).  É o que ia fazer agora, mas não vamos
duplicar esforços, vocês já tem isso pronto?

Para o Heat map, vocês precisam os dados em que nível de detalhe? Agora que
já desenvolvi a capacidade de cruzamento dos dados, seria fácil produzir  a
mesma estatística por Bairro também. E eventualmente por setor. O que eu
não sei fazer é o heatmap em sí, e colocar na web.









2014-04-03 16:05 GMT-03:00 Thiago Marcos P. Santos tmpsan...@gmail.com:

 2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation lucasmat...@gmail.com:
  Thiago, vamos estreitar mais a conversa e iniciativas.
 
  Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
  quarteirões só poderá ser liberado em 2015, se não me engano, pois os
 mapas
  foram comprados de empresas de mapeamento comercial, então não poderiam
  liberar antes de 2015. Parece que este foi um grande desapontamento por
 lá,
  pois achavam que a qualidade destes mapas seria muito melhor do que era e
  fato. Antes do Censo as equipes do IBGE foram a campo fazer o
 arrolamento
  dos setores censitários, isto é, verificar as ruas, corrigindo
 diretamente
  no PDA, e estimando o número de casas por setor. Acho que existiria
 grande
  potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
  enorme equipe deles para corrigir/complementar o OSM. Operacionalmente
 isso
  é muito mais fácil do que ficar fazendo licitações, para comprar bases,
 etc.
  Além disso já viria com uma série de aplicativos para fazer estas
 correções
  no campo pela equipe deles.
 
  Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma
 idéia
  do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,
  10% ou
  50% das ruas estão erradas?

 Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.

  Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace
 é
  baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
  manualmente segmentar em ruas ou isso é feito de alguma forma
 automatizada?

 É um XML com vários meta dados.
 http://wiki.openstreetmap.org/wiki/OSM_XML

 Tem várias bibliotecas já prontas para fazer o processamento deste XML:
 http://wiki.openstreetmap.org/wiki/Frameworks

 Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o
 heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no
 dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas
 para incluir esta otimização de ruas que passam por múltiplas regiões
 censitárias.

 Conversando com um amigo alemão hoje, ele estava me falando como a
 gamification do OSM ajudou a melhor a situação dos mapas na
 Alemanha, já que todo mundo queria ver sua cidade verde no head map.
 :)

  Digo isso pois para as ruas já segmentadas/demarcadas mas sem nome,
  poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
  CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores
 A,B,C e
  D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e
 D ,
  e não pela lista completa de ruas que passam por qualquer um deles.
 
 
 
  4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import
 dos
  números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
  necessário parear as quadras e faces de quadras das com ruas já mapeadas
 e
  nomeadas no OSM. É possível gerar a partir do OSM uma base de quadras?
  Imagino algo assim:
  Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de
 quadras do
  OSM, onde cada quadra i é indexada pela lista de quarteirões que a
 compõem.
  E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de
 ruas
  do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser
 mais).
  Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
  Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j
 e é
  descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}
  Contanto que as ruas nas duas bases estejam com nomes similares, estejam
  pareadas, podemos formular um problema matemático, um sistema de equações
  para determinar os pareamentos entre as quadras i e j (OSM e CNEFE).
 Claro,
  isso não precisa ser feito com todas as quadras contra todas, basta
 cruzar
  os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este
  pareamento, seria possível saber para cada face de quarteirão do CNEFE a
  face de rua correspondente no OSM. Aí bastaria importar todos os
 endereços
  daquela face, talvez validando primeiro para ver se a informação é
  compatível com os endereços já incluidos

[Talk-br] Ferrovias e trens urbandos no OSM

[Lucas Ferreira Mation]

Ola,

alguém sabe se já foram mapeadas as ferrovias do Brasil no OSM? e os
trilhos de trens urbanos/metropolitanos?

obrigado
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Ajuda para obter lista com todas as Ruas do Brasil e município, distrito, subdistrito

[Lucas Ferreira Mation]

Além poderia me ajudar e  extrair uma listagem (em .txt, .csv, ou similar)
com o nome de todas as ruas do Brasil (ou seguimentos de ruas) incluindo o
máximo de subdivisões adiminisitrativas possível (município, distrito,
subdistrito) ?

eu tentei uma alternativa relativamente simples que seria baixar a base de
ruas do Shapefile do Brasil (disponível
aquihttp://download.geofabrik.de/south-america/brazil.html)
e fazer um join com o shape de municípios 2010 do IBGE (compartilhei
aquihttps://www.dropbox.com/s/zhsfdc0eqeijl24/malha_municipal2010.7z).
Mas o computador aqui (que não é lá muito bom) não aguenta fazer o spatial
join das duas bases, nem no Arcgis nem no Qgis.

Vou usar isso para fazer o cruzamento entre o OSM e o CNEFE, que era uma
das idéias descritas neste meu email
anteriorhttps://lists.openstreetmap.org/pipermail/talk-br/2014-March/006605.html.
Assim vai dar para ver o grau de cobertura/completurde do OSM do Brasil
todo, por estado, por município, etc. Acho que vai ser algo útil para ajuda
os mapeadores. Eu tenho acesso a um servidor bom aqui para fazer o
cruzamento com o CNEFE, inclusive pareamento probabilistico/fuzzy, mas
preciso que alguém me ajude a gerar a base de ruas do Brasil.

obrigado
Lucas
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Ferrovias e trens urbandos no OSM

[Lucas Ferreira Mation]

Obrigado pessoal. E como eu faço para criar explortar um  shapefile apenas
com os trajetos dos trilhos de trem no OSM do Brasil todo? É possível
filtrar as partes subterrâneas das partes a céu aberto?

Estou fazendo um estudo sobre favelas, e preciso identificar quais se
encontra na calha das ferrovias (normalmente nas urbanas)


2014-04-01 17:31 GMT-03:00 Arlindo Pereira openstreet...@arlindopereira.com
:

 Acredito que os trens urbanos/metropolitanos estejam praticamente todos
 mapeados, embora ainda falte bastante coisa dos trens de carga.


 []s
 Arlindo


 2014-04-01 10:02 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:

 Ola,

 alguém sabe se já foram mapeadas as ferrovias do Brasil no OSM? e os
 trilhos de trens urbanos/metropolitanos?

 obrigado




 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] idéias dados IBGE OSM: CNEFE, setores censitários, quarteirões.

[Lucas Ferreira Mation]

Prezados,

Sou economista e trabalho no IPEA, entre outras coisas, com questões de
economia urbana e favelas. Sempre sentimos falta de uma base de dados
completa, precisa e gratuita de ruas, e outros atributos. Apenas
recentemente tive contato com o OSM e estou impressionado com a riqueza de
informações disponíveis. O projeto e o trabalho de vocês é fantástico.

Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer as
informações destas bases para dentro do OSM, ou como um rascunho-guia para
pessoas validarem. Sugeri esta idéia no
forumhttp://forum.openstreetmap.org/viewtopic.php?id=24829

e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads com
idéias similares. Listo abaixo as informações que sei destas bases do Censo
2010, e depois minhas idéias sobre como poderiam ser exploradas/mireradas:

A) Setor censitário: são uma divisão do território para operacionalizar a
 coleta de informação no censo, tal que um setor seja  área de
responsabilidade de um único recenseador, com 250 a 350 domicílios em áreas
urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns poucos
quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão em
áreas muito densas. São 316,5 mil setores em 2010.
O IBGE fornece um shapefile para cada uf com os polígonos dos setores. Além
disso o IBGE fornece uma base de dados com informações
demográficas e econômicas agregadas para os moradores de cada setor
censitário. O grau de precisão destes shapes varia de cidade para cidade.

B) Base de quarteirões/quadras: o IBGE também dispõem internamente de uma
base de dados de quarteirões, entretanto esta base, em formato digital não
é divulgada. Aprendi com o projeto
IBGEtoolshttp://tiles.tmpsantos.com.br/(muito bacana por sinal),
que imagens dos quarteirões de cada setor estão dispníveis em PDF no site
do IBGE.

C) 
CNEFEhttp://www.ibge.gov.br/home/estatistica/populacao/censo2010/cnefe/default_cnefe.shtm
: lista os endereços de todos os domicílios recenseados = 81 milhões de
observações. Para os domicílios rurais são incluídas as coordenadas do
domicílio. Para os urbanos é indicado o setor censitário (localização
conhecida pelo item A).  Também são indicados o quarteirão e face de
quarteirão, cujo shape eles não divulgam mas que cuja numeração segue uma
contagem seguencial dentro do setor (acho que no sentido horário).

Dado isso, listo as coisas dúvidas  que penso que podem ser feitas e as
dúvidas associadas:

0) medir imprecisão dos shapes de setor censitário: acho que este
diagnóstico seria a primeira coisa a ser feita seria, para ter uma idéia do
grau de erro deste dado em cada cidade.  Já foi feito alguma estimativa do
tipo ? Alguma tentativa de corrigir os shapes de setor censitário? Digo
isso porque as idéias subsequentes, na maioria usam o shape de setores para
juntar espacialmente os dados.

1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de coberturado
OSM: , conforme proposto/implementado para o Brasil
(aqui1https://www.mail-archive.com/talk-br@openstreetmap.org/msg06011.html
e
aqui2 http://forum.openstreetmap.org/viewtopic.php?id=24791) e Alemanha (
aqui http://regio-osm.de/listofstreets/hierarchy). Esta comparação pode
ser feita em diversas escalas (município, distrito, subdistrito e até setor
(supoondo mapas compatíveis) na forma de tabela ou de um heatmap. Aliás,
baixei o shape de ruas do Brasil do OSM mas não vem com informação de
município ou nenhuma indicação geográfica.Como obtenho isso nos shapes do
OSM? ou preciso eu mesmo cruzar com um shape de municípios no qgis?

 2) Dado este paramento,  o CNEFE poderia ser usado para corrigir typos dos
nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso seria
bom fazer um matching probalistico/fuzzy dos nomes).

3) Criar traçados de ruas a partir de CNEFE+shape-setores. Conforme
descrito no post no forum, sabendo que a rua passa dentro de um conjunto de
setores seria possível esboçar o trajeto da rua, ou uma área no meio da
qual sabemos que ela passa, o que poderia servir de guia para os
mapeadores.

4) Pareamento de quarteirões e faces de quarteirão do CNEFE e do OSM em
áreas já mapeadas. Supondo que o perímetro do setor seja conhecido
(shape-setor seja preciso) deve ser possível identificar qual quarteirão do
CNEFE corresponde a qual quarteirão do OSMs. Sendo assim seria possível
adicionar toda a estrutura de números de rua do CNEFE ao OSM.

Enfim, estas são a idéias mais preliminares, espero que o email não tenha
ficado longo demais. Queria ver o que o pessoal acha delas e se alguém se
anima a ajudar. Tenho algumas idéias sobre algoritmos, etc para fazer estes
cruzamentos, mas não sei python, detalhes do OSM , etc para implementa tudo
num código na web.

abraço
Lucas
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br