Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Acho que resolvi (com muita ajuda do Komzpa no IRC do OSM#DEV IRC, como
est[a resumido aqui
http://stackoverflow.com/questions/32907481/optimize-large-st-intersect-query-match-1-8m-osm-streets-to-317k-polygons
(uma das sugest'oes eh a que voce tinha dado marcos) o cruzamento de Ruas
do OSM com setores censitarios

Veja o item 2b aqui
https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sqlEsta
rodando aqui, vamos ver quanto demora


2015-10-01 23:13 GMT-03:00 Marcos Fedato <heroij...@hotmail.com>:

> Peter,
>
> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do
> Wiki k.
>
> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>
> Acho que podemos seguir o que ele fez e crescer com isso.
>
> Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
>
> O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de
> 2014!
>
> Att
> Marcos Fedato
>
>
> --
> From: heroij...@hotmail.com
> To: talk-br@openstreetmap.org
> Date: Thu, 1 Oct 2015 22:40:53 -0300
>
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
> Olá Peter,
>
> 1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de
> "importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso
> precisemos guardar algo lá.
>
> Na verdade o lucas já tem um projeto criado
> https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um pelo
> OSM fique mais formal, chame mais atenção, sei lá.
>
> Nesse repo poderiamos dividir em pastas as diferentes ferramentas que
> possamos ter de desenvolver, e fica focado no tema.
>
> Acho também que poderiamos usar o Wiki do OSM para documentar em alto
> nível assim mesmo quem não é programador fica a vontade para entender o que
> fizemos.
>
> 2) Só dando crédito a pessoa correta , o Lucas que "numerou com
> letras" de A a G.
>
> Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para
> trás e definir bem o objetivo deste projeto (se é nomear automaticamente,
> apontar áreas de correção, apontar possíveis nomes para o ID, criar uma
> camada de setor censitário alinhada ao OSM para futuras análises espaciais,
> tudo isso, tudo isso e mais um pouco...).
>
> 3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo
> mais ao Wiki do OSM pois ficaria concentrado onde outros projetos já
> existem. http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos.
>
> Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM
> redirecionando para lá e ta massa também, acho que não devemos gastar muita
> energia criativa com ferramental pq gosto é como... nariz, cada um tem uma
> ferramenta especial k.
>
> Então assim, como vc teve a iniciativa, acho que vc pode escolher (só
> veria como lucas a questão de usar o repo dele ou criar pelo OSM, de qual
> Wiki, o que importa é gerarmos conteúdo de qualidade), decisões concensuais
> por listas de email são demoradas, desgastantes e normalmente... não são
> concensuais no fim .
>
> Atenciosamente,
> Marcos Fedato
>
>
> --
> Date: Thu, 1 Oct 2015 22:01:57 +
> From: ppkra...@gmail.com
> To: talk-br@openstreetmap.org
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
> Oi Alexandre, não se preocupe, e creio que aqui a maioria é intermitente,
> com seus altos e baixos de participação.
>
> Uma coisa onde *todos podem  ajudar para já adiantar o processo* é o
> seguinte:
>
> *1) *o nome do projeto Github, que tal "Organizando"? ficaria
> https://github.com/OSMBrasil/organizando
>
> *2)* O Marcos já lançou tópicos de A a G (!), que fal votarmos aqui,
> antes de começar no git, qual será o primeiro tópico a ser abordado?
>
> *3) *consolidação de textos aqui dos emails: uma série de dicas,
> questionamentos, e consensos foram expressos neste theread, quem ajudaria a
> resumir/consolidar esse blabla rico todo para servir de referência mais
> organizada e centralizada? (preparo la no Git como Wiki ou README)
>
> Peter
>
>
> Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com> escreveu:
>
> Peter Krauss e Marcos Fedato,
>
> Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para
> quem está com gás, vocês. Não posso me envolver. Tenho um bocado de
> pendências por aqui, pela comunidade mesmo, coisa que eu devia ter feito e
> não fiz. E coisa que preciso fazer, como simples traduções. Mesmo que eu
> não as tivesse, minha cabeça está cada vez mais distante dos conhecimentos
> técnicos que o projeto de vocês requer. Eu preciso resolver v

Re: [Talk-br] RES: RES: OSM - CNEFE

[Alexandre Magno Brito de Medeiros]

De metido, eu vou deixando mais uns pitacos:

   - O nome "organizando" me parece demasiadamente genérico e inespecífico,
   para constar como um projeto na organização de GitHub chamada OSMBrasil.
   - Seria interessante que o wiki dentro do GitHub não crescesse demais.
   Eu colocaria nele o que fosse essencial para se conhecer do que se trata, e
   até um breve manual de uso. Coisa de uma dezena de páginas. Conteúdo
   consolidado, não conteúdo em constante mudança. Esse eu deixaria em git e
   Mediawiki.
   - O conteúdo transitório ou de mais rápida absorção, esse eu deixaria em
   README.md. Especialmente coisas jurídicas (declarações de licença), coisa
   que precise ser obrigatoriamente conhecida.
   - Um projeto coletivo e grande talvez deva necessariamente começar pelos
   planos, pela engenharia, pela definição de arquitetura, pela troca de
   ideias, sobre o que está para ser feito, as frentes de trabalho. Falar de
   linguagem agora talvez seja como, sem a planta da casa a construir, ficar a
   discutir se será usado tijolo furado ou não. Às vezes até cabe, mas na
   maioria das vezes essa discussão não é a que importa.
   - Retiro completamente o que afirmo na sentença anterior se o objetivo
   for apenas prototipar ou ensaiar.

Alexandre
Em 1 de outubro de 2015 19:01, Peter Krauss  escreveu:

> Oi Alexandre, não se preocupe, e creio que aqui a maioria é intermitente,
> com seus altos e baixos de participação.
>
> Uma coisa onde *todos podem  ajudar para já adiantar o processo* é o
> seguinte:
>
> *1) *o nome do projeto Github, que tal "Organizando"? ficaria
> https://github.com/OSMBrasil/organizando
>
> *2)* O Marcos já lançou tópicos de A a G (!), que fal votarmos aqui,
> antes de começar no git, qual será o primeiro tópico a ser abordado?
>
> *3) *consolidação de textos aqui dos emails: uma série de dicas,
> questionamentos, e consensos foram expressos neste theread, quem ajudaria a
> resumir/consolidar esse blabla rico todo para servir de referência mais
> organizada e centralizada? (preparo la no Git como Wiki ou README)
>
> Peter
>
>
> Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com> escreveu:
>
>> Peter Krauss e Marcos Fedato,
>>
>> Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para
>> quem está com gás, vocês. Não posso me envolver. Tenho um bocado de
>> pendências por aqui, pela comunidade mesmo, coisa que eu devia ter feito e
>> não fiz. E coisa que preciso fazer, como simples traduções. Mesmo que eu
>> não as tivesse, minha cabeça está cada vez mais distante dos conhecimentos
>> técnicos que o projeto de vocês requer. Eu preciso resolver várias coisas
>> no âmbito pessoal (particular), às quais dou mesmo mais prioridade. Por
>> exemplo, meu pai tornou-se deficiente físico e... bem, estou com ele.
>>
>> Alexandre Magno
>>
>> Em 1 de outubro de 2015 17:16, Peter Krauss 
>> escreveu:
>>
>>> Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos
>>> numa cidade, como São Paulo, podemos até fazer presencial+web ... Quanto
>>> aos slides tambem boa ideia, já fiz algo parecido para palestras do LexML,
>>> https://github.com/ppKrauss/lexml-slides
>>>
>>>
>>> Em 30 de setembro de 2015 15:58, Alexandre Magno Brito de Medeiros <
>>> alexandre@gmail.com> escreveu:
>>>
 Outra opção mais custosa é agendarem uma apresentação de slides para
 cada pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos
 apresentadores. Com o objetivo de definir os rumos de um projeto de
 software. A reunião final consolidaria os ânimos do time e decidiria o que
 aproveitar de cada ideia. Cada apresentação teria explicado coisas com
 imagens, áudio e texto. Os slides e documentos de definição seriam
 versionados, guardados e publicados em GitHub.

 Alexandre

 Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros <
 alexandre@gmail.com> escreveu:

> Eu não vou participar, mas sugiro que vocês procurem uma ferramenta
> que lhes permita desenhar em quadro branco remotamente, com áudio. Existe.
> É como um pad com capacidade de desenho à mão livre e áudio.
>
> Alexandre
>
> Em 30 de setembro de 2015 09:14, Marcos Fedato 
> escreveu:
>
>>
>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE
>> bastante tempo e por isso tenho bastante conhecimento para tal, se 
>> tiverem
>> interesse em expandir essa conversa além da lista (dá uma preguiça de
>> escrever e a discussão demora, principalmente para brain storming) estou
>> disposto a participar de discussões via áudio sobre o tema em horário não
>> comercial e depois a gente pode colocar na lista um resumo para não 
>> perder
>> o histórico.
>>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org

Re: [Talk-br] RES: RES: OSM - CNEFE

[Peter Krauss]

Ola!

Respondendo por alto a todos os tópicos,

*== reuniao hoje 20h40 ==*
Acho que estamos de acordo com isso, falta conferir o canal de voz a ser
usado (Hangouts ou Zoom)... Eu acabo de descobrir que não estarei em casa,
não sei se conseguirei  participar hoje. Caso alguem use cel. da Claro eu
passo por email e falamos antes, no celular ou em fixo.


*== PROJETOS OSM ==*
O Marcos indicou o norte,

http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos

acho que podemos começar por "dar um tapa" nisso, já fiz coisa parecida lá
na OKBR <http://wiki.okfn.org/Category:Projetos_OKBR>, onde classificamos
com 2 ou 3 tags, e categorizamos os projetos, amarrando de forma mais
sólida as páginas...

No caso da descrição de quadras, etc. como se trata de Wikimedia, o mesmo
software que usado na Wikipedia (!), posso até copiar/colar o que comecei
na Wikipedia (
https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
)
e tentar por fim uma abordagem didática para todos entendermos exatamente
como se relacionam as quadras com o CEP e com o CNEFE... Ou seja, texto
mais ilustrativo e didático, e conforme formos obtendo resultados concretos.

Eu talvez migre uma parte (a mais técnica) da OKFN para a wiki da OSM, onde
haverão mais colaboradores,
  http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP

O Alexandre comentou de um nome melhor no Github, concordo... e, pensando
bem, acho que nem precisamos de Github para essa organização geral de
projetos, pode ficar tudo na WikiProject_Brazil/Projetos
<http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos> por hora.
. ... acho que "CNEFE data, IBGE, Brasil import" e  "Mapa-do-CEP" tendem a
convergir para algo como "city block generation" e "segmentation by faces,
of city block", ou seja, faces de quadra serão nosso foco.


*=== PROJETO CNEFE===*
@Marcos, sim, o Lucas é o trator e o coordenador do projeto (!), nós vamos
atrás a reboque, com umas pás de jardim e boa vontade esporádica ;-)
A discussão sobre onde colocar esse projeto do Lucas de CNEFE, qual Wiki
usar (Github ou wiki.openstreetmap), etc. podemos tentar fechar em
https://github.com/lucasmation/osm_cnefe_import/issues/1
aguardo você por lá ok?
Como já somos 1 coordenador ("trator") e 2 colaboradres ("reboques"), já
podemos estimar metas e seguir as dicas do Alexandre, "(...) um projeto
coletivo e grande talvez deva necessariamente começar pelos planos, pela
engenharia, pela definição de arquitetura". Os colaboradores (eu e Marcos)
podemos iniciar por isso que não exige muita expertize nem estar com a mão
na massa, o Lucas já  "prototipou e ensaiou" o principal, o que faltar vai
saindo no feedback de comunidade.

*===PROJETO MAPA DO CEP===*
Acho que estamos convergindo para a fusão do CNEFE com o  MAPA DO CEP: o
fundamento de ambos são as faces de quadra e, posteriormente, o valor de
logística agreado.


*== Metaphone, Lucas ==*
A análise de duplicações de nomes de rua é complexa,  tem mil meandros e em
geral cada cidade  uma peculiaridade (as respectivas Câmaras Municipais são
as responsáveis)... As duplicações seriam talvez um projetinho a parte,
acho que podemos até tratar em outro *git* e fazer centenas de experimentos
e demonstrações com planilhas CSV.
- - -
PS: Olhei por alto o seu link
<http://pt.slideshare.net/DiogoLVGRubert/palestra-diogo-rubert-pgday-campinas-2015>
, parece que estamos em consenso.  A ultima vez que discuti o assunto foi
em http://pt.stackoverflow.com/a/10202/4186
RESUMO: basta instalar o Metaphone no PostgreSQL: precisa indexar com
metaphone poque é exponencialmente mais rápido do que comparar par-a-par
com semelhança. O indexador sugerido (as ruas do Brasil exigem 90% fonética
do portugues) já faz também uma espécie de *stemming
<https://en.wikipedia.org/wiki/Stemming> *grosseiro por ficar só com
prefixos. Aí, como diz também seu link, com grupos de similares em mãos,
aplica-se a semelhança par-a-par.




Em 2 de outubro de 2015 02:13, Marcos Fedato <heroij...@hotmail.com>
escreveu:

> Peter,
>
> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do
> Wiki k.
>
> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>
> Acho que podemos seguir o que ele fez e crescer com isso.
>
> Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
>
> O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de
> 2014!
>
> Att
> Marcos Fedato
>
>
> ------
> From: heroij...@hotmail.com
> To: talk-br@openstreetmap.org
> Date: Thu, 1 Oct 2015 22:40:53 -0300
>
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
> Olá Peter,
>
> 1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de
> "importacao_cnefe" e dentro dele criar uma pas

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

z também seu link, com grupos de similares em mãos,
> aplica-se a semelhança par-a-par.
>
>
>
>
> Em 2 de outubro de 2015 02:13, Marcos Fedato <heroij...@hotmail.com>
> escreveu:
>
>> Peter,
>>
>> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do
>> Wiki k.
>>
>> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>>
>> Acho que podemos seguir o que ele fez e crescer com isso.
>>
>> Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
>>
>> O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de
>> 2014!
>>
>> Att
>> Marcos Fedato
>>
>>
>> --
>> From: heroij...@hotmail.com
>> To: talk-br@openstreetmap.org
>> Date: Thu, 1 Oct 2015 22:40:53 -0300
>>
>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>
>> Olá Peter,
>>
>> 1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de
>> "importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso
>> precisemos guardar algo lá.
>>
>> Na verdade o lucas já tem um projeto criado
>> https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um
>> pelo OSM fique mais formal, chame mais atenção, sei lá.
>>
>> Nesse repo poderiamos dividir em pastas as diferentes ferramentas que
>> possamos ter de desenvolver, e fica focado no tema.
>>
>> Acho também que poderiamos usar o Wiki do OSM para documentar em alto
>> nível assim mesmo quem não é programador fica a vontade para entender o que
>> fizemos.
>>
>> 2) Só dando crédito a pessoa correta , o Lucas que "numerou com
>> letras" de A a G.
>>
>> Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para
>> trás e definir bem o objetivo deste projeto (se é nomear automaticamente,
>> apontar áreas de correção, apontar possíveis nomes para o ID, criar uma
>> camada de setor censitário alinhada ao OSM para futuras análises espaciais,
>> tudo isso, tudo isso e mais um pouco...).
>>
>> 3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo
>> mais ao Wiki do OSM pois ficaria concentrado onde outros projetos já
>> existem. http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos.
>>
>> Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM
>> redirecionando para lá e ta massa também, acho que não devemos gastar muita
>> energia criativa com ferramental pq gosto é como... nariz, cada um tem uma
>> ferramenta especial k.
>>
>> Então assim, como vc teve a iniciativa, acho que vc pode escolher (só
>> veria como lucas a questão de usar o repo dele ou criar pelo OSM, de qual
>> Wiki, o que importa é gerarmos conteúdo de qualidade), decisões concensuais
>> por listas de email são demoradas, desgastantes e normalmente... não são
>> concensuais no fim .
>>
>> Atenciosamente,
>> Marcos Fedato
>>
>>
>> --
>> Date: Thu, 1 Oct 2015 22:01:57 +
>> From: ppkra...@gmail.com
>> To: talk-br@openstreetmap.org
>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>
>> Oi Alexandre, não se preocupe, e creio que aqui a maioria é intermitente,
>> com seus altos e baixos de participação.
>>
>> Uma coisa onde *todos podem  ajudar para já adiantar o processo* é o
>> seguinte:
>>
>> *1) *o nome do projeto Github, que tal "Organizando"? ficaria
>> https://github.com/OSMBrasil/organizando
>>
>> *2)* O Marcos já lançou tópicos de A a G (!), que fal votarmos aqui,
>> antes de começar no git, qual será o primeiro tópico a ser abordado?
>>
>> *3) *consolidação de textos aqui dos emails: uma série de dicas,
>> questionamentos, e consensos foram expressos neste theread, quem ajudaria a
>> resumir/consolidar esse blabla rico todo para servir de referência mais
>> organizada e centralizada? (preparo la no Git como Wiki ou README)
>>
>> Peter
>>
>>
>> Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros <
>> alexandre@gmail.com> escreveu:
>>
>> Peter Krauss e Marcos Fedato,
>>
>> Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para
>> quem está com gás, vocês. Não posso me envolver. Tenho um bocado de
>> pendências por aqui, pela comunidade mesmo, coisa que eu devia ter feito e
>> não fiz. E coisa que preciso fazer, como simples traduções. Mesmo que eu
>> não as tivesse, minha cabeça está cada vez mais distante dos 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Peter Krauss]

>> logística agreado.
>>
>>
>> *== Metaphone, Lucas ==*
>> A análise de duplicações de nomes de rua é complexa,  tem mil meandros e
>> em geral cada cidade  uma peculiaridade (as respectivas Câmaras Municipais
>> são as responsáveis)... As duplicações seriam talvez um projetinho a parte,
>> acho que podemos até tratar em outro *git* e fazer centenas de
>> experimentos e demonstrações com planilhas CSV.
>> - - -
>> PS: Olhei por alto o seu link
>> <http://pt.slideshare.net/DiogoLVGRubert/palestra-diogo-rubert-pgday-campinas-2015>
>> , parece que estamos em consenso.  A ultima vez que discuti o assunto foi
>> em http://pt.stackoverflow.com/a/10202/4186
>> RESUMO: basta instalar o Metaphone no PostgreSQL: precisa indexar com
>> metaphone poque é exponencialmente mais rápido do que comparar par-a-par
>> com semelhança. O indexador sugerido (as ruas do Brasil exigem 90% fonética
>> do portugues) já faz também uma espécie de *stemming
>> <https://en.wikipedia.org/wiki/Stemming> *grosseiro por ficar só com
>> prefixos. Aí, como diz também seu link, com grupos de similares em mãos,
>> aplica-se a semelhança par-a-par.
>>
>>
>>
>>
>> Em 2 de outubro de 2015 02:13, Marcos Fedato <heroij...@hotmail.com>
>> escreveu:
>>
>>> Peter,
>>>
>>> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina
>>> do Wiki k.
>>>
>>> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>>>
>>> Acho que podemos seguir o que ele fez e crescer com isso.
>>>
>>> Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
>>>
>>> O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de
>>> 2014!
>>>
>>> Att
>>> Marcos Fedato
>>>
>>>
>>> --
>>> From: heroij...@hotmail.com
>>> To: talk-br@openstreetmap.org
>>> Date: Thu, 1 Oct 2015 22:40:53 -0300
>>>
>>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>>
>>> Olá Peter,
>>>
>>> 1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de
>>> "importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso
>>> precisemos guardar algo lá.
>>>
>>> Na verdade o lucas já tem um projeto criado
>>> https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um
>>> pelo OSM fique mais formal, chame mais atenção, sei lá.
>>>
>>> Nesse repo poderiamos dividir em pastas as diferentes ferramentas que
>>> possamos ter de desenvolver, e fica focado no tema.
>>>
>>> Acho também que poderiamos usar o Wiki do OSM para documentar em alto
>>> nível assim mesmo quem não é programador fica a vontade para entender o que
>>> fizemos.
>>>
>>> 2) Só dando crédito a pessoa correta , o Lucas que "numerou com
>>> letras" de A a G.
>>>
>>> Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para
>>> trás e definir bem o objetivo deste projeto (se é nomear automaticamente,
>>> apontar áreas de correção, apontar possíveis nomes para o ID, criar uma
>>> camada de setor censitário alinhada ao OSM para futuras análises espaciais,
>>> tudo isso, tudo isso e mais um pouco...).
>>>
>>> 3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo
>>> mais ao Wiki do OSM pois ficaria concentrado onde outros projetos já
>>> existem. http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos.
>>>
>>> Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM
>>> redirecionando para lá e ta massa também, acho que não devemos gastar muita
>>> energia criativa com ferramental pq gosto é como... nariz, cada um tem uma
>>> ferramenta especial k.
>>>
>>> Então assim, como vc teve a iniciativa, acho que vc pode escolher (só
>>> veria como lucas a questão de usar o repo dele ou criar pelo OSM, de qual
>>> Wiki, o que importa é gerarmos conteúdo de qualidade), decisões concensuais
>>> por listas de email são demoradas, desgastantes e normalmente... não são
>>> concensuais no fim .
>>>
>>> Atenciosamente,
>>> Marcos Fedato
>>>
>>>
>>> --
>>> Date: Thu, 1 Oct 2015 22:01:57 +
>>> From: ppkra...@gmail.com
>>> To: talk-br@openstreetmap.org
>>> Subject: Re: [Talk-br] RES: RES: OSM - 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Marcos Fedato]

Caros,
Ficou definido onde vai ser a reunião? (que midia?) To aqui kkk, só preciso de 
um link!

Att
Marcos Fedato


Date: Fri, 2 Oct 2015 18:39:54 -0300
From: lucasmat...@gmail.com
To: talk-br@openstreetmap.org
Subject: Re: [Talk-br] RES: RES: OSM - CNEFE

Ok para reuniao 20h40 hoje. 

Ainda nao consegui matar o problema do do cruzamento do OSM com os setores 
censitarios. 
Eu peguei as sugestoes do stack overflow e juntei em varias possiveis queries e 
coloquei tudo em

https://github.com/lucasmation/osm_cnefe_import/blob/master/OSM_Streets_SetorCensitario_spatial_match.sql

Mas nao sei interpretar muito bem o output do EXPLAIN. Peter da uma olhada para 
mim por favor (interrogacao)







2015-10-02 18:10 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
Ola!
Respondendo por alto a todos os tópicos,
== reuniao hoje 20h40 ==Acho que estamos de acordo com isso, falta conferir o 
canal de voz a ser usado (Hangouts ou Zoom)... Eu acabo de descobrir que não 
estarei em casa, não sei se conseguirei  participar hoje. Caso alguem use cel. 
da Claro eu passo por email e falamos antes, no celular ou em fixo.

== PROJETOS OSM ==O Marcos indicou o norte, 
http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos

acho que podemos começar por "dar um tapa" nisso, já fiz coisa parecida lá na 
OKBR, onde classificamos com 2 ou 3 tags, e categorizamos os projetos, 
amarrando de forma mais sólida as páginas...
No caso da descrição de quadras, etc. como se trata de Wikimedia, o mesmo 
software que usado na Wikipedia (!), posso até copiar/colar o que comecei na 
Wikipedia ( 
https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 ) e tentar por fim uma abordagem didática para todos entendermos exatamente 
como se relacionam as quadras com o CEP e com o CNEFE... Ou seja, texto mais 
ilustrativo e didático, e conforme formos obtendo resultados concretos.
Eu talvez migre uma parte (a mais técnica) da OKFN para a wiki da OSM, onde 
haverão mais colaboradores,   
http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
O Alexandre comentou de um nome melhor no Github, concordo... e, pensando bem, 
acho que nem precisamos de Github para essa organização geral de projetos, pode 
ficar tudo na WikiProject_Brazil/Projetos por hora.. ... acho que "CNEFE data, 
IBGE, Brasil import" e  "Mapa-do-CEP" tendem a convergir para algo como "city 
block generation" e "segmentation by faces, of city block", ou seja, faces de 
quadra serão nosso foco.

=== PROJETO CNEFE===@Marcos, sim, o Lucas é o trator e o coordenador do projeto 
(!), nós vamos atrás a reboque, com umas pás de jardim e boa vontade esporádica 
;-)  A discussão sobre onde colocar esse projeto do Lucas de CNEFE, qual Wiki 
usar (Github ou wiki.openstreetmap), etc. podemos tentar fechar em 
https://github.com/lucasmation/osm_cnefe_import/issues/1aguardo você por lá 
ok?Como já somos 1 coordenador ("trator") e 2 colaboradres ("reboques"), já 
podemos estimar metas e seguir as dicas do Alexandre, "(...) um projeto 
coletivo e grande talvez deva necessariamente começar pelos planos, pela 
engenharia, pela definição de arquitetura". Os colaboradores (eu e Marcos) 
podemos iniciar por isso que não exige muita expertize nem estar com a mão na 
massa, o Lucas já  "prototipou e ensaiou" o principal, o que faltar vai saindo 
no feedback de comunidade.
===PROJETO MAPA DO CEP===Acho que estamos convergindo para a fusão do CNEFE com 
o  MAPA DO CEP: o fundamento de ambos são as faces de quadra e, posteriormente, 
o valor de logística agreado.

== Metaphone, Lucas ==A análise de duplicações de nomes de rua é complexa,  tem 
mil meandros e em geral cada cidade  uma peculiaridade (as respectivas Câmaras 
Municipais são as responsáveis)... As duplicações seriam talvez um projetinho a 
parte, acho que podemos até tratar em outro git e fazer centenas de 
experimentos e demonstrações com planilhas CSV.- - -PS: Olhei por alto o seu 
link , parece que estamos em consenso.  A ultima vez que discuti o assunto foi 
em http://pt.stackoverflow.com/a/10202/4186RESUMO: basta instalar o Metaphone 
no PostgreSQL: precisa indexar com metaphone poque é exponencialmente mais 
rápido do que comparar par-a-par com semelhança. O indexador sugerido (as ruas 
do Brasil exigem 90% fonética do portugues) já faz também uma espécie de 
stemming grosseiro por ficar só com prefixos. Aí, como diz também seu link, com 
grupos de similares em mãos, aplica-se a semelhança par-a-par. 
 
Em 2 de outubro de 2015 02:13, Marcos Fedato <heroij...@hotmail.com> escreveu:



Peter,
Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do Wiki 
k.
http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
Acho que podemos seguir o que ele fez e crescer com isso.
Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
O Lucas ta ralando a tempo nisso essa

Re: [Talk-br] RES: RES: OSM - CNEFE

[Marcos Fedato]

Não poderia concordar mais, precisamos de uma maneira de organizar pq a coisa 
vai longe.
Como o processo pode ser muito longo ia ser legal a gente traçar todas as 
ideias, verificar quais fazem mais sentido prático, colocar elas em ordem de 
"como essas coisas se encaixam" e depois dividir o boi a bifes onde cada um 
possa ajudar em um subsistema.

Eu topo explicar o que eu penso, posso participar em um final de semana ou 
depois das 19h00, só marcar q eu preparo um material que podemos somar e 
discutir.

Atenciosamente,
Marcos Fedato


From: alexandre@gmail.com
Date: Wed, 30 Sep 2015 12:58:58 -0300
To: talk-br@openstreetmap.org
Subject: Re: [Talk-br] RES: RES: OSM - CNEFE

Outra opção mais custosa é agendarem uma apresentação de slides para cada 
pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos 
apresentadores. Com o objetivo de definir os rumos de um projeto de software. A 
reunião final consolidaria os ânimos do time e decidiria o que aproveitar de 
cada ideia. Cada apresentação teria explicado coisas com imagens, áudio e 
texto. Os slides e documentos de definição seriam versionados, guardados e 
publicados em GitHub.

Alexandre

Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros 
<alexandre@gmail.com> escreveu:
Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que lhes 
permita desenhar em quadro branco remotamente, com áudio. Existe. É como um pad 
com capacidade de desenho à mão livre e áudio.

Alexandre

Em 30 de setembro de 2015 09:14, Marcos Fedato <heroij...@hotmail.com> escreveu:




Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante tempo e 
por isso tenho bastante conhecimento para tal, se tiverem interesse em expandir 
essa conversa além da lista (dá uma preguiça de escrever e a discussão demora, 
principalmente para brain storming) estou disposto a participar de discussões 
via áudio sobre o tema em horário não comercial e depois a gente pode colocar 
na lista um resumo para não perder o histórico.





___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br
  ___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Marcos Fedato]

Oi Lucas, 
Caramba vc tem pensado bastante nisso mesmo , vou tentar ajudar também.
A) Até onde eu estudei, não existe base perfeita. Por exemplo, se a gente usa 
ponto coletado por GPS como referência pode ser algo bom, mas existem 
deformações também na coleta por GPS causados pela altitude, qualidade do GPS e 
tudo mais. Porém eu já vi um fabricante de GPS falar que pra ele, ele quer 
mesmo que a base dele tenha a mesma deformação do GPS pois os usuários dele vão 
usar GPS para se locomover na cidade, então se der 5m a esquerda na coleta, 
provavelmente o GPS do usuario também vai dar algo parecido a 5m a esquerda, no 
final o ponto cai no meio da rua. Então nada é perfeito, é preciso entender o 
que é a verdade conveniente para nós k. Eu acho que essa de assumir o OSM 
uma boa.
B) O processo que um colega meu tinha desenhado uma vez era "faseado", primeiro 
se achava os que batiam tudo pelo nome, depois se ajustava eles com o 
arruamento, depois se ajustava os setores vizinhos, depois fazia uma junção 
espacial dos vizinhos com as quadras do arruamento abaixo deles, depois se 
validava os atributos entre eles...Uma época eu até estudei se a gente 
conseguiria fazer uma comparação de formas de polígonos para validar se a/as 
quadras do arruamento realmente batem com as do setor censitário, tipo se no 
setor censitário a forma é um quadrado, mas no processo a quadra do OSM abaixo 
desse setor é triangular, ou um quadrado girado x graus...Pois esse colega 
tinha feito comparações usando a área e o perímetro dos setores casados, o que 
já é bom.
C) Não manjo nada de geometria direto no banco assim, mas talvez ele esteja 
reprocessando o buffer a cada rodada, talvez poderia se criar uma coluna da 
geometria com buffer preencher ela uma vez e então usar essa coluna.Menos 
impactante deve ser o join com os 2 ands, se eu me lembro bem no geocodigo do 
município já tem o estado, então não precisa fazer join com o estado, o 
municipio só já é estado e município.
D) Já usei um processo parecido desse de ordem alfabética quando eu queria 
cruzar 2 bases de dados usando as esquinas para achar os pontos de referência. 
O que eu tinha em mente é que eu não precisava achar tudo, se eu achasse 40% 
sei lá, o resto eu faria o processo de alinhar pelos vizinhos, extrapolando o 
deslocamento de um para outro. Porém o que a gente pode fazer é usar comparação 
de nome a nome ao invés de somar tudo. de depois fazer o join de volta e ver 
quantos nomes bateram.
Podemos implementar no post-gis, ou implementar uma ferramenta de carga, que 
crie um campo novo já tipo "nome_fonetico" e usar esse campo pré processado no 
processo.
E) Fato, o que pode ser feito é usar o vizinho mesmo para veridficar qual é o 
correto e inferir o nome se o vizinho já tiver sido encontrado.
F) Tem mesmo muita coisa diferente. Eu sou muito bom em regex, essa parada aí 
eu topo, da pra fazer alguma coisa com certeza, demora, não vai ser perfeito, 
mas com testes a gente chega lá.
G) O cep tem n possibilidades dentro do DNE tem um tipo do cep, que podia ser 
igual dos dois lados, diferente, usando numeração sequencial e não metrica... 
fato é que nem sempre é igual, mas pode ser usado nos casos em que for igual.
Att
Marcos Fedato


Date: Wed, 30 Sep 2015 10:20:55 -0300
From: lucasmat...@gmail.com
To: talk-br@openstreetmap.org
Subject: Re: [Talk-br] RES: RES: OSM - CNEFE

ops, mandei acidentalmente antes de terminar. Retomando no ponto C
C) De fato a podemos usar o shape de setores para aproximar mais o pareamento 
espacial (atualmente eu só usei os municípios) antes de parear as quadras pelo 
nome. E com isso podemos aumentar ao grau de tolerancia nos pareamentos fuzzy. 
Este pareamento OSM - poligonos de setor censitario também é útil para a outra 
grande metade do projeto (na qual ainda não avancei muito) que é sugerir nomes 
para ruas sem nome no OSM a partir do CNEFE. Eu já tentei rodar a query abaixo 
para fazer isso (resumindo, cruzar primeiro por uf e municipio, atribuindo 
codigos para estes nas duas bases, para reduzir o número de cruzamentos 
espaciais de fato entre setores e ruas apenas dentro de cada municipio):
CREATE TABLE OSM_Streets_by_SetorCensitario2 ASSELECT OSM_Streets_by_Mun.*, 
setor_censitarioL.geomFROM OSM_Streets_by_Mun, setor_censitarioLWHERE   
OSM_Streets_by_Mun.cod_UF= substring(setor_censitarioL.cd_geocodi,1,2)  AND 
OSM_Streets_by_Mun.cod_mun= substring(setor_censitarioL.cd_geocodi,1,7)   AND   
ST_Intersects(way,ST_Buffer(setor_censitarioL.geom,0.005))=true
O problema é que é um cruzamento muito grande. Se bem me lembro, são 
~1.6milhoes de ruas no OSM brasil e 312 mil setores censitarios. Deixei rodando 
por 5 dias no servidor (relativamente potente, 126GB de ram, 4 nucleos) e não 
terminou. Nao sei se tem uma forma de otimizar esta query, talvez fazendo 
proceduralmente, num loop, muncipio a municipio (mas isso em tese as 1as duas 
condições do WHERE já impõem). Ou entao cruzando 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Peter Krauss]

Oi Marcos, que tal organizarmos essa ideia de "metodologia para a
organização" num Github?
Acho q qualquer um pode iniciar projeto sob https://github.com/OSMBrasil
voce inicia um? Se precisar de alguém mais "nerd" para o git, só avisar,
posso ajudar ;-)


Em 1 de outubro de 2015 15:13, Marcos Fedato <heroij...@hotmail.com>
escreveu:

> Oi Lucas,
>
> Caramba vc tem pensado bastante nisso mesmo , vou tentar ajudar também.
>
> A) Até onde eu estudei, não existe base perfeita. Por exemplo, se a gente
> usa ponto coletado por GPS como referência pode ser algo bom, mas existem
> deformações também na coleta por GPS causados pela altitude, qualidade do
> GPS e tudo mais. Porém eu já vi um fabricante de GPS falar que pra ele, ele
> quer mesmo que a base dele tenha a mesma deformação do GPS pois os usuários
> dele vão usar GPS para se locomover na cidade, então se der 5m a esquerda
> na coleta, provavelmente o GPS do usuario também vai dar algo parecido a 5m
> a esquerda, no final o ponto cai no meio da rua. Então nada é perfeito, é
> preciso entender o que é a verdade conveniente para nós k. Eu acho que
> essa de assumir o OSM uma boa.
>
> B) O processo que um colega meu tinha desenhado uma vez era "faseado",
> primeiro se achava os que batiam tudo pelo nome, depois se ajustava eles
> com o arruamento, depois se ajustava os setores vizinhos, depois fazia uma
> junção espacial dos vizinhos com as quadras do arruamento abaixo deles,
> depois se validava os atributos entre eles...
> Uma época eu até estudei se a gente conseguiria fazer uma comparação de
> formas de polígonos para validar se a/as quadras do arruamento realmente
> batem com as do setor censitário, tipo se no setor censitário a forma é um
> quadrado, mas no processo a quadra do OSM abaixo desse setor é triangular,
> ou um quadrado girado x graus...
> Pois esse colega tinha feito comparações usando a área e o perímetro dos
> setores casados, o que já é bom.
>
> C) Não manjo nada de geometria direto no banco assim, mas talvez ele
> esteja reprocessando o buffer a cada rodada, talvez poderia se criar uma
> coluna da geometria com buffer preencher ela uma vez e então usar essa
> coluna.
> Menos impactante deve ser o join com os 2 ands, se eu me lembro bem no
> geocodigo do município já tem o estado, então não precisa fazer join com o
> estado, o municipio só já é estado e município.
>
> D) Já usei um processo parecido desse de ordem alfabética quando eu queria
> cruzar 2 bases de dados usando as esquinas para achar os pontos de
> referência. O que eu tinha em mente é que eu não precisava achar tudo, se
> eu achasse 40% sei lá, o resto eu faria o processo de alinhar pelos
> vizinhos, extrapolando o deslocamento de um para outro. Porém o que a gente
> pode fazer é usar comparação de nome a nome ao invés de somar tudo. de
> depois fazer o join de volta e ver quantos nomes bateram.
>
> Podemos implementar no post-gis, ou implementar uma ferramenta de carga,
> que crie um campo novo já tipo "nome_fonetico" e usar esse campo pré
> processado no processo.
>
> E) Fato, o que pode ser feito é usar o vizinho mesmo para veridficar qual
> é o correto e inferir o nome se o vizinho já tiver sido encontrado.
>
> F) Tem mesmo muita coisa diferente. Eu sou muito bom em regex, essa parada
> aí eu topo, da pra fazer alguma coisa com certeza, demora, não vai ser
> perfeito, mas com testes a gente chega lá.
>
> G) O cep tem n possibilidades dentro do DNE tem um tipo do cep, que podia
> ser igual dos dois lados, diferente, usando numeração sequencial e não
> metrica... fato é que nem sempre é igual, mas pode ser usado nos casos em
> que for igual.
>
> Att
> Marcos Fedato
>
>
> --
> Date: Wed, 30 Sep 2015 10:20:55 -0300
>
> From: lucasmat...@gmail.com
> To: talk-br@openstreetmap.org
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
> ops, mandei acidentalmente antes de terminar. Retomando no ponto C
>
> C) De fato a podemos usar o shape de setores para aproximar mais o
> pareamento espacial (atualmente eu só usei os municípios) antes de parear
> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
> também é útil para a outra grande metade do projeto (na qual ainda não
> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
> CNEFE.
> Eu já tentei rodar a query abaixo para fazer isso (resumindo, cruzar
> primeiro por uf e municipio, atribuindo codigos para estes nas duas bases,
> para reduzir o número de cruzamentos espaciais de fato entre setores e ruas
> apenas dentro de cada municipio):
>
> CREATE TABLE OSM_Streets_by_SetorCensi

Re: [Talk-br] RES: RES: OSM - CNEFE

[Alexandre Magno Brito de Medeiros]

Peter Krauss e Marcos Fedato,

Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para quem
está com gás, vocês. Não posso me envolver. Tenho um bocado de pendências
por aqui, pela comunidade mesmo, coisa que eu devia ter feito e não fiz. E
coisa que preciso fazer, como simples traduções. Mesmo que eu não as
tivesse, minha cabeça está cada vez mais distante dos conhecimentos
técnicos que o projeto de vocês requer. Eu preciso resolver várias coisas
no âmbito pessoal (particular), às quais dou mesmo mais prioridade. Por
exemplo, meu pai tornou-se deficiente físico e... bem, estou com ele.

Alexandre Magno

Em 1 de outubro de 2015 17:16, Peter Krauss  escreveu:

> Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos
> numa cidade, como São Paulo, podemos até fazer presencial+web ... Quanto
> aos slides tambem boa ideia, já fiz algo parecido para palestras do LexML,
> https://github.com/ppKrauss/lexml-slides
>
>
> Em 30 de setembro de 2015 15:58, Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com> escreveu:
>
>> Outra opção mais custosa é agendarem uma apresentação de slides para cada
>> pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos
>> apresentadores. Com o objetivo de definir os rumos de um projeto de
>> software. A reunião final consolidaria os ânimos do time e decidiria o que
>> aproveitar de cada ideia. Cada apresentação teria explicado coisas com
>> imagens, áudio e texto. Os slides e documentos de definição seriam
>> versionados, guardados e publicados em GitHub.
>>
>> Alexandre
>>
>> Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros <
>> alexandre@gmail.com> escreveu:
>>
>>> Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que
>>> lhes permita desenhar em quadro branco remotamente, com áudio. Existe. É
>>> como um pad com capacidade de desenho à mão livre e áudio.
>>>
>>> Alexandre
>>>
>>> Em 30 de setembro de 2015 09:14, Marcos Fedato 
>>> escreveu:
>>>

 Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
 tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
 em expandir essa conversa além da lista (dá uma preguiça de escrever e a
 discussão demora, principalmente para brain storming) estou disposto a
 participar de discussões via áudio sobre o tema em horário não comercial e
 depois a gente pode colocar na lista um resumo para não perder o histórico.

>>>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Peter Krauss]

Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos
numa cidade, como São Paulo, podemos até fazer presencial+web ... Quanto
aos slides tambem boa ideia, já fiz algo parecido para palestras do LexML,
https://github.com/ppKrauss/lexml-slides


Em 30 de setembro de 2015 15:58, Alexandre Magno Brito de Medeiros <
alexandre@gmail.com> escreveu:

> Outra opção mais custosa é agendarem uma apresentação de slides para cada
> pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos
> apresentadores. Com o objetivo de definir os rumos de um projeto de
> software. A reunião final consolidaria os ânimos do time e decidiria o que
> aproveitar de cada ideia. Cada apresentação teria explicado coisas com
> imagens, áudio e texto. Os slides e documentos de definição seriam
> versionados, guardados e publicados em GitHub.
>
> Alexandre
>
> Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com> escreveu:
>
>> Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que
>> lhes permita desenhar em quadro branco remotamente, com áudio. Existe. É
>> como um pad com capacidade de desenho à mão livre e áudio.
>>
>> Alexandre
>>
>> Em 30 de setembro de 2015 09:14, Marcos Fedato 
>> escreveu:
>>
>>>
>>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
>>> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
>>> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
>>> discussão demora, principalmente para brain storming) estou disposto a
>>> participar de discussões via áudio sobre o tema em horário não comercial e
>>> depois a gente pode colocar na lista um resumo para não perder o histórico.
>>>
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

legal, pessoal, no final de semana que vem eu saio de férias por 3 semanas.
Até lá vou tentar deixar tudo que eu já fiz, mesmo as coisas imcompletas,
no github.

Marcos, Peter e demais interessados, vocês tem interesse de marcar uma
conversa amanhã, sexta, após as 19h00? Na verdade o ideal para mim é depois
de 8h40, quando minha filha já dormiu.


Marcos, em que linguagem você programa? O ambiente de trabalho que tenho a
disposição tem R e Postgresql, e eu já sei conectar entre os dois. Então se
tiver um script de R que faça a correção fonética eu consigo rodar com
certa facilidade. Acho que tem Python também, mas eu não sei progamar em
phyton ainda (mas é relativamente parecido com o R, então seria factível
rodar um código mais pronto).









2015-10-01 17:20 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:

> Oi Marcos, que tal organizarmos essa ideia de "metodologia para a
> organização" num Github?
> Acho q qualquer um pode iniciar projeto sob https://github.com/OSMBrasil
> voce inicia um? Se precisar de alguém mais "nerd" para o git, só avisar,
> posso ajudar ;-)
>
>
> Em 1 de outubro de 2015 15:13, Marcos Fedato <heroij...@hotmail.com>
> escreveu:
>
>> Oi Lucas,
>>
>> Caramba vc tem pensado bastante nisso mesmo , vou tentar ajudar
>> também.
>>
>> A) Até onde eu estudei, não existe base perfeita. Por exemplo, se a gente
>> usa ponto coletado por GPS como referência pode ser algo bom, mas existem
>> deformações também na coleta por GPS causados pela altitude, qualidade do
>> GPS e tudo mais. Porém eu já vi um fabricante de GPS falar que pra ele, ele
>> quer mesmo que a base dele tenha a mesma deformação do GPS pois os usuários
>> dele vão usar GPS para se locomover na cidade, então se der 5m a esquerda
>> na coleta, provavelmente o GPS do usuario também vai dar algo parecido a 5m
>> a esquerda, no final o ponto cai no meio da rua. Então nada é perfeito, é
>> preciso entender o que é a verdade conveniente para nós k. Eu acho que
>> essa de assumir o OSM uma boa.
>>
>> B) O processo que um colega meu tinha desenhado uma vez era "faseado",
>> primeiro se achava os que batiam tudo pelo nome, depois se ajustava eles
>> com o arruamento, depois se ajustava os setores vizinhos, depois fazia uma
>> junção espacial dos vizinhos com as quadras do arruamento abaixo deles,
>> depois se validava os atributos entre eles...
>> Uma época eu até estudei se a gente conseguiria fazer uma comparação de
>> formas de polígonos para validar se a/as quadras do arruamento realmente
>> batem com as do setor censitário, tipo se no setor censitário a forma é um
>> quadrado, mas no processo a quadra do OSM abaixo desse setor é triangular,
>> ou um quadrado girado x graus...
>> Pois esse colega tinha feito comparações usando a área e o perímetro dos
>> setores casados, o que já é bom.
>>
>> C) Não manjo nada de geometria direto no banco assim, mas talvez ele
>> esteja reprocessando o buffer a cada rodada, talvez poderia se criar uma
>> coluna da geometria com buffer preencher ela uma vez e então usar essa
>> coluna.
>> Menos impactante deve ser o join com os 2 ands, se eu me lembro bem no
>> geocodigo do município já tem o estado, então não precisa fazer join com o
>> estado, o municipio só já é estado e município.
>>
>> D) Já usei um processo parecido desse de ordem alfabética quando eu
>> queria cruzar 2 bases de dados usando as esquinas para achar os pontos de
>> referência. O que eu tinha em mente é que eu não precisava achar tudo, se
>> eu achasse 40% sei lá, o resto eu faria o processo de alinhar pelos
>> vizinhos, extrapolando o deslocamento de um para outro. Porém o que a gente
>> pode fazer é usar comparação de nome a nome ao invés de somar tudo. de
>> depois fazer o join de volta e ver quantos nomes bateram.
>>
>> Podemos implementar no post-gis, ou implementar uma ferramenta de carga,
>> que crie um campo novo já tipo "nome_fonetico" e usar esse campo pré
>> processado no processo.
>>
>> E) Fato, o que pode ser feito é usar o vizinho mesmo para veridficar qual
>> é o correto e inferir o nome se o vizinho já tiver sido encontrado.
>>
>> F) Tem mesmo muita coisa diferente. Eu sou muito bom em regex, essa
>> parada aí eu topo, da pra fazer alguma coisa com certeza, demora, não vai
>> ser perfeito, mas com testes a gente chega lá.
>>
>> G) O cep tem n possibilidades dentro do DNE tem um tipo do cep, que podia
>> ser igual dos dois lados, diferente, usando numeração sequencial e não
>> metrica... fato é que nem sempre é igual, mas pode ser usado nos casos em
>> que for igual.
>

Re: [Talk-br] RES: RES: OSM - CNEFE

[Peter Krauss]

Oi Alexandre, não se preocupe, e creio que aqui a maioria é intermitente,
com seus altos e baixos de participação.

Uma coisa onde *todos podem  ajudar para já adiantar o processo* é o
seguinte:

*1) *o nome do projeto Github, que tal "Organizando"? ficaria
https://github.com/OSMBrasil/organizando

*2)* O Marcos já lançou tópicos de A a G (!), que fal votarmos aqui, antes
de começar no git, qual será o primeiro tópico a ser abordado?

*3) *consolidação de textos aqui dos emails: uma série de dicas,
questionamentos, e consensos foram expressos neste theread, quem ajudaria a
resumir/consolidar esse blabla rico todo para servir de referência mais
organizada e centralizada? (preparo la no Git como Wiki ou README)

Peter


Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros <
alexandre@gmail.com> escreveu:

> Peter Krauss e Marcos Fedato,
>
> Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para
> quem está com gás, vocês. Não posso me envolver. Tenho um bocado de
> pendências por aqui, pela comunidade mesmo, coisa que eu devia ter feito e
> não fiz. E coisa que preciso fazer, como simples traduções. Mesmo que eu
> não as tivesse, minha cabeça está cada vez mais distante dos conhecimentos
> técnicos que o projeto de vocês requer. Eu preciso resolver várias coisas
> no âmbito pessoal (particular), às quais dou mesmo mais prioridade. Por
> exemplo, meu pai tornou-se deficiente físico e... bem, estou com ele.
>
> Alexandre Magno
>
> Em 1 de outubro de 2015 17:16, Peter Krauss  escreveu:
>
>> Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos
>> numa cidade, como São Paulo, podemos até fazer presencial+web ... Quanto
>> aos slides tambem boa ideia, já fiz algo parecido para palestras do LexML,
>> https://github.com/ppKrauss/lexml-slides
>>
>>
>> Em 30 de setembro de 2015 15:58, Alexandre Magno Brito de Medeiros <
>> alexandre@gmail.com> escreveu:
>>
>>> Outra opção mais custosa é agendarem uma apresentação de slides para
>>> cada pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos
>>> apresentadores. Com o objetivo de definir os rumos de um projeto de
>>> software. A reunião final consolidaria os ânimos do time e decidiria o que
>>> aproveitar de cada ideia. Cada apresentação teria explicado coisas com
>>> imagens, áudio e texto. Os slides e documentos de definição seriam
>>> versionados, guardados e publicados em GitHub.
>>>
>>> Alexandre
>>>
>>> Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros <
>>> alexandre@gmail.com> escreveu:
>>>
 Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que
 lhes permita desenhar em quadro branco remotamente, com áudio. Existe. É
 como um pad com capacidade de desenho à mão livre e áudio.

 Alexandre

 Em 30 de setembro de 2015 09:14, Marcos Fedato 
 escreveu:

>
> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE
> bastante tempo e por isso tenho bastante conhecimento para tal, se tiverem
> interesse em expandir essa conversa além da lista (dá uma preguiça de
> escrever e a discussão demora, principalmente para brain storming) estou
> disposto a participar de discussões via áudio sobre o tema em horário não
> comercial e depois a gente pode colocar na lista um resumo para não perder
> o histórico.
>

>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

mes bateram.
>>>>
>>>> Podemos implementar no post-gis, ou implementar uma ferramenta de
>>>> carga, que crie um campo novo já tipo "nome_fonetico" e usar esse campo pré
>>>> processado no processo.
>>>>
>>>> E) Fato, o que pode ser feito é usar o vizinho mesmo para veridficar
>>>> qual é o correto e inferir o nome se o vizinho já tiver sido encontrado.
>>>>
>>>> F) Tem mesmo muita coisa diferente. Eu sou muito bom em regex, essa
>>>> parada aí eu topo, da pra fazer alguma coisa com certeza, demora, não vai
>>>> ser perfeito, mas com testes a gente chega lá.
>>>>
>>>> G) O cep tem n possibilidades dentro do DNE tem um tipo do cep, que
>>>> podia ser igual dos dois lados, diferente, usando numeração sequencial e
>>>> não metrica... fato é que nem sempre é igual, mas pode ser usado nos casos
>>>> em que for igual.
>>>>
>>>> Att
>>>> Marcos Fedato
>>>>
>>>>
>>>> --
>>>> Date: Wed, 30 Sep 2015 10:20:55 -0300
>>>>
>>>> From: lucasmat...@gmail.com
>>>> To: talk-br@openstreetmap.org
>>>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>>>
>>>> ops, mandei acidentalmente antes de terminar. Retomando no ponto C
>>>>
>>>> C) De fato a podemos usar o shape de setores para aproximar mais o
>>>> pareamento espacial (atualmente eu só usei os municípios) antes de parear
>>>> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
>>>> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
>>>> também é útil para a outra grande metade do projeto (na qual ainda não
>>>> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
>>>> CNEFE.
>>>> Eu já tentei rodar a query abaixo para fazer isso (resumindo, cruzar
>>>> primeiro por uf e municipio, atribuindo codigos para estes nas duas bases,
>>>> para reduzir o número de cruzamentos espaciais de fato entre setores e ruas
>>>> apenas dentro de cada municipio):
>>>>
>>>> CREATE TABLE OSM_Streets_by_SetorCensitario2 AS
>>>> SELECT OSM_Streets_by_Mun.*, setor_censitarioL.geom
>>>> FROM OSM_Streets_by_Mun, setor_censitarioL
>>>> WHERE OSM_Streets_by_Mun.cod_UF=
>>>> substring(setor_censitarioL.cd_geocodi,1,2)  AND
>>>> OSM_Streets_by_Mun.cod_mun= substring(setor_censitarioL.cd_geocodi,1,7)
>>>>   AND
>>>> ST_Intersects(way,ST_Buffer(setor_censitarioL.geom,0.005))=true
>>>>
>>>> O problema é que é um cruzamento muito grande. Se bem me lembro, são
>>>> ~1.6milhoes de ruas no OSM brasil e 312 mil setores censitarios. Deixei
>>>> rodando por 5 dias no servidor (relativamente potente, 126GB de ram, 4
>>>> nucleos) e não terminou. Nao sei se tem uma forma de otimizar esta query,
>>>> talvez fazendo proceduralmente, num loop, muncipio a municipio (mas isso em
>>>> tese as 1as duas condições do WHERE já impõem). Ou entao cruzando com
>>>> layers espaciais intermediarios, como distrito e subdistrito antes de ir
>>>> pro setor censitario direto (mas não estou conseguindo criar estes layers
>>>> com base nos setores censitarios, por causa dos problemas topologicos
>>>> destes). Enfim, vou perguntar no StackOverflow para ver se alguém tem uma
>>>> idéia.
>>>>
>>>> D) melhorar as queries textuais, com filtros nos textos e fuzzy acho
>>>> que é um ótimo caminho. Uma restrição, pelo menos como eu modelei os dados,
>>>> é que estou fazendo pareamento de arrays contendo nomes de ruas, que
>>>> internamente são ordenados alfabeticamente (uma linha da tabela representa
>>>> uma quadra, e há uma coluna que é um array, e lá dentro tem todos os nomes
>>>> de rua, ordenados alfabeticamente). Se o erro ou correção ocorrer no começo
>>>> de certo nome de rua, isso vai afetar a ordem alfabetica dos nomes de rua,
>>>> e não sei como o pareamento (possivelmente fuzzy) vai reagir a isso.
>>>>
>>>> Você tem alguma idéia melhor de uma estrutura de dados mais adequada
>>>> pro pareamento?
>>>>
>>>> Outra coisa, estou trabalhando no PostGis-Postgresql então o ideal
>>>> seria os "filtros foneticos" serem implementados no próprio Postgis. Tenho
>>>> boa familiaridade com R também, então, se precisar s

Re: [Talk-br] RES: RES: OSM - CNEFE

[Peter Krauss]

Oi, só alguns lembretes/sugestoes pro Lucas, que talvez possam interessar,

Em 1 de outubro de 2015 22:01, Lucas Ferreira Mation <lucasmat...@gmail.com>
escreveu:

> (...) O ambiente de trabalho que tenho a disposição tem R e Postgresql,
>

parece que o grosso está em PostgreSQL+PostGIS: que tal usar o R como parte
do SQL? fica *embedded* como PL/R,

http://www.joeconway.com/plr/
http://www.postgresql.org/docs/9.3/static/external-pl.html
http://www.postgresql.org/docs/9.3/static/xplang-install.html


>  um script (...) que faça a correção fonética
>
>
O PostgreSQL roda o melhor deles,
http://sourceforge.net/projects/metaphoneptbr/
tem um driver para postgreSQL, facil de usar com UBUNTU.



>
>
>
>
>
>
>
>
> 2015-10-01 17:20 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
>
>> Oi Marcos, que tal organizarmos essa ideia de "metodologia para a
>> organização" num Github?
>> Acho q qualquer um pode iniciar projeto sob https://github.com/OSMBrasil
>> voce inicia um? Se precisar de alguém mais "nerd" para o git, só avisar,
>> posso ajudar ;-)
>>
>>
>> Em 1 de outubro de 2015 15:13, Marcos Fedato <heroij...@hotmail.com>
>> escreveu:
>>
>>> Oi Lucas,
>>>
>>> Caramba vc tem pensado bastante nisso mesmo , vou tentar ajudar
>>> também.
>>>
>>> A) Até onde eu estudei, não existe base perfeita. Por exemplo, se a
>>> gente usa ponto coletado por GPS como referência pode ser algo bom, mas
>>> existem deformações também na coleta por GPS causados pela altitude,
>>> qualidade do GPS e tudo mais. Porém eu já vi um fabricante de GPS falar que
>>> pra ele, ele quer mesmo que a base dele tenha a mesma deformação do GPS
>>> pois os usuários dele vão usar GPS para se locomover na cidade, então se
>>> der 5m a esquerda na coleta, provavelmente o GPS do usuario também vai dar
>>> algo parecido a 5m a esquerda, no final o ponto cai no meio da rua. Então
>>> nada é perfeito, é preciso entender o que é a verdade conveniente para nós
>>> k. Eu acho que essa de assumir o OSM uma boa.
>>>
>>> B) O processo que um colega meu tinha desenhado uma vez era "faseado",
>>> primeiro se achava os que batiam tudo pelo nome, depois se ajustava eles
>>> com o arruamento, depois se ajustava os setores vizinhos, depois fazia uma
>>> junção espacial dos vizinhos com as quadras do arruamento abaixo deles,
>>> depois se validava os atributos entre eles...
>>> Uma época eu até estudei se a gente conseguiria fazer uma comparação de
>>> formas de polígonos para validar se a/as quadras do arruamento realmente
>>> batem com as do setor censitário, tipo se no setor censitário a forma é um
>>> quadrado, mas no processo a quadra do OSM abaixo desse setor é triangular,
>>> ou um quadrado girado x graus...
>>> Pois esse colega tinha feito comparações usando a área e o perímetro dos
>>> setores casados, o que já é bom.
>>>
>>> C) Não manjo nada de geometria direto no banco assim, mas talvez ele
>>> esteja reprocessando o buffer a cada rodada, talvez poderia se criar uma
>>> coluna da geometria com buffer preencher ela uma vez e então usar essa
>>> coluna.
>>> Menos impactante deve ser o join com os 2 ands, se eu me lembro bem no
>>> geocodigo do município já tem o estado, então não precisa fazer join com o
>>> estado, o municipio só já é estado e município.
>>>
>>> D) Já usei um processo parecido desse de ordem alfabética quando eu
>>> queria cruzar 2 bases de dados usando as esquinas para achar os pontos de
>>> referência. O que eu tinha em mente é que eu não precisava achar tudo, se
>>> eu achasse 40% sei lá, o resto eu faria o processo de alinhar pelos
>>> vizinhos, extrapolando o deslocamento de um para outro. Porém o que a gente
>>> pode fazer é usar comparação de nome a nome ao invés de somar tudo. de
>>> depois fazer o join de volta e ver quantos nomes bateram.
>>>
>>> Podemos implementar no post-gis, ou implementar uma ferramenta de carga,
>>> que crie um campo novo já tipo "nome_fonetico" e usar esse campo pré
>>> processado no processo.
>>>
>>> E) Fato, o que pode ser feito é usar o vizinho mesmo para veridficar
>>> qual é o correto e inferir o nome se o vizinho já tiver sido encontrado.
>>>
>>> F) Tem mesmo muita coisa diferente. Eu sou muito bom em regex, essa
>>> parada aí eu topo, da pra fazer alguma coisa com certeza, demora, não vai
>>> ser perfeito, mas com testes a gente chega lá.
>

Re: [Talk-br] RES: RES: OSM - CNEFE

[Marcos Fedato]

Olá Peter,
1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de 
"importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso 
precisemos guardar algo lá.
Na verdade o lucas já tem um projeto criado 
https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um pelo OSM 
fique mais formal, chame mais atenção, sei lá.

Nesse repo poderiamos dividir em pastas as diferentes ferramentas que possamos 
ter de desenvolver, e fica focado no tema.

Acho também que poderiamos usar o Wiki do OSM para documentar em alto nível 
assim mesmo quem não é programador fica a vontade para entender o que fizemos.
2) Só dando crédito a pessoa correta , o Lucas que "numerou com letras" de 
A a G. 
Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para trás e 
definir bem o objetivo deste projeto (se é nomear automaticamente, apontar 
áreas de correção, apontar possíveis nomes para o ID, criar uma camada de setor 
censitário alinhada ao OSM para futuras análises espaciais, tudo isso, tudo 
isso e mais um pouco...).
3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo mais ao 
Wiki do OSM pois ficaria concentrado onde outros projetos já existem. 
http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos.
Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM 
redirecionando para lá e ta massa também, acho que não devemos gastar muita 
energia criativa com ferramental pq gosto é como... nariz, cada um tem uma 
ferramenta especial k.
Então assim, como vc teve a iniciativa, acho que vc pode escolher (só veria 
como lucas a questão de usar o repo dele ou criar pelo OSM, de qual Wiki, o que 
importa é gerarmos conteúdo de qualidade), decisões concensuais por listas de 
email são demoradas, desgastantes e normalmente... não são concensuais no fim 
.
Atenciosamente,
Marcos Fedato


Date: Thu, 1 Oct 2015 22:01:57 +
From: ppkra...@gmail.com
To: talk-br@openstreetmap.org
Subject: Re: [Talk-br] RES: RES: OSM - CNEFE

Oi Alexandre, não se preocupe, e creio que aqui a maioria é intermitente, com 
seus altos e baixos de participação.
Uma coisa onde todos podem  ajudar para já adiantar o processo é o seguinte:
1) o nome do projeto Github, que tal "Organizando"? ficaria  
https://github.com/OSMBrasil/organizando 2) O Marcos já lançou tópicos de A a G 
(!), que fal votarmos aqui, antes de começar no git, qual será o primeiro 
tópico a ser abordado?
3) consolidação de textos aqui dos emails: uma série de dicas, questionamentos, 
e consensos foram expressos neste theread, quem ajudaria a resumir/consolidar 
esse blabla rico todo para servir de referência mais organizada e centralizada? 
(preparo la no Git como Wiki ou README)
Peter

Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros 
<alexandre@gmail.com> escreveu:
Peter Krauss e Marcos Fedato,

Infelizmente eu preciso declarar que eu apenas trouxe a ideia, para quem está 
com gás, vocês. Não posso me envolver. Tenho um bocado de pendências por aqui, 
pela comunidade mesmo, coisa que eu devia ter feito e não fiz. E coisa que 
preciso fazer, como simples traduções. Mesmo que eu não as tivesse, minha 
cabeça está cada vez mais distante dos conhecimentos técnicos que o projeto de 
vocês requer. Eu preciso resolver várias coisas no âmbito pessoal (particular), 
às quais dou mesmo mais prioridade. Por exemplo, meu pai tornou-se deficiente 
físico e... bem, estou com ele.

Alexandre Magno

Em 1 de outubro de 2015 17:16, Peter Krauss <ppkra...@gmail.com> escreveu:
Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos numa 
cidade, como São Paulo, podemos até fazer presencial+web ... Quanto aos slides 
tambem boa ideia, já fiz algo parecido para palestras do LexML, 
https://github.com/ppKrauss/lexml-slides

Em 30 de setembro de 2015 15:58, Alexandre Magno Brito de Medeiros 
<alexandre@gmail.com> escreveu:
Outra opção mais custosa é agendarem uma apresentação de slides para cada 
pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos 
apresentadores. Com o objetivo de definir os rumos de um projeto de software. A 
reunião final consolidaria os ânimos do time e decidiria o que aproveitar de 
cada ideia. Cada apresentação teria explicado coisas com imagens, áudio e 
texto. Os slides e documentos de definição seriam versionados, guardados e 
publicados em GitHub.

Alexandre

Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros 
<alexandre@gmail.com> escreveu:
Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que lhes 
permita desenhar em quadro branco remotamente, com áudio. Existe. É como um pad 
com capacidade de desenho à mão livre e áudio.

Alexandre

Em 30 de setembro de 2015 09:14, Marcos Fedato <heroij...@hotmail.com> escreveu:




Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante tempo e 
por isso tenho bastante conhe

Re: [Talk-br] RES: RES: OSM - CNEFE

[Marcos Fedato]

Lucas e demais colegas intertessados,
Eu posso às 19h00 e posso mais tarde (esse 8h40 é 20h40, certo?), até prefiro 
mais tarde.
Tenho Skype "marcos.fedato", não sei como vocês estão pensando em fazer em 
termos de ferramenta.

Vish eu programo n coisas, mas para o nosso projeto deveriamos usar coisas open 
né. Do que podemos usar, sei Java e Python (já usei muito regex nos 2, mas 
python é mais fenomenal nos scripts de transformação ).
Porém pelo projeto eu posso ver R, parece ser muito bom com o PostgreSQL. Eu 
nem sei como é R, mas a gente da uns pulos e sempre é bom aprender.
Atenciosamente,
Marcos Fedato


Date: Thu, 1 Oct 2015 19:01:34 -0300
From: lucasmat...@gmail.com
To: talk-br@openstreetmap.org
Subject: Re: [Talk-br] RES: RES: OSM - CNEFE

legal, pessoal, no final de semana que vem eu saio de férias por 3 semanas. Até 
lá vou tentar deixar tudo que eu já fiz, mesmo as coisas imcompletas, no 
github. 
Marcos, Peter e demais interessados, vocês tem interesse de marcar uma conversa 
amanhã, sexta, após as 19h00? Na verdade o ideal para mim é depois de 8h40, 
quando minha filha já dormiu. 

Marcos, em que linguagem você programa? O ambiente de trabalho que tenho a 
disposição tem R e Postgresql, e eu já sei conectar entre os dois. Então se 
tiver um script de R que faça a correção fonética eu consigo rodar com certa 
facilidade. Acho que tem Python também, mas eu não sei progamar em phyton ainda 
(mas é relativamente parecido com o R, então seria factível rodar um código 
mais pronto). 








2015-10-01 17:20 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
Oi Marcos, que tal organizarmos essa ideia de "metodologia para a organização" 
num Github?Acho q qualquer um pode iniciar projeto sob 
https://github.com/OSMBrasilvoce inicia um? Se precisar de alguém mais "nerd" 
para o git, só avisar, posso ajudar ;-)

Em 1 de outubro de 2015 15:13, Marcos Fedato <heroij...@hotmail.com> escreveu:



Oi Lucas, 
Caramba vc tem pensado bastante nisso mesmo , vou tentar ajudar também.
A) Até onde eu estudei, não existe base perfeita. Por exemplo, se a gente usa 
ponto coletado por GPS como referência pode ser algo bom, mas existem 
deformações também na coleta por GPS causados pela altitude, qualidade do GPS e 
tudo mais. Porém eu já vi um fabricante de GPS falar que pra ele, ele quer 
mesmo que a base dele tenha a mesma deformação do GPS pois os usuários dele vão 
usar GPS para se locomover na cidade, então se der 5m a esquerda na coleta, 
provavelmente o GPS do usuario também vai dar algo parecido a 5m a esquerda, no 
final o ponto cai no meio da rua. Então nada é perfeito, é preciso entender o 
que é a verdade conveniente para nós k. Eu acho que essa de assumir o OSM 
uma boa.
B) O processo que um colega meu tinha desenhado uma vez era "faseado", primeiro 
se achava os que batiam tudo pelo nome, depois se ajustava eles com o 
arruamento, depois se ajustava os setores vizinhos, depois fazia uma junção 
espacial dos vizinhos com as quadras do arruamento abaixo deles, depois se 
validava os atributos entre eles...Uma época eu até estudei se a gente 
conseguiria fazer uma comparação de formas de polígonos para validar se a/as 
quadras do arruamento realmente batem com as do setor censitário, tipo se no 
setor censitário a forma é um quadrado, mas no processo a quadra do OSM abaixo 
desse setor é triangular, ou um quadrado girado x graus...Pois esse colega 
tinha feito comparações usando a área e o perímetro dos setores casados, o que 
já é bom.
C) Não manjo nada de geometria direto no banco assim, mas talvez ele esteja 
reprocessando o buffer a cada rodada, talvez poderia se criar uma coluna da 
geometria com buffer preencher ela uma vez e então usar essa coluna.Menos 
impactante deve ser o join com os 2 ands, se eu me lembro bem no geocodigo do 
município já tem o estado, então não precisa fazer join com o estado, o 
municipio só já é estado e município.
D) Já usei um processo parecido desse de ordem alfabética quando eu queria 
cruzar 2 bases de dados usando as esquinas para achar os pontos de referência. 
O que eu tinha em mente é que eu não precisava achar tudo, se eu achasse 40% 
sei lá, o resto eu faria o processo de alinhar pelos vizinhos, extrapolando o 
deslocamento de um para outro. Porém o que a gente pode fazer é usar comparação 
de nome a nome ao invés de somar tudo. de depois fazer o join de volta e ver 
quantos nomes bateram.
Podemos implementar no post-gis, ou implementar uma ferramenta de carga, que 
crie um campo novo já tipo "nome_fonetico" e usar esse campo pré processado no 
processo.
E) Fato, o que pode ser feito é usar o vizinho mesmo para veridficar qual é o 
correto e inferir o nome se o vizinho já tiver sido encontrado.
F) Tem mesmo muita coisa diferente. Eu sou muito bom em regex, essa parada aí 
eu topo, da pra fazer alguma coisa com certeza, demora, não vai ser perfeito, 
mas com testes a gente chega lá.
G) O cep te

Re: [Talk-br] RES: RES: OSM - CNEFE

[Marcos Fedato]

Peter,
Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do Wiki 
k.
http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
Acho que podemos seguir o que ele fez e crescer com isso.
Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de 2014!

Att
Marcos Fedato


From: heroij...@hotmail.com
To: talk-br@openstreetmap.org
Date: Thu, 1 Oct 2015 22:40:53 -0300
Subject: Re: [Talk-br] RES: RES: OSM - CNEFE




Olá Peter,
1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de 
"importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso 
precisemos guardar algo lá.
Na verdade o lucas já tem um projeto criado 
https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um pelo OSM 
fique mais formal, chame mais atenção, sei lá.

Nesse repo poderiamos dividir em pastas as diferentes ferramentas que possamos 
ter de desenvolver, e fica focado no tema.

Acho também que poderiamos usar o Wiki do OSM para documentar em alto nível 
assim mesmo quem não é programador fica a vontade para entender o que fizemos.
2) Só dando crédito a pessoa correta , o Lucas que "numerou com letras" de 
A a G. 
Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para trás e 
definir bem o objetivo deste projeto (se é nomear automaticamente, apontar 
áreas de correção, apontar possíveis nomes para o ID, criar uma camada de setor 
censitário alinhada ao OSM para futuras análises espaciais, tudo isso, tudo 
isso e mais um pouco...).
3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo mais ao 
Wiki do OSM pois ficaria concentrado onde outros projetos já existem. 
http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos.
Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM 
redirecionando para lá e ta massa também, acho que não devemos gastar muita 
energia criativa com ferramental pq gosto é como... nariz, cada um tem uma 
ferramenta especial k.
Então assim, como vc teve a iniciativa, acho que vc pode escolher (só veria 
como lucas a questão de usar o repo dele ou criar pelo OSM, de qual Wiki, o que 
importa é gerarmos conteúdo de qualidade), decisões concensuais por listas de 
email são demoradas, desgastantes e normalmente... não são concensuais no fim 
.
Atenciosamente,
Marcos Fedato


Date: Thu, 1 Oct 2015 22:01:57 +
From: ppkra...@gmail.com
To: talk-br@openstreetmap.org
Subject: Re: [Talk-br] RES: RES: OSM - CNEFE

Oi Alexandre, não se preocupe, e creio que aqui a maioria é intermitente, com 
seus altos e baixos de participação.
Uma coisa onde todos podem  ajudar para já adiantar o processo é o seguinte:
1) o nome do projeto Github, que tal "Organizando"? ficaria  
https://github.com/OSMBrasil/organizando 2) O Marcos já lançou tópicos de A a G 
(!), que fal votarmos aqui, antes de começar no git, qual será o primeiro 
tópico a ser abordado?
3) consolidação de textos aqui dos emails: uma série de dicas, questionamentos, 
e consensos foram expressos neste theread, quem ajudaria a resumir/consolidar 
esse blabla rico todo para servir de referência mais organizada e centralizada? 
(preparo la no Git como Wiki ou README)
Peter

Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros 
<alexandre@gmail.com> escreveu:
Peter Krauss e Marcos Fedato,

Infelizmente eu preciso declarar que eu apenas trouxe a ideia, para quem está 
com gás, vocês. Não posso me envolver. Tenho um bocado de pendências por aqui, 
pela comunidade mesmo, coisa que eu devia ter feito e não fiz. E coisa que 
preciso fazer, como simples traduções. Mesmo que eu não as tivesse, minha 
cabeça está cada vez mais distante dos conhecimentos técnicos que o projeto de 
vocês requer. Eu preciso resolver várias coisas no âmbito pessoal (particular), 
às quais dou mesmo mais prioridade. Por exemplo, meu pai tornou-se deficiente 
físico e... bem, estou com ele.

Alexandre Magno

Em 1 de outubro de 2015 17:16, Peter Krauss <ppkra...@gmail.com> escreveu:
Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos numa 
cidade, como São Paulo, podemos até fazer presencial+web ... Quanto aos slides 
tambem boa ideia, já fiz algo parecido para palestras do LexML, 
https://github.com/ppKrauss/lexml-slides

Em 30 de setembro de 2015 15:58, Alexandre Magno Brito de Medeiros 
<alexandre@gmail.com> escreveu:
Outra opção mais custosa é agendarem uma apresentação de slides para cada 
pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos 
apresentadores. Com o objetivo de definir os rumos de um projeto de software. A 
reunião final consolidaria os ânimos do time e decidiria o que aproveitar de 
cada ideia. Cada apresentação teria explicado coisas com imagens, áudio e 
texto. Os slides e documentos de definição seriam versionados, guardados e 
publicados em GitHub.

A

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

 nem sempre
>> isso se reflete na base de arruamento.
>>
>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
>> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
>> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
>> discussão demora, principalmente para brain storming) estou disposto a
>> participar de discussões via áudio sobre o tema em horário não comercial e
>> depois a gente pode colocar na lista um resumo para não perder o histórico.
>>
>> Sou programador experiente, posso ajudar a desenvolver rotinas de
>> transformação de texto, consultas e análises espaciais necessárias para
>> esse processo.
>>
>> Parabéns pelo trabalho até então, essa iniciativa é 10, somando esforços
>> a gente vai destruir de deixar o OSM completo!
>>
>> Atenciosamente
>> Marcos Fedato
>>
>>
>> --
>> Date: Wed, 30 Sep 2015 01:33:03 -0300
>> From: lucasmat...@gmail.com
>> To: talk-br@openstreetmap.org
>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>
>>
>> coloquei agora.
>> Mudei o codigo mesmo , que estava grande demais pro Readme para
>>
>>
>> https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql
>>
>>
>>
>> 2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro <aguiar.mar...@gmail.com
>> >:
>>
>> Oi, Lucas!
>>
>> Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
>> repositório e fiquei fuçando o código e o que eu entendi é que ainda não
>> está disponível, certo?
>>
>> Marcio Aguiar Ribeiro
>>
>> 2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:
>>
>> Pessoal,
>>
>> retomando este assunto:
>>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>>
>> O Cnefe tem 2.1 milhões de quarteirões.
>> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
>> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
>> tem todos os lados nomeados.
>>
>> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
>> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
>> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
>> batessem nas duas bases.
>>
>> Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
>> Para estes quarteirões temos todos os endereços que estão no CNEFE.
>>
>> Os municípios com mais quarteirões são:
>>
>> São Paulo - 5mil.
>> Bejo Horizonte -  3,5mil
>> Curitiba - 3.2mil
>> Campo Grande - 2.7mil
>> Fortaleza - 1.9mil
>> Ribeirão Preto - 1.7mil
>> Rio de Janeiro - 1.5mil
>>
>> e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
>> menos de 20 quarteirões encontrados.
>>
>> Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
>> matches.
>>
>>
>>
>> ao longo do dia vou migrar o código para:
>> https://github.com/lucasmation/osm_cnefe_import
>>
>>
>>
>> Lucas
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-07-14 12:12 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
>>
>> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
>> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
>> conversar mais tecnicamente ;-)
>>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
>> também ajuda)
>> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo mais
>> geral das discussões...
>>
>> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
>> apreciada em
>>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>> que tal começarmos pelo CEP2?
>>
>> - - - -
>> Quanto os problemas legais (direitos autorais reclamados pela ECT bem
>> como lei do monopólio) , precisamos de apoio internacional, inclusive da
>> OSM... Comecei a busca por essa discussão (link abaixo), e senti
>> receptividade,
>>
>> *http://opendata.stackexchange.com/q/5600/1313
>> <http://opendata.stackexchange.com/q/5600/1313>*
>> a parte juridica é importante para não jogarmos nosso tempo no lixo...
>> Até onde conversei com advogados, se criarmos uma metodologia (algoritmos)
>> para espacialização do CEP (ver links Wikipedia com preliminares), não tem
>> problema al

Re: [Talk-br] RES: RES: OSM - CNEFE

[Marcos Fedato]

Caros,
Eu trabalhei alguns anos com essa parte de endereçamento e tenho muito a ajudar 
nesse processo do CNEFE.
Além dos acentos e da lógica fuzzy (que pode adicionar erros), podemos usar 
alguma coisa de fonética brasileira(que pode adicionar erros) e tabelas 
auxiliares(que pode adicionar erros) com nomes padrão, dando replace em erros 
conhecidos de grafia (AKA: juscelino kubitschek é difícil de escrever).
Tem esse algoritimo em Delphi que eu achei uma vez, que faz um trabalho 
fantastico de fonética BR (tecnicamente não é BR é do Portugês) (AKA: soundex 
não é bom para matches exatos) http://pastebin.com/KpYxxw5e.
Vamos supor que o "quarteirão" tenha 4 ruas e 3 delas tem nome no OSM e estes 
nomes batem, a gente pode supor que a rua que faltou no OSM tem o nome da rua 
que sobrou no CNEFE.
A gente pode usar não só os municipios, mas também os setores censitários para 
achar exatamente onde estão os nomes faltantes.
Os setores censitários tem uma tabela de descrição do entorno. É um campo de 
texto livre para cada setor falando as ruas por onde ele é delimitado. Com 
alguma inteligência a gente pode quebrar esse campo em ruas e cruzar com o OSM 
também.
O problema conhecido de cruzar diferentes bases de dados espaciais é o 
deslocamento que pode haver entre uma e outra, tenho alguns esboços 
interessantes de como resolver isso saíndo do mundo tabular e utilizando GIS.
Minha ideia se baseia em 2 coisas, achar alguns setores por cidade onde tudo 
bate e usar eles como referência de posicionamento. Depois extrapolar o erro 
destes setores para os setores próximos encaixando eles no lugar mais próximo 
do correto. (se o setor que a gente sabe que bate com o OSM estiver 5m para a 
direita, o setor vizinho dele estara provavelmente a algo próximo de 5m a 
direita também, pois eles tem paredes que se tocam)
Existe também o problema de ruas que de fato mudaram de nome, podemos usar a 
tag old_name do OSM neste processo, se o nome do CNEFE constar lá, não é erro, 
realmente foi mudado o nome da rua.
Então os dados seriam OSM(Vetor, Name, Alt_Name, Official_Name, Ref, Old_Name, 
No_Name), CNEFE, Shapes dos setores censitários, Descrições dos setores 
censitários.
Pegar as áreas verdes (acho que village_green e park) com nome seria legal 
também, pois muitas praças dão nomes a logradouros, mas nem sempre isso se 
reflete na base de arruamento.
Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante tempo e 
por isso tenho bastante conhecimento para tal, se tiverem interesse em expandir 
essa conversa além da lista (dá uma preguiça de escrever e a discussão demora, 
principalmente para brain storming) estou disposto a participar de discussões 
via áudio sobre o tema em horário não comercial e depois a gente pode colocar 
na lista um resumo para não perder o histórico.
Sou programador experiente, posso ajudar a desenvolver rotinas de transformação 
de texto, consultas e análises espaciais necessárias para esse processo.
Parabéns pelo trabalho até então, essa iniciativa é 10, somando esforços a 
gente vai destruir de deixar o OSM completo!

Atenciosamente
Marcos Fedato


Date: Wed, 30 Sep 2015 01:33:03 -0300
From: lucasmat...@gmail.com
To: talk-br@openstreetmap.org
Subject: Re: [Talk-br] RES: RES: OSM - CNEFE

coloquei agora. 
Mudei o codigo mesmo , que estava grande demais pro Readme para 

https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql



2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro <aguiar.mar...@gmail.com>:
Oi, Lucas!
Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no 
repositório e fiquei fuçando o código e o que eu entendi é que ainda não está 
disponível, certo?Marcio Aguiar Ribeiro

2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:
Pessoal, 
retomando este assunto:  consegui (finalmente!!!) cruzar os quarteirões do 
CNEFE com os do OSM. 
O Cnefe tem 2.1 milhões de quarteirões. O OSM tem 1.6 milhões de "quarteirões" 
(os quarteirões são algo que eu mesmo crio, a partir da interseção das Ruas do 
OSM). Destes apenas 480 mil tem todos os lados nomeados. 
O primeiro critério do cruzamento foi que os quarteirões tinham que cair no 
mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O 2o 
critéiro foi que os nomes de todas as ruas que compõem o quarteirão batessem 
nas duas bases. 
Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM. Para 
estes quarteirões temos todos os endereços que estão no CNEFE. 
Os municípios com mais quarteirões são: 
São Paulo - 5mil. Bejo Horizonte -  3,5milCuritiba - 3.2milCampo Grande - 
2.7milFortaleza - 1.9milRibeirão Preto - 1.7milRio de Janeiro - 1.5mil
e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem menos 
de 20 quarteirões encontrados. 
Isso foi com pareamento extato. Vou começar agora a testar com fuzzy matches. 


ao longo do dia vou migrar o código para: 
https://github.

Re: [Talk-br] RES: RES: OSM - CNEFE

[Arlindo Pereira]

gt;> tudo bate e usar eles como referência de posicionamento. Depois extrapolar
>> o erro destes setores para os setores próximos encaixando eles no lugar
>> mais próximo do correto. (se o setor que a gente sabe que bate com o OSM
>> estiver 5m para a direita, o setor vizinho dele estara provavelmente a algo
>> próximo de 5m a direita também, pois eles tem paredes que se tocam)
>>
>> Existe também o problema de ruas que de fato mudaram de nome, podemos
>> usar a tag old_name do OSM neste processo, se o nome do CNEFE constar lá,
>> não é erro, realmente foi mudado o nome da rua.
>>
>> Então os dados seriam OSM(Vetor, Name, Alt_Name, Official_Name, Ref,
>> Old_Name, No_Name), CNEFE, Shapes dos setores censitários, Descrições dos
>> setores censitários.
>>
>> Pegar as áreas verdes (acho que village_green e park) com nome seria
>> legal também, pois muitas praças dão nomes a logradouros, mas nem sempre
>> isso se reflete na base de arruamento.
>>
>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
>> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
>> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
>> discussão demora, principalmente para brain storming) estou disposto a
>> participar de discussões via áudio sobre o tema em horário não comercial e
>> depois a gente pode colocar na lista um resumo para não perder o histórico.
>>
>> Sou programador experiente, posso ajudar a desenvolver rotinas de
>> transformação de texto, consultas e análises espaciais necessárias para
>> esse processo.
>>
>> Parabéns pelo trabalho até então, essa iniciativa é 10, somando esforços
>> a gente vai destruir de deixar o OSM completo!
>>
>> Atenciosamente
>> Marcos Fedato
>>
>>
>> --
>> Date: Wed, 30 Sep 2015 01:33:03 -0300
>> From: lucasmat...@gmail.com
>> To: talk-br@openstreetmap.org
>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>
>>
>> coloquei agora.
>> Mudei o codigo mesmo , que estava grande demais pro Readme para
>>
>>
>> https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql
>>
>>
>>
>> 2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro <aguiar.mar...@gmail.com
>> >:
>>
>> Oi, Lucas!
>>
>> Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
>> repositório e fiquei fuçando o código e o que eu entendi é que ainda não
>> está disponível, certo?
>>
>> Marcio Aguiar Ribeiro
>>
>> 2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:
>>
>> Pessoal,
>>
>> retomando este assunto:
>>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>>
>> O Cnefe tem 2.1 milhões de quarteirões.
>> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
>> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
>> tem todos os lados nomeados.
>>
>> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
>> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
>> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
>> batessem nas duas bases.
>>
>> Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
>> Para estes quarteirões temos todos os endereços que estão no CNEFE.
>>
>> Os municípios com mais quarteirões são:
>>
>> São Paulo - 5mil.
>> Bejo Horizonte -  3,5mil
>> Curitiba - 3.2mil
>> Campo Grande - 2.7mil
>> Fortaleza - 1.9mil
>> Ribeirão Preto - 1.7mil
>> Rio de Janeiro - 1.5mil
>>
>> e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
>> menos de 20 quarteirões encontrados.
>>
>> Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
>> matches.
>>
>>
>>
>> ao longo do dia vou migrar o código para:
>> https://github.com/lucasmation/osm_cnefe_import
>>
>>
>>
>> Lucas
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-07-14 12:12 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
>>
>> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
>> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
>> conversar mais tecnicamente ;-)
>>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
>> também ajuda)
>> Como sou novato, pret

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

;>> nome da rua que sobrou no CNEFE.
>>>
>>> A gente pode usar não só os municipios, mas também os setores
>>> censitários para achar exatamente onde estão os nomes faltantes.
>>>
>>> Os setores censitários tem uma tabela de descrição do entorno. É um
>>> campo de texto livre para cada setor falando as ruas por onde ele é
>>> delimitado. Com alguma inteligência a gente pode quebrar esse campo em ruas
>>> e cruzar com o OSM também.
>>>
>>> O problema conhecido de cruzar diferentes bases de dados espaciais é o
>>> deslocamento que pode haver entre uma e outra, tenho alguns esboços
>>> interessantes de como resolver isso saíndo do mundo tabular e utilizando
>>> GIS.
>>>
>>> Minha ideia se baseia em 2 coisas, achar alguns setores por cidade onde
>>> tudo bate e usar eles como referência de posicionamento. Depois extrapolar
>>> o erro destes setores para os setores próximos encaixando eles no lugar
>>> mais próximo do correto. (se o setor que a gente sabe que bate com o OSM
>>> estiver 5m para a direita, o setor vizinho dele estara provavelmente a algo
>>> próximo de 5m a direita também, pois eles tem paredes que se tocam)
>>>
>>> Existe também o problema de ruas que de fato mudaram de nome, podemos
>>> usar a tag old_name do OSM neste processo, se o nome do CNEFE constar lá,
>>> não é erro, realmente foi mudado o nome da rua.
>>>
>>> Então os dados seriam OSM(Vetor, Name, Alt_Name, Official_Name, Ref,
>>> Old_Name, No_Name), CNEFE, Shapes dos setores censitários, Descrições dos
>>> setores censitários.
>>>
>>> Pegar as áreas verdes (acho que village_green e park) com nome seria
>>> legal também, pois muitas praças dão nomes a logradouros, mas nem sempre
>>> isso se reflete na base de arruamento.
>>>
>>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
>>> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
>>> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
>>> discussão demora, principalmente para brain storming) estou disposto a
>>> participar de discussões via áudio sobre o tema em horário não comercial e
>>> depois a gente pode colocar na lista um resumo para não perder o histórico.
>>>
>>> Sou programador experiente, posso ajudar a desenvolver rotinas de
>>> transformação de texto, consultas e análises espaciais necessárias para
>>> esse processo.
>>>
>>> Parabéns pelo trabalho até então, essa iniciativa é 10, somando esforços
>>> a gente vai destruir de deixar o OSM completo!
>>>
>>> Atenciosamente
>>> Marcos Fedato
>>>
>>>
>>> --
>>> Date: Wed, 30 Sep 2015 01:33:03 -0300
>>> From: lucasmat...@gmail.com
>>> To: talk-br@openstreetmap.org
>>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>>
>>>
>>> coloquei agora.
>>> Mudei o codigo mesmo , que estava grande demais pro Readme para
>>>
>>>
>>> https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql
>>>
>>>
>>>
>>> 2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro <
>>> aguiar.mar...@gmail.com>:
>>>
>>> Oi, Lucas!
>>>
>>> Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
>>> repositório e fiquei fuçando o código e o que eu entendi é que ainda não
>>> está disponível, certo?
>>>
>>> Marcio Aguiar Ribeiro
>>>
>>> 2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>
>>> :
>>>
>>> Pessoal,
>>>
>>> retomando este assunto:
>>>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>>>
>>> O Cnefe tem 2.1 milhões de quarteirões.
>>> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
>>> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
>>> tem todos os lados nomeados.
>>>
>>> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
>>> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
>>> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
>>> batessem nas duas bases.
>>>
>>> Com este critério consegui identificar 95mil quarteirões do CNEFE no
>>> OSM. Para estes quarteirões temos todo

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

a se baseia em 2 coisas, achar alguns setores por cidade onde
>> tudo bate e usar eles como referência de posicionamento. Depois extrapolar
>> o erro destes setores para os setores próximos encaixando eles no lugar
>> mais próximo do correto. (se o setor que a gente sabe que bate com o OSM
>> estiver 5m para a direita, o setor vizinho dele estara provavelmente a algo
>> próximo de 5m a direita também, pois eles tem paredes que se tocam)
>>
>> Existe também o problema de ruas que de fato mudaram de nome, podemos
>> usar a tag old_name do OSM neste processo, se o nome do CNEFE constar lá,
>> não é erro, realmente foi mudado o nome da rua.
>>
>> Então os dados seriam OSM(Vetor, Name, Alt_Name, Official_Name, Ref,
>> Old_Name, No_Name), CNEFE, Shapes dos setores censitários, Descrições dos
>> setores censitários.
>>
>> Pegar as áreas verdes (acho que village_green e park) com nome seria
>> legal também, pois muitas praças dão nomes a logradouros, mas nem sempre
>> isso se reflete na base de arruamento.
>>
>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
>> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
>> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
>> discussão demora, principalmente para brain storming) estou disposto a
>> participar de discussões via áudio sobre o tema em horário não comercial e
>> depois a gente pode colocar na lista um resumo para não perder o histórico.
>>
>> Sou programador experiente, posso ajudar a desenvolver rotinas de
>> transformação de texto, consultas e análises espaciais necessárias para
>> esse processo.
>>
>> Parabéns pelo trabalho até então, essa iniciativa é 10, somando esforços
>> a gente vai destruir de deixar o OSM completo!
>>
>> Atenciosamente
>> Marcos Fedato
>>
>>
>> --
>> Date: Wed, 30 Sep 2015 01:33:03 -0300
>> From: lucasmat...@gmail.com
>> To: talk-br@openstreetmap.org
>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>
>>
>> coloquei agora.
>> Mudei o codigo mesmo , que estava grande demais pro Readme para
>>
>>
>> https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql
>>
>>
>>
>> 2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro <aguiar.mar...@gmail.com
>> >:
>>
>> Oi, Lucas!
>>
>> Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
>> repositório e fiquei fuçando o código e o que eu entendi é que ainda não
>> está disponível, certo?
>>
>> Marcio Aguiar Ribeiro
>>
>> 2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:
>>
>> Pessoal,
>>
>> retomando este assunto:
>>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>>
>> O Cnefe tem 2.1 milhões de quarteirões.
>> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
>> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
>> tem todos os lados nomeados.
>>
>> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
>> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
>> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
>> batessem nas duas bases.
>>
>> Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
>> Para estes quarteirões temos todos os endereços que estão no CNEFE.
>>
>> Os municípios com mais quarteirões são:
>>
>> São Paulo - 5mil.
>> Bejo Horizonte -  3,5mil
>> Curitiba - 3.2mil
>> Campo Grande - 2.7mil
>> Fortaleza - 1.9mil
>> Ribeirão Preto - 1.7mil
>> Rio de Janeiro - 1.5mil
>>
>> e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
>> menos de 20 quarteirões encontrados.
>>
>> Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
>> matches.
>>
>>
>>
>> ao longo do dia vou migrar o código para:
>> https://github.com/lucasmation/osm_cnefe_import
>>
>>
>>
>> Lucas
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-07-14 12:12 GMT-03:00 Peter Krauss <ppkra...@gmail.com>:
>>
>> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
>> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
>> conversar mais tecnicamente ;-)
>>  (se tiver ilustrações, ex. UML, de modelo de dados para postar 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Alexandre Magno Brito de Medeiros]

Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que
lhes permita desenhar em quadro branco remotamente, com áudio. Existe. É
como um pad com capacidade de desenho à mão livre e áudio.

Alexandre

Em 30 de setembro de 2015 09:14, Marcos Fedato 
escreveu:

>
> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
> discussão demora, principalmente para brain storming) estou disposto a
> participar de discussões via áudio sobre o tema em horário não comercial e
> depois a gente pode colocar na lista um resumo para não perder o histórico.
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Alexandre Magno Brito de Medeiros]

Outra opção mais custosa é agendarem uma apresentação de slides para cada
pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos
apresentadores. Com o objetivo de definir os rumos de um projeto de
software. A reunião final consolidaria os ânimos do time e decidiria o que
aproveitar de cada ideia. Cada apresentação teria explicado coisas com
imagens, áudio e texto. Os slides e documentos de definição seriam
versionados, guardados e publicados em GitHub.

Alexandre

Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros <
alexandre@gmail.com> escreveu:

> Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que
> lhes permita desenhar em quadro branco remotamente, com áudio. Existe. É
> como um pad com capacidade de desenho à mão livre e áudio.
>
> Alexandre
>
> Em 30 de setembro de 2015 09:14, Marcos Fedato 
> escreveu:
>
>>
>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
>> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
>> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
>> discussão demora, principalmente para brain storming) estou disposto a
>> participar de discussões via áudio sobre o tema em horário não comercial e
>> depois a gente pode colocar na lista um resumo para não perder o histórico.
>>
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

coloquei agora.
Mudei o codigo mesmo , que estava grande demais pro Readme para

https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql



2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro :

> Oi, Lucas!
>
> Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
> repositório e fiquei fuçando o código e o que eu entendi é que ainda não
> está disponível, certo?
>
> Marcio Aguiar Ribeiro
>
> 2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation :
>
>> Pessoal,
>>
>> retomando este assunto:
>>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>>
>> O Cnefe tem 2.1 milhões de quarteirões.
>> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
>> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
>> tem todos os lados nomeados.
>>
>> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
>> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
>> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
>> batessem nas duas bases.
>>
>> Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
>> Para estes quarteirões temos todos os endereços que estão no CNEFE.
>>
>> Os municípios com mais quarteirões são:
>>
>> São Paulo - 5mil.
>> Bejo Horizonte -  3,5mil
>> Curitiba - 3.2mil
>> Campo Grande - 2.7mil
>> Fortaleza - 1.9mil
>> Ribeirão Preto - 1.7mil
>> Rio de Janeiro - 1.5mil
>>
>> e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
>> menos de 20 quarteirões encontrados.
>>
>> Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
>> matches.
>>
>>
>>
>> ao longo do dia vou migrar o código para:
>> https://github.com/lucasmation/osm_cnefe_import
>>
>>
>>
>> Lucas
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-07-14 12:12 GMT-03:00 Peter Krauss :
>>
>>> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
>>> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
>>> conversar mais tecnicamente ;-)
>>>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
>>> também ajuda)
>>> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo
>>> mais geral das discussões...
>>>
>>> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
>>> apreciada em
>>>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>>> que tal começarmos pelo CEP2?
>>>
>>> - - - -
>>> Quanto os problemas legais (direitos autorais reclamados pela ECT bem
>>> como lei do monopólio) , precisamos de apoio internacional, inclusive da
>>> OSM... Comecei a busca por essa discussão (link abaixo), e senti
>>> receptividade,
>>>
>>> *http://opendata.stackexchange.com/q/5600/1313
>>> *
>>> a parte juridica é importante para não jogarmos nosso tempo no lixo...
>>> Até onde conversei com advogados, se criarmos uma metodologia (algoritmos)
>>> para espacialização do CEP (ver links Wikipedia com preliminares), não tem
>>> problema algum: o primeiro a publicar é o autor... Por isso acho importante
>>> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
>>> no http://arxiv.org
>>>
>>>
>>>
>>>
>>>
>>> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation <
>>> lucasmat...@gmail.com> escreveu:
>>>
 Pessoal, estou colocando o que já tenho de código em:


 https://github.com/lucasmation/osm_cnefe_import
 (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar
 mais feedback dos desenvolvedores do OSM no mundo, foruns, etc)

 Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
 elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
 teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
 quadras não pareadas. Mas o quão certo, 100% é isso?

 abs
 Lucas




 2015-07-13 19:01 GMT-03:00 Peter Krauss :

> Oi gente, acabo de me inscrever na lista... Posso participar da
> discussão?
>
> Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
> ajudam a resolver ambiguidades e
> dar mais confiança à geocodificação... Até onde verifiquei, o
> Mapa-do-CEP não oferece problema jurídico...
> Postei um esboço metodológico da sua construção, na Wikipedia,
>
> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
> que acham?
> Alguem falou em quadras por aqui, é justamente o foco metodológico...
>   http://gis.stackexchange.com/q/80498/7505
>
> PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
> de referencia é o http://adresse.data.gouv.fr/
>
>
> ___
> Talk-br mailing list
> 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Márcio Aguiar Ribeiro]

Oi, Lucas!

Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
repositório e fiquei fuçando o código e o que eu entendi é que ainda não
está disponível, certo?

Marcio Aguiar Ribeiro

2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation :

> Pessoal,
>
> retomando este assunto:
>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>
> O Cnefe tem 2.1 milhões de quarteirões.
> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
> tem todos os lados nomeados.
>
> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
> batessem nas duas bases.
>
> Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
> Para estes quarteirões temos todos os endereços que estão no CNEFE.
>
> Os municípios com mais quarteirões são:
>
> São Paulo - 5mil.
> Bejo Horizonte -  3,5mil
> Curitiba - 3.2mil
> Campo Grande - 2.7mil
> Fortaleza - 1.9mil
> Ribeirão Preto - 1.7mil
> Rio de Janeiro - 1.5mil
>
> e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
> menos de 20 quarteirões encontrados.
>
> Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
> matches.
>
>
>
> ao longo do dia vou migrar o código para:
> https://github.com/lucasmation/osm_cnefe_import
>
>
>
> Lucas
>
>
>
>
>
>
>
>
> 2015-07-14 12:12 GMT-03:00 Peter Krauss :
>
>> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
>> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
>> conversar mais tecnicamente ;-)
>>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
>> também ajuda)
>> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo mais
>> geral das discussões...
>>
>> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
>> apreciada em
>>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>> que tal começarmos pelo CEP2?
>>
>> - - - -
>> Quanto os problemas legais (direitos autorais reclamados pela ECT bem
>> como lei do monopólio) , precisamos de apoio internacional, inclusive da
>> OSM... Comecei a busca por essa discussão (link abaixo), e senti
>> receptividade,
>>
>> *http://opendata.stackexchange.com/q/5600/1313
>> *
>> a parte juridica é importante para não jogarmos nosso tempo no lixo...
>> Até onde conversei com advogados, se criarmos uma metodologia (algoritmos)
>> para espacialização do CEP (ver links Wikipedia com preliminares), não tem
>> problema algum: o primeiro a publicar é o autor... Por isso acho importante
>> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
>> no http://arxiv.org
>>
>>
>>
>>
>>
>> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation <
>> lucasmat...@gmail.com> escreveu:
>>
>>> Pessoal, estou colocando o que já tenho de código em:
>>>
>>>
>>> https://github.com/lucasmation/osm_cnefe_import
>>> (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
>>> feedback dos desenvolvedores do OSM no mundo, foruns, etc)
>>>
>>> Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
>>> elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
>>> teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
>>> quadras não pareadas. Mas o quão certo, 100% é isso?
>>>
>>> abs
>>> Lucas
>>>
>>>
>>>
>>>
>>> 2015-07-13 19:01 GMT-03:00 Peter Krauss :
>>>
 Oi gente, acabo de me inscrever na lista... Posso participar da
 discussão?

 Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
 ajudam a resolver ambiguidades e
 dar mais confiança à geocodificação... Até onde verifiquei, o
 Mapa-do-CEP não oferece problema jurídico...
 Postei um esboço metodológico da sua construção, na Wikipedia,

 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 que acham?
 Alguem falou em quadras por aqui, é justamente o foco metodológico...
   http://gis.stackexchange.com/q/80498/7505

 PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
 de referencia é o http://adresse.data.gouv.fr/


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,

retomando este assunto:
 consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.

O Cnefe tem 2.1 milhões de quarteirões.
O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
tem todos os lados nomeados.

O primeiro critério do cruzamento foi que os quarteirões tinham que cair no
mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O 2o
critéiro foi que os nomes de todas as ruas que compõem o quarteirão
batessem nas duas bases.

Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
Para estes quarteirões temos todos os endereços que estão no CNEFE.

Os municípios com mais quarteirões são:

São Paulo - 5mil.
Bejo Horizonte -  3,5mil
Curitiba - 3.2mil
Campo Grande - 2.7mil
Fortaleza - 1.9mil
Ribeirão Preto - 1.7mil
Rio de Janeiro - 1.5mil

e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
menos de 20 quarteirões encontrados.

Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
matches.



ao longo do dia vou migrar o código para:
https://github.com/lucasmation/osm_cnefe_import



Lucas








2015-07-14 12:12 GMT-03:00 Peter Krauss :

> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
> conversar mais tecnicamente ;-)
>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
> também ajuda)
> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo mais
> geral das discussões...
>
> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
> apreciada em
>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
> que tal começarmos pelo CEP2?
>
> - - - -
> Quanto os problemas legais (direitos autorais reclamados pela ECT bem como
> lei do monopólio) , precisamos de apoio internacional, inclusive da OSM...
> Comecei a busca por essa discussão (link abaixo), e senti receptividade,
>
> *http://opendata.stackexchange.com/q/5600/1313
> *
> a parte juridica é importante para não jogarmos nosso tempo no lixo... Até
> onde conversei com advogados, se criarmos uma metodologia (algoritmos) para
> espacialização do CEP (ver links Wikipedia com preliminares), não tem
> problema algum: o primeiro a publicar é o autor... Por isso acho importante
> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
> no http://arxiv.org
>
>
>
>
>
> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation  > escreveu:
>
>> Pessoal, estou colocando o que já tenho de código em:
>>
>>
>> https://github.com/lucasmation/osm_cnefe_import
>> (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
>> feedback dos desenvolvedores do OSM no mundo, foruns, etc)
>>
>> Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
>> elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
>> teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
>> quadras não pareadas. Mas o quão certo, 100% é isso?
>>
>> abs
>> Lucas
>>
>>
>>
>>
>> 2015-07-13 19:01 GMT-03:00 Peter Krauss :
>>
>>> Oi gente, acabo de me inscrever na lista... Posso participar da
>>> discussão?
>>>
>>> Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
>>> ajudam a resolver ambiguidades e
>>> dar mais confiança à geocodificação... Até onde verifiquei, o
>>> Mapa-do-CEP não oferece problema jurídico...
>>> Postei um esboço metodológico da sua construção, na Wikipedia,
>>>
>>> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
>>> que acham?
>>> Alguem falou em quadras por aqui, é justamente o foco metodológico...
>>>   http://gis.stackexchange.com/q/80498/7505
>>>
>>> PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
>>> de referencia é o http://adresse.data.gouv.fr/
>>>
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lists]

Pra mim zoom fui bom ate agora, vou ter problemas participar com hangout este 
semana, talvez melhor pra semana que vem.

O Zoom tem o opção liga pra um telefone (numero do RJ?) se não ha acesso a 
computador, que pode me ajudar quando viajando

Aun Johnsen

 On Jul 15, 2015, at 10:56, Vitor George vitor.geo...@gmail.com wrote:
 
 Estava escrevendo sobre isso agora, Lucas.
 
 Estou vendo se usamos o Zoom, que é bom para reunião online, mas também 
 podemos fazer um hangout.
 
 Quem for participar da reunião me avise por e-mail que eu chamo pra sala que 
 criarmos.
 
 Vitor
 
 2015-07-15 10:53 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com 
 mailto:lucasmat...@gmail.com:
 Pessoal, 
 
 e ai, vamos ter a conversa mesmo hoje? 
 12h00?
 
 alguém pode criar a reunião (google hangouts, ou alguma outra plataforma)?
 (se precisar tenho skype também)
 
 
 
 
 
 
 2015-07-14 12:12 GMT-03:00 Peter Krauss ppkra...@gmail.com 
 mailto:ppkra...@gmail.com:
 Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de 
 semana) ponho a mão-na-massa, para entender o que voce fez e como podemos 
 conversar mais tecnicamente ;-)
  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git também 
 ajuda)
 Como sou novato, pretendo seguir um pouco pelas bordas e no escopo mais 
 geral das discussões...
 
 A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser 
 apreciada em
http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP 
 http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
 que tal começarmos pelo CEP2?
 
 - - - - 
 Quanto os problemas legais (direitos autorais reclamados pela ECT bem como 
 lei do monopólio) , precisamos de apoio internacional, inclusive da OSM... 
 Comecei a busca por essa discussão (link abaixo), e senti receptividade,   
 http://opendata.stackexchange.com/q/5600/1313 
 http://opendata.stackexchange.com/q/5600/1313
 a parte juridica é importante para não jogarmos nosso tempo no lixo... Até 
 onde conversei com advogados, se criarmos uma metodologia (algoritmos) para 
 espacialização do CEP (ver links Wikipedia com preliminares), não tem 
 problema algum: o primeiro a publicar é o autor... Por isso acho importante 
 termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos no 
 http://arxiv.org http://arxiv.org/
 
 
  
 
 
 Em 14 de julho de 2015 11:13, Lucas Ferreira Mation lucasmat...@gmail.com 
 mailto:lucasmat...@gmail.com escreveu:
 Pessoal, estou colocando o que já tenho de código em: 
 
 
 https://github.com/lucasmation/osm_cnefe_import 
 https://github.com/lucasmation/osm_cnefe_import
 (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais 
 feedback dos desenvolvedores do OSM no mundo, foruns, etc) 
 
 Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E 
 elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua 
 teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em 
 quadras não pareadas. Mas o quão certo, 100% é isso?
 
 abs
 Lucas
 
 
 
 
 2015-07-13 19:01 GMT-03:00 Peter Krauss ppkra...@gmail.com 
 mailto:ppkra...@gmail.com:
 Oi gente, acabo de me inscrever na lista... Posso participar da discussão?
 
 Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente ajudam a 
 resolver ambiguidades e
 dar mais confiança à geocodificação... Até onde verifiquei, o Mapa-do-CEP não 
 oferece problema jurídico...
 Postei um esboço metodológico da sua construção, na Wikipedia,  
   
 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
  
 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 que acham?
 Alguem falou em quadras por aqui, é justamente o foco metodológico... 
   http://gis.stackexchange.com/q/80498/7505 
 http://gis.stackexchange.com/q/80498/7505
 
 PS: sobre pontos de endereçamento de utilidade publica, um bom projeto de 
 referencia é o http://adresse.data.gouv.fr/ http://adresse.data.gouv.fr/
 
 
 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org mailto:Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br 
 https://lists.openstreetmap.org/listinfo/talk-br
 
 
 
 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org mailto:Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br 
 https://lists.openstreetmap.org/listinfo/talk-br
 
 
 
 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org mailto:Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br 
 https://lists.openstreetmap.org/listinfo/talk-br
 
 
 
 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org mailto:Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br 
 https://lists.openstreetmap.org/listinfo/talk-br
 
 
 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,

e ai, vamos ter a conversa mesmo hoje?
12h00?

alguém pode criar a reunião (google hangouts, ou alguma outra plataforma)?
(se precisar tenho skype também)






2015-07-14 12:12 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
 semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
 conversar mais tecnicamente ;-)
  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
 também ajuda)
 Como sou novato, pretendo seguir um pouco pelas bordas e no escopo mais
 geral das discussões...

 A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
 apreciada em
http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
 que tal começarmos pelo CEP2?

 - - - -
 Quanto os problemas legais (direitos autorais reclamados pela ECT bem como
 lei do monopólio) , precisamos de apoio internacional, inclusive da OSM...
 Comecei a busca por essa discussão (link abaixo), e senti receptividade,

 *http://opendata.stackexchange.com/q/5600/1313
 http://opendata.stackexchange.com/q/5600/1313*
 a parte juridica é importante para não jogarmos nosso tempo no lixo... Até
 onde conversei com advogados, se criarmos uma metodologia (algoritmos) para
 espacialização do CEP (ver links Wikipedia com preliminares), não tem
 problema algum: o primeiro a publicar é o autor... Por isso acho importante
 termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
 no http://arxiv.org





 Em 14 de julho de 2015 11:13, Lucas Ferreira Mation lucasmat...@gmail.com
  escreveu:

 Pessoal, estou colocando o que já tenho de código em:


 https://github.com/lucasmation/osm_cnefe_import
 (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
 feedback dos desenvolvedores do OSM no mundo, foruns, etc)

 Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
 elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
 teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
 quadras não pareadas. Mas o quão certo, 100% é isso?

 abs
 Lucas




 2015-07-13 19:01 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi gente, acabo de me inscrever na lista... Posso participar da
 discussão?

 Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
 ajudam a resolver ambiguidades e
 dar mais confiança à geocodificação... Até onde verifiquei, o
 Mapa-do-CEP não oferece problema jurídico...
 Postei um esboço metodológico da sua construção, na Wikipedia,

 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 que acham?
 Alguem falou em quadras por aqui, é justamente o foco metodológico...
   http://gis.stackexchange.com/q/80498/7505

 PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
 de referencia é o http://adresse.data.gouv.fr/


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Vitor George]

Estava escrevendo sobre isso agora, Lucas.

Estou vendo se usamos o Zoom, que é bom para reunião online, mas também
podemos fazer um hangout.

Quem for participar da reunião me avise por e-mail que eu chamo pra sala
que criarmos.

Vitor

2015-07-15 10:53 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:

 Pessoal,

 e ai, vamos ter a conversa mesmo hoje?
 12h00?

 alguém pode criar a reunião (google hangouts, ou alguma outra
 plataforma)?
 (se precisar tenho skype também)






 2015-07-14 12:12 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
 semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
 conversar mais tecnicamente ;-)
  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
 também ajuda)
 Como sou novato, pretendo seguir um pouco pelas bordas e no escopo mais
 geral das discussões...

 A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
 apreciada em
http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
 que tal começarmos pelo CEP2?

 - - - -
 Quanto os problemas legais (direitos autorais reclamados pela ECT bem
 como lei do monopólio) , precisamos de apoio internacional, inclusive da
 OSM... Comecei a busca por essa discussão (link abaixo), e senti
 receptividade,

 *http://opendata.stackexchange.com/q/5600/1313
 http://opendata.stackexchange.com/q/5600/1313*
 a parte juridica é importante para não jogarmos nosso tempo no lixo...
 Até onde conversei com advogados, se criarmos uma metodologia (algoritmos)
 para espacialização do CEP (ver links Wikipedia com preliminares), não tem
 problema algum: o primeiro a publicar é o autor... Por isso acho importante
 termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
 no http://arxiv.org





 Em 14 de julho de 2015 11:13, Lucas Ferreira Mation 
 lucasmat...@gmail.com escreveu:

 Pessoal, estou colocando o que já tenho de código em:


 https://github.com/lucasmation/osm_cnefe_import
 (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
 feedback dos desenvolvedores do OSM no mundo, foruns, etc)

 Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
 elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
 teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
 quadras não pareadas. Mas o quão certo, 100% é isso?

 abs
 Lucas




 2015-07-13 19:01 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi gente, acabo de me inscrever na lista... Posso participar da
 discussão?

 Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
 ajudam a resolver ambiguidades e
 dar mais confiança à geocodificação... Até onde verifiquei, o
 Mapa-do-CEP não oferece problema jurídico...
 Postei um esboço metodológico da sua construção, na Wikipedia,

 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 que acham?
 Alguem falou em quadras por aqui, é justamente o foco metodológico...
   http://gis.stackexchange.com/q/80498/7505

 PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
 de referencia é o http://adresse.data.gouv.fr/


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Peter Krauss]

Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
conversar mais tecnicamente ;-)
 (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
também ajuda)
Como sou novato, pretendo seguir um pouco pelas bordas e no escopo mais
geral das discussões...

A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
apreciada em
   http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
que tal começarmos pelo CEP2?

- - - -
Quanto os problemas legais (direitos autorais reclamados pela ECT bem como
lei do monopólio) , precisamos de apoio internacional, inclusive da OSM...
Comecei a busca por essa discussão (link abaixo), e senti receptividade,

*http://opendata.stackexchange.com/q/5600/1313
http://opendata.stackexchange.com/q/5600/1313*
a parte juridica é importante para não jogarmos nosso tempo no lixo... Até
onde conversei com advogados, se criarmos uma metodologia (algoritmos) para
espacialização do CEP (ver links Wikipedia com preliminares), não tem
problema algum: o primeiro a publicar é o autor... Por isso acho importante
termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
no http://arxiv.org





Em 14 de julho de 2015 11:13, Lucas Ferreira Mation lucasmat...@gmail.com
escreveu:

 Pessoal, estou colocando o que já tenho de código em:


 https://github.com/lucasmation/osm_cnefe_import
 (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
 feedback dos desenvolvedores do OSM no mundo, foruns, etc)

 Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
 elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
 teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
 quadras não pareadas. Mas o quão certo, 100% é isso?

 abs
 Lucas




 2015-07-13 19:01 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi gente, acabo de me inscrever na lista... Posso participar da discussão?

 Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente ajudam
 a resolver ambiguidades e
 dar mais confiança à geocodificação... Até onde verifiquei, o Mapa-do-CEP
 não oferece problema jurídico...
 Postei um esboço metodológico da sua construção, na Wikipedia,

 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 que acham?
 Alguem falou em quadras por aqui, é justamente o foco metodológico...
   http://gis.stackexchange.com/q/80498/7505

 PS: sobre pontos de endereçamento de utilidade publica, um bom projeto de
 referencia é o http://adresse.data.gouv.fr/


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br



 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal, estou colocando o que já tenho de código em:


https://github.com/lucasmation/osm_cnefe_import
(que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
feedback dos desenvolvedores do OSM no mundo, foruns, etc)

Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
quadras não pareadas. Mas o quão certo, 100% é isso?

abs
Lucas




2015-07-13 19:01 GMT-03:00 Peter Krauss ppkra...@gmail.com:

 Oi gente, acabo de me inscrever na lista... Posso participar da discussão?

 Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente ajudam
 a resolver ambiguidades e
 dar mais confiança à geocodificação... Até onde verifiquei, o Mapa-do-CEP
 não oferece problema jurídico...
 Postei um esboço metodológico da sua construção, na Wikipedia,

 https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
 que acham?
 Alguem falou em quadras por aqui, é justamente o foco metodológico...
   http://gis.stackexchange.com/q/80498/7505

 PS: sobre pontos de endereçamento de utilidade publica, um bom projeto de
 referencia é o http://adresse.data.gouv.fr/


 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br


___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] RES: RES: OSM - CNEFE

[Reinaldo Neves]

Se fossem só duas era moleza Vitor, são 7 ruas e 5 avenidas, o que diferencia 
uma da outra é o Bairro apenas.  E como eu disse este é apenas um exemplo que 
se repete país afora.  

No caso de ruas numérica é ainda pior.  Goiânia tem 80 ruas diferentes nomeadas 
Rua 1.

Tipo  Nome  Bairro  CEP
--
 R  1   A BRANCA 74723180
 R  1   AEROVIARIO   74435110
 R  1   CHS ANHANGUERA   74392130
 R  1   CHS AT GLORIA74815610
 R  1   CHS CALIFORNIA   74690802
 R  1   CHS HELLOU   74470370
 R  1   CHS R SAMAMBAIA  74691310
 R  1   CJ C BRANCO  74403010
 R  1   CJ C BRANCO  74405060
 R  1   CJ FABIANA   74870260
 R  1   CJ PRQ EUCALIPTOS74683750
 V-AC   1   CJ RES CPO BELO  74477722
 R  1   CJ RES IRISVILLE 74786610
 R  1   CJ RES IRISVILLE 2 E 74786640
 R  1   CJ RES P PACHECO 74476113
 R  1   CJ RES RODOVIARIO74425700
 V-AC   1   CJ RES T NOVA74477702 .

Abraços





 

De: Vitor George [mailto:vitor.geo...@gmail.com] 
Enviada em: segunda-feira, 13 de julho de 2015 10:30
Para: OpenStreetMap no Brasil
Assunto: Re: [Talk-br] RES: OSM - CNEFE

Reinaldo, mas o tipo logradouro não serve diferenciar o nome nestes casos? 
Existirá duas ruas Antonio Carlos Magalhães na mesma cidade?

2015-07-13 10:19 GMT-03:00 Reinaldo Neves rne...@equacao.com.br:
Vitor bom dia,

O caso de BH não é único, mas talvez seja das poucas cidades em que exista uma 
lei regulando isso.  Eu trabalho com validação de endereços há alguns anos e o 
problema é recorrente.

Alias para ficarmos num único exemplo em Salvador temos:
7 - Rua Antonio Carlos Magalhães,
5 - Avenida Antonio Carlos Magalhães
2 - Rua Luis Eduardo Magalhães
2 - Avenida Luis Eduardo Magalhães

Sem contar travessas e praças com o mesmo nome.

Reinaldo

De: Vítor Rodrigo Dias [mailto:vitor.d...@gmail.com]
Enviada em: segunda-feira, 13 de julho de 2015 09:55
Para: OpenStreetMap no Brasil
Assunto: Re: [Talk-br] OSM - CNEFE
Lucas,

Há casos em cidades grandes onde pode haver essa duplicidade, mesmo no caso de 
haver lei proibindo. Já vi reportagens versando sobre a existência de ruas 
duplicadas aqui em Belo Horizonte, mas não sei se ainda existem ou já foram 
corrigidas.

Em 13 de julho de 2015 08:49, Lucas Ferreira Mation lucasmat...@gmail.com 
escreveu:
pessoal,

fica marcada então a reunião para quarta feira, 15/07, 12h00. Ok?

abaixo já algumas dúvidas que tenho tido:

1) Como é a normatização dos nomes de ruas no Brasil? Dentro de um município 
duas ruas diferentes podem legalmente ter o mesmo nome? Varia de município a 
município?

2) Existe algum banco de dados com os nomes corretos das ruas? Como o George 
falou, existem duas situações: o nome do OSM estar errado, ou o nome do CNEFE 
estar errado. Seria muito bom ter uma 3a fonte, o mais oficial possível, para 
nomes de ruas. Existem listas separadas, talvez município a município, que 
contenham isso, e que podem ser juntadas?

3) Em algum momento vou precisar fazer um cruzamento espacial entre os dados do 
OSM e os polígonos de setores censitários (que são a fonte mais espaciamente 
precisa dos dados do Censo). Só que os shapes de setores censitários muitas 
vezes estão deslocados em algum direção. Como estes shapes agregam informações 
de vários provedores locais de mapas, estes erros podem variar 
significativamente entre municípios. Seria interessante ter uma medida de 
margem de erro entre os Setores Censistários e a realidade, para colocar como 
margem de tolerância ( ST_Buffer() ) no cruzamento espacial.








2015-07-10 14:56 GMT-03:00 Vitor George vitor.geo...@gmail.com:
Topo conversar na semana que vem, Lucas. Será bom retomar este assunto.

Fiz um script para importar dados do CNEFE ao MongoDB, não deve ser difícil 
alterar para ser ao PostGIS:

https://github.com/vgeorge/cnefe-parser

Usei este script to Thiago como base:

https://github.com/tmpsantos/cnefe-tools/blob/master/cnefe-validator

Abraço,
Vitor




2015-07-10 11:20 GMT-03:00 George Silva georger.si...@gmail.com:
Olá Lucas, bom dia!

Trabalho no IPEA. Há mais o menos 1 ano eu propuz algo aqui na lista sobre usar 
o CNEFE no OSM (e o inverso também: usar os dados do OSM para melhorar a 
espacialização dos dados do CENSO). Desde então o projeto ficou parado.

Show de bola, acho que é um casamento legal.

Montei um servodor Postgres/PostGis forte e importei os dados do OSM 
(geofabrik planet dump do Brasil, usando o osm2pgsql).

Consegui fazer um negócio interessante que é definir quarteirões a partir das 
ruas do OSM. Cada quarteirão é caracterizado por um conjunto (array) de ruas. 
Então, contanto que os 

[Talk-br] RES: RES: OSM - CNEFE Vitor George

[Ivaldo Nunes de Magalhães]

Vitor...

Realmente a diferenciação terá de ser feita pelo tipo de logradouro (rua,
avenida, alameda, quadra, etc), como já foi dito aqui.

Na verdade não é duplicidade, mas sim repetição dos nomes em bairros
diferentes. Isso (repetição de nome) dificilmente ocorre dentro de um mesmo
bairro.

Ivaldo
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] RES: RES: OSM - CNEFE

[Reinaldo Neves]

Esses casos do centro oeste são os mais graves, mas o problema de nomes 
repetido ocorre pelo pais todo.

Belo Horizonte como dito antes, São Paulo, Rio de Janeiro, Porto Alegre  e 
várias outras cidades de porte também apresentam esse tipo de duplicidade, em 
escala menor é verdade, mas eles existem.

___
Reinaldo Neves
Equação Informática
(11) 3221-3722

De: George Silva [mailto:georger.si...@gmail.com] 
Enviada em: segunda-feira, 13 de julho de 2015 13:44
Para: OpenStreetMap no Brasil
Assunto: Re: [Talk-br] RES: OSM - CNEFE

Olá Reinaldo, boa tarde,
Realmente, não me lembrava do caso de Goiânia, que é uma cidade que até conheço 
pessoalmente.
A princípio, não me afeta diretamente, mas me lembrarei deste caso para 
desenvolvimentos futuros.
Att

2015-07-13 13:02 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:
Pessoal,

1) obrigado, Ok, entendo que existem ruas distintas com mesmo nome dentro de um 
município. Mas quão sério é este problema? Afeta qual porcentagem dos 
municípios? E qual porcentagem, em média, das ruas de dos municípios me que 
isso ocorre? Alguém já tentou estimar estas coisas, ou imagina alguma forma de 
fazê-lo? 

Pergunto porque, talvez se for algo raro seja possível supor a unicidade do 
nome (exceto Brasília, Goiânia, etc) e depois tratar as duplicidades 
separadamente. 
E pensando bem, talvez este problema não atrapalhe a importação de dados CNEFE 
 OSM   

2) Vários falaram que existem fontes oficiais de listas de ruas para várias 
cidades. 
Alguém da comunidade se anima a organizar uma tabela, wiki (ou mesmo sequencia 
de emails) com as fontes de informação para cada município e um link onde fosse 
possível baixar a base. Eu posso tentar fazer a integração destas bases, mas 
preciso desta lista. 

O Vitor menciona o uso da base dos correios para validação dos nomes (entre 
CNEFE e OSM). Levando em conta a questão dos direitos autorais, isos pode ser 
feito? Não se trataria extrair dados da base dos correios, apenas usá-la para 
validar (se o tema for polêmico vamos deixar para debater em outra tread, esta 
já tem muito assunto...). 

3) Em breve mando uns print-screens de Setor Censitário vs. OSM. 






 




2015-07-13 11:33 GMT-03:00 Reinaldo Neves rne...@equacao.com.br:
Bom dia George,

Sinto ser portador de más notícias, e espero manter a cabeça em cima dos 
ombros, mas creio que vai ter que revisar os sistemas em produção que use essa 
tupla como identificador.  Como indiquei em outro email tipo e nome de 
logradouro não podem ser usados como PK sem incorrer em graves problemas caso o 
sistema seja de uso nacional.

Caso alguém da lista precise de maiores esclarecimento por favor é só avisar.

Abraços

___
Reinaldo Neves
Equação Informática
(11) 3221-3722

Reinaldo

De: George Silva [mailto:georger.si...@gmail.com]
Enviada em: segunda-feira, 13 de julho de 2015 10:57
Para: OpenStreetMap no Brasil
Assunto: Re: [Talk-br] OSM - CNEFE

Sempre que fiz algum sistema o que identifica o logradouro e a tupla tipo + 
nome. Para mim estes exemplos não são duplicados.

Em segunda-feira, 13 de julho de 2015, Vitor George vitor.geo...@gmail.com 
escreveu:
Reinaldo, mas o tipo logradouro não serve diferenciar o nome nestes casos? 
Existirá duas ruas Antonio Carlos Magalhães na mesma cidade?

2015-07-13 10:19 GMT-03:00 Reinaldo Neves rne...@equacao.com.br:
Vitor bom dia,

O caso de BH não é único, mas talvez seja das poucas cidades em que exista uma 
lei regulando isso.  Eu trabalho com validação de endereços há alguns anos e o 
problema é recorrente.

Alias para ficarmos num único exemplo em Salvador temos:
7 - Rua Antonio Carlos Magalhães,
5 - Avenida Antonio Carlos Magalhães
2 - Rua Luis Eduardo Magalhães
2 - Avenida Luis Eduardo Magalhães

Sem contar travessas e praças com o mesmo nome.

Reinaldo

De: Vítor Rodrigo Dias [mailto:vitor.d...@gmail.com]
Enviada em: segunda-feira, 13 de julho de 2015 09:55
Para: OpenStreetMap no Brasil
Assunto: Re: [Talk-br] OSM - CNEFE
Lucas,

Há casos em cidades grandes onde pode haver essa duplicidade, mesmo no caso de 
haver lei proibindo. Já vi reportagens versando sobre a existência de ruas 
duplicadas aqui em Belo Horizonte, mas não sei se ainda existem ou já foram 
corrigidas.

Em 13 de julho de 2015 08:49, Lucas Ferreira Mation lucasmat...@gmail.com 
escreveu:
pessoal,

fica marcada então a reunião para quarta feira, 15/07, 12h00. Ok?

abaixo já algumas dúvidas que tenho tido:

1) Como é a normatização dos nomes de ruas no Brasil? Dentro de um município 
duas ruas diferentes podem legalmente ter o mesmo nome? Varia de município a 
município?

2) Existe algum banco de dados com os nomes corretos das ruas? Como o George 
falou, existem duas situações: o nome do OSM estar errado, ou o nome do CNEFE 
estar errado. Seria muito bom ter uma 3a fonte, o mais oficial possível, para 
nomes de ruas. Existem listas separadas, talvez município a município, que 
contenham isso, e que podem ser juntadas?

3) 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Vitor George]

Não vejo a duplicidade de logradouros como um grande problema. Podemos
diferenciar as ruas por bairro/distrito na maioria dos casos, e usar um
campo de complemento nas que se dupliquem dentro dessas áreas.

Sobre o DNE dos Correios, nós não vamos redistribuí-lo, nem importá-lo. Ele
seria mais uma base comparativa, como já foi falado aqui, que
proporcionaria indicadores de cobertura de nomes de ruas. Mas, como não é
ponto comum entre a comunidade de que é uma base livre, sugiro deixar de
fora plano inicial.


Em seg, 13 de jul de 2015 às 14:07, Reinaldo Neves rne...@equacao.com.br
escreveu:

 Esses casos do centro oeste são os mais graves, mas o problema de nomes
 repetido ocorre pelo pais todo.

 Belo Horizonte como dito antes, São Paulo, Rio de Janeiro, Porto Alegre  e
 várias outras cidades de porte também apresentam esse tipo de duplicidade,
 em escala menor é verdade, mas eles existem.

 ___
 Reinaldo Neves
 Equação Informática
 (11) 3221-3722

 De: George Silva [mailto:georger.si...@gmail.com]
 Enviada em: segunda-feira, 13 de julho de 2015 13:44
 Para: OpenStreetMap no Brasil
 Assunto: Re: [Talk-br] RES: OSM - CNEFE

 Olá Reinaldo, boa tarde,
 Realmente, não me lembrava do caso de Goiânia, que é uma cidade que até
 conheço pessoalmente.
 A princípio, não me afeta diretamente, mas me lembrarei deste caso para
 desenvolvimentos futuros.
 Att

 2015-07-13 13:02 GMT-03:00 Lucas Ferreira Mation lucasmat...@gmail.com:
 Pessoal,

 1) obrigado, Ok, entendo que existem ruas distintas com mesmo nome dentro
 de um município. Mas quão sério é este problema? Afeta qual porcentagem dos
 municípios? E qual porcentagem, em média, das ruas de dos municípios me que
 isso ocorre? Alguém já tentou estimar estas coisas, ou imagina alguma forma
 de fazê-lo?

 Pergunto porque, talvez se for algo raro seja possível supor a unicidade
 do nome (exceto Brasília, Goiânia, etc) e depois tratar as duplicidades
 separadamente.
 E pensando bem, talvez este problema não atrapalhe a importação de dados
 CNEFE  OSM

 2) Vários falaram que existem fontes oficiais de listas de ruas para
 várias cidades.
 Alguém da comunidade se anima a organizar uma tabela, wiki (ou mesmo
 sequencia de emails) com as fontes de informação para cada município e um
 link onde fosse possível baixar a base. Eu posso tentar fazer a integração
 destas bases, mas preciso desta lista.

 O Vitor menciona o uso da base dos correios para validação dos nomes
 (entre CNEFE e OSM). Levando em conta a questão dos direitos autorais, isos
 pode ser feito? Não se trataria extrair dados da base dos correios, apenas
 usá-la para validar (se o tema for polêmico vamos deixar para debater em
 outra tread, esta já tem muito assunto...).

 3) Em breve mando uns print-screens de Setor Censitário vs. OSM.











 2015-07-13 11:33 GMT-03:00 Reinaldo Neves rne...@equacao.com.br:
 Bom dia George,

 Sinto ser portador de más notícias, e espero manter a cabeça em cima dos
 ombros, mas creio que vai ter que revisar os sistemas em produção que use
 essa tupla como identificador.  Como indiquei em outro email tipo e nome de
 logradouro não podem ser usados como PK sem incorrer em graves problemas
 caso o sistema seja de uso nacional.

 Caso alguém da lista precise de maiores esclarecimento por favor é só
 avisar.

 Abraços

 ___
 Reinaldo Neves
 Equação Informática
 (11) 3221-3722

 Reinaldo

 De: George Silva [mailto:georger.si...@gmail.com]
 Enviada em: segunda-feira, 13 de julho de 2015 10:57
 Para: OpenStreetMap no Brasil
 Assunto: Re: [Talk-br] OSM - CNEFE

 Sempre que fiz algum sistema o que identifica o logradouro e a tupla tipo
 + nome. Para mim estes exemplos não são duplicados.

 Em segunda-feira, 13 de julho de 2015, Vitor George 
 vitor.geo...@gmail.com escreveu:
 Reinaldo, mas o tipo logradouro não serve diferenciar o nome nestes casos?
 Existirá duas ruas Antonio Carlos Magalhães na mesma cidade?

 2015-07-13 10:19 GMT-03:00 Reinaldo Neves rne...@equacao.com.br:
 Vitor bom dia,

 O caso de BH não é único, mas talvez seja das poucas cidades em que exista
 uma lei regulando isso.  Eu trabalho com validação de endereços há alguns
 anos e o problema é recorrente.

 Alias para ficarmos num único exemplo em Salvador temos:
 7 - Rua Antonio Carlos Magalhães,
 5 - Avenida Antonio Carlos Magalhães
 2 - Rua Luis Eduardo Magalhães
 2 - Avenida Luis Eduardo Magalhães

 Sem contar travessas e praças com o mesmo nome.

 Reinaldo

 De: Vítor Rodrigo Dias [mailto:vitor.d...@gmail.com]
 Enviada em: segunda-feira, 13 de julho de 2015 09:55
 Para: OpenStreetMap no Brasil
 Assunto: Re: [Talk-br] OSM - CNEFE
 Lucas,

 Há casos em cidades grandes onde pode haver essa duplicidade, mesmo no
 caso de haver lei proibindo. Já vi reportagens versando sobre a existência
 de ruas duplicadas aqui em Belo Horizonte, mas não sei se ainda existem ou
 já foram corrigidas.

 Em 13 de julho de 2015 08:49, Lucas Ferreira Mation lucasmat...@gmail.com
 escreveu:

Re: [Talk-br] RES: RES: OSM - CNEFE

[Peter Krauss]

Oi gente, acabo de me inscrever na lista... Posso participar da discussão?

Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente ajudam a
resolver ambiguidades e
dar mais confiança à geocodificação... Até onde verifiquei, o Mapa-do-CEP
não oferece problema jurídico...
Postei um esboço metodológico da sua construção, na Wikipedia,

https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
que acham?
Alguem falou em quadras por aqui, é justamente o foco metodológico...
  http://gis.stackexchange.com/q/80498/7505

PS: sobre pontos de endereçamento de utilidade publica, um bom projeto de
referencia é o http://adresse.data.gouv.fr/
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br