Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

2018-08-09 Por tôpico Paulo Carvalho 
Não sei se o Pandas pode ler diretamente de uma base PostgreSQL, mas nada
impede de exportar os dados para um formato que o Pandas reconheça e daí
para os algoritmos de machine learning.

Em 9 de agosto de 2018 10:08, Peter Krauss  escreveu:

> Oi Paulo, boas dicas de clusterização, comunidade Python realmente criou
> ferramentas poderosas ...
> Quando ao OSM, bom lembrar que o XML é só um formato de troca de dados, as
> representações geométricas do OSM usualmente são feitas em PostGIS.
> Aqui vai um exemplo meio caduco, um dos poucos que clientes permitiram eu
> doar para o mundo, 6 anos atrás..
>
>https://gist.github.com/ppKrauss/3810651
>
> Faz justamente a detecção de "quadras mais pra quadriláteras" via
> operações espaciais (ex. buffer) onde o PostGIS é eficaz.
> Usei para destacar em espaço urbano os locais onde precisávamos conferir
> se as calçadas eram bem traçadas, e os erros mais usuais seram
> nas quadras fora do "padrao quadradinho".
>
>
>
>
> On Thu, Aug 9, 2018 at 8:32 AM Paulo Carvalho <
> paulo.r.m.carva...@gmail.com> wrote:
>
>> O módulo scikit-learn do Python tem excelentes algoritmos de
>> clusterização que poderiam ser usados para esse tipo de análise em larga
>> escala.  Bastaria pegar o XML de um mapa (pode ser o do mundo), abrí-lo com
>> o pandas e fazer a visualização dos grupos com, por exemplo, um
>> dendrograma.  Objetos vandalizados tendem a formar grupos pequenos ou de um
>> só elemento, tal como dito no artigo, daí é fácil detectar tais
>> situações.   Mas a dificuldade é definir que métricas usar para obter tal
>> separação.  E é aí que entra a ciência de dados.
>>
>> Seria interessante que houvesse um servidor onde pudéssemos instalar a
>> base do OSM global (ou só do BR) e o Anaconda (pacote com Python +
>> bibliotecas de visualização, análise e computação científica) onde as
>> pessoas pudessem fazer suas análises através de Jupyter Notebooks.
>>
>> Para quem é programador, existe a biblioteca TensorFlow que também tem
>> algoritmos de clusterização para big data.
>>
>> Em 8 de agosto de 2018 20:46, Gerald Weber  escreveu:
>>
>>> Oi Pessoal
>>>
>>> artigo sobre deteção de vandalismo no OSM:
>>>
>>> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/
>>> LIPIcs-GISCIENCE-2018-61.pdf
>>>
>>> fico imaginando se a gente conseguiria implementar algo assim em grande
>>> escala
>>>
>>> abraço
>>>
>>> Gerald
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

2018-08-09 Por tôpico Peter Krauss 
Oi Paulo, boas dicas de clusterização, comunidade Python realmente criou
ferramentas poderosas ...
Quando ao OSM, bom lembrar que o XML é só um formato de troca de dados, as
representações geométricas do OSM usualmente são feitas em PostGIS.
Aqui vai um exemplo meio caduco, um dos poucos que clientes permitiram eu
doar para o mundo, 6 anos atrás..

   https://gist.github.com/ppKrauss/3810651

Faz justamente a detecção de "quadras mais pra quadriláteras" via operações
espaciais (ex. buffer) onde o PostGIS é eficaz.
Usei para destacar em espaço urbano os locais onde precisávamos conferir se
as calçadas eram bem traçadas, e os erros mais usuais seram
nas quadras fora do "padrao quadradinho".




On Thu, Aug 9, 2018 at 8:32 AM Paulo Carvalho 
wrote:

> O módulo scikit-learn do Python tem excelentes algoritmos de clusterização
> que poderiam ser usados para esse tipo de análise em larga escala.
> Bastaria pegar o XML de um mapa (pode ser o do mundo), abrí-lo com o pandas
> e fazer a visualização dos grupos com, por exemplo, um dendrograma.
> Objetos vandalizados tendem a formar grupos pequenos ou de um só elemento,
> tal como dito no artigo, daí é fácil detectar tais situações.   Mas a
> dificuldade é definir que métricas usar para obter tal separação.  E é aí
> que entra a ciência de dados.
>
> Seria interessante que houvesse um servidor onde pudéssemos instalar a
> base do OSM global (ou só do BR) e o Anaconda (pacote com Python +
> bibliotecas de visualização, análise e computação científica) onde as
> pessoas pudessem fazer suas análises através de Jupyter Notebooks.
>
> Para quem é programador, existe a biblioteca TensorFlow que também tem
> algoritmos de clusterização para big data.
>
> Em 8 de agosto de 2018 20:46, Gerald Weber  escreveu:
>
>> Oi Pessoal
>>
>> artigo sobre deteção de vandalismo no OSM:
>>
>>
>> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/LIPIcs-GISCIENCE-2018-61.pdf
>>
>> fico imaginando se a gente conseguiria implementar algo assim em grande
>> escala
>>
>> abraço
>>
>> Gerald
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

2018-08-09 Por tôpico Paulo Carvalho 
O módulo scikit-learn do Python tem excelentes algoritmos de clusterização
que poderiam ser usados para esse tipo de análise em larga escala.
Bastaria pegar o XML de um mapa (pode ser o do mundo), abrí-lo com o pandas
e fazer a visualização dos grupos com, por exemplo, um dendrograma.
Objetos vandalizados tendem a formar grupos pequenos ou de um só elemento,
tal como dito no artigo, daí é fácil detectar tais situações.   Mas a
dificuldade é definir que métricas usar para obter tal separação.  E é aí
que entra a ciência de dados.

Seria interessante que houvesse um servidor onde pudéssemos instalar a base
do OSM global (ou só do BR) e o Anaconda (pacote com Python + bibliotecas
de visualização, análise e computação científica) onde as pessoas pudessem
fazer suas análises através de Jupyter Notebooks.

Para quem é programador, existe a biblioteca TensorFlow que também tem
algoritmos de clusterização para big data.

Em 8 de agosto de 2018 20:46, Gerald Weber  escreveu:

> Oi Pessoal
>
> artigo sobre deteção de vandalismo no OSM:
>
> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/
> LIPIcs-GISCIENCE-2018-61.pdf
>
> fico imaginando se a gente conseguiria implementar algo assim em grande
> escala
>
> abraço
>
> Gerald
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] The social construction of technological stasis: The stagnating data structure in OpenStreetMap

2018-08-09 Por tôpico Peter Krauss 
Oi gente, concordo com o Gerard,
e vejo uma certa inércia (nossa resistência natural quando pensamos "mais
seguro continuar como está")
ou até resistência (alguns são mesmo radicais) no "core" do OSM... Que tem
seus motivos.
De leve o artigo faz uma certa critica ao excesso de centralização do poder
na infraestrutura e decisões técnicas do OSM.

Cabe a nós, comunidade OSM-Brasil, fazermos nosso "lobby" junto à
comunidade OSM-geral e a OSMF...
Como não existe *mecanismo de voto*, uma opção interessante de participar é
"votando" no https://HELP.openstreetmap.org nas questões pertinentes
(o escopo do fórum HELP é suporte técnico - mas por vezes aceitam tópicos
mais genéricos exemplo

)

- - -

O artigo fala das aplicações de utilidade publica que só se tornariam
realidade depois de mudanças de arquitetura/compromisso no OSM...

Pensando em aplicações mais imediatas e com solução simples (que não
requerem mudar a arquitetura do OSM),
acho que a mais importante e "bola da vez" é o Permanent_ID,
  https://wiki.openstreetmap.org/wiki/Permanent_ID
Tentando resumir: sem Permanent_ID não há como ter investimento de longo
prazo num simples link...
*não existe hoje* endereço (*URL*) para por exemplo *um simples mapa do
Brasil*.
Tudo se perde, ninguém na OSMF ou na infraestrutura-OSM dá garantia de
persistência, coisa que tem solução tecnológica já fazem uns 20 anos, como
o PURL .
Se publicamos um PDF com link para o OSM o link vai se perder, é
investimento perdido... Por isso o Permanent_ID é tão importante.

As prefeituras e a maior parte das iniciativas de utilidade pública demanda
isso. Geocodificação idem, aguarda Permanent_ID para ser algo mais sério.
Os meandros da solução do problema são um pouco mais discutidos em
https://wiki.openstreetmap.org/wiki/Persistent_Place_Identifier
Tem solução simples, passa pelo uso da Wikidata (P402)
 em regime recíproco da
tag-Wikidata *.*



On Wed, Aug 8, 2018 at 8:43 PM Gerald Weber  wrote:

> Oi Paulo
>
> na verdade a estagnação não é somente tecnológica, mas também social ;)
>
> Certamente, o modelo de "todo mundo pode mexer à vontade"  foi importante
> há uns 10 anos quando o mapa era um grande vazio e era necessário criar
> volume. Mas com a complexidade que temos hoje a lógica já precisava ser
> outra. Hoje é preciso criar confiabilidade, e é difícil fazer isto no
> modelo atual.
>
> abraço
>
> Gerald
>
> 2018-08-05 19:28 GMT-03:00 Paulo Carvalho :
>
>> Como diz o paper, mudar os mais de 50 softwares baseados na atual
>> estrutura é inviável.  Seria necessário a OSMF criar um OSM 2 e fazer o *code
>> freeze* do OSM atual.  Seria complicado, mas necessário, pois o modelo
>> Wiki (no qual o OSM atual se baseia) tem dois sérios defeitos, a saber:
>> 1) A revisão é a posteriori.  Deveria ser como em software livre: rever
>> antes, publicar depois.  Contribuições ruins podem ser detectadas muito
>> tempo depois, levando a um comprometimento sério de partes do mapa
>> expandidas a partir delas.
>> 2) Não tem um modelo de privilégios crescentes como no Stack Overflow e
>> Wikimapia, o que diminui o impacto de edições negligentes ou
>> mal-intencionadas.
>>
>> att,
>>
>> PC
>>
>>
>> Em 5 de agosto de 2018 11:30, Gerald Weber  escreveu:
>>
>>> Oi Pessoal
>>>
>>> artigo fazendo uma análise interessante sobre o OSM e o que o autor
>>> chama de estagnação tecnológica:
>>>
>>> http://journals.sagepub.com/doi/pdf/10.1177/2053951718790591
>>>
>>> abraço
>>>
>>> Gerald
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

2018-08-09 Por tôpico Peter Krauss 
Oi Gerald e Wille, tambem achei interessante o artigo, que passa a receita
e faz a prova de conceito. Bom achado.

Aí entre a prova de conceito e produto tem um longo caminho... mas tudo
indica que o OSMCha seria
justamente uma ótima "casca" para abrigar o algoritmo da detecção de
prédios (algo como um módulo opcional),
aproveitando que o resto já se encontra implementado.

O OSMCha é muito bom e foi apresentado em Milão... Tem reconhecimento
internacional e selo de "made in Brasil", by Wille!

Fica a pergunta pro Wille: se fosse incorporar esse módulo de detecção de
prédios,
no que nós (comunidade aqui) podemos ajudar? Testadores? Discussão de
pontos cabeludos do artigo? Discussão do custo/beneficio do módulo?



On Thu, Aug 9, 2018 at 6:10 AM Wille Marcel  wrote:

> Dei uma olhada rápida, parece interessante as fórmulas de detecção de
> prédios, mas vi que não mencionaram o OSMCha e que lá temos sim um registro
> de changesets com problemas e com possibilidade de filtrar os que foram
> classificados como uma má edição intencional.
>
> http://osmcha.mapbox.com/
> 
> On Ago 9 2018, at 1:46 am, Gerald Weber  wrote:
>
>
> Oi Pessoal
>
> artigo sobre deteção de vandalismo no OSM:
>
>
> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/LIPIcs-GISCIENCE-2018-61.pdf
> 
>
> fico imaginando se a gente conseguiria implementar algo assim em grande
> escala
>
> abraço
>
> Gerald
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
> [image: Open Tracking]___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

2018-08-09 Por tôpico Wille Marcel 
Dei uma olhada rápida, parece interessante as fórmulas de detecção de prédios, 
mas vi que não mencionaram o OSMCha e que lá temos sim um registro de 
changesets com problemas e com possibilidade de filtrar os que foram 
classificados como uma má edição intencional.

http://osmcha.mapbox.com/ 
(https://link.getmailspring.com/link/1533805329.local-d1363ee1-8bed-v1.3.0-fd741...@getmailspring.com/0?redirect=http%3A%2F%2Fosmcha.mapbox.com%2F=dGFsay1ickBvcGVuc3RyZWV0bWFwLm9yZw%3D%3D)
On Ago 9 2018, at 1:46 am, Gerald Weber  wrote:
>
> Oi Pessoal
>
> artigo sobre deteção de vandalismo no OSM:
> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/LIPIcs-GISCIENCE-2018-61.pdf
>  
> (https://link.getmailspring.com/link/1533805329.local-d1363ee1-8bed-v1.3.0-fd741...@getmailspring.com/1?redirect=http%3A%2F%2Fdrops.dagstuhl.de%2Fopus%2Fvolltexte%2F2018%2F9389%2Fpdf%2FLIPIcs-GISCIENCE-2018-61.pdf=dGFsay1ickBvcGVuc3RyZWV0bWFwLm9yZw%3D%3D)
> fico imaginando se a gente conseguiria implementar algo assim em grande escala
>
> abraço
>
> Gerald
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br