Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

[Paulo Carvalho]

Não sei se o Pandas pode ler diretamente de uma base PostgreSQL, mas nada
impede de exportar os dados para um formato que o Pandas reconheça e daí
para os algoritmos de machine learning.

Em 9 de agosto de 2018 10:08, Peter Krauss  escreveu:

> Oi Paulo, boas dicas de clusterização, comunidade Python realmente criou
> ferramentas poderosas ...
> Quando ao OSM, bom lembrar que o XML é só um formato de troca de dados, as
> representações geométricas do OSM usualmente são feitas em PostGIS.
> Aqui vai um exemplo meio caduco, um dos poucos que clientes permitiram eu
> doar para o mundo, 6 anos atrás..
>
>https://gist.github.com/ppKrauss/3810651
>
> Faz justamente a detecção de "quadras mais pra quadriláteras" via
> operações espaciais (ex. buffer) onde o PostGIS é eficaz.
> Usei para destacar em espaço urbano os locais onde precisávamos conferir
> se as calçadas eram bem traçadas, e os erros mais usuais seram
> nas quadras fora do "padrao quadradinho".
>
>
>
>
> On Thu, Aug 9, 2018 at 8:32 AM Paulo Carvalho <
> paulo.r.m.carva...@gmail.com> wrote:
>
>> O módulo scikit-learn do Python tem excelentes algoritmos de
>> clusterização que poderiam ser usados para esse tipo de análise em larga
>> escala.  Bastaria pegar o XML de um mapa (pode ser o do mundo), abrí-lo com
>> o pandas e fazer a visualização dos grupos com, por exemplo, um
>> dendrograma.  Objetos vandalizados tendem a formar grupos pequenos ou de um
>> só elemento, tal como dito no artigo, daí é fácil detectar tais
>> situações.   Mas a dificuldade é definir que métricas usar para obter tal
>> separação.  E é aí que entra a ciência de dados.
>>
>> Seria interessante que houvesse um servidor onde pudéssemos instalar a
>> base do OSM global (ou só do BR) e o Anaconda (pacote com Python +
>> bibliotecas de visualização, análise e computação científica) onde as
>> pessoas pudessem fazer suas análises através de Jupyter Notebooks.
>>
>> Para quem é programador, existe a biblioteca TensorFlow que também tem
>> algoritmos de clusterização para big data.
>>
>> Em 8 de agosto de 2018 20:46, Gerald Weber  escreveu:
>>
>>> Oi Pessoal
>>>
>>> artigo sobre deteção de vandalismo no OSM:
>>>
>>> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/
>>> LIPIcs-GISCIENCE-2018-61.pdf
>>>
>>> fico imaginando se a gente conseguiria implementar algo assim em grande
>>> escala
>>>
>>> abraço
>>>
>>> Gerald
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

[Peter Krauss]

Oi Paulo, boas dicas de clusterização, comunidade Python realmente criou
ferramentas poderosas ...
Quando ao OSM, bom lembrar que o XML é só um formato de troca de dados, as
representações geométricas do OSM usualmente são feitas em PostGIS.
Aqui vai um exemplo meio caduco, um dos poucos que clientes permitiram eu
doar para o mundo, 6 anos atrás..

   https://gist.github.com/ppKrauss/3810651

Faz justamente a detecção de "quadras mais pra quadriláteras" via operações
espaciais (ex. buffer) onde o PostGIS é eficaz.
Usei para destacar em espaço urbano os locais onde precisávamos conferir se
as calçadas eram bem traçadas, e os erros mais usuais seram
nas quadras fora do "padrao quadradinho".




On Thu, Aug 9, 2018 at 8:32 AM Paulo Carvalho 
wrote:

> O módulo scikit-learn do Python tem excelentes algoritmos de clusterização
> que poderiam ser usados para esse tipo de análise em larga escala.
> Bastaria pegar o XML de um mapa (pode ser o do mundo), abrí-lo com o pandas
> e fazer a visualização dos grupos com, por exemplo, um dendrograma.
> Objetos vandalizados tendem a formar grupos pequenos ou de um só elemento,
> tal como dito no artigo, daí é fácil detectar tais situações.   Mas a
> dificuldade é definir que métricas usar para obter tal separação.  E é aí
> que entra a ciência de dados.
>
> Seria interessante que houvesse um servidor onde pudéssemos instalar a
> base do OSM global (ou só do BR) e o Anaconda (pacote com Python +
> bibliotecas de visualização, análise e computação científica) onde as
> pessoas pudessem fazer suas análises através de Jupyter Notebooks.
>
> Para quem é programador, existe a biblioteca TensorFlow que também tem
> algoritmos de clusterização para big data.
>
> Em 8 de agosto de 2018 20:46, Gerald Weber  escreveu:
>
>> Oi Pessoal
>>
>> artigo sobre deteção de vandalismo no OSM:
>>
>>
>> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/LIPIcs-GISCIENCE-2018-61.pdf
>>
>> fico imaginando se a gente conseguiria implementar algo assim em grande
>> escala
>>
>> abraço
>>
>> Gerald
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

[Paulo Carvalho]

O módulo scikit-learn do Python tem excelentes algoritmos de clusterização
que poderiam ser usados para esse tipo de análise em larga escala.
Bastaria pegar o XML de um mapa (pode ser o do mundo), abrí-lo com o pandas
e fazer a visualização dos grupos com, por exemplo, um dendrograma.
Objetos vandalizados tendem a formar grupos pequenos ou de um só elemento,
tal como dito no artigo, daí é fácil detectar tais situações.   Mas a
dificuldade é definir que métricas usar para obter tal separação.  E é aí
que entra a ciência de dados.

Seria interessante que houvesse um servidor onde pudéssemos instalar a base
do OSM global (ou só do BR) e o Anaconda (pacote com Python + bibliotecas
de visualização, análise e computação científica) onde as pessoas pudessem
fazer suas análises através de Jupyter Notebooks.

Para quem é programador, existe a biblioteca TensorFlow que também tem
algoritmos de clusterização para big data.

Em 8 de agosto de 2018 20:46, Gerald Weber  escreveu:

> Oi Pessoal
>
> artigo sobre deteção de vandalismo no OSM:
>
> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/
> LIPIcs-GISCIENCE-2018-61.pdf
>
> fico imaginando se a gente conseguiria implementar algo assim em grande
> escala
>
> abraço
>
> Gerald
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

[Peter Krauss]

Oi Gerald e Wille, tambem achei interessante o artigo, que passa a receita
e faz a prova de conceito. Bom achado.

Aí entre a prova de conceito e produto tem um longo caminho... mas tudo
indica que o OSMCha seria
justamente uma ótima "casca" para abrigar o algoritmo da detecção de
prédios (algo como um módulo opcional),
aproveitando que o resto já se encontra implementado.

O OSMCha é muito bom e foi apresentado em Milão... Tem reconhecimento
internacional e selo de "made in Brasil", by Wille!

Fica a pergunta pro Wille: se fosse incorporar esse módulo de detecção de
prédios,
no que nós (comunidade aqui) podemos ajudar? Testadores? Discussão de
pontos cabeludos do artigo? Discussão do custo/beneficio do módulo?



On Thu, Aug 9, 2018 at 6:10 AM Wille Marcel  wrote:

> Dei uma olhada rápida, parece interessante as fórmulas de detecção de
> prédios, mas vi que não mencionaram o OSMCha e que lá temos sim um registro
> de changesets com problemas e com possibilidade de filtrar os que foram
> classificados como uma má edição intencional.
>
> http://osmcha.mapbox.com/
> 
> On Ago 9 2018, at 1:46 am, Gerald Weber  wrote:
>
>
> Oi Pessoal
>
> artigo sobre deteção de vandalismo no OSM:
>
>
> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/LIPIcs-GISCIENCE-2018-61.pdf
> 
>
> fico imaginando se a gente conseguiria implementar algo assim em grande
> escala
>
> abraço
>
> Gerald
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
> [image: Open Tracking]___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

[Wille Marcel]

Dei uma olhada rápida, parece interessante as fórmulas de detecção de prédios, 
mas vi que não mencionaram o OSMCha e que lá temos sim um registro de 
changesets com problemas e com possibilidade de filtrar os que foram 
classificados como uma má edição intencional.

http://osmcha.mapbox.com/ 
(https://link.getmailspring.com/link/1533805329.local-d1363ee1-8bed-v1.3.0-fd741...@getmailspring.com/0?redirect=http%3A%2F%2Fosmcha.mapbox.com%2F=dGFsay1ickBvcGVuc3RyZWV0bWFwLm9yZw%3D%3D)
On Ago 9 2018, at 1:46 am, Gerald Weber  wrote:
>
> Oi Pessoal
>
> artigo sobre deteção de vandalismo no OSM:
> http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/LIPIcs-GISCIENCE-2018-61.pdf
>  
> (https://link.getmailspring.com/link/1533805329.local-d1363ee1-8bed-v1.3.0-fd741...@getmailspring.com/1?redirect=http%3A%2F%2Fdrops.dagstuhl.de%2Fopus%2Fvolltexte%2F2018%2F9389%2Fpdf%2FLIPIcs-GISCIENCE-2018-61.pdf=dGFsay1ickBvcGVuc3RyZWV0bWFwLm9yZw%3D%3D)
> fico imaginando se a gente conseguiria implementar algo assim em grande escala
>
> abraço
>
> Gerald
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Towards Vandalism Detection in OpenStreetMap Through a Data Driven Approach

[Gerald Weber]

Oi Pessoal

artigo sobre deteção de vandalismo no OSM:

http://drops.dagstuhl.de/opus/volltexte/2018/9389/pdf/LIPIcs-GISCIENCE-2018-61.pdf

fico imaginando se a gente conseguiria implementar algo assim em grande
escala

abraço

Gerald
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br