Hola de nou,
Tal com em va suggerir Lanxana, he enviat correu a la llista espanyola. Copio
el missatge aquí:
Buenas,
He realizado un pequeño script para importar los árboles de Barcelona del
portal de datos abiertos del Ayuntamiento y escribo por lo siguiente: 1) Para
compartir el proceso de importación con la comunidad y revisarlo; 2) Preguntar
sobre los siguientes pasos a seguir y 3) Para compartir el script (tiene unas
particularidades que luego comento y que creo que pueden ser útiles), por si a)
alguien quiere mejorarlo o contribuir por un lado y por si b) hay alguien que
quiera usarlo para otras importaciones, por otro.
Podéis encontrar el script y la documentación del proceso de importación aquí:
https://osmimports.mapcolabora.org/import_bcn_trees/ (versión online) o
https://github.com/mapcolabora/osm_imports_preparations/blob/master/imports/bcn_trees/bcn_trees.ipynb
y el geojson resultante en
https://github.com/mapcolabora/osm_imports_preparations/blob/master/imports/bcn_trees/data/processed/bcn_trees.geojson
1. Proceso de importación
Como veréis, tenemos autorización del Ayuntamiento para las importaciones. He
documentado las equivalencias y creo que no habrá ningún problema, dado que se
trata de un dataset con unos campos muy sencillos. Aún así, quizá alguien vea
algo que a mi se me haya escapado.
2. Siguientes pasos
Entiendo que, una vez informada la comunidad, lo siguiente es esperar por si
hubiera alegaciones o comentarios sobre la propia importación. En caso de
transcurrir un periodo razonable de días sin notificaciones, entiendo que por
silencio administrativo se daría por buena y podría proceder. Ahí es donde
tengo dudas.
Mi intención sería usar el geojson que genera el script y crear un proyecto en
el gestor de tareas. Es aquí donde no sé cómo proceder. ¿Podríais indicarme
cómo hacerlo? Entiendo también que la delimitación de las zonas la hace el
gestor de tareas (retícula), y no es necesario ningún archivo más, aunque he
visto que los de importación de catastro (mucho más complejos) tienen unas
zonas delimitadas que no son reticulares.
3. Sobre el script
Vaya por delante: es el primer script que hago en mi vida en python (bueno, en
realidad, si veis el historial del repo, es el primer script pero tiene muchas
revisiones que lo han ido mejorando), así que es muy mejorable. Es por ello que
si alguien se anima a hacerlo, será más que bienvenido. Veréis que sigue las
directrices de contribute all, y ya han participado algunas personas ayudándome.
Mi idea es hacer un repositorio que sea genérico y extensible para que
cualquiera pueda usarlo para crear importaciones de cualquier tipo (obviamente,
entendiendo que se tenga autorización y sin saltarse los procedimientos
establecidos).
En mi opinión, este repo tiene una serie de ventajas que lo pueden hacer
interesante:
- Como veréis, se trata de un jupyter notebook, con lo cual la documentación y
el script están en el mismo lugar y es muy fácil de supervisar, comprobar
resultados y proceso al estar centralizado y tener visualización de datos de
salida.
- El parser se hace únicamente a partir de un archivo CSV sencillo. Una función
custom lee ese archivo y se encarga de hacer el parseado, con lo cual casi
cualquier persona puede editarlo fácilmente para adaptarlo a sus importaciones.
(mi idea sería ir extendiendo las funcionalidades a medida que se vaya usando y
vaya detectando necesidades).
- El repositorio está documentado, incluye las dependencias para crear un
entorno virtual y, por tanto, es reproducible en cualquier equipo.
- Como mi nivel de conocimientos de python no es alto, creo que el script es
sencillo, lo cual puede hacer que cualquiera lo pueda adaptar (me falta
documentar esa parte todavía).
Eso es todo por el momento.
Saludos,
Carlos Cámara
http://carloscamara.es
‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐
On Sunday 16 February de 2020 a les 11:44, Carlos Cámara via Talk-cat
<[email protected]> wrote:
> Hola a tothom,
>
> Pensava que el meu missatge havia passat inadvertit però veig que va ser el
> contrari i no vaig veure les vostres respostes.
>
> Efectivament, la meva idea és la que comenta la Lanxana: fer tot el procés
> sencer: la documentació, la conversió de dades i la creació de tasques al
> gestor. Les dues primeres parts estan fetes per al cas dels arbres i crec que
> poden servir de base per a altres importacions d'altres tipus. El que no tinc
> clar encara (perquè no he pogut posar-m'hi) és com es generen els contorns de
> les tasques que caldrà importar al gestor de tasques (potser algú em pot
> orientar una mica?). Idealment, m'agradaria ser capaç de generar els contorns
> també des de l'script.
>
> Entenc que aquest és el pas que falta en el cas dels arbres i que quan
> estigui fet, faré com suggereixes, Lanxana, i informaré a les llistes
> oportunes.
>
> Respecte els plans de futur del projecte estarien el de millorar la
> documentació per tal que tothom sàpiga com pot col·laborar en en el projecte,
> desde fer contribucions per a importacions concretes, revisar (i fins i tot
> millorar) les existents, o documentar.
>
> Salut,
> Carlos Cámara
> http://carloscamara.es
>
> ‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐
> On Monday 6 January de 2020 a les 13:11, Lanxana . <[email protected]> wrote:
>
>> Bon dia,
>>
>> intento respondre als dos... per una banda, hi ha un procediment establert
>> per a la importació de dades. Què s'entén per importació és bastant
>> flexible, però el criteri que segueixo en aquests casos és considerar
>> importació tant una acció automàtica (poc recomanable actualment, per la
>> quantitat ja present de dades a OSM), com si les dades provenen d'una font
>> oficial per a la que tenim permís de reutilització. Objectiu: que qualsevol
>> mapejador futur pugui saber d'on i com s'ha obtingut aquesta informació, i
>> pugui actualitzar-la si ho creu convenient, a partir de les mateixes fonts
>> originals utilitzades.
>>
>> El procediment [1] estableix genèricament aquestes passes:
>> 1 - Llicència
>> 2 - Consens de la comunitat local
>> 3 - Documentació: wiki per projecte, i incorporació a les taules
>> d'importacions corresponents (local [2], si n'hi ha, i import general [3])
>> 4 - Revisió (llista imports)
>>
>> El cas que comentes, Carlos, seria el d'una importació "estandard", i pel
>> que he pogut veure per sobre, contempla tant la documentació del projecte
>> com la creació dels scripts de conversió d'atributs necessaris, això serà
>> molt útil per estructurar les importacions que hi ha pendents. La
>> documentació generada s'hauria de publicar per tal que des d'imports puguin
>> revisar-la. Per a la creació del projecte al gestor de tasques, ara per ara
>> he vist que hi ha un script [4] que sembla que permet dividir un fitxer osm
>> en varis fitxers, un per tasca i que aquestes tasques venen donades per un
>> fitxer json. Amb QGIS es pot generar una malla que cobreixi la ciutat, amb
>> les mides i forma que vulguem (quadrat, rectangular, hexagonal). He estat
>> fent proves amb un altre dataset i ciutat, i em falta posar a prova l'script
>> per veure si el podem aprofitar. Pel que tinc entès, amb el fitxer json i
>> els fitxers osm dividits es podria crear el projecte al gestor (diria que
>> els fitxers han d'estar en algun repositori, tipus github).
>>
>> En tot cas, si tot està ja lligat, crec que les passes a seguir ara serien:
>> - publicar la documentació del projecte
>> - informar a la llista espanyola, amb enllaç a la documentació, i incorporar
>> la proposta a la taula 2
>> - informar a la llista d'imports, amb enllaç a documentació i fil de la
>> llista espanyola, incorporació de la proposta a la taula 3
>> - després d'un temps prudencial (uns 10 dies), si no hi ha oposició, generar
>> el projecte al gestor de tasques. No sé si es pot generar el projecte i
>> deixar-lo ocult, per avançar feina...
>> - prendre nota dels entrebancs que hagin pogut aparèixer i a per la següent!
>>
>> I en els casos que comentes, Joan, tinc els meus dubtes... per una banda, la
>> wikipedia no es pot considerar una font de dades oficial i no sé fins a quin
>> punt està autoritzat el seu ús, ja que hi ha incompatibilitat de llicències
>> entre wikidata i OSM, tant per tema funcional com per origen de les dades
>> [5], i entenc que passa el mateix amb les dades de wikipedia. En aquest
>> sentit, no ho consideraria importació, però al ser una acció conjunta i
>> sistematitzada sí que ho hauria de ser, i no està registrada com a tal ni
>> s'ha informat i consultat a la es comunitats. Com a part positiva, crec que
>> en aquest cas agafen les dades directament de la Generalitat, i tot i que en
>> aparença aquesta no té el dataset publicat, no crec que fos gaire difícil
>> obtenir-lo i demanar el permís (o senzillament demanar que el publiquin al
>> portal de dades obertes)
>> Per exemple, comprovant un dels arbres aleatòriament, la informació que
>> apareix com a "note" jo l'hauria posat com a heritage=2 o 4 (protecció a
>> nivell d'Espanya o de Catalunya) + ref=MA-xxx (o AM-xxx segons Generalitat
>> [6]), pel tema de ser arbre protegit i catalogat, i etiqueta wikipedia:ca=*
>> per posar l'enllaç a la viquipèdia, fins i tot afegir un url=* a la fitxa en
>> concret... tot i que aquí no me la jugaria gaire, que no serà el primer ni
>> últim cop que la Generalitat canvia de lloc el registre, o
>> inscription_date=* per indicar des de quan està catalogat, a l'estil de la
>> proposta que hi havia per als BIC. També he vist que hi ha un changeset per
>> arbre i no sé si hauria estat millor agrupar-los per zones, i incorporar a
>> la informació del changeset d'on han sortit les dades. En tot cas, suposo
>> que cadascú tindrà la seva opinió al respecte, per això és bo el consultar
>> abans a la comunitat.
>>
>> Salutacions!
>>
>> [1] https://wiki.openstreetmap.org/wiki/ES:Importaci%C3%B3n/Directrices
>> [2] https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/Importaciones
>> [3] https://wiki.openstreetmap.org/wiki/Import/Catalogue
>> [4] https://github.com/kresp0/osmboxes
>> [5] https://wiki.openstreetmap.org/wiki/Wikidata#Importing_data
>> [6]
>> http://parcsnaturals.gencat.cat/ca/coneixeu-nos/arbres-monumentals/am_arbres_singulars/index.html
>>
>> El sáb., 4 ene. 2020 a las 17:26, Joan Quintana (<[email protected]>)
>> escribió:
>>
>>> Hola Carlos,
>>> aquesta tardor passada vaig estar fent algunes importacions que considerava
>>> fàcils, en el marc de familiaritzar-me amb la llibreria de Osmapi amb
>>> Python.
>>> Vaig començar pels arbres monumentals de Catalunya, després els arbres
>>> singulars de Barcelona, i també vaig fer els arbres monumentals de Mallorca.
>>>
>>> *https://wiki.openstreetmap.org/wiki/Ca:Importaci%C3%B3_Ajuntament_de_Barcelona
>>> *http://wiki.joanillo.org/index.php/Arbres_Monumentals_de_Catalunya_(programaci%C3%B3_OSM)
>>>
>>> Aprofitant, també vaig fer unes altres importacions de Opendata Barcelona,
>>> amb la idea de continuar, però vaig haver d'aturar-me per atendre altres
>>> prioritats.
>>>
>>> He fet servir la importació dels arbres singulars de Barcelona per fer una
>>> proposta didàctica que crec interessant, si algú ho vol donar un cop d'ull:
>>> "Traveling Salesman problem i arbres singulars de Barcelona":
>>>
>>> *http://wiki.joanillo.org/index.php/Traveling_Salesman_problem_i_arbres_singulars_de_Barcelona
>>>
>>> Ho tinc tot ben documentat, però ara veig que encara no tinc penjat al
>>> GitHub el codi que he desenvolupat, miraré de fer-ho aquest vespre mateix.
>>> Mentrestant, també miraré el teu codi Python.
>>>
>>> Att,
>>> Joan Quintana
>>>
>>> Missatge de Carlos Cámara via Talk-cat <[email protected]> del dia
>>> dc., 1 de gen. 2020 a les 12:50:
>>>
>>>> Bon dia i bon any,
>>>>
>>>> Estic començant a aprendre python i per a fer-ho, he pensat que, enlloc de
>>>> fer exercicis random, volia provar amb preparar importacions per a OSM. He
>>>> començat amb una cosa petita (però escalable), fent un script d'importació
>>>> d'arbres de BCN (em sembla que hi havia algú interessat per aquí fa
>>>> temps), i he publicat un repo aquí:
>>>> https://github.com/mapcolabora/osm_imports_preparations/.
>>>>
>>>> Ara mateix l'script és funcional i el que fa és el següent:
>>>>
>>>> - descarregar les darreres dades del portal d'OpenData de l'Ajuntament de
>>>> Barcelona
>>>> - mapejar els atributs originals a etiquetes d'OSM segons el que descric
>>>> aquí:
>>>> [https://osmimports.mapcolabora.org/bcn_trees](https://osmimports.mapcolabora.org/bcn_trees/)
>>>> (en general, veureu que està tot documentat, tant les funcions com el
>>>> procediment, que podeu consultar a la carpeta docs o a
>>>> https://osmimports.mapcolabora.org/)
>>>> - combinar els dos datasets (n'hi ha un per a arbres en vies i un altre
>>>> per a arbres en zones) i desar-los com a un sol fitxer csv, que seria el
>>>> que fariem servir per a la importació.
>>>>
>>>> Ara bé, no tinc molt clar com seguir a partir d'aquí. Entenc que cal
>>>> avisar la llista (per això escric i us animo a que reviseu el parsing de
>>>> camps) i entenc també que caldria configurar un projecte al gestor de
>>>> tasques. Aquí ja em perdo més, perquè no tinc clar com es determinen les
>>>> zones. No sé si em descuido alguna cosa més.
>>>>
>>>> Per altra banda, veient el dataset original, he vist que hi ha informació
>>>> dels escocells, i crec que podria ser una informació interessant a tenir
>>>> de cara a accessibilitat, però no he vist cap etiqueta al respecte (he
>>>> buscat com tree pit i res). Si ningú coneix cap etiquetatge per a això,
>>>> enviaré una consulta a les llistes d'accessibilitat i de tagging.
>>>>
>>>> Salut,
>>>>
>>>> Carlos Cámara
>>>> http://carloscamara.es
>>>>
>>>> _______________________________________________
>>>> Talk-cat mailing list
>>>> [email protected]
>>>> https://lists.openstreetmap.org/listinfo/talk-cat
>>>
>>> _______________________________________________
>>> Talk-cat mailing list
>>> [email protected]
>>> https://lists.openstreetmap.org/listinfo/talk-cat
_______________________________________________
Talk-cat mailing list
[email protected]
https://lists.openstreetmap.org/listinfo/talk-cat
