Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola,

 ok, he fet les modificacions, no es molt complicat. Aqui estan els arxius
i el nou OSM:
https://drive.google.com/open?id=1etBzdv3Dni3Dv_Vcfd_6huvuB9yme5hm
He posat les traduccions de paraules i frases totes al fitxer de
configuracio de forma que es poden afegir o modificar segons sigui
necessari.

# Terms and abreviations to be translated
translations:
operator:type:
Públic: public
Privat: private
operator:
Alt. Ens Públ.: Altres ens Públics
Alt. est. no UE: Atres estats no Unió Europea
Alt. estats UE: Atres estats Unió Europea
Alt. Titularit.: Atres titularitats
Altres Depart.: Altres Departaments
Associacions: Associacions
Cooperatives: Cooperatives
Corp. Locals: Corporacions locals
Dep.Ensenyament: Departament d'Ensenyament
Església Catòl.: Església Catòlica
Fundacions: Fundacions
Jurídica Estra.: Jurídica estrangera
Ordes i Cong.: Ordes i Congregacions
Person.Fís. Es.: Persones Físiques
Persones Físiq.: Persones Físiques
Soc. Civils: Societats civils
Soc. Mercantils: Societats mercantils

word_replacements:
addr:street:
C.: Carrer
Av.: Avinguda
Ctra.: Carretera
Pl.: Plaça
pça.: Plaça
Pça.: Plaça
Pg.: Passeig
Pss: Passeig
Rbla.: Rambla
Rda.: Ronda
Trav.: Travessera
Ptge.: Passatge
pge.: Passatge
urb.: Urbanització
Urb.: Urbanització
Prol.: Prolongació
name:
Esc.: Escola
Cons.: Consevatori
Cent.: "Centre "
Prof: "Professional "
Mús.: Música
C.Educ.: "Centre d'Educació "
Sup.: "Superior "
Inst.: Institut
inf.: infants

Respecte als centres propers el que podria fer es agruparlos en paquests de
p.ex 100 centres (clustering) , per proximitat basat en les coordenades.  I
fer un arxiu OSM per cada grup.
A partir d'aixo tambe es podria treure el poligon quadrat (bbox) que conte
cada grup (max lat, max lon, min lat, min lon). Pero no serien quadrats
alineats ni res, molts es solaparien per algun canto a llocs com barcelona,
etc. No se si serviria.
O potser amb els osm de cada grup es suficient per repartir la feina, per
que de fet l'altre script de madrid fa el contrari, a partir dels quadrats
calcula aquests osm petits.

On Sat, Dec 7, 2019 at 1:25 PM Lanxana .  wrote:

> Bon dia!
>
> En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
> preparar l'script.
>
> Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el fitxer
> *.osm a JOSM dona un error en unes coordenades, que al fitxer origen estan
> malament. És una correcció manual que ja documentaré a la wiki i ho
> comunicaré també al Departament d'Ensenyament perquè ho corregeixin a la
> seva base. És l'Institut de Navarcles, codi 08059524, on la longitud s'ha
> de canviar a 1.91130 (aprox., al dataset agafa el mateix valor que la UTM
> Y, fins i tot a la columna amb la nova georeferència)
>
> Respecte a generar el fitxer GEOJSON, el propi JOSM deixa exportar en
> aquest format, i des de QGIS puc fer els polígons per al gestor de tasques
> (al menys aquesta és la teoria). Estic investigant com aconseguir polígons
> que tinguin una quantitat similar de centres propers entre ells, sinó ho
> faria de manera manual i aproximada.
>
> Respecte al script, volia saber si es poden incloure uns petits canvis, si
> no es pogués ho documentaria per a que es faci la revisió manual abans de
> validar cada centre:
>
> - el tag url no cal que aparegui en cada centre, el reservaríem per al
> changeset. En canvi, els de source i source:date està bé que hi siguin
> perquè és informació directa que un pot necessitar quan consulti aquell
> centre en concret.
>
> - el tag operator:type agafa el valor de la taula, que està en català, i
> hauria de quedar en anglès:
>
> Nom naturalesa operator:type
> Públic public
> Privat private
>
> - el tag operator també agafar el valor de la taula, que conté
> abreviatures i s'haurien de substituir pels noms complets:
>
> Nom titularitat operator
> Alt. Ens Públ. Altres ens Públics
> Alt. est. no UE Atres estats no Unió Europea
> Alt. estats UE Atres estats Unió Europea
> Alt. Titularit. Atres titularitats
> Altres Depart. Altres Departaments
> Associacions Associacions
> Cooperatives Cooperatives
> Corp. Locals Corporacions locals
> Dep.Ensenyament Departament d'Ensenyament
> Església Catòl. Església Catòlica
> Fundacions Fundacions
> Jurídica Estra. Jurídica estrangera
> Ordes i Cong. Ordes i Congregacions
> Person.Fís. Es. Persones Físiques
> Persones Físiq. Persones Físiques
> Soc. Civils Societats civils
> Soc. Mercantils Societats mercantils
>
> - passa el mateix amb el tag name, en aquest cas hi ha moltíssimes
> variables i no sé fins a quin punt es poden automatitzar els canvis (si es
> pogués a partir d'una taula, la tinc creada i te la podria passar)
>
> - igual amb el tag addr:street, però com que les adreces s'hauran de
> revisar manualment sí o sí, es optatiu fer el canvi de C. per Carrer, Av.
> per Avinguda, etc. amb l'script
>
> Un cop més, moltes gràcies per la feina feta!
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

M'he estat mirant l'script dels de Madrid i crec que m'estava liant,
soc novatillo en tot aixo.  El segon script el que fa es dividir
l'arxiu OSM en trosos petits basat en els arxius geojson de cada area
de quadricula, segons entenc.  De forma que despres cada persona que
s'agafi un quadradet del gestor de tasques per completar tindra tambe
l'arxiu OSM d'aquesta area.

Un altre tema es crear un arxiu geojson de tot catalunya per
carregarlo al gesto de tasques, que no se com va.  Si aquest geojson
pot ser aproximat es pot fer facilment per exemple a aquesta web:
http://geojson.io/#map=8/41.741/1.428
I despres com repartir els centres en tasques al gestor tampoc se com
va. Molts estaran concentrats a barcelona i comarques del voltant,
etc.


On 11/30/19, yo paseopor  wrote:
> I això ens donaria un geojson exterior que ens servís després per
> carregar-lo al gestor de tasques (amb les zones per delimitar i tals?). És
> el pas que ens faltaria per incloure'l al gestor de tasques, al marge d'un
> arxiu OSM, que sempre va bé per editar des de JOSM.
>
> Salut i centres educatius
> yopaseopor
>
> On Fri, Nov 29, 2019 at 2:45 PM Victor  wrote:
>
>> He afegit que acumuli al tag *isced:level* els diferents codis quan hi ha
>> mes d'un cicle al centre. P.ex:  
>>
>> On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:
>>
>>> Hola de nou,
>>>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script
>>> de conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el
>>> mes
>>> generic posible he separat a un fitxer apart el mapeig els noms de les
>>> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
>>> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
>>> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou auto-explicatiu.
>>> L'script en python que fa la conversio es: *convert_cvs2osm.py*
>>> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>>>
>>> Alguns comentaris i dubtes:
>>>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades
>>> i entenc que aquestes son les que tenen les dades mes actualitzades.
>>>  - Les adreces les he dividit en street i housenumber separant per la
>>> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
>>> coses al final com 'barri bla, bla'
>>>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle
>>> mes
>>> pasen a ser school.
>>>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
>>> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi
>>> ha
>>> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
>>> Correcte?
>>>  - Pels 'Special Education Centers' he afegit description=Centre
>>> d'educació especial.
>>>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
>>> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
>>> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on
>>> nomes
>>> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
>>> seria el cas, no cal utilitzar-ho jo crec.
>>> - Cada node te un ID, que he vist que per importacions sol ser un numero
>>> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
>>> haver colisions amb altres...
>>>
>>> L'script no pot ser completament generic per que hi ha coses molt
>>> especifiques de les escoles, com el tema de min_age i max_age, pero crec
>>> que adaptar-ho per altres conversions no seria gaire dificil.
>>> No se si em deixo alguna cosa.
>>> parlem!
>>> victor
>>>
>>>
>>> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>>>
>>>> Crec que precisament per això a Madrid van fer dos scripts per tenir un
>>>> primer, genèric, que transforma els fitxers xml a osm, i un altre per
>>>> convertir el fitxer osm en les tasques que es carreguen al gestor ( que
>>>> és
>>>> el que podem aprofitar). No sé si és possible tenir un script que sigui
>>>> capaç de processar tots els tipus de dataset que tenim de la
>>>> Generalitat.
>>>> Hi haurà coses comunes com podria ser el tema adreça (que s'ha de
>>>> processar
>>>> i separar en parts), però altres molt específiques (com els
>>>> isced_level,
>>>> min_age, max_age, etc. en aquest cas).
&g

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola, generar tambe les tasques en geojson (o json) es bastant facil, nomes
necesitaria veure la definio d'aquests arxius, o algun exemple, per veure
l'estructura concreta.
Crec que haviem dit que ja hi ha un segon script generic que feia la
conversio de OSM a JSON,  pero com que generar-ho directament crec que sera
molt senzill ho podria afegir.  O crear un 2on script en python que ho fes,
potser serien 4 linies i serviria per altres futures tasques.
victor

On Sat, Nov 30, 2019 at 1:22 PM yo paseopor  wrote:

> I això ens donaria un geojson exterior que ens servís després per
> carregar-lo al gestor de tasques (amb les zones per delimitar i tals?). És
> el pas que ens faltaria per incloure'l al gestor de tasques, al marge d'un
> arxiu OSM, que sempre va bé per editar des de JOSM.
>
> Salut i centres educatius
> yopaseopor
>
> On Fri, Nov 29, 2019 at 2:45 PM Victor  wrote:
>
>> He afegit que acumuli al tag *isced:level* els diferents codis quan hi
>> ha mes d'un cicle al centre. P.ex:  
>>
>> On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:
>>
>>> Hola de nou,
>>>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script
>>> de conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el mes
>>> generic posible he separat a un fitxer apart el mapeig els noms de les
>>> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
>>> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
>>> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou
>>> auto-explicatiu.
>>> L'script en python que fa la conversio es: *convert_cvs2osm.py*
>>> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>>>
>>> Alguns comentaris i dubtes:
>>>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades
>>> i entenc que aquestes son les que tenen les dades mes actualitzades.
>>>  - Les adreces les he dividit en street i housenumber separant per la
>>> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
>>> coses al final com 'barri bla, bla'
>>>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle
>>> mes pasen a ser school.
>>>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
>>> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi ha
>>> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
>>> Correcte?
>>>  - Pels 'Special Education Centers' he afegit description=Centre
>>> d'educació especial.
>>>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
>>> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
>>> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on nomes
>>> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
>>> seria el cas, no cal utilitzar-ho jo crec.
>>> - Cada node te un ID, que he vist que per importacions sol ser un numero
>>> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
>>> haver colisions amb altres...
>>>
>>> L'script no pot ser completament generic per que hi ha coses molt
>>> especifiques de les escoles, com el tema de min_age i max_age, pero crec
>>> que adaptar-ho per altres conversions no seria gaire dificil.
>>> No se si em deixo alguna cosa.
>>> parlem!
>>> victor
>>>
>>>
>>> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>>>
>>>> Crec que precisament per això a Madrid van fer dos scripts per tenir un
>>>> primer, genèric, que transforma els fitxers xml a osm, i un altre per
>>>> convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
>>>> el que podem aprofitar). No sé si és possible tenir un script que sigui
>>>> capaç de processar tots els tipus de dataset que tenim de la Generalitat.
>>>> Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
>>>> i separar en parts), però altres molt específiques (com els isced_level,
>>>> min_age, max_age, etc. en aquest cas).
>>>>
>>>> Encara no aconsegueixo posar-me amb el gestor per veure què necessita
>>>> ni com es fa. La meva idea era seguir el procés que van fer ells, o mirar
>>>> com es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
>>>> geojson amb els límits de les tasques i tampoc he aconseguit encara
>>>> gene

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

He afegit que acumuli al tag *isced:level* els diferents codis quan hi ha
mes d'un cicle al centre. P.ex:  

On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:

> Hola de nou,
>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script de
> conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el mes
> generic posible he separat a un fitxer apart el mapeig els noms de les
> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou auto-explicatiu.
> L'script en python que fa la conversio es: *convert_cvs2osm.py*
> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>
> Alguns comentaris i dubtes:
>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades i
> entenc que aquestes son les que tenen les dades mes actualitzades.
>  - Les adreces les he dividit en street i housenumber separant per la
> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
> coses al final com 'barri bla, bla'
>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle mes
> pasen a ser school.
>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi ha
> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
> Correcte?
>  - Pels 'Special Education Centers' he afegit description=Centre
> d'educació especial.
>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on nomes
> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
> seria el cas, no cal utilitzar-ho jo crec.
> - Cada node te un ID, que he vist que per importacions sol ser un numero
> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
> haver colisions amb altres...
>
> L'script no pot ser completament generic per que hi ha coses molt
> especifiques de les escoles, com el tema de min_age i max_age, pero crec
> que adaptar-ho per altres conversions no seria gaire dificil.
> No se si em deixo alguna cosa.
> parlem!
> victor
>
>
> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>
>> Crec que precisament per això a Madrid van fer dos scripts per tenir un
>> primer, genèric, que transforma els fitxers xml a osm, i un altre per
>> convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
>> el que podem aprofitar). No sé si és possible tenir un script que sigui
>> capaç de processar tots els tipus de dataset que tenim de la Generalitat.
>> Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
>> i separar en parts), però altres molt específiques (com els isced_level,
>> min_age, max_age, etc. en aquest cas).
>>
>> Encara no aconsegueixo posar-me amb el gestor per veure què necessita ni
>> com es fa. La meva idea era seguir el procés que van fer ells, o mirar com
>> es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
>> geojson amb els límits de les tasques i tampoc he aconseguit encara
>> generar-lo. A les males estic pensant que podem ordenar per codi postal,
>> dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
>> una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
>> tinguis un centre a la Vall d'Aran i un altre a Deltebre...
>>
>> Si algú sap i pot generar el geojson i/o investigar com funciona el
>> gestor de tasques, endavant! Jo no sé quan podré ni si ho podré fer.
>>
>> Salut!
>>
>>
>> <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
>>  Libre
>> de virus. www.avast.com
>> <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
>> <#m_1286287474594208639_m_1020502445569712513_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>>
>> El sáb., 12 oct. 2019 a las 4:48, Ismael Luceno ()
>> escribió:
>>
>>> On 22/Sep/2019 14:00, Lanxana . wrote:
>>> > Com a guia m'he estat mirant la importació de les oficines de correus
>>> > de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
>>> > per convertir l'etiquetat i l'altre per generar les tasques per al
>>> > gestor.
>>>
>>> Seria interessant unir les dues parts i a

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Ok, llavors entenc s'hauria de fer un script que converteixi el CSV de la
generalitat a format OSM amb els camps adaptats segons la teva descripcio.
I despres aquest OSM es convertiria en les tasques per carregar pels
voluntaris. Correcte?
El 1er script no crec que sigui gaire problema, ho podria fer en python.
M'aniria be el format concret del OSM, un d'exemple, pero que ho puc
trobar. El script de Madrid es shell-script, mes criptic de seguir.
El que no se quan podre, d'aqui a un parell de setmanes potser.
victor

On Sun, Sep 22, 2019 at 2:01 PM Lanxana .  wrote:

> Bon dia,
>
> tornem a la càrrega, després de fer les consultes pertinents i donar-hi un
> parell més de voltes, he actualitzat la wiki [1] amb les etiquetes a
> utilitzar i he preparat un document [2] on es detalla quina etiqueta es
> converteix en quina o quines, i he afegit com a mostra els centres de
> Figueres, tal com apareixen al fitxer de la Generalitat com tal com han de
> quedar en el fitxer osm. Hi ha dos camps (coordenades GEO X i Y) que s'han
> de conservar tal qual per a que OSM ubiqui bé els punts (hi ha algun centre
> que les coordenades UTM envia enmig del mar, però les GEO estan bé)
>
> Com a guia m'he estat mirant la importació de les oficines de correus de
> Madrid [3]. Fan servir dos scripts (tots dos estan a github): un per
> convertir l'etiquetat i l'altre per generar les tasques per al gestor. Crec
> que podríem aprofitar el segon, però caldria adaptar o programar un que
> faci el mateix que el primer però amb la estructura del xml de la
> Generalitat (m'ha semblat que és diferent) i amb les nostres etiquetes. Com
> que no sóc programadora i els darrers intents per aprendre han sigut
> nefastos, ho deixo per als experts. Víctor, podries ocupar-te'n? Si tens
> qualsevol dubte, em pots contactar per correu o al telegram.
>
> Per a les formes de contacte, a tagging s'està debatent si fer servir
> 'contact:phone=*' o 'phone=*', en aquest cas he proposat fer servir la
> fórmula 'contact:phone/fax/email...' per unificar criteris, però sempre es
> podria canviar si calgués.
>
> Gràcies!
>
> [1] https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
> [2]
> https://drive.google.com/file/d/1098kcGQlB43PXZrL33sq5dgHTSFtRnrT/view?usp=sharing
> [3] https://wiki.openstreetmap.org/wiki/Madrid_Post_Offices_Import
>
>>
>
> <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
>  Libre
> de virus. www.avast.com
> <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
> <#m_3782024657879981576_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Bona feina. Un cop decidit puc ajustar els camps al llistat de tots el
centres amb els tags i valors com s'han de posar. Tambe puc afegir una
columna amb link link directe a l'item del OSM, els que sabem quins
son, de forma que nomes calgui fer click per anar directe al centre.

Tambe se m'acut un sistema per agilitzar el tema d'entrar les dades,
pero no estic segur de si seria bona idea.  Entenc que es dividiran
els centres en paquets que voluntaris aniran agafant per completar.
Per anar mes rapid es podria completar a ma nomes el nom i el codi del
centre.  Despres amb un script i buscant per codi es podrien completar
la resta de tags de forma automatica, tants cops com calgui a mesura
que es vagin afegint centres.  Despres, el mateix script es podria fer
servir per l'actualitzacio el dia que la generalitat tregui una nova
versio de les dades. He estat mirant l'API i crec que no seria molt
dificil. Potser ja hi ha alguna cosa feta, es documenten aquests
scripts a algun lloc?
L'script podria comprovar que a mes del codi tambe coincideixi el nom
del centre per mes seguretat, per si algun codi es traspapela per
error al entrar-ho. He vist tambe que hi ha uns servidors de test per
fer proves.
No se si podria ser problematic aquest sistema, en principi nomes
afectaria a items amb el codi posat per nosaltres manualment, no seria
com una importacio masiva cega.

S'hauria de decidir que fer amb els tags que ja hi ha, es poden
respectar, sobreescriure els que coincideixen, deixar els altres que
no estan a la nostra llista o eliminar-los, etc. Una funcio de
l'script seria nomes buscar les diferencies i treure un llistat; tags
que sobren, que falten, que tenen un valor diferent, noms que no
coincideix amb el codi, etc abans de matxacar res.

El tema que comentava de tants tags es tambe per que he vist que hi ha
mes de 50 diferents que ha anat fincant la gent, alguns suposo que
incorrectes altres potser no.

Tambe hi ha el tema de com mapejar les escoles i si corretgir les que
no estan be.  Quan hi ha diversos edificis entenc que s'hauria de
crear un area que agafi tot i aquest es el que ha de tenir el nom i
tots el tags, no l'edifici principal.  Llavors els edificis, patis,
camps d'esports, parkings i demes etiquetar-los un per un com a
building=school (no amenity encara que sigui l'edifici principal),
yard, parking, etc, sense tots els tags repetits obviament. Tambe es
pot marcar l'entrada principal.  O be pot ser nomes un node, si no es
pot identificar l'edifici o area, no hi ha temps, etc.  Pero ara hi ha
de tot, areas marcades com amenity=school pero els edificis tambe, els
tags nomes a l'edifici principal, cada edifici com amenity, etc.
Tambe hi ha 'relations' marcades com escola, que entenc que es
incorrecte.  A part hi ha les llars d'infants a tenir en compte, els
tags son gairebe els mateixos.

Del tema de les futures actualitzacions, com va? ¿hi ha algu que es
responsabilitza d'un tema determinat, com pot ser les escoles, i es
preocupa d'estar al tanto quan hi ha noves versions de les dades
d'origen? o es fa espontaniament?  hi ha equips de gent per cada cosa?



On 8/3/19, Lanxana .  wrote:
> Bones!
>
> Wiki creada i primers apartats afegits. Faltarà posar el codi que es faci
> servir per a la conversió de les dades i el flux de treball (o workflow).
>
> A revisar:
> - en alguns apartats he afegit comentaris en cursiva i entre parèntesis
> perquè cal acabar de redactar-los
> - a la primera taula, la de "Tagging Conversion" falta determinar si
> existeix o no un etiquetat que ens serveixi per als camps que a la columna
> "OSM tag" estan en blanc. Si no hi ha etiqueta o no volem complicar-nos la
> vida, s'afegeix "Not used" i cap problema. Són: Nom delegació, Nom comarca,
> Nom DM (nom del districte del municipi?), Zona educativa i centre
> d'Educació especial.
> - a la segona taula, algú que tingui més coneixement del complex món
> educatiu actual i totes les seves sigles... s'ha de revisar que no l'hagi
> pifiat al assignar els ISCED level als que el tenen, i si es pot assignar a
> la resta, o posar un " - " per saber que no té equivalència (per exemple,
> les escoles d'idiomes no tindrien ISCED_level). Ídem amb les franges
> d'edat, en alguns casos només he posat la edat mínima per accedir-hi, cal
> revisar si la resta tenen edat mínima d'accés o no i si les que hi ha estan
> ben posades.
> - cas apart seran els centres d'educació especial i els centres estrangers.
> Per als primers encara no sé com s'etiqueten i per al segons, probablement
> tocarà llistar-los i assignar el valor individualment, ja que segueixen el
> model educatiu d'un altre país.
>
> Passo els enllaços a la wiki i al isced_level:
>
> wiki: https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
> isced_level: https://wiki.openstreetmap.org/wiki/Key:isced:level
>
> Salut!
>

___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola,
 finalment he descarregat del OSM totes les escoles i llar d'infants tant
si son nodes, com 'ways' o relacions i les he aparellat amb les coordenades
per proximitat del llistat de la generalitat.
D'un total de 4695 del llistat de la generalitat (sense duplicats) s'han
aparellat 3836, alguns dels quals son falsos positius o duplicats de
escoles que estan molt a prop, llocs on hi ha diverses escoles, etc. Han
quedat 2497 sense aparellar, o be per que no hi son al OSM o be per que les
coordenades de l'arxiu de la generalitat en alguns casos estan força
desviades del lloc real.
Al OSM hi ha molts que estan marcats com a escola pero no hi posa ni el
nom, encara que les coordenades solen ser bastant exactes.

CSVs amb els aparellats i els que no:
https://drive.google.com/file/d/19PYkIcBB-Pb8Id-mux7ybp_IWG9Rs0Lk/view?usp=sharing

Pel tema de les zones, hi ha una columnes per la comarca,la delegació
educativa, el districte en el cas de barcelona.  Es podria fer a Barcelona
i voltants, la poblacio/districte i a la resta la comarca.
Els duplicats simplement els he eliminat, nomes varia l'any.

Respecte a les etiquetes, soc nou amb aixo i no se quins criteris hi ha,
pero no tinc clar fins a quin punt val la pena afegir detalls encara que
els tinguem. Per exemple el nom del centre i el tipus esta clar. Pero coses
com les edats dels alumnes o el moduls que es fan... es aixo realment
informacio geografica?
A part que no se com es fa per mantenir-ho, com mes detall fiquem mes aviat
es desactualitzara. Per exemple si posem el telf, email i web... l'any que
ve quants dels 5000 centres hauran canviat alguna d'aquestes dades? i
d'aqui 5 anys?  com es fa per mantenir-ho al dia regularment?  Suposo que
aixo es un problema de tot tipus d'elements, pero vull dir que com mes
detall posem mes numeros de que estigui desactualtitzat amb el temps.
No se quin seria el criteri.
victor




On Mon, Jul 29, 2019 at 8:37 PM  wrote:

> Send Talk-cat mailing list submissions to
> talk-cat@openstreetmap.org
>
> To subscribe or unsubscribe via the World Wide Web, visit
> https://lists.openstreetmap.org/listinfo/talk-cat
> or, via email, send a message with subject or body 'help' to
> talk-cat-requ...@openstreetmap.org
>
> You can reach the person managing the list at
> talk-cat-ow...@openstreetmap.org
>
> When replying, please edit your Subject line so it is more specific
> than "Re: Contents of Talk-cat digest..."
>
>
> Today's Topics:
>
>1. Re:  Importació centres docents a Catalunya (Lanxana .)
>2. Re:  Importació centres docents a Catalunya (Lanxana .)
>
>
> --
>
> Message: 1
> Date: Mon, 29 Jul 2019 20:35:01 +0200
> From: "Lanxana ." 
> To: OpenStreetMap in catalan 
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
> Message-ID:
>  yfuy2bnmplgfx8ptquencfaxsbhbsdtlrn...@mail.gmail.com>
> Content-Type: text/plain; charset="utf-8"
>
> Bones,
>
> Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
> quantes consultes generals... al dataset hi ha 5641 centres diferents (si
> he aplicat bé la formula per calcular els valors diferents). Respecte a
> OSM, he fet un parell de consultes ràpides a overpass per saber quants
> centres hi ha ara al mapa:
>
> amenity=school [1] -> 648 punts, 7 línies i 1895 polígons
>
> amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons
>
> Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
> hi ha centres que són node i polígon.
>
> El dataset està al portal de dades obertes de la Generalitat, deixo
> l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
> baixar-lo en csv per poder treballar amb el Calc.
>
> A Madrid van fer la importació dels centres de culte i de museus, tenint en
> compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com a
> guia per redactar aquesta [4] i [5], només que ells van fer-ho directament
> en anglès i el tinc massa rovellat com per escriure-ho tot directament.
>
> Salut!
>
> [1] https://overpass-turbo.eu/s/La4
>
> [2] https://overpass-turbo.eu/s/La5
>
> [3]
>
> https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-docents/e2ef-eiqj
>
> [4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import
>
> [5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import
>
> <
> https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail
> >
> Libre
> de virus. www.avast.com
> <
> https://www.avast.com/sig-email?utm_medium=email&utm_sourc

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

He fet una primera prova de aparellar els centres descarregats del OSM amb
el llistat de la generalitat mitjançat la proximitat per coordenades, o
sigui els que estan a menys d'uns 300m aproximadament.  I he generat un csv
amb els nom i municipi del centre al OSM i el nom i municipi al csv de la
generalitat:

https://drive.google.com/file/d/17x1Q1w6oQGdGT6Bh6Qdv-ehtF1QmaPg6/view?usp=sharing

Molts coincideixen mes o menys, alguns deuen ser fals positius degut a
escoles i instituts que estan tocant, etc.   Molts no tenen cap nom al OSM,
ara amb aixo es podrien completar facilment.
I de moment per anar rapid nomes ho he fet amb nodes, que ja venen amb les
coordenades. Per poligons i relacions quan tingui una estona mes. I afegint
escoles bressol tambe.

Aquests serien els centres que apareixen als dos llocs, per coordenades.
Tambe tinc els que estan a gencat pero encara no estan a OSM. I viceversa,
algun que hagi deixat de ser escola.
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Una 1a versio del CSV de les escoles extret del OSM:
https://drive.google.com/file/d/1M_Vu88qBZ6-AO5vmp8tJ3Tuj5gkpgMSp/view?usp=sharing
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Si, m’ho he pogut baixar del overpass ja filtrat en xml amb tots els tags i
pasar-ho a csv. Ara tinc el llistat de totes les escoles de catalunya amb
els tags mes comuns, unes 4000. Pero hi ha alguns problemes.

La gent ha posat alguns com amenity=school i altres com a building=school.
Segons entenc amenity hauria de ser el recinte de l’escola inclos els
patis, i building cada edifici de l’escola. Pero a cada lloc han fet la
seva. A part n’hi ha q no son escoles sino facultats, academies...  Molt
pocs tenen tags, alguns ni tan sols el nom, cap tag.
Apart n’hi ha nodes, ways i relacions, aquestes no haurien de tenir aquest
tag.

Kindergartens, facultats, universitats i demes no he mirat, nomes schools.

Per altre banda m’he descarregat un quadrat q agafa tota catalunya, pero
tambe alguns pobles de l’arago, frança, castello. No se si hi ha alguna
manera de filtrar. L’adreça o poblacio no hi es a la majoria.

On Monday, July 29, 2019,  wrote:

> Send Talk-cat mailing list submissions to
> talk-cat@openstreetmap.org
>
> To subscribe or unsubscribe via the World Wide Web, visit
> https://lists.openstreetmap.org/listinfo/talk-cat
> or, via email, send a message with subject or body 'help' to
> talk-cat-requ...@openstreetmap.org
>
> You can reach the person managing the list at
> talk-cat-ow...@openstreetmap.org
>
> When replying, please edit your Subject line so it is more specific
> than "Re: Contents of Talk-cat digest..."
>
>
> Today's Topics:
>
>1. Re:  Importació centres docents a Catalunya (Lanxana .)
>2. Re:  Importació centres docents a Catalunya (Lanxana .)
>
>
> --
>
> Message: 1
> Date: Mon, 29 Jul 2019 20:35:01 +0200
> From: "Lanxana ." 
> To: OpenStreetMap in catalan 
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
> Message-ID:
>  yfuy2bnmplgfx8ptquencfaxsbhbsdtlrn...@mail.gmail.com>
> Content-Type: text/plain; charset="utf-8"
>
> Bones,
>
> Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
> quantes consultes generals... al dataset hi ha 5641 centres diferents (si
> he aplicat bé la formula per calcular els valors diferents). Respecte a
> OSM, he fet un parell de consultes ràpides a overpass per saber quants
> centres hi ha ara al mapa:
>
> amenity=school [1] -> 648 punts, 7 línies i 1895 polígons
>
> amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons
>
> Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
> hi ha centres que són node i polígon.
>
> El dataset està al portal de dades obertes de la Generalitat, deixo
> l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
> baixar-lo en csv per poder treballar amb el Calc.
>
> A Madrid van fer la importació dels centres de culte i de museus, tenint en
> compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com a
> guia per redactar aquesta [4] i [5], només que ells van fer-ho directament
> en anglès i el tinc massa rovellat com per escriure-ho tot directament.
>
> Salut!
>
> [1] https://overpass-turbo.eu/s/La4
>
> [2] https://overpass-turbo.eu/s/La5
>
> [3]
> https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-
> docents/e2ef-eiqj
>
> [4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import
>
> [5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import
>
> <https://www.avast.com/sig-email?utm_medium=email&utm_
> source=link&utm_campaign=sig-email&utm_content=webmail>
> Libre
> de virus. www.avast.com
> <https://www.avast.com/sig-email?utm_medium=email&utm_
> source=link&utm_campaign=sig-email&utm_content=webmail>
> <#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>
> El lun., 29 jul. 2019 a las 11:45, Victor () escribió:
>
> > Aixo dels centres existents ja ho havia pensat, importar masivament no es
> > tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
> > solucio es fer-ho mig manualment amb el maxim de pre-procesament per
> > agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
> > manual, si parlem de milers de centres.
> >
> > M'he baixat la base de dades de OSM en XML d'una part del valles i he
> > extret les escoles; els elements amb el tag 'school'.  Poden ser tant
> nodes
> > com ways o relations. Molts nomes posa el nom, altres hi ha tambe
> addreça,
> > web, telf... p.ex:
> >  > timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
> > user="larslynch">
> > 
&g

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Aixo dels centres existents ja ho havia pensat, importar masivament no es
tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
solucio es fer-ho mig manualment amb el maxim de pre-procesament per
agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
manual, si parlem de milers de centres.

M'he baixat la base de dades de OSM en XML d'una part del valles i he
extret les escoles; els elements amb el tag 'school'.  Poden ser tant nodes
com ways o relations. Molts nomes posa el nom, altres hi ha tambe addreça,
web, telf... p.ex:








Quan pugui ho acavo d'extreure a un CSV,  de tot catalunya o el que pugui,
el fitxer inicial ocupa molts GB pero es pot fer.

 La teva llista d'escoles, d'on ha sortit? del ICC?  El tema de buscar els
repetits i les diferencies es facil si me'l pases, puc extreure un llistat
en CSV o similar.
Despres apart es podria intentar aparellar tots els centres del teu llistat
amb tots els del OSM.  No se si sera posible pel nom, o si no per
proximitat de les coordenades (tampoc es tan facil quan son ways o
relations, pero es pot fer) i veure quins falten a una banda i a l'altre,
quins no hi son al OSM (potser no falten tants), quins hi son pero falten
attributs, etc.  I evaluar que val la pena fer, suposo.

On Sun, Jul 28, 2019 at 10:42 PM  wrote:

>
> --
>
> Message: 1
> Date: Sun, 28 Jul 2019 15:56:09 +0200
> From: Victor 
> To: talk-cat@openstreetmap.org
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>
>
>
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola, jo podria col.laborar amb el tema dels scripts, analitzar
l'arxiu d'origen i si cal fer neteja de les dades, uniformitzar camps,
etc. Conec python i pandas que pot anar be per sengons quin tipus
d'analisis.

On 7/27/19, talk-cat-requ...@openstreetmap.org
 wrote:
> Send Talk-cat mailing list submissions to
>
> Bon dia, gent!
>
> Tot aprofitant que tenim el personal docent fent vacances, he pensat en
> començar a preparar la importació dels centres docents que tenim a
> Catalunya, a partir del dataset que hi ha a les dades obertes de la
> Generalitat.
>
> Per poder fer la importació cal seguir una sèrie de passes i anar prenent
> decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento per
> aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en sí,
> sinó en la presa de decisions, programació d’script, redactat de
> documentació i correus... Per què us feu una idea, el dataset està compost
> per gairebé 22.000 files, que no he mirat encara si són a centre per fila o
> n’hi ha de repetits, i 60 camps.
>
> Fases de treball (ordre aproximat):
>
> 1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
> contenen. (FASE FETA, adjunto fitxer).
>
> 2 - determinar quins camps són importables i quins no
>
> 3 - obrir el dataset i analitzar què hi ha: duplicitat de centres? Com
> apareixen els que ofereixen més d’un cicle formatiu? Caldrà afegir
> etiquetat nou (edats mínimes i màximes, per exemple)? Hi ha diferenciació
> entre privat i concertat? Com indiquem estudis públics amb taxa (escola
> idiomes, alguns cicles superiors, escola adults...)? Com han tractat els
> ZAR o escoles rurals? Cal afegir algun codi per identificar qui hi forma
> part?
>
> 4 - definir l’etiquetat tant dels camps importables com el que haguem
> definit abans per tractar les diferents casuístiques
>
> 5 - crear un script que converteixi el csv o xml origen en el fitxer osm o
> csv base per a la importació
>
> 6 - determinar com farem la importació (més aviat serà tot coflació de
> dades): gestor de tasques per municipi, àrea, quantitat de centres?
>
> 7 - documentar tot a la wiki: llicència, estudi dels camps, script per a la
> conversió, com es farà la importació... Decidir llengua/llengües de la
> wiki: català, castellà i anglès?
>
> 8 - escriure a la comunitat espanyola
>
> 9 - escriure a imports, afegir la proposta a la wiki corresponent,
> gestionar respostes...
>
> 10 - importació!
>
> Us convido a que dieu la vostra i comenteu on i com podríeu ajudar, per
> muntar un equip de treball i anar organitzant-nos. O què us semblaria
> compartir les tasques de preparació amb la llista espanyola per tenir més
> mans i opinions abans de fer-la oficial.
>
> Afegeixo una sèrie d’enllaços a diferents pàgines de la wiki on he trobat
> informació relativa als centres docents:
>
> Codi ISCED, utilitzat per identificar el grau formatiu:
> https://wiki.openstreetmap.org/wiki/Key:isced:level
>
> Etiqueta school amb les etiquetes addicionals proposades:
> https://wiki.openstreetmap.org/wiki/Tag:amenity%3Dschool
>
> Estudi sobre les etiquetes disponibles per al sector educatiu (la versió en
> castellà podria ser un xic diferent a l’anglesa):
> https://wiki.openstreetmap.org/wiki/Education_features
>
> Última importació de centres escolars que he trobat, feta a Perú:
> https://wiki.openstreetmap.org/wiki/ES:Importando_instituciones_educativas_en_Per%C3%BA
>
> Exemple de wiki d’importació, feta a Madrid:
> https://wiki.openstreetmap.org/wiki/Madrid_Drinking_Water_Import
> Salut!
> -- next part --
> An HTML attachment was scrubbed...
> URL:
> 
> -- next part --
> A non-text attachment was scrubbed...
> Name: OSM_centres_docents.csv
> Type: application/vnd.ms-excel
> Size: 2775 bytes
> Desc: not available
> URL:
> 
>
> --
>
> Subject: Digest Footer
>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
>
> --
>
> End of Talk-cat Digest, Vol 69, Issue 1
> ***
>

___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

[Talk-cat] Presentacio

[Victor]

Hola,
 he arribat aqui per que als nostre centre excursionista estem
mantenint el sender PR-C 78 entre Castelloli i Montserrat, assignat
per la comisio de senders de la FEEC. Vaig veure que no estava
complert ni agrupat a una relacio a OSM i ho he estat fent.

Per altra banda podria col.laborar si es necesari, he vist que
mencioneu scripts. Conec python i tinc certa idea basica de BD's
geoespaials. Fa un temps vaig crear alguns mapes vectorials per GPS
Garmin a partir de dades baixades de la web del ICC, traduint tots els
elements de format amb uns scripts, incloses les corves de nivell.
Sempre m'havia preguntat si no seria posible que el ICC cedis totes
les seves dades per que es puguessin utilitzar al OSM.
Una altra cosa que no se si esta feta pero no he trobat enlloc es una
relacio comprerta dels GR i PR i altres senders de catalunya, a OSM. A
la comissio de senders de la feec no hi arriben, ni tan sols tenen els
tracks de tots o informacio basica.
victor

___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat