Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia (i Bon Any, gairebé)!

fins avui no he trobat el moment per donar un cop d'ull als fitxers. Està
genial la llista de conversió, estalviarà molta feina en la revisió dels
etiquetats. Moltes gràcies!

He detectat una altre cosa que aniria bé canviar, si es pot... en els
centres que imparteixen dues tipologies d'estudi (per exemple les escoles
institut que abarquen dels 3 als 18 anys) he vist que alguns cops apareixen
com school:primary i altres com a school:secondary, seria possible que
s'agrupessin els diferents estudis que imparteixen? És a dir, concatenar
els valors utilitzant el ; com a separador -> school:primary; secondary;
professional, per posar un exemple complex (que ara mateix no sé si es dona
o no).

Sobre dividir les tasques, doncs si es poden agrupar els punts amb una eina
de clustering, des del codi, seria una molt bona solució. Que les àrees
gràfiques es solapin no hauria de suposar un problema, ja que el centre
estarà en una o en una altra, i encara que dues persones treballin a la
mateixa àrea, no generarien conflicte al pujar les dades. Per altra banda,
tenint en compte la complexitat al revisar els centres, crec que les
tasques haurien de ser relativament petites, d'uns 20 o 25 centres per
tasca. Crec que és millor tenir moltes tasques petites que poques i molt
grans, que no donin temps a acabar d'una sola editada. No sé com ho
veieu... també es podrien fer més grans i després veure si es pot habilitar
l'eina del gestor que divideix les tasques en altres més petites, però amb
la dispersió al territori que hi pot haver, crec que és millor que la
divisió ja la portem feta "de casa".

Com a coses al revisar abans de donar per bo un centre, crec que seria:
- verificar ubicació: que caigui en un lloc lògic
- verificar si ja hi és, al mateix lloc o proper, i ja sigui com a node o
àrea
- verificar adreça: que el nom del carrer sigui com el que ja hi ha a OSM i
la numeració lligui amb la existent o amb cadastre
- verificar la resta d'etiquetat, com que grups d'edat, estudis i tipus
centre lliguin entre ells
- verificar el nom: que no contingui abreviatures, crear short_name si cal
- traçar el perímetre del centre (optatiu, però ja que hi som...)

Què en penseu? Afegiríeu o trauríeu alguna comprovació? Quants centres
posaríeu per tasca (hi ha uns 5500 centres a importar)?

Salutacions!

El sáb., 7 dic. 2019 a las 17:03, Victor () escribió:

> Hola,
>
>  ok, he fet les modificacions, no es molt complicat. Aqui estan els arxius
> i el nou OSM:
> https://drive.google.com/open?id=1etBzdv3Dni3Dv_Vcfd_6huvuB9yme5hm
> He posat les traduccions de paraules i frases totes al fitxer de
> configuracio de forma que es poden afegir o modificar segons sigui
> necessari.
>
> # Terms and abreviations to be translated
> translations:
> operator:type:
> Públic: public
> Privat: private
> operator:
> Alt. Ens Públ.: Altres ens Públics
> Alt. est. no UE: Atres estats no Unió Europea
> Alt. estats UE: Atres estats Unió Europea
> Alt. Titularit.: Atres titularitats
> Altres Depart.: Altres Departaments
> Associacions: Associacions
> Cooperatives: Cooperatives
> Corp. Locals: Corporacions locals
> Dep.Ensenyament: Departament d'Ensenyament
> Església Catòl.: Església Catòlica
> Fundacions: Fundacions
> Jurídica Estra.: Jurídica estrangera
> Ordes i Cong.: Ordes i Congregacions
> Person.Fís. Es.: Persones Físiques
> Persones Físiq.: Persones Físiques
> Soc. Civils: Societats civils
> Soc. Mercantils: Societats mercantils
>
> word_replacements:
> addr:street:
> C.: Carrer
> Av.: Avinguda
> Ctra.: Carretera
> Pl.: Plaça
> pça.: Plaça
> Pça.: Plaça
> Pg.: Passeig
> Pss: Passeig
> Rbla.: Rambla
> Rda.: Ronda
> Trav.: Travessera
> Ptge.: Passatge
> pge.: Passatge
> urb.: Urbanització
> Urb.: Urbanització
> Prol.: Prolongació
> name:
> Esc.: Escola
> Cons.: Consevatori
> Cent.: "Centre "
> Prof: "Professional "
> Mús.: Música
> C.Educ.: "Centre d'Educació "
> Sup.: "Superior "
> Inst.: Institut
> inf.: infants
>
> Respecte als centres propers el que podria fer es agruparlos en paquests
> de p.ex 100 centres (clustering) , per proximitat basat en les
> coordenades.  I fer un arxiu OSM per cada grup.
> A partir d'aixo tambe es podria treure el poligon quadrat (bbox) que conte
> cada grup (max lat, max lon, min lat, min lon). Pero no serien quadrats
> alineats ni res, molts es solaparien per algun canto a llocs com barcelona,
> etc. No se si serviria.
> O potser amb els osm de cada grup es suficient per repartir la feina, per
> que de fet l'altre script de madrid fa el contrari, a partir dels quadrats
> calcula aquests osm petits.
>
> On Sat, Dec 7, 2019 at 1:25 PM Lanxana .  wrote:
>
>> Bon dia!
>>
>> En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
>> preparar l'script.
>>
>> Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el
>> fitxer *.osm a JOSM dona un error en unes coordenades, que al fitxer origen
>> estan malament. És una correcció manual que ja documentaré a la wiki i ho

Re: [Talk-cat] Importació centres docents a Catalunya

[yo paseopor]

Wenes!!
El gestor de tasques accepta  *GeoJSON*, *KML*, or *zipped SHP. *Heu de
pensar que no només estem un procés d'importació qualsevol, sinó que
estaria bé anar creant un programari que donat un conjunt de dades amb unes
característiques determinades pogués fer aquest procés per tal d'incloure'l
al nostre estàndard que és un gestor de tasques OSM. Per això
particularment trobo important que  es puguin donar totes aquestes
característiques, inclosa la manera de repartir tasques.

Salut i reparticions
yopaseopor

On Sat, Dec 7, 2019 at 5:03 PM Victor  wrote:

> Hola,
>
>  ok, he fet les modificacions, no es molt complicat. Aqui estan els arxius
> i el nou OSM:
> https://drive.google.com/open?id=1etBzdv3Dni3Dv_Vcfd_6huvuB9yme5hm
> He posat les traduccions de paraules i frases totes al fitxer de
> configuracio de forma que es poden afegir o modificar segons sigui
> necessari.
>
> # Terms and abreviations to be translated
> translations:
> operator:type:
> Públic: public
> Privat: private
> operator:
> Alt. Ens Públ.: Altres ens Públics
> Alt. est. no UE: Atres estats no Unió Europea
> Alt. estats UE: Atres estats Unió Europea
> Alt. Titularit.: Atres titularitats
> Altres Depart.: Altres Departaments
> Associacions: Associacions
> Cooperatives: Cooperatives
> Corp. Locals: Corporacions locals
> Dep.Ensenyament: Departament d'Ensenyament
> Església Catòl.: Església Catòlica
> Fundacions: Fundacions
> Jurídica Estra.: Jurídica estrangera
> Ordes i Cong.: Ordes i Congregacions
> Person.Fís. Es.: Persones Físiques
> Persones Físiq.: Persones Físiques
> Soc. Civils: Societats civils
> Soc. Mercantils: Societats mercantils
>
> word_replacements:
> addr:street:
> C.: Carrer
> Av.: Avinguda
> Ctra.: Carretera
> Pl.: Plaça
> pça.: Plaça
> Pça.: Plaça
> Pg.: Passeig
> Pss: Passeig
> Rbla.: Rambla
> Rda.: Ronda
> Trav.: Travessera
> Ptge.: Passatge
> pge.: Passatge
> urb.: Urbanització
> Urb.: Urbanització
> Prol.: Prolongació
> name:
> Esc.: Escola
> Cons.: Consevatori
> Cent.: "Centre "
> Prof: "Professional "
> Mús.: Música
> C.Educ.: "Centre d'Educació "
> Sup.: "Superior "
> Inst.: Institut
> inf.: infants
>
> Respecte als centres propers el que podria fer es agruparlos en paquests
> de p.ex 100 centres (clustering) , per proximitat basat en les
> coordenades.  I fer un arxiu OSM per cada grup.
> A partir d'aixo tambe es podria treure el poligon quadrat (bbox) que conte
> cada grup (max lat, max lon, min lat, min lon). Pero no serien quadrats
> alineats ni res, molts es solaparien per algun canto a llocs com barcelona,
> etc. No se si serviria.
> O potser amb els osm de cada grup es suficient per repartir la feina, per
> que de fet l'altre script de madrid fa el contrari, a partir dels quadrats
> calcula aquests osm petits.
>
> On Sat, Dec 7, 2019 at 1:25 PM Lanxana .  wrote:
>
>> Bon dia!
>>
>> En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
>> preparar l'script.
>>
>> Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el
>> fitxer *.osm a JOSM dona un error en unes coordenades, que al fitxer origen
>> estan malament. És una correcció manual que ja documentaré a la wiki i ho
>> comunicaré també al Departament d'Ensenyament perquè ho corregeixin a la
>> seva base. És l'Institut de Navarcles, codi 08059524, on la longitud s'ha
>> de canviar a 1.91130 (aprox., al dataset agafa el mateix valor que la UTM
>> Y, fins i tot a la columna amb la nova georeferència)
>>
>> Respecte a generar el fitxer GEOJSON, el propi JOSM deixa exportar en
>> aquest format, i des de QGIS puc fer els polígons per al gestor de tasques
>> (al menys aquesta és la teoria). Estic investigant com aconseguir polígons
>> que tinguin una quantitat similar de centres propers entre ells, sinó ho
>> faria de manera manual i aproximada.
>>
>> Respecte al script, volia saber si es poden incloure uns petits canvis,
>> si no es pogués ho documentaria per a que es faci la revisió manual abans
>> de validar cada centre:
>>
>> - el tag url no cal que aparegui en cada centre, el reservaríem per al
>> changeset. En canvi, els de source i source:date està bé que hi siguin
>> perquè és informació directa que un pot necessitar quan consulti aquell
>> centre en concret.
>>
>> - el tag operator:type agafa el valor de la taula, que està en català, i
>> hauria de quedar en anglès:
>>
>> Nom naturalesa operator:type
>> Públic public
>> Privat private
>>
>> - el tag operator també agafar el valor de la taula, que conté
>> abreviatures i s'haurien de substituir pels noms complets:
>>
>> Nom titularitat operator
>> Alt. Ens Públ. Altres ens Públics
>> Alt. est. no UE Atres estats no Unió Europea
>> Alt. estats UE Atres estats Unió Europea
>> Alt. Titularit. Atres titularitats
>> Altres Depart. Altres Departaments
>> Associacions Associacions
>> Cooperatives Cooperatives
>> Corp. Locals Corporacions locals
>> Dep.Ensenyament Departament d'Ensenyament
>> Església Catòl. Església Catòlica
>> Fundacions Fundacions
>> Jurídica Estra. 

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola,

 ok, he fet les modificacions, no es molt complicat. Aqui estan els arxius
i el nou OSM:
https://drive.google.com/open?id=1etBzdv3Dni3Dv_Vcfd_6huvuB9yme5hm
He posat les traduccions de paraules i frases totes al fitxer de
configuracio de forma que es poden afegir o modificar segons sigui
necessari.

# Terms and abreviations to be translated
translations:
operator:type:
Públic: public
Privat: private
operator:
Alt. Ens Públ.: Altres ens Públics
Alt. est. no UE: Atres estats no Unió Europea
Alt. estats UE: Atres estats Unió Europea
Alt. Titularit.: Atres titularitats
Altres Depart.: Altres Departaments
Associacions: Associacions
Cooperatives: Cooperatives
Corp. Locals: Corporacions locals
Dep.Ensenyament: Departament d'Ensenyament
Església Catòl.: Església Catòlica
Fundacions: Fundacions
Jurídica Estra.: Jurídica estrangera
Ordes i Cong.: Ordes i Congregacions
Person.Fís. Es.: Persones Físiques
Persones Físiq.: Persones Físiques
Soc. Civils: Societats civils
Soc. Mercantils: Societats mercantils

word_replacements:
addr:street:
C.: Carrer
Av.: Avinguda
Ctra.: Carretera
Pl.: Plaça
pça.: Plaça
Pça.: Plaça
Pg.: Passeig
Pss: Passeig
Rbla.: Rambla
Rda.: Ronda
Trav.: Travessera
Ptge.: Passatge
pge.: Passatge
urb.: Urbanització
Urb.: Urbanització
Prol.: Prolongació
name:
Esc.: Escola
Cons.: Consevatori
Cent.: "Centre "
Prof: "Professional "
Mús.: Música
C.Educ.: "Centre d'Educació "
Sup.: "Superior "
Inst.: Institut
inf.: infants

Respecte als centres propers el que podria fer es agruparlos en paquests de
p.ex 100 centres (clustering) , per proximitat basat en les coordenades.  I
fer un arxiu OSM per cada grup.
A partir d'aixo tambe es podria treure el poligon quadrat (bbox) que conte
cada grup (max lat, max lon, min lat, min lon). Pero no serien quadrats
alineats ni res, molts es solaparien per algun canto a llocs com barcelona,
etc. No se si serviria.
O potser amb els osm de cada grup es suficient per repartir la feina, per
que de fet l'altre script de madrid fa el contrari, a partir dels quadrats
calcula aquests osm petits.

On Sat, Dec 7, 2019 at 1:25 PM Lanxana .  wrote:

> Bon dia!
>
> En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
> preparar l'script.
>
> Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el fitxer
> *.osm a JOSM dona un error en unes coordenades, que al fitxer origen estan
> malament. És una correcció manual que ja documentaré a la wiki i ho
> comunicaré també al Departament d'Ensenyament perquè ho corregeixin a la
> seva base. És l'Institut de Navarcles, codi 08059524, on la longitud s'ha
> de canviar a 1.91130 (aprox., al dataset agafa el mateix valor que la UTM
> Y, fins i tot a la columna amb la nova georeferència)
>
> Respecte a generar el fitxer GEOJSON, el propi JOSM deixa exportar en
> aquest format, i des de QGIS puc fer els polígons per al gestor de tasques
> (al menys aquesta és la teoria). Estic investigant com aconseguir polígons
> que tinguin una quantitat similar de centres propers entre ells, sinó ho
> faria de manera manual i aproximada.
>
> Respecte al script, volia saber si es poden incloure uns petits canvis, si
> no es pogués ho documentaria per a que es faci la revisió manual abans de
> validar cada centre:
>
> - el tag url no cal que aparegui en cada centre, el reservaríem per al
> changeset. En canvi, els de source i source:date està bé que hi siguin
> perquè és informació directa que un pot necessitar quan consulti aquell
> centre en concret.
>
> - el tag operator:type agafa el valor de la taula, que està en català, i
> hauria de quedar en anglès:
>
> Nom naturalesa operator:type
> Públic public
> Privat private
>
> - el tag operator també agafar el valor de la taula, que conté
> abreviatures i s'haurien de substituir pels noms complets:
>
> Nom titularitat operator
> Alt. Ens Públ. Altres ens Públics
> Alt. est. no UE Atres estats no Unió Europea
> Alt. estats UE Atres estats Unió Europea
> Alt. Titularit. Atres titularitats
> Altres Depart. Altres Departaments
> Associacions Associacions
> Cooperatives Cooperatives
> Corp. Locals Corporacions locals
> Dep.Ensenyament Departament d'Ensenyament
> Església Catòl. Església Catòlica
> Fundacions Fundacions
> Jurídica Estra. Jurídica estrangera
> Ordes i Cong. Ordes i Congregacions
> Person.Fís. Es. Persones Físiques
> Persones Físiq. Persones Físiques
> Soc. Civils Societats civils
> Soc. Mercantils Societats mercantils
>
> - passa el mateix amb el tag name, en aquest cas hi ha moltíssimes
> variables i no sé fins a quin punt es poden automatitzar els canvis (si es
> pogués a partir d'una taula, la tinc creada i te la podria passar)
>
> - igual amb el tag addr:street, però com que les adreces s'hauran de
> revisar manualment sí o sí, es optatiu fer el canvi de C. per Carrer, Av.
> per Avinguda, etc. amb l'script
>
> Un cop més, moltes gràcies per la feina feta!
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> 

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia!

En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
preparar l'script.

Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el fitxer
*.osm a JOSM dona un error en unes coordenades, que al fitxer origen estan
malament. És una correcció manual que ja documentaré a la wiki i ho
comunicaré també al Departament d'Ensenyament perquè ho corregeixin a la
seva base. És l'Institut de Navarcles, codi 08059524, on la longitud s'ha
de canviar a 1.91130 (aprox., al dataset agafa el mateix valor que la UTM
Y, fins i tot a la columna amb la nova georeferència)

Respecte a generar el fitxer GEOJSON, el propi JOSM deixa exportar en
aquest format, i des de QGIS puc fer els polígons per al gestor de tasques
(al menys aquesta és la teoria). Estic investigant com aconseguir polígons
que tinguin una quantitat similar de centres propers entre ells, sinó ho
faria de manera manual i aproximada.

Respecte al script, volia saber si es poden incloure uns petits canvis, si
no es pogués ho documentaria per a que es faci la revisió manual abans de
validar cada centre:

- el tag url no cal que aparegui en cada centre, el reservaríem per al
changeset. En canvi, els de source i source:date està bé que hi siguin
perquè és informació directa que un pot necessitar quan consulti aquell
centre en concret.

- el tag operator:type agafa el valor de la taula, que està en català, i
hauria de quedar en anglès:

Nom naturalesa operator:type
Públic public
Privat private

- el tag operator també agafar el valor de la taula, que conté abreviatures
i s'haurien de substituir pels noms complets:

Nom titularitat operator
Alt. Ens Públ. Altres ens Públics
Alt. est. no UE Atres estats no Unió Europea
Alt. estats UE Atres estats Unió Europea
Alt. Titularit. Atres titularitats
Altres Depart. Altres Departaments
Associacions Associacions
Cooperatives Cooperatives
Corp. Locals Corporacions locals
Dep.Ensenyament Departament d'Ensenyament
Església Catòl. Església Catòlica
Fundacions Fundacions
Jurídica Estra. Jurídica estrangera
Ordes i Cong. Ordes i Congregacions
Person.Fís. Es. Persones Físiques
Persones Físiq. Persones Físiques
Soc. Civils Societats civils
Soc. Mercantils Societats mercantils

- passa el mateix amb el tag name, en aquest cas hi ha moltíssimes
variables i no sé fins a quin punt es poden automatitzar els canvis (si es
pogués a partir d'una taula, la tinc creada i te la podria passar)

- igual amb el tag addr:street, però com que les adreces s'hauran de
revisar manualment sí o sí, es optatiu fer el canvi de C. per Carrer, Av.
per Avinguda, etc. amb l'script

Un cop més, moltes gràcies per la feina feta!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

M'he estat mirant l'script dels de Madrid i crec que m'estava liant,
soc novatillo en tot aixo.  El segon script el que fa es dividir
l'arxiu OSM en trosos petits basat en els arxius geojson de cada area
de quadricula, segons entenc.  De forma que despres cada persona que
s'agafi un quadradet del gestor de tasques per completar tindra tambe
l'arxiu OSM d'aquesta area.

Un altre tema es crear un arxiu geojson de tot catalunya per
carregarlo al gesto de tasques, que no se com va.  Si aquest geojson
pot ser aproximat es pot fer facilment per exemple a aquesta web:
http://geojson.io/#map=8/41.741/1.428
I despres com repartir els centres en tasques al gestor tampoc se com
va. Molts estaran concentrats a barcelona i comarques del voltant,
etc.


On 11/30/19, yo paseopor  wrote:
> I això ens donaria un geojson exterior que ens servís després per
> carregar-lo al gestor de tasques (amb les zones per delimitar i tals?). És
> el pas que ens faltaria per incloure'l al gestor de tasques, al marge d'un
> arxiu OSM, que sempre va bé per editar des de JOSM.
>
> Salut i centres educatius
> yopaseopor
>
> On Fri, Nov 29, 2019 at 2:45 PM Victor  wrote:
>
>> He afegit que acumuli al tag *isced:level* els diferents codis quan hi ha
>> mes d'un cicle al centre. P.ex:  
>>
>> On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:
>>
>>> Hola de nou,
>>>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script
>>> de conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el
>>> mes
>>> generic posible he separat a un fitxer apart el mapeig els noms de les
>>> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
>>> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
>>> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou auto-explicatiu.
>>> L'script en python que fa la conversio es: *convert_cvs2osm.py*
>>> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>>>
>>> Alguns comentaris i dubtes:
>>>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades
>>> i entenc que aquestes son les que tenen les dades mes actualitzades.
>>>  - Les adreces les he dividit en street i housenumber separant per la
>>> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
>>> coses al final com 'barri bla, bla'
>>>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle
>>> mes
>>> pasen a ser school.
>>>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
>>> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi
>>> ha
>>> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
>>> Correcte?
>>>  - Pels 'Special Education Centers' he afegit description=Centre
>>> d'educació especial.
>>>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
>>> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
>>> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on
>>> nomes
>>> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
>>> seria el cas, no cal utilitzar-ho jo crec.
>>> - Cada node te un ID, que he vist que per importacions sol ser un numero
>>> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
>>> haver colisions amb altres...
>>>
>>> L'script no pot ser completament generic per que hi ha coses molt
>>> especifiques de les escoles, com el tema de min_age i max_age, pero crec
>>> que adaptar-ho per altres conversions no seria gaire dificil.
>>> No se si em deixo alguna cosa.
>>> parlem!
>>> victor
>>>
>>>
>>> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>>>
 Crec que precisament per això a Madrid van fer dos scripts per tenir un
 primer, genèric, que transforma els fitxers xml a osm, i un altre per
 convertir el fitxer osm en les tasques que es carreguen al gestor ( que
 és
 el que podem aprofitar). No sé si és possible tenir un script que sigui
 capaç de processar tots els tipus de dataset que tenim de la
 Generalitat.
 Hi haurà coses comunes com podria ser el tema adreça (que s'ha de
 processar
 i separar en parts), però altres molt específiques (com els
 isced_level,
 min_age, max_age, etc. en aquest cas).

 Encara no aconsegueixo posar-me amb el gestor per veure què necessita
 ni
 com es fa. La meva idea era seguir el procés que van fer ells, o mirar
 com
 es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
 geojson amb els límits de les tasques i tampoc he aconseguit encara
 generar-lo. A les males estic pensant que podem ordenar per codi
 postal,
 dividir en paquets d'uns 20 punts i tirar milles... al menys
 garantiríem
 una certa proximitat geogràfica entre ells perquè en una mateixa tasca
 no
 tinguis un centre a la Vall d'Aran i un altre a Deltebre...

 Si algú sap i pot generar el geojson i/o investigar com funciona el
 gestor de tasques, endavant! Jo 

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola, generar tambe les tasques en geojson (o json) es bastant facil, nomes
necesitaria veure la definio d'aquests arxius, o algun exemple, per veure
l'estructura concreta.
Crec que haviem dit que ja hi ha un segon script generic que feia la
conversio de OSM a JSON,  pero com que generar-ho directament crec que sera
molt senzill ho podria afegir.  O crear un 2on script en python que ho fes,
potser serien 4 linies i serviria per altres futures tasques.
victor

On Sat, Nov 30, 2019 at 1:22 PM yo paseopor  wrote:

> I això ens donaria un geojson exterior que ens servís després per
> carregar-lo al gestor de tasques (amb les zones per delimitar i tals?). És
> el pas que ens faltaria per incloure'l al gestor de tasques, al marge d'un
> arxiu OSM, que sempre va bé per editar des de JOSM.
>
> Salut i centres educatius
> yopaseopor
>
> On Fri, Nov 29, 2019 at 2:45 PM Victor  wrote:
>
>> He afegit que acumuli al tag *isced:level* els diferents codis quan hi
>> ha mes d'un cicle al centre. P.ex:  
>>
>> On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:
>>
>>> Hola de nou,
>>>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script
>>> de conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el mes
>>> generic posible he separat a un fitxer apart el mapeig els noms de les
>>> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
>>> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
>>> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou
>>> auto-explicatiu.
>>> L'script en python que fa la conversio es: *convert_cvs2osm.py*
>>> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>>>
>>> Alguns comentaris i dubtes:
>>>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades
>>> i entenc que aquestes son les que tenen les dades mes actualitzades.
>>>  - Les adreces les he dividit en street i housenumber separant per la
>>> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
>>> coses al final com 'barri bla, bla'
>>>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle
>>> mes pasen a ser school.
>>>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
>>> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi ha
>>> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
>>> Correcte?
>>>  - Pels 'Special Education Centers' he afegit description=Centre
>>> d'educació especial.
>>>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
>>> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
>>> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on nomes
>>> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
>>> seria el cas, no cal utilitzar-ho jo crec.
>>> - Cada node te un ID, que he vist que per importacions sol ser un numero
>>> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
>>> haver colisions amb altres...
>>>
>>> L'script no pot ser completament generic per que hi ha coses molt
>>> especifiques de les escoles, com el tema de min_age i max_age, pero crec
>>> que adaptar-ho per altres conversions no seria gaire dificil.
>>> No se si em deixo alguna cosa.
>>> parlem!
>>> victor
>>>
>>>
>>> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>>>
 Crec que precisament per això a Madrid van fer dos scripts per tenir un
 primer, genèric, que transforma els fitxers xml a osm, i un altre per
 convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
 el que podem aprofitar). No sé si és possible tenir un script que sigui
 capaç de processar tots els tipus de dataset que tenim de la Generalitat.
 Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
 i separar en parts), però altres molt específiques (com els isced_level,
 min_age, max_age, etc. en aquest cas).

 Encara no aconsegueixo posar-me amb el gestor per veure què necessita
 ni com es fa. La meva idea era seguir el procés que van fer ells, o mirar
 com es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
 geojson amb els límits de les tasques i tampoc he aconseguit encara
 generar-lo. A les males estic pensant que podem ordenar per codi postal,
 dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
 una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
 tinguis un centre a la Vall d'Aran i un altre a Deltebre...

 Si algú sap i pot generar el geojson i/o investigar com funciona el
 gestor de tasques, endavant! Jo no sé quan podré ni si ho podré fer.

 Salut!


 
  Libre
 de virus. www.avast.com
 
 

Re: [Talk-cat] Importació centres docents a Catalunya

[yo paseopor]

I això ens donaria un geojson exterior que ens servís després per
carregar-lo al gestor de tasques (amb les zones per delimitar i tals?). És
el pas que ens faltaria per incloure'l al gestor de tasques, al marge d'un
arxiu OSM, que sempre va bé per editar des de JOSM.

Salut i centres educatius
yopaseopor

On Fri, Nov 29, 2019 at 2:45 PM Victor  wrote:

> He afegit que acumuli al tag *isced:level* els diferents codis quan hi ha
> mes d'un cicle al centre. P.ex:  
>
> On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:
>
>> Hola de nou,
>>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script
>> de conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el mes
>> generic posible he separat a un fitxer apart el mapeig els noms de les
>> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
>> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
>> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou auto-explicatiu.
>> L'script en python que fa la conversio es: *convert_cvs2osm.py*
>> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>>
>> Alguns comentaris i dubtes:
>>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades
>> i entenc que aquestes son les que tenen les dades mes actualitzades.
>>  - Les adreces les he dividit en street i housenumber separant per la
>> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
>> coses al final com 'barri bla, bla'
>>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle mes
>> pasen a ser school.
>>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
>> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi ha
>> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
>> Correcte?
>>  - Pels 'Special Education Centers' he afegit description=Centre
>> d'educació especial.
>>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
>> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
>> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on nomes
>> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
>> seria el cas, no cal utilitzar-ho jo crec.
>> - Cada node te un ID, que he vist que per importacions sol ser un numero
>> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
>> haver colisions amb altres...
>>
>> L'script no pot ser completament generic per que hi ha coses molt
>> especifiques de les escoles, com el tema de min_age i max_age, pero crec
>> que adaptar-ho per altres conversions no seria gaire dificil.
>> No se si em deixo alguna cosa.
>> parlem!
>> victor
>>
>>
>> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>>
>>> Crec que precisament per això a Madrid van fer dos scripts per tenir un
>>> primer, genèric, que transforma els fitxers xml a osm, i un altre per
>>> convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
>>> el que podem aprofitar). No sé si és possible tenir un script que sigui
>>> capaç de processar tots els tipus de dataset que tenim de la Generalitat.
>>> Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
>>> i separar en parts), però altres molt específiques (com els isced_level,
>>> min_age, max_age, etc. en aquest cas).
>>>
>>> Encara no aconsegueixo posar-me amb el gestor per veure què necessita ni
>>> com es fa. La meva idea era seguir el procés que van fer ells, o mirar com
>>> es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
>>> geojson amb els límits de les tasques i tampoc he aconseguit encara
>>> generar-lo. A les males estic pensant que podem ordenar per codi postal,
>>> dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
>>> una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
>>> tinguis un centre a la Vall d'Aran i un altre a Deltebre...
>>>
>>> Si algú sap i pot generar el geojson i/o investigar com funciona el
>>> gestor de tasques, endavant! Jo no sé quan podré ni si ho podré fer.
>>>
>>> Salut!
>>>
>>>
>>> 
>>>  Libre
>>> de virus. www.avast.com
>>> 
>>> <#m_1830824448400901186_m_1286287474594208639_m_1020502445569712513_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>>>
>>> El sáb., 12 oct. 2019 a las 4:48, Ismael Luceno ()
>>> escribió:
>>>
 On 22/Sep/2019 14:00, Lanxana . wrote:
 > Com a guia m'he estat mirant la importació de les oficines de correus
 > de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
 > per convertir l'etiquetat i l'altre per generar les tasques per al
 > gestor.

 Seria interessant unir les dues parts i automatitzar la tasca; podem
 generar un fitxer XML amb el resultat llest per importar, així es pot

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

He afegit que acumuli al tag *isced:level* els diferents codis quan hi ha
mes d'un cicle al centre. P.ex:  

On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:

> Hola de nou,
>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script de
> conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el mes
> generic posible he separat a un fitxer apart el mapeig els noms de les
> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou auto-explicatiu.
> L'script en python que fa la conversio es: *convert_cvs2osm.py*
> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>
> Alguns comentaris i dubtes:
>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades i
> entenc que aquestes son les que tenen les dades mes actualitzades.
>  - Les adreces les he dividit en street i housenumber separant per la
> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
> coses al final com 'barri bla, bla'
>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle mes
> pasen a ser school.
>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi ha
> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
> Correcte?
>  - Pels 'Special Education Centers' he afegit description=Centre
> d'educació especial.
>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on nomes
> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
> seria el cas, no cal utilitzar-ho jo crec.
> - Cada node te un ID, que he vist que per importacions sol ser un numero
> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
> haver colisions amb altres...
>
> L'script no pot ser completament generic per que hi ha coses molt
> especifiques de les escoles, com el tema de min_age i max_age, pero crec
> que adaptar-ho per altres conversions no seria gaire dificil.
> No se si em deixo alguna cosa.
> parlem!
> victor
>
>
> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>
>> Crec que precisament per això a Madrid van fer dos scripts per tenir un
>> primer, genèric, que transforma els fitxers xml a osm, i un altre per
>> convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
>> el que podem aprofitar). No sé si és possible tenir un script que sigui
>> capaç de processar tots els tipus de dataset que tenim de la Generalitat.
>> Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
>> i separar en parts), però altres molt específiques (com els isced_level,
>> min_age, max_age, etc. en aquest cas).
>>
>> Encara no aconsegueixo posar-me amb el gestor per veure què necessita ni
>> com es fa. La meva idea era seguir el procés que van fer ells, o mirar com
>> es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
>> geojson amb els límits de les tasques i tampoc he aconseguit encara
>> generar-lo. A les males estic pensant que podem ordenar per codi postal,
>> dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
>> una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
>> tinguis un centre a la Vall d'Aran i un altre a Deltebre...
>>
>> Si algú sap i pot generar el geojson i/o investigar com funciona el
>> gestor de tasques, endavant! Jo no sé quan podré ni si ho podré fer.
>>
>> Salut!
>>
>>
>> 
>>  Libre
>> de virus. www.avast.com
>> 
>> <#m_1286287474594208639_m_1020502445569712513_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>>
>> El sáb., 12 oct. 2019 a las 4:48, Ismael Luceno ()
>> escribió:
>>
>>> On 22/Sep/2019 14:00, Lanxana . wrote:
>>> > Com a guia m'he estat mirant la importació de les oficines de correus
>>> > de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
>>> > per convertir l'etiquetat i l'altre per generar les tasques per al
>>> > gestor.
>>>
>>> Seria interessant unir les dues parts i automatitzar la tasca; podem
>>> generar un fitxer XML amb el resultat llest per importar, així es pot
>>> simplement revisar i importar.
>>>
>>> Per fer les unions amb nodes existents, quan no hi ha referència més
>>> fiable, simplement es pot usar la posició amb algun marge d'error i
>>> qualesvol altra etiqueta disponible.
>>>
>>> > Crec que podríem aprofitar el segon, però caldria adaptar o programar
>>> > un que faci el mateix que el primer però amb la estructura del xml de
>>> > la Generalitat (m'ha semblat que és diferent) i amb les nostres
>>> > etiquetes.

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Crec que precisament per això a Madrid van fer dos scripts per tenir un
primer, genèric, que transforma els fitxers xml a osm, i un altre per
convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
el que podem aprofitar). No sé si és possible tenir un script que sigui
capaç de processar tots els tipus de dataset que tenim de la Generalitat.
Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
i separar en parts), però altres molt específiques (com els isced_level,
min_age, max_age, etc. en aquest cas).

Encara no aconsegueixo posar-me amb el gestor per veure què necessita ni
com es fa. La meva idea era seguir el procés que van fer ells, o mirar com
es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
geojson amb els límits de les tasques i tampoc he aconseguit encara
generar-lo. A les males estic pensant que podem ordenar per codi postal,
dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
tinguis un centre a la Vall d'Aran i un altre a Deltebre...

Si algú sap i pot generar el geojson i/o investigar com funciona el gestor
de tasques, endavant! Jo no sé quan podré ni si ho podré fer.

Salut!


Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El sáb., 12 oct. 2019 a las 4:48, Ismael Luceno ()
escribió:

> On 22/Sep/2019 14:00, Lanxana . wrote:
> > Com a guia m'he estat mirant la importació de les oficines de correus
> > de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
> > per convertir l'etiquetat i l'altre per generar les tasques per al
> > gestor.
>
> Seria interessant unir les dues parts i automatitzar la tasca; podem
> generar un fitxer XML amb el resultat llest per importar, així es pot
> simplement revisar i importar.
>
> Per fer les unions amb nodes existents, quan no hi ha referència més
> fiable, simplement es pot usar la posició amb algun marge d'error i
> qualesvol altra etiqueta disponible.
>
> > Crec que podríem aprofitar el segon, però caldria adaptar o programar
> > un que faci el mateix que el primer però amb la estructura del xml de
> > la Generalitat (m'ha semblat que és diferent) i amb les nostres
> > etiquetes.
> <...>
>
> Jo diria que es important tenir un script genèric, capaç d'importar des
> de qualsevol font, i així concentrar esforços, perquè molt del que
> necessiten fer segurament és comú.
>
> No sembla una tasca difícil; ia més madridxml2osm no és fàcil d'adaptar,
> tot està codificat en el codi font, quan hauria de ser una transformació
> guiada pel contingut.
>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Ismael Luceno]

On 22/Sep/2019 14:00, Lanxana . wrote:
> Com a guia m'he estat mirant la importació de les oficines de correus
> de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
> per convertir l'etiquetat i l'altre per generar les tasques per al
> gestor.

Seria interessant unir les dues parts i automatitzar la tasca; podem
generar un fitxer XML amb el resultat llest per importar, així es pot
simplement revisar i importar.

Per fer les unions amb nodes existents, quan no hi ha referència més
fiable, simplement es pot usar la posició amb algun marge d'error i
qualesvol altra etiqueta disponible.

> Crec que podríem aprofitar el segon, però caldria adaptar o programar
> un que faci el mateix que el primer però amb la estructura del xml de
> la Generalitat (m'ha semblat que és diferent) i amb les nostres
> etiquetes.
<...> 

Jo diria que es important tenir un script genèric, capaç d'importar des
de qualsevol font, i així concentrar esforços, perquè molt del que
necessiten fer segurament és comú.

No sembla una tasca difícil; ia més madridxml2osm no és fàcil d'adaptar,
tot està codificat en el codi font, quan hauria de ser una transformació
guiada pel contingut.

___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia,

sí, així és, l'script ha de convertir els camps del csv o xml (el format
que et vagi més bé) a format osm amb l'etiquetat detallat. He vist que em
vaig oblidar posar a la taula que a tots els centres s'ha d'afegir la
etiqueta "source=Generalitat de Catalunya", suposo que no serà cap problema
afegir-lo.

Et passo el fitxer de Figueres en format osm perquè el puguis remenar.
Sobre el llenguatge de programació, el que et vagi més bé. Si ho fas amb
python, el podré llegir, a programar no m'hi veig.

Gràcies!

El mié., 25 sept. 2019 a las 20:46, Victor () escribió:

> Ok, llavors entenc s'hauria de fer un script que converteixi el CSV de la
> generalitat a format OSM amb els camps adaptats segons la teva descripcio.
> I despres aquest OSM es convertiria en les tasques per carregar pels
> voluntaris. Correcte?
> El 1er script no crec que sigui gaire problema, ho podria fer en python.
> M'aniria be el format concret del OSM, un d'exemple, pero que ho puc
> trobar. El script de Madrid es shell-script, mes criptic de seguir.
> El que no se quan podre, d'aqui a un parell de setmanes potser.
> victor
>


Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>


cd_figueres.osm
Description: Binary data
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia,

tornem a la càrrega, després de fer les consultes pertinents i donar-hi un
parell més de voltes, he actualitzat la wiki [1] amb les etiquetes a
utilitzar i he preparat un document [2] on es detalla quina etiqueta es
converteix en quina o quines, i he afegit com a mostra els centres de
Figueres, tal com apareixen al fitxer de la Generalitat com tal com han de
quedar en el fitxer osm. Hi ha dos camps (coordenades GEO X i Y) que s'han
de conservar tal qual per a que OSM ubiqui bé els punts (hi ha algun centre
que les coordenades UTM envia enmig del mar, però les GEO estan bé)

Com a guia m'he estat mirant la importació de les oficines de correus de
Madrid [3]. Fan servir dos scripts (tots dos estan a github): un per
convertir l'etiquetat i l'altre per generar les tasques per al gestor. Crec
que podríem aprofitar el segon, però caldria adaptar o programar un que
faci el mateix que el primer però amb la estructura del xml de la
Generalitat (m'ha semblat que és diferent) i amb les nostres etiquetes. Com
que no sóc programadora i els darrers intents per aprendre han sigut
nefastos, ho deixo per als experts. Víctor, podries ocupar-te'n? Si tens
qualsevol dubte, em pots contactar per correu o al telegram.

Per a les formes de contacte, a tagging s'està debatent si fer servir
'contact:phone=*' o 'phone=*', en aquest cas he proposat fer servir la
fórmula 'contact:phone/fax/email...' per unificar criteris, però sempre es
podria canviar si calgués.

Gràcies!

[1] https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
[2]
https://drive.google.com/file/d/1098kcGQlB43PXZrL33sq5dgHTSFtRnrT/view?usp=sharing
[3] https://wiki.openstreetmap.org/wiki/Madrid_Post_Offices_Import

>

Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones, anem a pams...

La idea principal és que tenim un conjunt de dades A (generalitat), que
depurem per eliminar els duplicats i transformem en un conjunt de dades B
(etiquetat OSM). Aquest conjunt B es dividirà en X tasques que aniran al
gestor de tasques per facilitar la seva edició. Quan obris la tasca X1,
tindràs els punts de la tasca, cadascú amb les etiquetes que li pertoquen,
i en principi només caldrà verificar que és la mateixa escola que hi ha a
OSM, o és a prop. Si és la mateixa, es copien les etiquetes del punt X1 a
la escola en el mapa o es fusionen geometries. Si no ho és, o no hi és,
doncs caldrà dibuixar-la amb el nivell de detall que decidim i posar-li les
etiquetes que tenim en el punt X1. I si hi ha dubtes, preveure-ho i
deixar-la en "standby" com van fer a Madrid amb crec que va ser les fonts
d'aigua potable.

Ja que revisem les escoles que hi ha, podem unificar criteris, com que
l’etiquetat vagi sempre en el contorn o perímetre, com a amenity=school +
totes les etiquetes que tenim a la tasca Xn. Podem decidir que amb només el
perímetre ja està bé o la podem detallar un xic més. Per exemple, podem
afegir els edificis i posar-los el building=school o buildgin=kindergarten
si sabem de manera certera qué són, sinò building=school, building=public o
building=yes; podem afegir la pista esportiva com a leisure=pitch +
sport=multi (o basket, o futbol, el que pertoqui); podem afegir una font si
té i sabem on és, etc...

Sobre l’etiquetat que ja hi ha, no he mirat en els fitxers que vas passar
quin és, potser caldrà veure en cada cas què fer. Si és només el nom, doncs
veure quin dels dos és més complet i correcte. O si són etiquetes repetides
al perímetre i al edifici, esborrar les que sobren de l'edifici. Una de les
coses que estic preparant és l’ajust dels noms que hi ha al dataset als
codis d’ús de OSM. Per exemple, s’han de treure les abreviatures i les
sigles (AFA, CEE, CFA, EASD, EB...). En alguns casos serà complex i per
això estic fent un llistat amb tot el que he trobat i possibles solucions
per traslladar-ho després a debat i decidir com posem el nom.

Una altra cosa que s’haurà de fer és “arreglar” les adreces, ahir quan vaig
obrir el dataset per analitzar les dades vaig veure que el format que tenen
no és vàlid, s’hauran de “cuinar” abans de poder-les incorporar.

En aquests dies o ja el cap de setmana (sóc de les que no fan vacances a
l'agost) vull preparar bé què s’ha de fer amb cada tipus de dada, a nivell
de programació. Per exemple, que si l’adreça és ‘Av. Generalitat, 15’,
l’script ho haurà de traduir a tres camps: addr:full=Av.Generalitat, 15 +
addr:street=Avinguda de la Generalitat + addr:housenumber=15. I si l’escola
ofereix EINF2C+EPRI, l’script ho haurà de traduir a isced:level:1=yes +
isced:level:2=yes + min_age=3 + max_age=12  (lo dels isced:level ho estic
consultant amb tagging perquè ens deixin posar-los així en comptes de fer
servir isced:level=1; 2), a banda del tema del nom, format del número de
telèfon, etc.

Sobre altres scripts, es poden mirar les importacions que han fet a Madrid,
diria que per cadascuna han optat per una solució diferent, i que alguns
scripts estan la wiki i altres a github:
https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/Importaciones#Importaciones_finalizadas

I sobre manteniment de les dades, es pot plantejar com a tasca anual,
comprovar si han actualitzat el dataset al portal de dades obertes i fer un
match amb el que ja tinguem al mapa. En tot cas, afegirem el codi del
centre com a ref  per tal que després sigui més fàcil comparar dades i
actualitzar les que calgui.

Crec que no em deixo res...

Salut!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones!

Wiki creada i primers apartats afegits. Faltarà posar el codi que es faci
servir per a la conversió de les dades i el flux de treball (o workflow).

A revisar:
- en alguns apartats he afegit comentaris en cursiva i entre parèntesis
perquè cal acabar de redactar-los
- a la primera taula, la de "Tagging Conversion" falta determinar si
existeix o no un etiquetat que ens serveixi per als camps que a la columna
"OSM tag" estan en blanc. Si no hi ha etiqueta o no volem complicar-nos la
vida, s'afegeix "Not used" i cap problema. Són: Nom delegació, Nom comarca,
Nom DM (nom del districte del municipi?), Zona educativa i centre
d'Educació especial.
- a la segona taula, algú que tingui més coneixement del complex món
educatiu actual i totes les seves sigles... s'ha de revisar que no l'hagi
pifiat al assignar els ISCED level als que el tenen, i si es pot assignar a
la resta, o posar un " - " per saber que no té equivalència (per exemple,
les escoles d'idiomes no tindrien ISCED_level). Ídem amb les franges
d'edat, en alguns casos només he posat la edat mínima per accedir-hi, cal
revisar si la resta tenen edat mínima d'accés o no i si les que hi ha estan
ben posades.
- cas apart seran els centres d'educació especial i els centres estrangers.
Per als primers encara no sé com s'etiqueten i per al segons, probablement
tocarà llistar-los i assignar el valor individualment, ja que segueixen el
model educatiu d'un altre país.

Passo els enllaços a la wiki i al isced_level:

wiki: https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
isced_level: https://wiki.openstreetmap.org/wiki/Key:isced:level

Salut!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones,

moltes gràcies Víctor pel llistat, comparar les dues bases ens servirà per
saber com de ben situats estan els centres al llistat de la Generalitat,
que encara recordo d'algun altre llistat, centres que anaven a parar al mig
del mar per errors a les coordenades...
El que aniria bé també és veure per quin motiu estan duplicats els centres
al llistat de la Generalitat i definir els criteris per eliminar-los.

Sobre el que dius, yopaseopor, comptava amb poder fer servir el gestor de
tasques per coordinar la feina. Caldrà veure com fem els grups de punts. A
una ciutat pots dir "faig paquets de X punts" i ja, però amb tot el
territori també caldrà tenir en compte proximitat entre els punts, i tampoc
podem dividir en una quadrícula exacta perquè ens podem trobar zones amb 10
centres i zones amb 200... A veure quina dispersió hi ha i quina és la
millor manera d'agrupar-los... em sona que hi ha algun algoritme a QGIS que
permet fer-ho.

Us convido a anar pensant en l'etiquetat que els hi posarem (els obvis de
name, amenity, addr:*, contact:*... i altres no tan directes, com edats i
el o els "isced levels"), de cara a que l'script primer depuri i després
afegeixi les etiquetes OSM.

Si no hi ha cap canvi, aquest cap de setmana m'hi podré dedicar una
estona.

Anem parlant!

El mié., 31 jul. 2019 a las 12:55, yo paseopor ()
escribió:

> Si sabem zonificar-ho per fer tota aquesta feinada podem fer servir el
> gestor de tasques de la comunitat espanyola. És des d'on gestionem les
> importacions de cadastre o el SIGPAC de 2019 per a Catalunya.
> http://tareas.openstreetmap.es
>
> Salut i mapes
> yopaseopor
>
> On Wed, Jul 31, 2019 at 12:48 PM Victor  wrote:
>
>> He fet una primera prova de aparellar els centres descarregats del OSM
>> amb el llistat de la generalitat mitjançat la proximitat per coordenades, o
>> sigui els que estan a menys d'uns 300m aproximadament.  I he generat un csv
>> amb els nom i municipi del centre al OSM i el nom i municipi al csv de la
>> generalitat:
>>
>> https://drive.google.com/file/d/17x1Q1w6oQGdGT6Bh6Qdv-ehtF1QmaPg6/view?usp=sharing
>>
>> Molts coincideixen mes o menys, alguns deuen ser fals positius degut a
>> escoles i instituts que estan tocant, etc.   Molts no tenen cap nom al OSM,
>> ara amb aixo es podrien completar facilment.
>> I de moment per anar rapid nomes ho he fet amb nodes, que ja venen amb
>> les coordenades. Per poligons i relacions quan tingui una estona mes. I
>> afegint escoles bressol tambe.
>>
>> Aquests serien els centres que apareixen als dos llocs, per coordenades.
>> Tambe tinc els que estan a gencat pero encara no estan a OSM. I viceversa,
>> algun que hagi deixat de ser escola.
>> ___
>> Talk-cat mailing list
>> Talk-cat@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-cat
>>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[yo paseopor]

Si sabem zonificar-ho per fer tota aquesta feinada podem fer servir el
gestor de tasques de la comunitat espanyola. És des d'on gestionem les
importacions de cadastre o el SIGPAC de 2019 per a Catalunya.
http://tareas.openstreetmap.es

Salut i mapes
yopaseopor

On Wed, Jul 31, 2019 at 12:48 PM Victor  wrote:

> He fet una primera prova de aparellar els centres descarregats del OSM amb
> el llistat de la generalitat mitjançat la proximitat per coordenades, o
> sigui els que estan a menys d'uns 300m aproximadament.  I he generat un csv
> amb els nom i municipi del centre al OSM i el nom i municipi al csv de la
> generalitat:
>
> https://drive.google.com/file/d/17x1Q1w6oQGdGT6Bh6Qdv-ehtF1QmaPg6/view?usp=sharing
>
> Molts coincideixen mes o menys, alguns deuen ser fals positius degut a
> escoles i instituts que estan tocant, etc.   Molts no tenen cap nom al OSM,
> ara amb aixo es podrien completar facilment.
> I de moment per anar rapid nomes ho he fet amb nodes, que ja venen amb les
> coordenades. Per poligons i relacions quan tingui una estona mes. I afegint
> escoles bressol tambe.
>
> Aquests serien els centres que apareixen als dos llocs, per coordenades.
> Tambe tinc els que estan a gencat pero encara no estan a OSM. I viceversa,
> algun que hagi deixat de ser escola.
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

He fet una primera prova de aparellar els centres descarregats del OSM amb
el llistat de la generalitat mitjançat la proximitat per coordenades, o
sigui els que estan a menys d'uns 300m aproximadament.  I he generat un csv
amb els nom i municipi del centre al OSM i el nom i municipi al csv de la
generalitat:

https://drive.google.com/file/d/17x1Q1w6oQGdGT6Bh6Qdv-ehtF1QmaPg6/view?usp=sharing

Molts coincideixen mes o menys, alguns deuen ser fals positius degut a
escoles i instituts que estan tocant, etc.   Molts no tenen cap nom al OSM,
ara amb aixo es podrien completar facilment.
I de moment per anar rapid nomes ho he fet amb nodes, que ja venen amb les
coordenades. Per poligons i relacions quan tingui una estona mes. I afegint
escoles bressol tambe.

Aquests serien els centres que apareixen als dos llocs, per coordenades.
Tambe tinc els que estan a gencat pero encara no estan a OSM. I viceversa,
algun que hagi deixat de ser escola.
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Una 1a versio del CSV de les escoles extret del OSM:
https://drive.google.com/file/d/1M_Vu88qBZ6-AO5vmp8tJ3Tuj5gkpgMSp/view?usp=sharing
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Si, m’ho he pogut baixar del overpass ja filtrat en xml amb tots els tags i
pasar-ho a csv. Ara tinc el llistat de totes les escoles de catalunya amb
els tags mes comuns, unes 4000. Pero hi ha alguns problemes.

La gent ha posat alguns com amenity=school i altres com a building=school.
Segons entenc amenity hauria de ser el recinte de l’escola inclos els
patis, i building cada edifici de l’escola. Pero a cada lloc han fet la
seva. A part n’hi ha q no son escoles sino facultats, academies...  Molt
pocs tenen tags, alguns ni tan sols el nom, cap tag.
Apart n’hi ha nodes, ways i relacions, aquestes no haurien de tenir aquest
tag.

Kindergartens, facultats, universitats i demes no he mirat, nomes schools.

Per altre banda m’he descarregat un quadrat q agafa tota catalunya, pero
tambe alguns pobles de l’arago, frança, castello. No se si hi ha alguna
manera de filtrar. L’adreça o poblacio no hi es a la majoria.

On Monday, July 29, 2019,  wrote:

> Send Talk-cat mailing list submissions to
> talk-cat@openstreetmap.org
>
> To subscribe or unsubscribe via the World Wide Web, visit
> https://lists.openstreetmap.org/listinfo/talk-cat
> or, via email, send a message with subject or body 'help' to
> talk-cat-requ...@openstreetmap.org
>
> You can reach the person managing the list at
> talk-cat-ow...@openstreetmap.org
>
> When replying, please edit your Subject line so it is more specific
> than "Re: Contents of Talk-cat digest..."
>
>
> Today's Topics:
>
>1. Re:  Importació centres docents a Catalunya (Lanxana .)
>2. Re:  Importació centres docents a Catalunya (Lanxana .)
>
>
> --
>
> Message: 1
> Date: Mon, 29 Jul 2019 20:35:01 +0200
> From: "Lanxana ." 
> To: OpenStreetMap in catalan 
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
> Message-ID:
>  yfuy2bnmplgfx8ptquencfaxsbhbsdtlrn...@mail.gmail.com>
> Content-Type: text/plain; charset="utf-8"
>
> Bones,
>
> Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
> quantes consultes generals... al dataset hi ha 5641 centres diferents (si
> he aplicat bé la formula per calcular els valors diferents). Respecte a
> OSM, he fet un parell de consultes ràpides a overpass per saber quants
> centres hi ha ara al mapa:
>
> amenity=school [1] -> 648 punts, 7 línies i 1895 polígons
>
> amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons
>
> Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
> hi ha centres que són node i polígon.
>
> El dataset està al portal de dades obertes de la Generalitat, deixo
> l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
> baixar-lo en csv per poder treballar amb el Calc.
>
> A Madrid van fer la importació dels centres de culte i de museus, tenint en
> compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com a
> guia per redactar aquesta [4] i [5], només que ells van fer-ho directament
> en anglès i el tinc massa rovellat com per escriure-ho tot directament.
>
> Salut!
>
> [1] https://overpass-turbo.eu/s/La4
>
> [2] https://overpass-turbo.eu/s/La5
>
> [3]
> https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-
> docents/e2ef-eiqj
>
> [4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import
>
> [5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import
>
> <https://www.avast.com/sig-email?utm_medium=email_
> source=link_campaign=sig-email_content=webmail>
> Libre
> de virus. www.avast.com
> <https://www.avast.com/sig-email?utm_medium=email_
> source=link_campaign=sig-email_content=webmail>
> <#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>
> El lun., 29 jul. 2019 a las 11:45, Victor () escribió:
>
> > Aixo dels centres existents ja ho havia pensat, importar masivament no es
> > tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
> > solucio es fer-ho mig manualment amb el maxim de pre-procesament per
> > agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
> > manual, si parlem de milers de centres.
> >
> > M'he baixat la base de dades de OSM en XML d'una part del valles i he
> > extret les escoles; els elements amb el tag 'school'.  Poden ser tant
> nodes
> > com ways o relations. Molts nomes posa el nom, altres hi ha tambe
> addreça,
> > web, telf... p.ex:
> >  > timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
> > user="larslynch">
> > 
> > 
> > 
> > 
> > 
> > 
> >
> >

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Acabo de recordar i veure que des de la consulta overpass es poden
descarregar la resta d'etiquetats... quin cap!

<https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
Libre
de virus. www.avast.com
<https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El lun., 29 jul. 2019 a las 20:35, Lanxana . ()
escribió:

> Bones,
>
> Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
> quantes consultes generals... al dataset hi ha 5641 centres diferents (si
> he aplicat bé la formula per calcular els valors diferents). Respecte a
> OSM, he fet un parell de consultes ràpides a overpass per saber quants
> centres hi ha ara al mapa:
>
> amenity=school [1] -> 648 punts, 7 línies i 1895 polígons
>
> amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons
>
> Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
> hi ha centres que són node i polígon.
>
> El dataset està al portal de dades obertes de la Generalitat, deixo
> l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
> baixar-lo en csv per poder treballar amb el Calc.
>
> A Madrid van fer la importació dels centres de culte i de museus, tenint
> en compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com
> a guia per redactar aquesta [4] i [5], només que ells van fer-ho
> directament en anglès i el tinc massa rovellat com per escriure-ho tot
> directament.
>
> Salut!
>
> [1] https://overpass-turbo.eu/s/La4
>
> [2] https://overpass-turbo.eu/s/La5
>
> [3]
> https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-docents/e2ef-eiqj
>
> [4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import
>
> [5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import
>
>
> <https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
>  Libre
> de virus. www.avast.com
> <https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
> <#m_7165180332788154757_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>
> El lun., 29 jul. 2019 a las 11:45, Victor () escribió:
>
>> Aixo dels centres existents ja ho havia pensat, importar masivament no es
>> tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
>> solucio es fer-ho mig manualment amb el maxim de pre-procesament per
>> agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
>> manual, si parlem de milers de centres.
>>
>> M'he baixat la base de dades de OSM en XML d'una part del valles i he
>> extret les escoles; els elements amb el tag 'school'.  Poden ser tant nodes
>> com ways o relations. Molts nomes posa el nom, altres hi ha tambe addreça,
>> web, telf... p.ex:
>> > timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
>> user="larslynch">
>> 
>> 
>> 
>> 
>> 
>> 
>>
>> Quan pugui ho acavo d'extreure a un CSV,  de tot catalunya o el que
>> pugui, el fitxer inicial ocupa molts GB pero es pot fer.
>>
>>  La teva llista d'escoles, d'on ha sortit? del ICC?  El tema de buscar
>> els repetits i les diferencies es facil si me'l pases, puc extreure un
>> llistat en CSV o similar.
>> Despres apart es podria intentar aparellar tots els centres del teu
>> llistat amb tots els del OSM.  No se si sera posible pel nom, o si no per
>> proximitat de les coordenades (tampoc es tan facil quan son ways o
>> relations, pero es pot fer) i veure quins falten a una banda i a l'altre,
>> quins no hi son al OSM (potser no falten tants), quins hi son pero falten
>> attributs, etc.  I evaluar que val la pena fer, suposo.
>>
>> On Sun, Jul 28, 2019 at 10:42 PM 
>> wrote:
>>
>>>
>>> --
>>>
>>> Message: 1
>>> Date: Sun, 28 Jul 2019 15:56:09 +0200
>>> From: Victor 
>>> To: talk-cat@openstreetmap.org
>>> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>>>
>>>
>>>
>>> ___
>> Talk-cat mailing list
>> Talk-cat@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-cat
>>
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones,

Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
quantes consultes generals... al dataset hi ha 5641 centres diferents (si
he aplicat bé la formula per calcular els valors diferents). Respecte a
OSM, he fet un parell de consultes ràpides a overpass per saber quants
centres hi ha ara al mapa:

amenity=school [1] -> 648 punts, 7 línies i 1895 polígons

amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons

Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
hi ha centres que són node i polígon.

El dataset està al portal de dades obertes de la Generalitat, deixo
l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
baixar-lo en csv per poder treballar amb el Calc.

A Madrid van fer la importació dels centres de culte i de museus, tenint en
compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com a
guia per redactar aquesta [4] i [5], només que ells van fer-ho directament
en anglès i el tinc massa rovellat com per escriure-ho tot directament.

Salut!

[1] https://overpass-turbo.eu/s/La4

[2] https://overpass-turbo.eu/s/La5

[3]
https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-docents/e2ef-eiqj

[4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import

[5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import

<https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
Libre
de virus. www.avast.com
<https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El lun., 29 jul. 2019 a las 11:45, Victor () escribió:

> Aixo dels centres existents ja ho havia pensat, importar masivament no es
> tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
> solucio es fer-ho mig manualment amb el maxim de pre-procesament per
> agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
> manual, si parlem de milers de centres.
>
> M'he baixat la base de dades de OSM en XML d'una part del valles i he
> extret les escoles; els elements amb el tag 'school'.  Poden ser tant nodes
> com ways o relations. Molts nomes posa el nom, altres hi ha tambe addreça,
> web, telf... p.ex:
>  timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
> user="larslynch">
> 
> 
> 
> 
> 
> 
>
> Quan pugui ho acavo d'extreure a un CSV,  de tot catalunya o el que pugui,
> el fitxer inicial ocupa molts GB pero es pot fer.
>
>  La teva llista d'escoles, d'on ha sortit? del ICC?  El tema de buscar els
> repetits i les diferencies es facil si me'l pases, puc extreure un llistat
> en CSV o similar.
> Despres apart es podria intentar aparellar tots els centres del teu
> llistat amb tots els del OSM.  No se si sera posible pel nom, o si no per
> proximitat de les coordenades (tampoc es tan facil quan son ways o
> relations, pero es pot fer) i veure quins falten a una banda i a l'altre,
> quins no hi son al OSM (potser no falten tants), quins hi son pero falten
> attributs, etc.  I evaluar que val la pena fer, suposo.
>
> On Sun, Jul 28, 2019 at 10:42 PM 
> wrote:
>
>>
>> ----------------------
>>
>> Message: 1
>> Date: Sun, 28 Jul 2019 15:56:09 +0200
>> From: Victor 
>> To: talk-cat@openstreetmap.org
>> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>>
>>
>>
>> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bona tarda,

Gràcies a tots dos per opinar. Sobre l’anàlisi, d’entrada he vist que els
centres estan repetits, sense que hagi trobat encara per quin motiu.
Pensava que era una fila per tipus d’ensenyament, però no és així. Com
exemple, un centre de Girona que apareix 4 cops, ofereix EINF1C, EINF2C,
EPRI, ESO i BATX a les quatres files. La única diferència és el curs i any
de les dades, a banda 2 files tenen unes coordenades i 2 files unes altres.
En aquest cas caldria posar-les sobre el mapa per veure si consta de dos
edificis que justifiquin aquesta diferència.

Victor, hi ha alguna manera automàtica de fer aquest anàlisi, és a dir,
comparar les dades dels centres repetits i detectar les diferències?

En funció d’aquestes diferències, decidiríem què fer. Per exemple, si la
diferència està en les dates del curs, agafar el més actual; si són
geogràfiques, d’adreça, telèfon, correu o altre mitjà de contacte,
deixar-les per poder analitzar manualment quines són les correctes...


Pitort, sobre el que comentes, entenc la teva preocupació, però cal tenir
en compte que intentarem fer la importació el millor possible, i això vol
dir moltes hores de preparació prèvia per preveure què ens trobarem i com
ho solucionarem.

1 - efectivament, ja hi ha molta informació al mapa i cal respectar-la. En
el flux de treball s’haurà de detallar què es farà quan ja hi hagi
informació al mapa. Ens podem trobar escoles que són un node, un edifici o
un recinte, algunes tindran adreça i dades contacte, però la majoria només
tindran el nom. Els hi podem afegir les dades de contacte, els cicles que
cobreix, si són públiques o privades, la franja d’edat dels alumnes...

2 - això també s’ha de preveure en el procediment d’importació. Abans de
donar per bo un centre, cal comprovar si està a un lloc lògic. A la wiki
s’ha de detallar com i què fer: les coordenades cauen a l’adreça que indica
el centre? Es pot confirmar d’alguna manera que hi ha un centre i és el que
s’indica? Si no es pot, què es fa amb aquest centre? Si no hi ha res,
deixem només el node que prové del dataset o dibuixem recinte, edificis i
serveis?


El concepte d’importació com bolcar les dades d’un dataset al mapa de
manera automàtica ja no té sentit avui dia. Es tracta més de verificar què
hi ha i completar-ho amb dades oficials, per això parlo d’importació,
perquè es fa amb dades oficials i hi haurà un procediment més o menys
automatitzat al darrera (conversió d’etiquetes, gestor de tasques, flux de
treball...)

Una de les coses que es pot fer com a pas previ és fer una consulta sobre
els centres que tenim actualment al mapa i quines etiquetes tenen, si algú
sap com fer-la i bolcar-la en un fitxer que puguem consultar, endavant!

Salut!

El dom., 28 jul. 2019 a las 18:08,  escribió:

> Hola,
>
> Us deixeu una tasca fonamental i una de recomanable:
>
> 1. Què fareu amb els centres que ja existeixen? Surpimireu la feina feta?
> 2. Com verificareu que les coordenades són correctes i no poseu centres al
> mig del carrer? La meva experiència indica que són aproximades i en un
> entorn urbà pot passar qualsevol cosa.
>
> No estic en contra de les importacions, però si de la feina mal feta. Qui
> importi dades hauria de verificar-ne el resultat. Tenim exemples molt
> lamentables. Més no equival a millor.
>
> Salutacions
> pitort
>
> --- original message ---
> From: Victor 
> Date: 28.07.2019 15:56:09
> To: talk-cat@openstreetmap.org
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>
> Hola, jo podria col.laborar amb el tema dels scripts, analitzar
> l'arxiu d'origen i si cal fer neteja de les dades, uniformitzar camps,
> etc. Conec python i pandas que pot anar be per sengons quin tipus
> d'analisis.
>
> On 7/27/19, talk-cat-requ...@openstreetmap.org
>  wrote:
> > Send Talk-cat mailing list submissions to
> >
> > Bon dia, gent!
> >
> > Tot aprofitant que tenim el personal docent fent vacances, he pensat
> en
> > començar a preparar la importació dels centres docents que tenim a
> > Catalunya, a partir del dataset que hi ha a les dades obertes de la
> > Generalitat.
> >
> > Per poder fer la importació cal seguir una sèrie de passes i anar prenent
> > decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento
> per
> > aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en
> sí,
> > sinó en la presa de decisions, programació d’script, redactat de
> > documentació i correus... Per què us feu una idea, el dataset està
> compost
> > per gairebé 22.000 files, que no he mirat encara si són a centre per
> fila o
> > n’hi ha de repetits, i 60 camps.
> >
> > Fases de treball (ordre aproximat):
> >
> > 1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
> > contenen. (FASE FETA, adjunto fitxer).
>

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola, jo podria col.laborar amb el tema dels scripts, analitzar
l'arxiu d'origen i si cal fer neteja de les dades, uniformitzar camps,
etc. Conec python i pandas que pot anar be per sengons quin tipus
d'analisis.

On 7/27/19, talk-cat-requ...@openstreetmap.org
 wrote:
> Send Talk-cat mailing list submissions to
>
> Bon dia, gent!
>
> Tot aprofitant que tenim el personal docent fent vacances, he pensat en
> començar a preparar la importació dels centres docents que tenim a
> Catalunya, a partir del dataset que hi ha a les dades obertes de la
> Generalitat.
>
> Per poder fer la importació cal seguir una sèrie de passes i anar prenent
> decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento per
> aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en sí,
> sinó en la presa de decisions, programació d’script, redactat de
> documentació i correus... Per què us feu una idea, el dataset està compost
> per gairebé 22.000 files, que no he mirat encara si són a centre per fila o
> n’hi ha de repetits, i 60 camps.
>
> Fases de treball (ordre aproximat):
>
> 1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
> contenen. (FASE FETA, adjunto fitxer).
>
> 2 - determinar quins camps són importables i quins no
>
> 3 - obrir el dataset i analitzar què hi ha: duplicitat de centres? Com
> apareixen els que ofereixen més d’un cicle formatiu? Caldrà afegir
> etiquetat nou (edats mínimes i màximes, per exemple)? Hi ha diferenciació
> entre privat i concertat? Com indiquem estudis públics amb taxa (escola
> idiomes, alguns cicles superiors, escola adults...)? Com han tractat els
> ZAR o escoles rurals? Cal afegir algun codi per identificar qui hi forma
> part?
>
> 4 - definir l’etiquetat tant dels camps importables com el que haguem
> definit abans per tractar les diferents casuístiques
>
> 5 - crear un script que converteixi el csv o xml origen en el fitxer osm o
> csv base per a la importació
>
> 6 - determinar com farem la importació (més aviat serà tot coflació de
> dades): gestor de tasques per municipi, àrea, quantitat de centres?
>
> 7 - documentar tot a la wiki: llicència, estudi dels camps, script per a la
> conversió, com es farà la importació... Decidir llengua/llengües de la
> wiki: català, castellà i anglès?
>
> 8 - escriure a la comunitat espanyola
>
> 9 - escriure a imports, afegir la proposta a la wiki corresponent,
> gestionar respostes...
>
> 10 - importació!
>
> Us convido a que dieu la vostra i comenteu on i com podríeu ajudar, per
> muntar un equip de treball i anar organitzant-nos. O què us semblaria
> compartir les tasques de preparació amb la llista espanyola per tenir més
> mans i opinions abans de fer-la oficial.
>
> Afegeixo una sèrie d’enllaços a diferents pàgines de la wiki on he trobat
> informació relativa als centres docents:
>
> Codi ISCED, utilitzat per identificar el grau formatiu:
> https://wiki.openstreetmap.org/wiki/Key:isced:level
>
> Etiqueta school amb les etiquetes addicionals proposades:
> https://wiki.openstreetmap.org/wiki/Tag:amenity%3Dschool
>
> Estudi sobre les etiquetes disponibles per al sector educatiu (la versió en
> castellà podria ser un xic diferent a l’anglesa):
> https://wiki.openstreetmap.org/wiki/Education_features
>
> Última importació de centres escolars que he trobat, feta a Perú:
> https://wiki.openstreetmap.org/wiki/ES:Importando_instituciones_educativas_en_Per%C3%BA
>
> Exemple de wiki d’importació, feta a Madrid:
> https://wiki.openstreetmap.org/wiki/Madrid_Drinking_Water_Import
> Salut!
> -- next part --
> An HTML attachment was scrubbed...
> URL:
> 
> -- next part --
> A non-text attachment was scrubbed...
> Name: OSM_centres_docents.csv
> Type: application/vnd.ms-excel
> Size: 2775 bytes
> Desc: not available
> URL:
> 
>
> --
>
> Subject: Digest Footer
>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
>
> --
>
> End of Talk-cat Digest, Vol 69, Issue 1
> ***
>

___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

[Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia, gent!

Tot aprofitant que tenim el personal docent fent vacances, he pensat en
començar a preparar la importació dels centres docents que tenim a
Catalunya, a partir del dataset que hi ha a les dades obertes de la
Generalitat.

Per poder fer la importació cal seguir una sèrie de passes i anar prenent
decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento per
aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en sí,
sinó en la presa de decisions, programació d’script, redactat de
documentació i correus... Per què us feu una idea, el dataset està compost
per gairebé 22.000 files, que no he mirat encara si són a centre per fila o
n’hi ha de repetits, i 60 camps.

Fases de treball (ordre aproximat):

1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
contenen. (FASE FETA, adjunto fitxer).

2 - determinar quins camps són importables i quins no

3 - obrir el dataset i analitzar què hi ha: duplicitat de centres? Com
apareixen els que ofereixen més d’un cicle formatiu? Caldrà afegir
etiquetat nou (edats mínimes i màximes, per exemple)? Hi ha diferenciació
entre privat i concertat? Com indiquem estudis públics amb taxa (escola
idiomes, alguns cicles superiors, escola adults...)? Com han tractat els
ZAR o escoles rurals? Cal afegir algun codi per identificar qui hi forma
part?

4 - definir l’etiquetat tant dels camps importables com el que haguem
definit abans per tractar les diferents casuístiques

5 - crear un script que converteixi el csv o xml origen en el fitxer osm o
csv base per a la importació

6 - determinar com farem la importació (més aviat serà tot coflació de
dades): gestor de tasques per municipi, àrea, quantitat de centres?

7 - documentar tot a la wiki: llicència, estudi dels camps, script per a la
conversió, com es farà la importació... Decidir llengua/llengües de la
wiki: català, castellà i anglès?

8 - escriure a la comunitat espanyola

9 - escriure a imports, afegir la proposta a la wiki corresponent,
gestionar respostes...

10 - importació!

Us convido a que dieu la vostra i comenteu on i com podríeu ajudar, per
muntar un equip de treball i anar organitzant-nos. O què us semblaria
compartir les tasques de preparació amb la llista espanyola per tenir més
mans i opinions abans de fer-la oficial.

Afegeixo una sèrie d’enllaços a diferents pàgines de la wiki on he trobat
informació relativa als centres docents:

Codi ISCED, utilitzat per identificar el grau formatiu:
https://wiki.openstreetmap.org/wiki/Key:isced:level

Etiqueta school amb les etiquetes addicionals proposades:
https://wiki.openstreetmap.org/wiki/Tag:amenity%3Dschool

Estudi sobre les etiquetes disponibles per al sector educatiu (la versió en
castellà podria ser un xic diferent a l’anglesa):
https://wiki.openstreetmap.org/wiki/Education_features

Última importació de centres escolars que he trobat, feta a Perú:
https://wiki.openstreetmap.org/wiki/ES:Importando_instituciones_educativas_en_Per%C3%BA

Exemple de wiki d’importació, feta a Madrid:
https://wiki.openstreetmap.org/wiki/Madrid_Drinking_Water_Import
Salut!


OSM_centres_docents.csv
Description: MS-Excel spreadsheet
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat