Re: [Talk-cat] Importació centres docents a Catalunya

[yo paseopor]

Bon dia i Feliç any
Pel que jo sé, en les importacions del cadastre es genera un arxiu
anomenat zonig.geojson com aquest:
https://github.com/OSM-es/catastro-import/blob/master/10208/zoning.geojson
que apunta a totes les descàrregues, habilitades en un mateix repositori de
github.
Les instruccions que introduïm al gestor per enllaçar amb això són aquestes:
https://wiki.openstreetmap.org/wiki/ES:Catastro_espa%C3%B1ol/Importaci%C3%B3n_de_edificios/Gu%C3%ADa_de_importaci%C3%B3n/Gesti%C3%B3n_de_proyectos#Crear_proyectos


Espero que serveixi d'ajuda
Salut i Feliç 2020
yopaseopor
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia (i Bon Any, gairebé)!

fins avui no he trobat el moment per donar un cop d'ull als fitxers. Està
genial la llista de conversió, estalviarà molta feina en la revisió dels
etiquetats. Moltes gràcies!

He detectat una altre cosa que aniria bé canviar, si es pot... en els
centres que imparteixen dues tipologies d'estudi (per exemple les escoles
institut que abarquen dels 3 als 18 anys) he vist que alguns cops apareixen
com school:primary i altres com a school:secondary, seria possible que
s'agrupessin els diferents estudis que imparteixen? És a dir, concatenar
els valors utilitzant el ; com a separador -> school:primary; secondary;
professional, per posar un exemple complex (que ara mateix no sé si es dona
o no).

Sobre dividir les tasques, doncs si es poden agrupar els punts amb una eina
de clustering, des del codi, seria una molt bona solució. Que les àrees
gràfiques es solapin no hauria de suposar un problema, ja que el centre
estarà en una o en una altra, i encara que dues persones treballin a la
mateixa àrea, no generarien conflicte al pujar les dades. Per altra banda,
tenint en compte la complexitat al revisar els centres, crec que les
tasques haurien de ser relativament petites, d'uns 20 o 25 centres per
tasca. Crec que és millor tenir moltes tasques petites que poques i molt
grans, que no donin temps a acabar d'una sola editada. No sé com ho
veieu... també es podrien fer més grans i després veure si es pot habilitar
l'eina del gestor que divideix les tasques en altres més petites, però amb
la dispersió al territori que hi pot haver, crec que és millor que la
divisió ja la portem feta "de casa".

Com a coses al revisar abans de donar per bo un centre, crec que seria:
- verificar ubicació: que caigui en un lloc lògic
- verificar si ja hi és, al mateix lloc o proper, i ja sigui com a node o
àrea
- verificar adreça: que el nom del carrer sigui com el que ja hi ha a OSM i
la numeració lligui amb la existent o amb cadastre
- verificar la resta d'etiquetat, com que grups d'edat, estudis i tipus
centre lliguin entre ells
- verificar el nom: que no contingui abreviatures, crear short_name si cal
- traçar el perímetre del centre (optatiu, però ja que hi som...)

Què en penseu? Afegiríeu o trauríeu alguna comprovació? Quants centres
posaríeu per tasca (hi ha uns 5500 centres a importar)?

Salutacions!

El sáb., 7 dic. 2019 a las 17:03, Victor () escribió:

> Hola,
>
>  ok, he fet les modificacions, no es molt complicat. Aqui estan els arxius
> i el nou OSM:
> https://drive.google.com/open?id=1etBzdv3Dni3Dv_Vcfd_6huvuB9yme5hm
> He posat les traduccions de paraules i frases totes al fitxer de
> configuracio de forma que es poden afegir o modificar segons sigui
> necessari.
>
> # Terms and abreviations to be translated
> translations:
> operator:type:
> Públic: public
> Privat: private
> operator:
> Alt. Ens Públ.: Altres ens Públics
> Alt. est. no UE: Atres estats no Unió Europea
> Alt. estats UE: Atres estats Unió Europea
> Alt. Titularit.: Atres titularitats
> Altres Depart.: Altres Departaments
> Associacions: Associacions
> Cooperatives: Cooperatives
> Corp. Locals: Corporacions locals
> Dep.Ensenyament: Departament d'Ensenyament
> Església Catòl.: Església Catòlica
> Fundacions: Fundacions
> Jurídica Estra.: Jurídica estrangera
> Ordes i Cong.: Ordes i Congregacions
> Person.Fís. Es.: Persones Físiques
> Persones Físiq.: Persones Físiques
> Soc. Civils: Societats civils
> Soc. Mercantils: Societats mercantils
>
> word_replacements:
> addr:street:
> C.: Carrer
> Av.: Avinguda
> Ctra.: Carretera
> Pl.: Plaça
> pça.: Plaça
> Pça.: Plaça
> Pg.: Passeig
> Pss: Passeig
> Rbla.: Rambla
> Rda.: Ronda
> Trav.: Travessera
> Ptge.: Passatge
> pge.: Passatge
> urb.: Urbanització
> Urb.: Urbanització
> Prol.: Prolongació
> name:
> Esc.: Escola
> Cons.: Consevatori
> Cent.: "Centre "
> Prof: "Professional "
> Mús.: Música
> C.Educ.: "Centre d'Educació "
> Sup.: "Superior "
> Inst.: Institut
> inf.: infants
>
> Respecte als centres propers el que podria fer es agruparlos en paquests
> de p.ex 100 centres (clustering) , per proximitat basat en les
> coordenades.  I fer un arxiu OSM per cada grup.
> A partir d'aixo tambe es podria treure el poligon quadrat (bbox) que conte
> cada grup (max lat, max lon, min lat, min lon). Pero no serien quadrats
> alineats ni res, molts es solaparien per algun canto a llocs com barcelona,
> etc. No se si serviria.
> O potser amb els osm de cada grup es suficient per repartir la feina, per
> que de fet l'altre script de madrid fa el contrari, a partir dels quadrats
> calcula aquests osm petits.
>
> On Sat, Dec 7, 2019 at 1:25 PM Lanxana .  wrote:
>
>> Bon dia!
>>
>> En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
>> preparar l'script.
>>
>> Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el
>> fitxer *.osm a JOSM dona un error en unes coordenades, que al fitxer origen
>> estan malament. És una correcció manual que ja documentaré a la wiki i ho

Re: [Talk-cat] Importació centres docents a Catalunya

[yo paseopor]

Wenes!!
El gestor de tasques accepta  *GeoJSON*, *KML*, or *zipped SHP. *Heu de
pensar que no només estem un procés d'importació qualsevol, sinó que
estaria bé anar creant un programari que donat un conjunt de dades amb unes
característiques determinades pogués fer aquest procés per tal d'incloure'l
al nostre estàndard que és un gestor de tasques OSM. Per això
particularment trobo important que  es puguin donar totes aquestes
característiques, inclosa la manera de repartir tasques.

Salut i reparticions
yopaseopor

On Sat, Dec 7, 2019 at 5:03 PM Victor  wrote:

> Hola,
>
>  ok, he fet les modificacions, no es molt complicat. Aqui estan els arxius
> i el nou OSM:
> https://drive.google.com/open?id=1etBzdv3Dni3Dv_Vcfd_6huvuB9yme5hm
> He posat les traduccions de paraules i frases totes al fitxer de
> configuracio de forma que es poden afegir o modificar segons sigui
> necessari.
>
> # Terms and abreviations to be translated
> translations:
> operator:type:
> Públic: public
> Privat: private
> operator:
> Alt. Ens Públ.: Altres ens Públics
> Alt. est. no UE: Atres estats no Unió Europea
> Alt. estats UE: Atres estats Unió Europea
> Alt. Titularit.: Atres titularitats
> Altres Depart.: Altres Departaments
> Associacions: Associacions
> Cooperatives: Cooperatives
> Corp. Locals: Corporacions locals
> Dep.Ensenyament: Departament d'Ensenyament
> Església Catòl.: Església Catòlica
> Fundacions: Fundacions
> Jurídica Estra.: Jurídica estrangera
> Ordes i Cong.: Ordes i Congregacions
> Person.Fís. Es.: Persones Físiques
> Persones Físiq.: Persones Físiques
> Soc. Civils: Societats civils
> Soc. Mercantils: Societats mercantils
>
> word_replacements:
> addr:street:
> C.: Carrer
> Av.: Avinguda
> Ctra.: Carretera
> Pl.: Plaça
> pça.: Plaça
> Pça.: Plaça
> Pg.: Passeig
> Pss: Passeig
> Rbla.: Rambla
> Rda.: Ronda
> Trav.: Travessera
> Ptge.: Passatge
> pge.: Passatge
> urb.: Urbanització
> Urb.: Urbanització
> Prol.: Prolongació
> name:
> Esc.: Escola
> Cons.: Consevatori
> Cent.: "Centre "
> Prof: "Professional "
> Mús.: Música
> C.Educ.: "Centre d'Educació "
> Sup.: "Superior "
> Inst.: Institut
> inf.: infants
>
> Respecte als centres propers el que podria fer es agruparlos en paquests
> de p.ex 100 centres (clustering) , per proximitat basat en les
> coordenades.  I fer un arxiu OSM per cada grup.
> A partir d'aixo tambe es podria treure el poligon quadrat (bbox) que conte
> cada grup (max lat, max lon, min lat, min lon). Pero no serien quadrats
> alineats ni res, molts es solaparien per algun canto a llocs com barcelona,
> etc. No se si serviria.
> O potser amb els osm de cada grup es suficient per repartir la feina, per
> que de fet l'altre script de madrid fa el contrari, a partir dels quadrats
> calcula aquests osm petits.
>
> On Sat, Dec 7, 2019 at 1:25 PM Lanxana .  wrote:
>
>> Bon dia!
>>
>> En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
>> preparar l'script.
>>
>> Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el
>> fitxer *.osm a JOSM dona un error en unes coordenades, que al fitxer origen
>> estan malament. És una correcció manual que ja documentaré a la wiki i ho
>> comunicaré també al Departament d'Ensenyament perquè ho corregeixin a la
>> seva base. És l'Institut de Navarcles, codi 08059524, on la longitud s'ha
>> de canviar a 1.91130 (aprox., al dataset agafa el mateix valor que la UTM
>> Y, fins i tot a la columna amb la nova georeferència)
>>
>> Respecte a generar el fitxer GEOJSON, el propi JOSM deixa exportar en
>> aquest format, i des de QGIS puc fer els polígons per al gestor de tasques
>> (al menys aquesta és la teoria). Estic investigant com aconseguir polígons
>> que tinguin una quantitat similar de centres propers entre ells, sinó ho
>> faria de manera manual i aproximada.
>>
>> Respecte al script, volia saber si es poden incloure uns petits canvis,
>> si no es pogués ho documentaria per a que es faci la revisió manual abans
>> de validar cada centre:
>>
>> - el tag url no cal que aparegui en cada centre, el reservaríem per al
>> changeset. En canvi, els de source i source:date està bé que hi siguin
>> perquè és informació directa que un pot necessitar quan consulti aquell
>> centre en concret.
>>
>> - el tag operator:type agafa el valor de la taula, que està en català, i
>> hauria de quedar en anglès:
>>
>> Nom naturalesa operator:type
>> Públic public
>> Privat private
>>
>> - el tag operator també agafar el valor de la taula, que conté
>> abreviatures i s'haurien de substituir pels noms complets:
>>
>> Nom titularitat operator
>> Alt. Ens Públ. Altres ens Públics
>> Alt. est. no UE Atres estats no Unió Europea
>> Alt. estats UE Atres estats Unió Europea
>> Alt. Titularit. Atres titularitats
>> Altres Depart. Altres Departaments
>> Associacions Associacions
>> Cooperatives Cooperatives
>> Corp. Locals Corporacions locals
>> Dep.Ensenyament Departament d'Ensenyament
>> Església Catòl. Església Catòlica
>> Fundacions Fundacions
>> Jurídica Estra. 

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola,

 ok, he fet les modificacions, no es molt complicat. Aqui estan els arxius
i el nou OSM:
https://drive.google.com/open?id=1etBzdv3Dni3Dv_Vcfd_6huvuB9yme5hm
He posat les traduccions de paraules i frases totes al fitxer de
configuracio de forma que es poden afegir o modificar segons sigui
necessari.

# Terms and abreviations to be translated
translations:
operator:type:
Públic: public
Privat: private
operator:
Alt. Ens Públ.: Altres ens Públics
Alt. est. no UE: Atres estats no Unió Europea
Alt. estats UE: Atres estats Unió Europea
Alt. Titularit.: Atres titularitats
Altres Depart.: Altres Departaments
Associacions: Associacions
Cooperatives: Cooperatives
Corp. Locals: Corporacions locals
Dep.Ensenyament: Departament d'Ensenyament
Església Catòl.: Església Catòlica
Fundacions: Fundacions
Jurídica Estra.: Jurídica estrangera
Ordes i Cong.: Ordes i Congregacions
Person.Fís. Es.: Persones Físiques
Persones Físiq.: Persones Físiques
Soc. Civils: Societats civils
Soc. Mercantils: Societats mercantils

word_replacements:
addr:street:
C.: Carrer
Av.: Avinguda
Ctra.: Carretera
Pl.: Plaça
pça.: Plaça
Pça.: Plaça
Pg.: Passeig
Pss: Passeig
Rbla.: Rambla
Rda.: Ronda
Trav.: Travessera
Ptge.: Passatge
pge.: Passatge
urb.: Urbanització
Urb.: Urbanització
Prol.: Prolongació
name:
Esc.: Escola
Cons.: Consevatori
Cent.: "Centre "
Prof: "Professional "
Mús.: Música
C.Educ.: "Centre d'Educació "
Sup.: "Superior "
Inst.: Institut
inf.: infants

Respecte als centres propers el que podria fer es agruparlos en paquests de
p.ex 100 centres (clustering) , per proximitat basat en les coordenades.  I
fer un arxiu OSM per cada grup.
A partir d'aixo tambe es podria treure el poligon quadrat (bbox) que conte
cada grup (max lat, max lon, min lat, min lon). Pero no serien quadrats
alineats ni res, molts es solaparien per algun canto a llocs com barcelona,
etc. No se si serviria.
O potser amb els osm de cada grup es suficient per repartir la feina, per
que de fet l'altre script de madrid fa el contrari, a partir dels quadrats
calcula aquests osm petits.

On Sat, Dec 7, 2019 at 1:25 PM Lanxana .  wrote:

> Bon dia!
>
> En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
> preparar l'script.
>
> Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el fitxer
> *.osm a JOSM dona un error en unes coordenades, que al fitxer origen estan
> malament. És una correcció manual que ja documentaré a la wiki i ho
> comunicaré també al Departament d'Ensenyament perquè ho corregeixin a la
> seva base. És l'Institut de Navarcles, codi 08059524, on la longitud s'ha
> de canviar a 1.91130 (aprox., al dataset agafa el mateix valor que la UTM
> Y, fins i tot a la columna amb la nova georeferència)
>
> Respecte a generar el fitxer GEOJSON, el propi JOSM deixa exportar en
> aquest format, i des de QGIS puc fer els polígons per al gestor de tasques
> (al menys aquesta és la teoria). Estic investigant com aconseguir polígons
> que tinguin una quantitat similar de centres propers entre ells, sinó ho
> faria de manera manual i aproximada.
>
> Respecte al script, volia saber si es poden incloure uns petits canvis, si
> no es pogués ho documentaria per a que es faci la revisió manual abans de
> validar cada centre:
>
> - el tag url no cal que aparegui en cada centre, el reservaríem per al
> changeset. En canvi, els de source i source:date està bé que hi siguin
> perquè és informació directa que un pot necessitar quan consulti aquell
> centre en concret.
>
> - el tag operator:type agafa el valor de la taula, que està en català, i
> hauria de quedar en anglès:
>
> Nom naturalesa operator:type
> Públic public
> Privat private
>
> - el tag operator també agafar el valor de la taula, que conté
> abreviatures i s'haurien de substituir pels noms complets:
>
> Nom titularitat operator
> Alt. Ens Públ. Altres ens Públics
> Alt. est. no UE Atres estats no Unió Europea
> Alt. estats UE Atres estats Unió Europea
> Alt. Titularit. Atres titularitats
> Altres Depart. Altres Departaments
> Associacions Associacions
> Cooperatives Cooperatives
> Corp. Locals Corporacions locals
> Dep.Ensenyament Departament d'Ensenyament
> Església Catòl. Església Catòlica
> Fundacions Fundacions
> Jurídica Estra. Jurídica estrangera
> Ordes i Cong. Ordes i Congregacions
> Person.Fís. Es. Persones Físiques
> Persones Físiq. Persones Físiques
> Soc. Civils Societats civils
> Soc. Mercantils Societats mercantils
>
> - passa el mateix amb el tag name, en aquest cas hi ha moltíssimes
> variables i no sé fins a quin punt es poden automatitzar els canvis (si es
> pogués a partir d'una taula, la tinc creada i te la podria passar)
>
> - igual amb el tag addr:street, però com que les adreces s'hauran de
> revisar manualment sí o sí, es optatiu fer el canvi de C. per Carrer, Av.
> per Avinguda, etc. amb l'script
>
> Un cop més, moltes gràcies per la feina feta!
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia!

En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
preparar l'script.

Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el fitxer
*.osm a JOSM dona un error en unes coordenades, que al fitxer origen estan
malament. És una correcció manual que ja documentaré a la wiki i ho
comunicaré també al Departament d'Ensenyament perquè ho corregeixin a la
seva base. És l'Institut de Navarcles, codi 08059524, on la longitud s'ha
de canviar a 1.91130 (aprox., al dataset agafa el mateix valor que la UTM
Y, fins i tot a la columna amb la nova georeferència)

Respecte a generar el fitxer GEOJSON, el propi JOSM deixa exportar en
aquest format, i des de QGIS puc fer els polígons per al gestor de tasques
(al menys aquesta és la teoria). Estic investigant com aconseguir polígons
que tinguin una quantitat similar de centres propers entre ells, sinó ho
faria de manera manual i aproximada.

Respecte al script, volia saber si es poden incloure uns petits canvis, si
no es pogués ho documentaria per a que es faci la revisió manual abans de
validar cada centre:

- el tag url no cal que aparegui en cada centre, el reservaríem per al
changeset. En canvi, els de source i source:date està bé que hi siguin
perquè és informació directa que un pot necessitar quan consulti aquell
centre en concret.

- el tag operator:type agafa el valor de la taula, que està en català, i
hauria de quedar en anglès:

Nom naturalesa operator:type
Públic public
Privat private

- el tag operator també agafar el valor de la taula, que conté abreviatures
i s'haurien de substituir pels noms complets:

Nom titularitat operator
Alt. Ens Públ. Altres ens Públics
Alt. est. no UE Atres estats no Unió Europea
Alt. estats UE Atres estats Unió Europea
Alt. Titularit. Atres titularitats
Altres Depart. Altres Departaments
Associacions Associacions
Cooperatives Cooperatives
Corp. Locals Corporacions locals
Dep.Ensenyament Departament d'Ensenyament
Església Catòl. Església Catòlica
Fundacions Fundacions
Jurídica Estra. Jurídica estrangera
Ordes i Cong. Ordes i Congregacions
Person.Fís. Es. Persones Físiques
Persones Físiq. Persones Físiques
Soc. Civils Societats civils
Soc. Mercantils Societats mercantils

- passa el mateix amb el tag name, en aquest cas hi ha moltíssimes
variables i no sé fins a quin punt es poden automatitzar els canvis (si es
pogués a partir d'una taula, la tinc creada i te la podria passar)

- igual amb el tag addr:street, però com que les adreces s'hauran de
revisar manualment sí o sí, es optatiu fer el canvi de C. per Carrer, Av.
per Avinguda, etc. amb l'script

Un cop més, moltes gràcies per la feina feta!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

M'he estat mirant l'script dels de Madrid i crec que m'estava liant,
soc novatillo en tot aixo.  El segon script el que fa es dividir
l'arxiu OSM en trosos petits basat en els arxius geojson de cada area
de quadricula, segons entenc.  De forma que despres cada persona que
s'agafi un quadradet del gestor de tasques per completar tindra tambe
l'arxiu OSM d'aquesta area.

Un altre tema es crear un arxiu geojson de tot catalunya per
carregarlo al gesto de tasques, que no se com va.  Si aquest geojson
pot ser aproximat es pot fer facilment per exemple a aquesta web:
http://geojson.io/#map=8/41.741/1.428
I despres com repartir els centres en tasques al gestor tampoc se com
va. Molts estaran concentrats a barcelona i comarques del voltant,
etc.


On 11/30/19, yo paseopor  wrote:
> I això ens donaria un geojson exterior que ens servís després per
> carregar-lo al gestor de tasques (amb les zones per delimitar i tals?). És
> el pas que ens faltaria per incloure'l al gestor de tasques, al marge d'un
> arxiu OSM, que sempre va bé per editar des de JOSM.
>
> Salut i centres educatius
> yopaseopor
>
> On Fri, Nov 29, 2019 at 2:45 PM Victor  wrote:
>
>> He afegit que acumuli al tag *isced:level* els diferents codis quan hi ha
>> mes d'un cicle al centre. P.ex:  
>>
>> On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:
>>
>>> Hola de nou,
>>>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script
>>> de conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el
>>> mes
>>> generic posible he separat a un fitxer apart el mapeig els noms de les
>>> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
>>> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
>>> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou auto-explicatiu.
>>> L'script en python que fa la conversio es: *convert_cvs2osm.py*
>>> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>>>
>>> Alguns comentaris i dubtes:
>>>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades
>>> i entenc que aquestes son les que tenen les dades mes actualitzades.
>>>  - Les adreces les he dividit en street i housenumber separant per la
>>> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
>>> coses al final com 'barri bla, bla'
>>>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle
>>> mes
>>> pasen a ser school.
>>>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
>>> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi
>>> ha
>>> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
>>> Correcte?
>>>  - Pels 'Special Education Centers' he afegit description=Centre
>>> d'educació especial.
>>>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
>>> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
>>> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on
>>> nomes
>>> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
>>> seria el cas, no cal utilitzar-ho jo crec.
>>> - Cada node te un ID, que he vist que per importacions sol ser un numero
>>> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
>>> haver colisions amb altres...
>>>
>>> L'script no pot ser completament generic per que hi ha coses molt
>>> especifiques de les escoles, com el tema de min_age i max_age, pero crec
>>> que adaptar-ho per altres conversions no seria gaire dificil.
>>> No se si em deixo alguna cosa.
>>> parlem!
>>> victor
>>>
>>>
>>> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>>>
 Crec que precisament per això a Madrid van fer dos scripts per tenir un
 primer, genèric, que transforma els fitxers xml a osm, i un altre per
 convertir el fitxer osm en les tasques que es carreguen al gestor ( que
 és
 el que podem aprofitar). No sé si és possible tenir un script que sigui
 capaç de processar tots els tipus de dataset que tenim de la
 Generalitat.
 Hi haurà coses comunes com podria ser el tema adreça (que s'ha de
 processar
 i separar en parts), però altres molt específiques (com els
 isced_level,
 min_age, max_age, etc. en aquest cas).

 Encara no aconsegueixo posar-me amb el gestor per veure què necessita
 ni
 com es fa. La meva idea era seguir el procés que van fer ells, o mirar
 com
 es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
 geojson amb els límits de les tasques i tampoc he aconseguit encara
 generar-lo. A les males estic pensant que podem ordenar per codi
 postal,
 dividir en paquets d'uns 20 punts i tirar milles... al menys
 garantiríem
 una certa proximitat geogràfica entre ells perquè en una mateixa tasca
 no
 tinguis un centre a la Vall d'Aran i un altre a Deltebre...

 Si algú sap i pot generar el geojson i/o investigar com funciona el
 gestor de tasques, endavant! Jo no

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola, generar tambe les tasques en geojson (o json) es bastant facil, nomes
necesitaria veure la definio d'aquests arxius, o algun exemple, per veure
l'estructura concreta.
Crec que haviem dit que ja hi ha un segon script generic que feia la
conversio de OSM a JSON,  pero com que generar-ho directament crec que sera
molt senzill ho podria afegir.  O crear un 2on script en python que ho fes,
potser serien 4 linies i serviria per altres futures tasques.
victor

On Sat, Nov 30, 2019 at 1:22 PM yo paseopor  wrote:

> I això ens donaria un geojson exterior que ens servís després per
> carregar-lo al gestor de tasques (amb les zones per delimitar i tals?). És
> el pas que ens faltaria per incloure'l al gestor de tasques, al marge d'un
> arxiu OSM, que sempre va bé per editar des de JOSM.
>
> Salut i centres educatius
> yopaseopor
>
> On Fri, Nov 29, 2019 at 2:45 PM Victor  wrote:
>
>> He afegit que acumuli al tag *isced:level* els diferents codis quan hi
>> ha mes d'un cicle al centre. P.ex:  
>>
>> On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:
>>
>>> Hola de nou,
>>>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script
>>> de conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el mes
>>> generic posible he separat a un fitxer apart el mapeig els noms de les
>>> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
>>> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
>>> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou
>>> auto-explicatiu.
>>> L'script en python que fa la conversio es: *convert_cvs2osm.py*
>>> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>>>
>>> Alguns comentaris i dubtes:
>>>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades
>>> i entenc que aquestes son les que tenen les dades mes actualitzades.
>>>  - Les adreces les he dividit en street i housenumber separant per la
>>> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
>>> coses al final com 'barri bla, bla'
>>>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle
>>> mes pasen a ser school.
>>>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
>>> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi ha
>>> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
>>> Correcte?
>>>  - Pels 'Special Education Centers' he afegit description=Centre
>>> d'educació especial.
>>>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
>>> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
>>> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on nomes
>>> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
>>> seria el cas, no cal utilitzar-ho jo crec.
>>> - Cada node te un ID, que he vist que per importacions sol ser un numero
>>> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
>>> haver colisions amb altres...
>>>
>>> L'script no pot ser completament generic per que hi ha coses molt
>>> especifiques de les escoles, com el tema de min_age i max_age, pero crec
>>> que adaptar-ho per altres conversions no seria gaire dificil.
>>> No se si em deixo alguna cosa.
>>> parlem!
>>> victor
>>>
>>>
>>> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>>>
 Crec que precisament per això a Madrid van fer dos scripts per tenir un
 primer, genèric, que transforma els fitxers xml a osm, i un altre per
 convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
 el que podem aprofitar). No sé si és possible tenir un script que sigui
 capaç de processar tots els tipus de dataset que tenim de la Generalitat.
 Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
 i separar en parts), però altres molt específiques (com els isced_level,
 min_age, max_age, etc. en aquest cas).

 Encara no aconsegueixo posar-me amb el gestor per veure què necessita
 ni com es fa. La meva idea era seguir el procés que van fer ells, o mirar
 com es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
 geojson amb els límits de les tasques i tampoc he aconseguit encara
 generar-lo. A les males estic pensant que podem ordenar per codi postal,
 dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
 una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
 tinguis un centre a la Vall d'Aran i un altre a Deltebre...

 Si algú sap i pot generar el geojson i/o investigar com funciona el
 gestor de tasques, endavant! Jo no sé quan podré ni si ho podré fer.

 Salut!


 
  Libre
 de virus. www.avast.com
 

Re: [Talk-cat] Importació centres docents a Catalunya

[yo paseopor]

I això ens donaria un geojson exterior que ens servís després per
carregar-lo al gestor de tasques (amb les zones per delimitar i tals?). És
el pas que ens faltaria per incloure'l al gestor de tasques, al marge d'un
arxiu OSM, que sempre va bé per editar des de JOSM.

Salut i centres educatius
yopaseopor

On Fri, Nov 29, 2019 at 2:45 PM Victor  wrote:

> He afegit que acumuli al tag *isced:level* els diferents codis quan hi ha
> mes d'un cicle al centre. P.ex:  
>
> On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:
>
>> Hola de nou,
>>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script
>> de conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el mes
>> generic posible he separat a un fitxer apart el mapeig els noms de les
>> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
>> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
>> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou auto-explicatiu.
>> L'script en python que fa la conversio es: *convert_cvs2osm.py*
>> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>>
>> Alguns comentaris i dubtes:
>>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades
>> i entenc que aquestes son les que tenen les dades mes actualitzades.
>>  - Les adreces les he dividit en street i housenumber separant per la
>> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
>> coses al final com 'barri bla, bla'
>>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle mes
>> pasen a ser school.
>>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
>> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi ha
>> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
>> Correcte?
>>  - Pels 'Special Education Centers' he afegit description=Centre
>> d'educació especial.
>>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
>> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
>> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on nomes
>> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
>> seria el cas, no cal utilitzar-ho jo crec.
>> - Cada node te un ID, que he vist que per importacions sol ser un numero
>> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
>> haver colisions amb altres...
>>
>> L'script no pot ser completament generic per que hi ha coses molt
>> especifiques de les escoles, com el tema de min_age i max_age, pero crec
>> que adaptar-ho per altres conversions no seria gaire dificil.
>> No se si em deixo alguna cosa.
>> parlem!
>> victor
>>
>>
>> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>>
>>> Crec que precisament per això a Madrid van fer dos scripts per tenir un
>>> primer, genèric, que transforma els fitxers xml a osm, i un altre per
>>> convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
>>> el que podem aprofitar). No sé si és possible tenir un script que sigui
>>> capaç de processar tots els tipus de dataset que tenim de la Generalitat.
>>> Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
>>> i separar en parts), però altres molt específiques (com els isced_level,
>>> min_age, max_age, etc. en aquest cas).
>>>
>>> Encara no aconsegueixo posar-me amb el gestor per veure què necessita ni
>>> com es fa. La meva idea era seguir el procés que van fer ells, o mirar com
>>> es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
>>> geojson amb els límits de les tasques i tampoc he aconseguit encara
>>> generar-lo. A les males estic pensant que podem ordenar per codi postal,
>>> dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
>>> una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
>>> tinguis un centre a la Vall d'Aran i un altre a Deltebre...
>>>
>>> Si algú sap i pot generar el geojson i/o investigar com funciona el
>>> gestor de tasques, endavant! Jo no sé quan podré ni si ho podré fer.
>>>
>>> Salut!
>>>
>>>
>>> 
>>>  Libre
>>> de virus. www.avast.com
>>> 
>>> <#m_1830824448400901186_m_1286287474594208639_m_1020502445569712513_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>>>
>>> El sáb., 12 oct. 2019 a las 4:48, Ismael Luceno ()
>>> escribió:
>>>
 On 22/Sep/2019 14:00, Lanxana . wrote:
 > Com a guia m'he estat mirant la importació de les oficines de correus
 > de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
 > per convertir l'etiquetat i l'altre per generar les tasques per al
 > gestor.

 Seria interessant unir les dues parts i automatitzar la tasca; podem
 generar un fitxer XML amb el resultat llest per 

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

He afegit que acumuli al tag *isced:level* els diferents codis quan hi ha
mes d'un cicle al centre. P.ex:  

On Fri, Nov 29, 2019 at 11:52 AM Victor  wrote:

> Hola de nou,
>  he estat liat aquestes setmanes pero finalment m'he posat amb l'script de
> conversio de centres docents i ja tinc una 1a versio.  Per fer-ho el mes
> generic posible he separat a un fitxer apart el mapeig els noms de les
> columnes CSV de gencat amb els tags de OSM, segons descrit a la wiki:
> https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
> El fitxer de mapeig es:  *mapping_config.yaml*  Es prou auto-explicatiu.
> L'script en python que fa la conversio es: *convert_cvs2osm.py*
> I el OSM resultant es:  *Directori_de_centres_docents.osm*
>
> Alguns comentaris i dubtes:
>  - He agafat nomes les escoles amb Any=2019, les altres estan duplicades i
> entenc que aquestes son les que tenen les dades mes actualitzades.
>  - Les adreces les he dividit en street i housenumber separant per la
> primera coma. La majoria coincideixen bé, pero en alguns casos han posat
> coses al final com 'barri bla, bla'
>  - Els kindergarten, entenc que si al mateix centre hi ha algun cicle mes
> pasen a ser school.
>  - min_age i max_age: si al centre hi ha varis cicles he agafat el minim
> de tots el cicles i el maxim de tots el cicles. P.ex. si a un centre hi ha
> ed. primaria (6-12)  i ESO (12-16), el minim seria 6 i el maxim 16.
> Correcte?
>  - Pels 'Special Education Centers' he afegit description=Centre
> d'educació especial.
>  - El tag addr:place=* has posat 'nom localitat'. Pero segons la wiki de
> OSM aquest tag hauria de ser nomes per alguns llocs molt poc comuns on
> l'adreça te numero pero no te nom de carrer. P.ex pobles a rusia on nomes
> han numerat les cases pero no hi ha cap nom de carrer. Crec que aqui no
> seria el cas, no cal utilitzar-ho jo crec.
> - Cada node te un ID, que he vist que per importacions sol ser un numero
> negatiu arbitrari.  No se si s'ha de seguir algun metode concrec, poden
> haver colisions amb altres...
>
> L'script no pot ser completament generic per que hi ha coses molt
> especifiques de les escoles, com el tema de min_age i max_age, pero crec
> que adaptar-ho per altres conversions no seria gaire dificil.
> No se si em deixo alguna cosa.
> parlem!
> victor
>
>
> On Sat, Oct 12, 2019 at 6:27 PM Lanxana .  wrote:
>
>> Crec que precisament per això a Madrid van fer dos scripts per tenir un
>> primer, genèric, que transforma els fitxers xml a osm, i un altre per
>> convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
>> el que podem aprofitar). No sé si és possible tenir un script que sigui
>> capaç de processar tots els tipus de dataset que tenim de la Generalitat.
>> Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
>> i separar en parts), però altres molt específiques (com els isced_level,
>> min_age, max_age, etc. en aquest cas).
>>
>> Encara no aconsegueixo posar-me amb el gestor per veure què necessita ni
>> com es fa. La meva idea era seguir el procés que van fer ells, o mirar com
>> es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
>> geojson amb els límits de les tasques i tampoc he aconseguit encara
>> generar-lo. A les males estic pensant que podem ordenar per codi postal,
>> dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
>> una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
>> tinguis un centre a la Vall d'Aran i un altre a Deltebre...
>>
>> Si algú sap i pot generar el geojson i/o investigar com funciona el
>> gestor de tasques, endavant! Jo no sé quan podré ni si ho podré fer.
>>
>> Salut!
>>
>>
>> 
>>  Libre
>> de virus. www.avast.com
>> 
>> <#m_1286287474594208639_m_1020502445569712513_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>>
>> El sáb., 12 oct. 2019 a las 4:48, Ismael Luceno ()
>> escribió:
>>
>>> On 22/Sep/2019 14:00, Lanxana . wrote:
>>> > Com a guia m'he estat mirant la importació de les oficines de correus
>>> > de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
>>> > per convertir l'etiquetat i l'altre per generar les tasques per al
>>> > gestor.
>>>
>>> Seria interessant unir les dues parts i automatitzar la tasca; podem
>>> generar un fitxer XML amb el resultat llest per importar, així es pot
>>> simplement revisar i importar.
>>>
>>> Per fer les unions amb nodes existents, quan no hi ha referència més
>>> fiable, simplement es pot usar la posició amb algun marge d'error i
>>> qualesvol altra etiqueta disponible.
>>>
>>> > Crec que podríem aprofitar el segon, però caldria adaptar o programar
>>> > un que faci el mateix que el primer però amb la estructura del xml de
>>> > la Generalitat (m'ha semblat que és diferent) i amb les nost

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Crec que precisament per això a Madrid van fer dos scripts per tenir un
primer, genèric, que transforma els fitxers xml a osm, i un altre per
convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
el que podem aprofitar). No sé si és possible tenir un script que sigui
capaç de processar tots els tipus de dataset que tenim de la Generalitat.
Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
i separar en parts), però altres molt específiques (com els isced_level,
min_age, max_age, etc. en aquest cas).

Encara no aconsegueixo posar-me amb el gestor per veure què necessita ni
com es fa. La meva idea era seguir el procés que van fer ells, o mirar com
es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
geojson amb els límits de les tasques i tampoc he aconseguit encara
generar-lo. A les males estic pensant que podem ordenar per codi postal,
dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
tinguis un centre a la Vall d'Aran i un altre a Deltebre...

Si algú sap i pot generar el geojson i/o investigar com funciona el gestor
de tasques, endavant! Jo no sé quan podré ni si ho podré fer.

Salut!


Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El sáb., 12 oct. 2019 a las 4:48, Ismael Luceno ()
escribió:

> On 22/Sep/2019 14:00, Lanxana . wrote:
> > Com a guia m'he estat mirant la importació de les oficines de correus
> > de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
> > per convertir l'etiquetat i l'altre per generar les tasques per al
> > gestor.
>
> Seria interessant unir les dues parts i automatitzar la tasca; podem
> generar un fitxer XML amb el resultat llest per importar, així es pot
> simplement revisar i importar.
>
> Per fer les unions amb nodes existents, quan no hi ha referència més
> fiable, simplement es pot usar la posició amb algun marge d'error i
> qualesvol altra etiqueta disponible.
>
> > Crec que podríem aprofitar el segon, però caldria adaptar o programar
> > un que faci el mateix que el primer però amb la estructura del xml de
> > la Generalitat (m'ha semblat que és diferent) i amb les nostres
> > etiquetes.
> <...>
>
> Jo diria que es important tenir un script genèric, capaç d'importar des
> de qualsevol font, i així concentrar esforços, perquè molt del que
> necessiten fer segurament és comú.
>
> No sembla una tasca difícil; ia més madridxml2osm no és fàcil d'adaptar,
> tot està codificat en el codi font, quan hauria de ser una transformació
> guiada pel contingut.
>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Ismael Luceno]

On 22/Sep/2019 14:00, Lanxana . wrote:
> Com a guia m'he estat mirant la importació de les oficines de correus
> de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
> per convertir l'etiquetat i l'altre per generar les tasques per al
> gestor.

Seria interessant unir les dues parts i automatitzar la tasca; podem
generar un fitxer XML amb el resultat llest per importar, així es pot
simplement revisar i importar.

Per fer les unions amb nodes existents, quan no hi ha referència més
fiable, simplement es pot usar la posició amb algun marge d'error i
qualesvol altra etiqueta disponible.

> Crec que podríem aprofitar el segon, però caldria adaptar o programar
> un que faci el mateix que el primer però amb la estructura del xml de
> la Generalitat (m'ha semblat que és diferent) i amb les nostres
> etiquetes.
<...> 

Jo diria que es important tenir un script genèric, capaç d'importar des
de qualsevol font, i així concentrar esforços, perquè molt del que
necessiten fer segurament és comú.

No sembla una tasca difícil; ia més madridxml2osm no és fàcil d'adaptar,
tot està codificat en el codi font, quan hauria de ser una transformació
guiada pel contingut.

___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia,

sí, així és, l'script ha de convertir els camps del csv o xml (el format
que et vagi més bé) a format osm amb l'etiquetat detallat. He vist que em
vaig oblidar posar a la taula que a tots els centres s'ha d'afegir la
etiqueta "source=Generalitat de Catalunya", suposo que no serà cap problema
afegir-lo.

Et passo el fitxer de Figueres en format osm perquè el puguis remenar.
Sobre el llenguatge de programació, el que et vagi més bé. Si ho fas amb
python, el podré llegir, a programar no m'hi veig.

Gràcies!

El mié., 25 sept. 2019 a las 20:46, Victor () escribió:

> Ok, llavors entenc s'hauria de fer un script que converteixi el CSV de la
> generalitat a format OSM amb els camps adaptats segons la teva descripcio.
> I despres aquest OSM es convertiria en les tasques per carregar pels
> voluntaris. Correcte?
> El 1er script no crec que sigui gaire problema, ho podria fer en python.
> M'aniria be el format concret del OSM, un d'exemple, pero que ho puc
> trobar. El script de Madrid es shell-script, mes criptic de seguir.
> El que no se quan podre, d'aqui a un parell de setmanes potser.
> victor
>


Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>


cd_figueres.osm
Description: Binary data
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Ok, llavors entenc s'hauria de fer un script que converteixi el CSV de la
generalitat a format OSM amb els camps adaptats segons la teva descripcio.
I despres aquest OSM es convertiria en les tasques per carregar pels
voluntaris. Correcte?
El 1er script no crec que sigui gaire problema, ho podria fer en python.
M'aniria be el format concret del OSM, un d'exemple, pero que ho puc
trobar. El script de Madrid es shell-script, mes criptic de seguir.
El que no se quan podre, d'aqui a un parell de setmanes potser.
victor

On Sun, Sep 22, 2019 at 2:01 PM Lanxana .  wrote:

> Bon dia,
>
> tornem a la càrrega, després de fer les consultes pertinents i donar-hi un
> parell més de voltes, he actualitzat la wiki [1] amb les etiquetes a
> utilitzar i he preparat un document [2] on es detalla quina etiqueta es
> converteix en quina o quines, i he afegit com a mostra els centres de
> Figueres, tal com apareixen al fitxer de la Generalitat com tal com han de
> quedar en el fitxer osm. Hi ha dos camps (coordenades GEO X i Y) que s'han
> de conservar tal qual per a que OSM ubiqui bé els punts (hi ha algun centre
> que les coordenades UTM envia enmig del mar, però les GEO estan bé)
>
> Com a guia m'he estat mirant la importació de les oficines de correus de
> Madrid [3]. Fan servir dos scripts (tots dos estan a github): un per
> convertir l'etiquetat i l'altre per generar les tasques per al gestor. Crec
> que podríem aprofitar el segon, però caldria adaptar o programar un que
> faci el mateix que el primer però amb la estructura del xml de la
> Generalitat (m'ha semblat que és diferent) i amb les nostres etiquetes. Com
> que no sóc programadora i els darrers intents per aprendre han sigut
> nefastos, ho deixo per als experts. Víctor, podries ocupar-te'n? Si tens
> qualsevol dubte, em pots contactar per correu o al telegram.
>
> Per a les formes de contacte, a tagging s'està debatent si fer servir
> 'contact:phone=*' o 'phone=*', en aquest cas he proposat fer servir la
> fórmula 'contact:phone/fax/email...' per unificar criteris, però sempre es
> podria canviar si calgués.
>
> Gràcies!
>
> [1] https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
> [2]
> https://drive.google.com/file/d/1098kcGQlB43PXZrL33sq5dgHTSFtRnrT/view?usp=sharing
> [3] https://wiki.openstreetmap.org/wiki/Madrid_Post_Offices_Import
>
>>
>
> 
>  Libre
> de virus. www.avast.com
> 
> <#m_3782024657879981576_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia,

tornem a la càrrega, després de fer les consultes pertinents i donar-hi un
parell més de voltes, he actualitzat la wiki [1] amb les etiquetes a
utilitzar i he preparat un document [2] on es detalla quina etiqueta es
converteix en quina o quines, i he afegit com a mostra els centres de
Figueres, tal com apareixen al fitxer de la Generalitat com tal com han de
quedar en el fitxer osm. Hi ha dos camps (coordenades GEO X i Y) que s'han
de conservar tal qual per a que OSM ubiqui bé els punts (hi ha algun centre
que les coordenades UTM envia enmig del mar, però les GEO estan bé)

Com a guia m'he estat mirant la importació de les oficines de correus de
Madrid [3]. Fan servir dos scripts (tots dos estan a github): un per
convertir l'etiquetat i l'altre per generar les tasques per al gestor. Crec
que podríem aprofitar el segon, però caldria adaptar o programar un que
faci el mateix que el primer però amb la estructura del xml de la
Generalitat (m'ha semblat que és diferent) i amb les nostres etiquetes. Com
que no sóc programadora i els darrers intents per aprendre han sigut
nefastos, ho deixo per als experts. Víctor, podries ocupar-te'n? Si tens
qualsevol dubte, em pots contactar per correu o al telegram.

Per a les formes de contacte, a tagging s'està debatent si fer servir
'contact:phone=*' o 'phone=*', en aquest cas he proposat fer servir la
fórmula 'contact:phone/fax/email...' per unificar criteris, però sempre es
podria canviar si calgués.

Gràcies!

[1] https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
[2]
https://drive.google.com/file/d/1098kcGQlB43PXZrL33sq5dgHTSFtRnrT/view?usp=sharing
[3] https://wiki.openstreetmap.org/wiki/Madrid_Post_Offices_Import

>

Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones,
avancem una mica més, he acabat de revisar abreviatures i sigles als noms
dels centres, en alguns casos no he aconseguit esbrinar a què fan
referència. Per a les que he cercat, he aprofitat a anotar l'adreça web per
si després volguéssim posar-li. He fet un quadre amb els noms "complets"
traient les sigles i el nom amb que ells mateixos s'anomenen o són citats a
la xarxa. Ara cal veure com es tractarà aquesta informació. És a dir, no
podem deixar el nom amb les sigles i abreviatures, però a vegades el nom
sense elles és infumable, en altres tothom es refereix a les sigles, en
altres funciona sense més... per posar uns exemple: "EB El dofí" seria
"Escola Bressol El Dofí", cap problema; el centre "Afen" és "Asociación
Formativa de Entrenadores Nacionales", i la gent ho coneixerà com a "Afen";
el "ESCRBC de Catalunya" és "Escola Superior de Conservació i Restauració
de Béns Culturals de Catalunya" i ni idea de com se la coneix. Per altra
banda hi ha les sigles oficials que comentava a l'últim correu, com EOI
(Escola Oficial d'Idiomes), CEE (Centre d'educació especial), AFA (Aula de
Formació de Persones Adultes)...

Ara el que toca és decidir quina o quines etiquetes existents a OSM fem
servir per recollir tant el nom que hi ha al llistat de la Generalitat, com
el nom extens (si cal), com el nom amb el que és conegut el centre. He
pujat el llistat a un full de google per a que veieu quins casos hi ha:
https://docs.google.com/spreadsheets/d/1HOfsxnxIX5VndgRgVE0tPdKSrMug7fHGl2J7Q1_u1AY/edit?usp=sharing

Com a possibles opcions he posat name=* , official_name=* i short_name=*,
que podeu trobar explicades a la wiki:
https://wiki.openstreetmap.org/wiki/Names

Què opineu, què us sembla?

Un altre tema al que li he estat donant voltes és a com diferenciar els
centres que només ofereixen formació professional (me n'he trobat molts
revisant les sigles) i els d'educació especial:
- mirant el model alemany he vist que ells fan servir "school:de":
"Realschule;Gymnasium", per diferenciar escoles primàries de secundàries i
per indicar si aquestes ofereixen formació professional o no. Crec que
podríem copiar el model, només caldria trobar una etiqueta que sigui comuna
per tot el territori espanyol i poder fer un school:es="el que sigui" per
indicar que són centres de formació professional.
- i sobre les escoles d'educació especial, a taginfo he vist que s'ha fet
servir school:special_education_needs a diferents llocs, i em sembla que
podríem aprofitar-la.

Si voleu més informació sobre l'etiqueta school, us deixo la wiki:
https://wiki.openstreetmap.org/wiki/Key:school

Demà escriuré a la llista espanyola amb les mateixes consultes sobre sigles
i etiquetat de centres, per anar avançant el debat dels punts que podrien
ser més controvertits.

Salut!

>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones, anem a pams...

La idea principal és que tenim un conjunt de dades A (generalitat), que
depurem per eliminar els duplicats i transformem en un conjunt de dades B
(etiquetat OSM). Aquest conjunt B es dividirà en X tasques que aniran al
gestor de tasques per facilitar la seva edició. Quan obris la tasca X1,
tindràs els punts de la tasca, cadascú amb les etiquetes que li pertoquen,
i en principi només caldrà verificar que és la mateixa escola que hi ha a
OSM, o és a prop. Si és la mateixa, es copien les etiquetes del punt X1 a
la escola en el mapa o es fusionen geometries. Si no ho és, o no hi és,
doncs caldrà dibuixar-la amb el nivell de detall que decidim i posar-li les
etiquetes que tenim en el punt X1. I si hi ha dubtes, preveure-ho i
deixar-la en "standby" com van fer a Madrid amb crec que va ser les fonts
d'aigua potable.

Ja que revisem les escoles que hi ha, podem unificar criteris, com que
l’etiquetat vagi sempre en el contorn o perímetre, com a amenity=school +
totes les etiquetes que tenim a la tasca Xn. Podem decidir que amb només el
perímetre ja està bé o la podem detallar un xic més. Per exemple, podem
afegir els edificis i posar-los el building=school o buildgin=kindergarten
si sabem de manera certera qué són, sinò building=school, building=public o
building=yes; podem afegir la pista esportiva com a leisure=pitch +
sport=multi (o basket, o futbol, el que pertoqui); podem afegir una font si
té i sabem on és, etc...

Sobre l’etiquetat que ja hi ha, no he mirat en els fitxers que vas passar
quin és, potser caldrà veure en cada cas què fer. Si és només el nom, doncs
veure quin dels dos és més complet i correcte. O si són etiquetes repetides
al perímetre i al edifici, esborrar les que sobren de l'edifici. Una de les
coses que estic preparant és l’ajust dels noms que hi ha al dataset als
codis d’ús de OSM. Per exemple, s’han de treure les abreviatures i les
sigles (AFA, CEE, CFA, EASD, EB...). En alguns casos serà complex i per
això estic fent un llistat amb tot el que he trobat i possibles solucions
per traslladar-ho després a debat i decidir com posem el nom.

Una altra cosa que s’haurà de fer és “arreglar” les adreces, ahir quan vaig
obrir el dataset per analitzar les dades vaig veure que el format que tenen
no és vàlid, s’hauran de “cuinar” abans de poder-les incorporar.

En aquests dies o ja el cap de setmana (sóc de les que no fan vacances a
l'agost) vull preparar bé què s’ha de fer amb cada tipus de dada, a nivell
de programació. Per exemple, que si l’adreça és ‘Av. Generalitat, 15’,
l’script ho haurà de traduir a tres camps: addr:full=Av.Generalitat, 15 +
addr:street=Avinguda de la Generalitat + addr:housenumber=15. I si l’escola
ofereix EINF2C+EPRI, l’script ho haurà de traduir a isced:level:1=yes +
isced:level:2=yes + min_age=3 + max_age=12  (lo dels isced:level ho estic
consultant amb tagging perquè ens deixin posar-los així en comptes de fer
servir isced:level=1; 2), a banda del tema del nom, format del número de
telèfon, etc.

Sobre altres scripts, es poden mirar les importacions que han fet a Madrid,
diria que per cadascuna han optat per una solució diferent, i que alguns
scripts estan la wiki i altres a github:
https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/Importaciones#Importaciones_finalizadas

I sobre manteniment de les dades, es pot plantejar com a tasca anual,
comprovar si han actualitzat el dataset al portal de dades obertes i fer un
match amb el que ja tinguem al mapa. En tot cas, afegirem el codi del
centre com a ref  per tal que després sigui més fàcil comparar dades i
actualitzar les que calgui.

Crec que no em deixo res...

Salut!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Bona feina. Un cop decidit puc ajustar els camps al llistat de tots el
centres amb els tags i valors com s'han de posar. Tambe puc afegir una
columna amb link link directe a l'item del OSM, els que sabem quins
son, de forma que nomes calgui fer click per anar directe al centre.

Tambe se m'acut un sistema per agilitzar el tema d'entrar les dades,
pero no estic segur de si seria bona idea.  Entenc que es dividiran
els centres en paquets que voluntaris aniran agafant per completar.
Per anar mes rapid es podria completar a ma nomes el nom i el codi del
centre.  Despres amb un script i buscant per codi es podrien completar
la resta de tags de forma automatica, tants cops com calgui a mesura
que es vagin afegint centres.  Despres, el mateix script es podria fer
servir per l'actualitzacio el dia que la generalitat tregui una nova
versio de les dades. He estat mirant l'API i crec que no seria molt
dificil. Potser ja hi ha alguna cosa feta, es documenten aquests
scripts a algun lloc?
L'script podria comprovar que a mes del codi tambe coincideixi el nom
del centre per mes seguretat, per si algun codi es traspapela per
error al entrar-ho. He vist tambe que hi ha uns servidors de test per
fer proves.
No se si podria ser problematic aquest sistema, en principi nomes
afectaria a items amb el codi posat per nosaltres manualment, no seria
com una importacio masiva cega.

S'hauria de decidir que fer amb els tags que ja hi ha, es poden
respectar, sobreescriure els que coincideixen, deixar els altres que
no estan a la nostra llista o eliminar-los, etc. Una funcio de
l'script seria nomes buscar les diferencies i treure un llistat; tags
que sobren, que falten, que tenen un valor diferent, noms que no
coincideix amb el codi, etc abans de matxacar res.

El tema que comentava de tants tags es tambe per que he vist que hi ha
mes de 50 diferents que ha anat fincant la gent, alguns suposo que
incorrectes altres potser no.

Tambe hi ha el tema de com mapejar les escoles i si corretgir les que
no estan be.  Quan hi ha diversos edificis entenc que s'hauria de
crear un area que agafi tot i aquest es el que ha de tenir el nom i
tots el tags, no l'edifici principal.  Llavors els edificis, patis,
camps d'esports, parkings i demes etiquetar-los un per un com a
building=school (no amenity encara que sigui l'edifici principal),
yard, parking, etc, sense tots els tags repetits obviament. Tambe es
pot marcar l'entrada principal.  O be pot ser nomes un node, si no es
pot identificar l'edifici o area, no hi ha temps, etc.  Pero ara hi ha
de tot, areas marcades com amenity=school pero els edificis tambe, els
tags nomes a l'edifici principal, cada edifici com amenity, etc.
Tambe hi ha 'relations' marcades com escola, que entenc que es
incorrecte.  A part hi ha les llars d'infants a tenir en compte, els
tags son gairebe els mateixos.

Del tema de les futures actualitzacions, com va? ¿hi ha algu que es
responsabilitza d'un tema determinat, com pot ser les escoles, i es
preocupa d'estar al tanto quan hi ha noves versions de les dades
d'origen? o es fa espontaniament?  hi ha equips de gent per cada cosa?



On 8/3/19, Lanxana .  wrote:
> Bones!
>
> Wiki creada i primers apartats afegits. Faltarà posar el codi que es faci
> servir per a la conversió de les dades i el flux de treball (o workflow).
>
> A revisar:
> - en alguns apartats he afegit comentaris en cursiva i entre parèntesis
> perquè cal acabar de redactar-los
> - a la primera taula, la de "Tagging Conversion" falta determinar si
> existeix o no un etiquetat que ens serveixi per als camps que a la columna
> "OSM tag" estan en blanc. Si no hi ha etiqueta o no volem complicar-nos la
> vida, s'afegeix "Not used" i cap problema. Són: Nom delegació, Nom comarca,
> Nom DM (nom del districte del municipi?), Zona educativa i centre
> d'Educació especial.
> - a la segona taula, algú que tingui més coneixement del complex món
> educatiu actual i totes les seves sigles... s'ha de revisar que no l'hagi
> pifiat al assignar els ISCED level als que el tenen, i si es pot assignar a
> la resta, o posar un " - " per saber que no té equivalència (per exemple,
> les escoles d'idiomes no tindrien ISCED_level). Ídem amb les franges
> d'edat, en alguns casos només he posat la edat mínima per accedir-hi, cal
> revisar si la resta tenen edat mínima d'accés o no i si les que hi ha estan
> ben posades.
> - cas apart seran els centres d'educació especial i els centres estrangers.
> Per als primers encara no sé com s'etiqueten i per al segons, probablement
> tocarà llistar-los i assignar el valor individualment, ja que segueixen el
> model educatiu d'un altre país.
>
> Passo els enllaços a la wiki i al isced_level:
>
> wiki: https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
> isced_level: https://wiki.openstreetmap.org/wiki/Key:isced:level
>
> Salut!
>

___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones!

Wiki creada i primers apartats afegits. Faltarà posar el codi que es faci
servir per a la conversió de les dades i el flux de treball (o workflow).

A revisar:
- en alguns apartats he afegit comentaris en cursiva i entre parèntesis
perquè cal acabar de redactar-los
- a la primera taula, la de "Tagging Conversion" falta determinar si
existeix o no un etiquetat que ens serveixi per als camps que a la columna
"OSM tag" estan en blanc. Si no hi ha etiqueta o no volem complicar-nos la
vida, s'afegeix "Not used" i cap problema. Són: Nom delegació, Nom comarca,
Nom DM (nom del districte del municipi?), Zona educativa i centre
d'Educació especial.
- a la segona taula, algú que tingui més coneixement del complex món
educatiu actual i totes les seves sigles... s'ha de revisar que no l'hagi
pifiat al assignar els ISCED level als que el tenen, i si es pot assignar a
la resta, o posar un " - " per saber que no té equivalència (per exemple,
les escoles d'idiomes no tindrien ISCED_level). Ídem amb les franges
d'edat, en alguns casos només he posat la edat mínima per accedir-hi, cal
revisar si la resta tenen edat mínima d'accés o no i si les que hi ha estan
ben posades.
- cas apart seran els centres d'educació especial i els centres estrangers.
Per als primers encara no sé com s'etiqueten i per al segons, probablement
tocarà llistar-los i assignar el valor individualment, ja que segueixen el
model educatiu d'un altre país.

Passo els enllaços a la wiki i al isced_level:

wiki: https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
isced_level: https://wiki.openstreetmap.org/wiki/Key:isced:level

Salut!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bona tarda,

no es tracta d'inventar etiquetes noves, sinó de "traduir" els camps que hi
ha al dataste de la Generalitat a etiquetes OSM. Posaré alguns exemples
sobre a què em refereixo:

Tant les escoles com els instituts s'etiqueten amb amenity=school, com els
diferenciem?
Doncs hi ha la etiqueta isced:level=* (
https://wiki.openstreetmap.org/wiki/Key:isced:level) amb la que podem
indicar quins estudis s'imparteixen (només primària, només secundària,
infantil i primària, infantil fins secundària etc)

Els centres d'adults també serien amenity=school, com diferenciem un centre
d'adults d'un institut?
Doncs amb la etiqueta min_age=18 (
https://wiki.openstreetmap.org/wiki/Key:min_age) podríem indicar que és un
centre d'adults.

Per altra banda, volem (i podem) indicar que és un centre especialitzat en
formació artística, musical, esportiva, lingüística...?
Volem (i podem) indicar que és un centre de formació professional? Existeix
etiquetat per fer-ho? Què fem si no existeix? I si existeix per uns casos i
per altres no?

Sobre la "caducitat" de les dades, tota dada està viva i és susceptible de
canviar. Si no posem el telèfon perquè pot canviar, llavors perquè posar el
sentit de circulació d'un carrer, l'horari d'obertura d'una botiga o el
telèfon d'un ambulatori? Amb dades importades, si es manté un valor de
referència (com podria ser el codi del centre), es pot fer / programar /
preveure una revisió periòdica del dataset original i les dades a OSM,
facilitant la seva actualització. Per altra banda, a les importacions s'ha
de citar tant la font de les dades com la data en que s'han consultat,
precisament per acotar la seva vigència. Un centre del que es va mapejar al
2010 és més probable que hagi canviat alguna dada que un que s'hagi
importat amb dades del 2018.

Sento formular més preguntes que plantejar respostes, és feina
d'investigació, reflexió i debat que m'agradaria que féssim entre tots.

Em torno a comprometre a intentar posar-ho per escrit aquest cap de setmana.

Salut!


Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El vie., 2 ago. 2019 a las 16:28,  escribió:

> Hola Víctor,
> Penso el mateix sobre les etiquetes, a més, no tindria sentit afegir
> etiquetes no suportades i que no tindrien utilitat per a ningú. Per
> afegir-ne de noves caldria proposar-ho, justificar-ho i seguir el procès
> d’aprovació.
> Sobre l’actualització futura, l’ideal seria que es pogués fer també de
> manera semi-automatitzada.
> Bona feina.
> Pitort
>
> ---
>
> 
> Ihre E-Mail-Postfächer sicher & zentral an einem Ort. Jetzt wechseln und
> alte E-Mail-Adresse mitnehmen! https://www.eclipso.de
>
>
>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[pitort]

Hola Víctor,
Penso el mateix sobre les etiquetes, a més, no tindria sentit afegir etiquetes 
no suportades i que no tindrien utilitat per a ningú. Per afegir-ne de noves 
caldria proposar-ho, justificar-ho i seguir el procès d’aprovació.
Sobre l’actualització futura, l’ideal seria que es pogués fer també de manera 
semi-automatitzada.
Bona feina.
Pitort

---


Ihre E-Mail-Postfächer sicher & zentral an einem Ort. Jetzt wechseln und alte 
E-Mail-Adresse mitnehmen! https://www.eclipso.de



___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola,
 finalment he descarregat del OSM totes les escoles i llar d'infants tant
si son nodes, com 'ways' o relacions i les he aparellat amb les coordenades
per proximitat del llistat de la generalitat.
D'un total de 4695 del llistat de la generalitat (sense duplicats) s'han
aparellat 3836, alguns dels quals son falsos positius o duplicats de
escoles que estan molt a prop, llocs on hi ha diverses escoles, etc. Han
quedat 2497 sense aparellar, o be per que no hi son al OSM o be per que les
coordenades de l'arxiu de la generalitat en alguns casos estan força
desviades del lloc real.
Al OSM hi ha molts que estan marcats com a escola pero no hi posa ni el
nom, encara que les coordenades solen ser bastant exactes.

CSVs amb els aparellats i els que no:
https://drive.google.com/file/d/19PYkIcBB-Pb8Id-mux7ybp_IWG9Rs0Lk/view?usp=sharing

Pel tema de les zones, hi ha una columnes per la comarca,la delegació
educativa, el districte en el cas de barcelona.  Es podria fer a Barcelona
i voltants, la poblacio/districte i a la resta la comarca.
Els duplicats simplement els he eliminat, nomes varia l'any.

Respecte a les etiquetes, soc nou amb aixo i no se quins criteris hi ha,
pero no tinc clar fins a quin punt val la pena afegir detalls encara que
els tinguem. Per exemple el nom del centre i el tipus esta clar. Pero coses
com les edats dels alumnes o el moduls que es fan... es aixo realment
informacio geografica?
A part que no se com es fa per mantenir-ho, com mes detall fiquem mes aviat
es desactualitzara. Per exemple si posem el telf, email i web... l'any que
ve quants dels 5000 centres hauran canviat alguna d'aquestes dades? i
d'aqui 5 anys?  com es fa per mantenir-ho al dia regularment?  Suposo que
aixo es un problema de tot tipus d'elements, pero vull dir que com mes
detall posem mes numeros de que estigui desactualtitzat amb el temps.
No se quin seria el criteri.
victor




On Mon, Jul 29, 2019 at 8:37 PM  wrote:

> Send Talk-cat mailing list submissions to
> talk-cat@openstreetmap.org
>
> To subscribe or unsubscribe via the World Wide Web, visit
> https://lists.openstreetmap.org/listinfo/talk-cat
> or, via email, send a message with subject or body 'help' to
> talk-cat-requ...@openstreetmap.org
>
> You can reach the person managing the list at
> talk-cat-ow...@openstreetmap.org
>
> When replying, please edit your Subject line so it is more specific
> than "Re: Contents of Talk-cat digest..."
>
>
> Today's Topics:
>
>1. Re:  Importació centres docents a Catalunya (Lanxana .)
>2. Re:  Importació centres docents a Catalunya (Lanxana .)
>
>
> ----------
>
> Message: 1
> Date: Mon, 29 Jul 2019 20:35:01 +0200
> From: "Lanxana ." 
> To: OpenStreetMap in catalan 
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
> Message-ID:
>  yfuy2bnmplgfx8ptquencfaxsbhbsdtlrn...@mail.gmail.com>
> Content-Type: text/plain; charset="utf-8"
>
> Bones,
>
> Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
> quantes consultes generals... al dataset hi ha 5641 centres diferents (si
> he aplicat bé la formula per calcular els valors diferents). Respecte a
> OSM, he fet un parell de consultes ràpides a overpass per saber quants
> centres hi ha ara al mapa:
>
> amenity=school [1] -> 648 punts, 7 línies i 1895 polígons
>
> amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons
>
> Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
> hi ha centres que són node i polígon.
>
> El dataset està al portal de dades obertes de la Generalitat, deixo
> l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
> baixar-lo en csv per poder treballar amb el Calc.
>
> A Madrid van fer la importació dels centres de culte i de museus, tenint en
> compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com a
> guia per redactar aquesta [4] i [5], només que ells van fer-ho directament
> en anglès i el tinc massa rovellat com per escriure-ho tot directament.
>
> Salut!
>
> [1] https://overpass-turbo.eu/s/La4
>
> [2] https://overpass-turbo.eu/s/La5
>
> [3]
>
> https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-docents/e2ef-eiqj
>
> [4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import
>
> [5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import
>
> <
> https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail
> >
> Libre
> de virus. www.avast.com
> <
> https://www.avast.com/sig-email?utm_medium=email&utm_sourc

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones,

moltes gràcies Víctor pel llistat, comparar les dues bases ens servirà per
saber com de ben situats estan els centres al llistat de la Generalitat,
que encara recordo d'algun altre llistat, centres que anaven a parar al mig
del mar per errors a les coordenades...
El que aniria bé també és veure per quin motiu estan duplicats els centres
al llistat de la Generalitat i definir els criteris per eliminar-los.

Sobre el que dius, yopaseopor, comptava amb poder fer servir el gestor de
tasques per coordinar la feina. Caldrà veure com fem els grups de punts. A
una ciutat pots dir "faig paquets de X punts" i ja, però amb tot el
territori també caldrà tenir en compte proximitat entre els punts, i tampoc
podem dividir en una quadrícula exacta perquè ens podem trobar zones amb 10
centres i zones amb 200... A veure quina dispersió hi ha i quina és la
millor manera d'agrupar-los... em sona que hi ha algun algoritme a QGIS que
permet fer-ho.

Us convido a anar pensant en l'etiquetat que els hi posarem (els obvis de
name, amenity, addr:*, contact:*... i altres no tan directes, com edats i
el o els "isced levels"), de cara a que l'script primer depuri i després
afegeixi les etiquetes OSM.

Si no hi ha cap canvi, aquest cap de setmana m'hi podré dedicar una
estona.

Anem parlant!

El mié., 31 jul. 2019 a las 12:55, yo paseopor ()
escribió:

> Si sabem zonificar-ho per fer tota aquesta feinada podem fer servir el
> gestor de tasques de la comunitat espanyola. És des d'on gestionem les
> importacions de cadastre o el SIGPAC de 2019 per a Catalunya.
> http://tareas.openstreetmap.es
>
> Salut i mapes
> yopaseopor
>
> On Wed, Jul 31, 2019 at 12:48 PM Victor  wrote:
>
>> He fet una primera prova de aparellar els centres descarregats del OSM
>> amb el llistat de la generalitat mitjançat la proximitat per coordenades, o
>> sigui els que estan a menys d'uns 300m aproximadament.  I he generat un csv
>> amb els nom i municipi del centre al OSM i el nom i municipi al csv de la
>> generalitat:
>>
>> https://drive.google.com/file/d/17x1Q1w6oQGdGT6Bh6Qdv-ehtF1QmaPg6/view?usp=sharing
>>
>> Molts coincideixen mes o menys, alguns deuen ser fals positius degut a
>> escoles i instituts que estan tocant, etc.   Molts no tenen cap nom al OSM,
>> ara amb aixo es podrien completar facilment.
>> I de moment per anar rapid nomes ho he fet amb nodes, que ja venen amb
>> les coordenades. Per poligons i relacions quan tingui una estona mes. I
>> afegint escoles bressol tambe.
>>
>> Aquests serien els centres que apareixen als dos llocs, per coordenades.
>> Tambe tinc els que estan a gencat pero encara no estan a OSM. I viceversa,
>> algun que hagi deixat de ser escola.
>> ___
>> Talk-cat mailing list
>> Talk-cat@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-cat
>>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[yo paseopor]

Si sabem zonificar-ho per fer tota aquesta feinada podem fer servir el
gestor de tasques de la comunitat espanyola. És des d'on gestionem les
importacions de cadastre o el SIGPAC de 2019 per a Catalunya.
http://tareas.openstreetmap.es

Salut i mapes
yopaseopor

On Wed, Jul 31, 2019 at 12:48 PM Victor  wrote:

> He fet una primera prova de aparellar els centres descarregats del OSM amb
> el llistat de la generalitat mitjançat la proximitat per coordenades, o
> sigui els que estan a menys d'uns 300m aproximadament.  I he generat un csv
> amb els nom i municipi del centre al OSM i el nom i municipi al csv de la
> generalitat:
>
> https://drive.google.com/file/d/17x1Q1w6oQGdGT6Bh6Qdv-ehtF1QmaPg6/view?usp=sharing
>
> Molts coincideixen mes o menys, alguns deuen ser fals positius degut a
> escoles i instituts que estan tocant, etc.   Molts no tenen cap nom al OSM,
> ara amb aixo es podrien completar facilment.
> I de moment per anar rapid nomes ho he fet amb nodes, que ja venen amb les
> coordenades. Per poligons i relacions quan tingui una estona mes. I afegint
> escoles bressol tambe.
>
> Aquests serien els centres que apareixen als dos llocs, per coordenades.
> Tambe tinc els que estan a gencat pero encara no estan a OSM. I viceversa,
> algun que hagi deixat de ser escola.
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

He fet una primera prova de aparellar els centres descarregats del OSM amb
el llistat de la generalitat mitjançat la proximitat per coordenades, o
sigui els que estan a menys d'uns 300m aproximadament.  I he generat un csv
amb els nom i municipi del centre al OSM i el nom i municipi al csv de la
generalitat:

https://drive.google.com/file/d/17x1Q1w6oQGdGT6Bh6Qdv-ehtF1QmaPg6/view?usp=sharing

Molts coincideixen mes o menys, alguns deuen ser fals positius degut a
escoles i instituts que estan tocant, etc.   Molts no tenen cap nom al OSM,
ara amb aixo es podrien completar facilment.
I de moment per anar rapid nomes ho he fet amb nodes, que ja venen amb les
coordenades. Per poligons i relacions quan tingui una estona mes. I afegint
escoles bressol tambe.

Aquests serien els centres que apareixen als dos llocs, per coordenades.
Tambe tinc els que estan a gencat pero encara no estan a OSM. I viceversa,
algun que hagi deixat de ser escola.
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Una 1a versio del CSV de les escoles extret del OSM:
https://drive.google.com/file/d/1M_Vu88qBZ6-AO5vmp8tJ3Tuj5gkpgMSp/view?usp=sharing
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Si, m’ho he pogut baixar del overpass ja filtrat en xml amb tots els tags i
pasar-ho a csv. Ara tinc el llistat de totes les escoles de catalunya amb
els tags mes comuns, unes 4000. Pero hi ha alguns problemes.

La gent ha posat alguns com amenity=school i altres com a building=school.
Segons entenc amenity hauria de ser el recinte de l’escola inclos els
patis, i building cada edifici de l’escola. Pero a cada lloc han fet la
seva. A part n’hi ha q no son escoles sino facultats, academies...  Molt
pocs tenen tags, alguns ni tan sols el nom, cap tag.
Apart n’hi ha nodes, ways i relacions, aquestes no haurien de tenir aquest
tag.

Kindergartens, facultats, universitats i demes no he mirat, nomes schools.

Per altre banda m’he descarregat un quadrat q agafa tota catalunya, pero
tambe alguns pobles de l’arago, frança, castello. No se si hi ha alguna
manera de filtrar. L’adreça o poblacio no hi es a la majoria.

On Monday, July 29, 2019,  wrote:

> Send Talk-cat mailing list submissions to
> talk-cat@openstreetmap.org
>
> To subscribe or unsubscribe via the World Wide Web, visit
> https://lists.openstreetmap.org/listinfo/talk-cat
> or, via email, send a message with subject or body 'help' to
> talk-cat-requ...@openstreetmap.org
>
> You can reach the person managing the list at
> talk-cat-ow...@openstreetmap.org
>
> When replying, please edit your Subject line so it is more specific
> than "Re: Contents of Talk-cat digest..."
>
>
> Today's Topics:
>
>1. Re:  Importació centres docents a Catalunya (Lanxana .)
>2. Re:  Importació centres docents a Catalunya (Lanxana .)
>
>
> --
>
> Message: 1
> Date: Mon, 29 Jul 2019 20:35:01 +0200
> From: "Lanxana ." 
> To: OpenStreetMap in catalan 
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
> Message-ID:
>  yfuy2bnmplgfx8ptquencfaxsbhbsdtlrn...@mail.gmail.com>
> Content-Type: text/plain; charset="utf-8"
>
> Bones,
>
> Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
> quantes consultes generals... al dataset hi ha 5641 centres diferents (si
> he aplicat bé la formula per calcular els valors diferents). Respecte a
> OSM, he fet un parell de consultes ràpides a overpass per saber quants
> centres hi ha ara al mapa:
>
> amenity=school [1] -> 648 punts, 7 línies i 1895 polígons
>
> amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons
>
> Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
> hi ha centres que són node i polígon.
>
> El dataset està al portal de dades obertes de la Generalitat, deixo
> l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
> baixar-lo en csv per poder treballar amb el Calc.
>
> A Madrid van fer la importació dels centres de culte i de museus, tenint en
> compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com a
> guia per redactar aquesta [4] i [5], només que ells van fer-ho directament
> en anglès i el tinc massa rovellat com per escriure-ho tot directament.
>
> Salut!
>
> [1] https://overpass-turbo.eu/s/La4
>
> [2] https://overpass-turbo.eu/s/La5
>
> [3]
> https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-
> docents/e2ef-eiqj
>
> [4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import
>
> [5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import
>
> <https://www.avast.com/sig-email?utm_medium=email&utm_
> source=link&utm_campaign=sig-email&utm_content=webmail>
> Libre
> de virus. www.avast.com
> <https://www.avast.com/sig-email?utm_medium=email&utm_
> source=link&utm_campaign=sig-email&utm_content=webmail>
> <#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>
> El lun., 29 jul. 2019 a las 11:45, Victor () escribió:
>
> > Aixo dels centres existents ja ho havia pensat, importar masivament no es
> > tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
> > solucio es fer-ho mig manualment amb el maxim de pre-procesament per
> > agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
> > manual, si parlem de milers de centres.
> >
> > M'he baixat la base de dades de OSM en XML d'una part del valles i he
> > extret les escoles; els elements amb el tag 'school'.  Poden ser tant
> nodes
> > com ways o relations. Molts nomes posa el nom, altres hi ha tambe
> addreça,
> > web, telf... p.ex:
> >  > timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
> > user="larslynch">
> > 
&g

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Acabo de recordar i veure que des de la consulta overpass es poden
descarregar la resta d'etiquetats... quin cap!

<https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
Libre
de virus. www.avast.com
<https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El lun., 29 jul. 2019 a las 20:35, Lanxana . ()
escribió:

> Bones,
>
> Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
> quantes consultes generals... al dataset hi ha 5641 centres diferents (si
> he aplicat bé la formula per calcular els valors diferents). Respecte a
> OSM, he fet un parell de consultes ràpides a overpass per saber quants
> centres hi ha ara al mapa:
>
> amenity=school [1] -> 648 punts, 7 línies i 1895 polígons
>
> amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons
>
> Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
> hi ha centres que són node i polígon.
>
> El dataset està al portal de dades obertes de la Generalitat, deixo
> l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
> baixar-lo en csv per poder treballar amb el Calc.
>
> A Madrid van fer la importació dels centres de culte i de museus, tenint
> en compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com
> a guia per redactar aquesta [4] i [5], només que ells van fer-ho
> directament en anglès i el tinc massa rovellat com per escriure-ho tot
> directament.
>
> Salut!
>
> [1] https://overpass-turbo.eu/s/La4
>
> [2] https://overpass-turbo.eu/s/La5
>
> [3]
> https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-docents/e2ef-eiqj
>
> [4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import
>
> [5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import
>
>
> <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
>  Libre
> de virus. www.avast.com
> <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
> <#m_7165180332788154757_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>
> El lun., 29 jul. 2019 a las 11:45, Victor () escribió:
>
>> Aixo dels centres existents ja ho havia pensat, importar masivament no es
>> tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
>> solucio es fer-ho mig manualment amb el maxim de pre-procesament per
>> agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
>> manual, si parlem de milers de centres.
>>
>> M'he baixat la base de dades de OSM en XML d'una part del valles i he
>> extret les escoles; els elements amb el tag 'school'.  Poden ser tant nodes
>> com ways o relations. Molts nomes posa el nom, altres hi ha tambe addreça,
>> web, telf... p.ex:
>> > timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
>> user="larslynch">
>> 
>> 
>> 
>> 
>> 
>> 
>>
>> Quan pugui ho acavo d'extreure a un CSV,  de tot catalunya o el que
>> pugui, el fitxer inicial ocupa molts GB pero es pot fer.
>>
>>  La teva llista d'escoles, d'on ha sortit? del ICC?  El tema de buscar
>> els repetits i les diferencies es facil si me'l pases, puc extreure un
>> llistat en CSV o similar.
>> Despres apart es podria intentar aparellar tots els centres del teu
>> llistat amb tots els del OSM.  No se si sera posible pel nom, o si no per
>> proximitat de les coordenades (tampoc es tan facil quan son ways o
>> relations, pero es pot fer) i veure quins falten a una banda i a l'altre,
>> quins no hi son al OSM (potser no falten tants), quins hi son pero falten
>> attributs, etc.  I evaluar que val la pena fer, suposo.
>>
>> On Sun, Jul 28, 2019 at 10:42 PM 
>> wrote:
>>
>>>
>>> --
>>>
>>> Message: 1
>>> Date: Sun, 28 Jul 2019 15:56:09 +0200
>>> From: Victor 
>>> To: talk-cat@openstreetmap.org
>>> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>>>
>>>
>>>
>>> ___
>> Talk-cat mailing list
>> Talk-cat@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-cat
>>
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bones,

Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
quantes consultes generals... al dataset hi ha 5641 centres diferents (si
he aplicat bé la formula per calcular els valors diferents). Respecte a
OSM, he fet un parell de consultes ràpides a overpass per saber quants
centres hi ha ara al mapa:

amenity=school [1] -> 648 punts, 7 línies i 1895 polígons

amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons

Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
hi ha centres que són node i polígon.

El dataset està al portal de dades obertes de la Generalitat, deixo
l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
baixar-lo en csv per poder treballar amb el Calc.

A Madrid van fer la importació dels centres de culte i de museus, tenint en
compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com a
guia per redactar aquesta [4] i [5], només que ells van fer-ho directament
en anglès i el tinc massa rovellat com per escriure-ho tot directament.

Salut!

[1] https://overpass-turbo.eu/s/La4

[2] https://overpass-turbo.eu/s/La5

[3]
https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-docents/e2ef-eiqj

[4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import

[5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import

<https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
Libre
de virus. www.avast.com
<https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El lun., 29 jul. 2019 a las 11:45, Victor () escribió:

> Aixo dels centres existents ja ho havia pensat, importar masivament no es
> tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
> solucio es fer-ho mig manualment amb el maxim de pre-procesament per
> agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
> manual, si parlem de milers de centres.
>
> M'he baixat la base de dades de OSM en XML d'una part del valles i he
> extret les escoles; els elements amb el tag 'school'.  Poden ser tant nodes
> com ways o relations. Molts nomes posa el nom, altres hi ha tambe addreça,
> web, telf... p.ex:
>  timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
> user="larslynch">
> 
> 
> 
> 
> 
> 
>
> Quan pugui ho acavo d'extreure a un CSV,  de tot catalunya o el que pugui,
> el fitxer inicial ocupa molts GB pero es pot fer.
>
>  La teva llista d'escoles, d'on ha sortit? del ICC?  El tema de buscar els
> repetits i les diferencies es facil si me'l pases, puc extreure un llistat
> en CSV o similar.
> Despres apart es podria intentar aparellar tots els centres del teu
> llistat amb tots els del OSM.  No se si sera posible pel nom, o si no per
> proximitat de les coordenades (tampoc es tan facil quan son ways o
> relations, pero es pot fer) i veure quins falten a una banda i a l'altre,
> quins no hi son al OSM (potser no falten tants), quins hi son pero falten
> attributs, etc.  I evaluar que val la pena fer, suposo.
>
> On Sun, Jul 28, 2019 at 10:42 PM 
> wrote:
>
>>
>> --
>>
>> Message: 1
>> Date: Sun, 28 Jul 2019 15:56:09 +0200
>> From: Victor 
>> To: talk-cat@openstreetmap.org
>> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>>
>>
>>
>> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Aixo dels centres existents ja ho havia pensat, importar masivament no es
tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
solucio es fer-ho mig manualment amb el maxim de pre-procesament per
agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
manual, si parlem de milers de centres.

M'he baixat la base de dades de OSM en XML d'una part del valles i he
extret les escoles; els elements amb el tag 'school'.  Poden ser tant nodes
com ways o relations. Molts nomes posa el nom, altres hi ha tambe addreça,
web, telf... p.ex:








Quan pugui ho acavo d'extreure a un CSV,  de tot catalunya o el que pugui,
el fitxer inicial ocupa molts GB pero es pot fer.

 La teva llista d'escoles, d'on ha sortit? del ICC?  El tema de buscar els
repetits i les diferencies es facil si me'l pases, puc extreure un llistat
en CSV o similar.
Despres apart es podria intentar aparellar tots els centres del teu llistat
amb tots els del OSM.  No se si sera posible pel nom, o si no per
proximitat de les coordenades (tampoc es tan facil quan son ways o
relations, pero es pot fer) i veure quins falten a una banda i a l'altre,
quins no hi son al OSM (potser no falten tants), quins hi son pero falten
attributs, etc.  I evaluar que val la pena fer, suposo.

On Sun, Jul 28, 2019 at 10:42 PM  wrote:

>
> --
>
> Message: 1
> Date: Sun, 28 Jul 2019 15:56:09 +0200
> From: Victor 
> To: talk-cat@openstreetmap.org
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>
>
>
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bona tarda,

Gràcies a tots dos per opinar. Sobre l’anàlisi, d’entrada he vist que els
centres estan repetits, sense que hagi trobat encara per quin motiu.
Pensava que era una fila per tipus d’ensenyament, però no és així. Com
exemple, un centre de Girona que apareix 4 cops, ofereix EINF1C, EINF2C,
EPRI, ESO i BATX a les quatres files. La única diferència és el curs i any
de les dades, a banda 2 files tenen unes coordenades i 2 files unes altres.
En aquest cas caldria posar-les sobre el mapa per veure si consta de dos
edificis que justifiquin aquesta diferència.

Victor, hi ha alguna manera automàtica de fer aquest anàlisi, és a dir,
comparar les dades dels centres repetits i detectar les diferències?

En funció d’aquestes diferències, decidiríem què fer. Per exemple, si la
diferència està en les dates del curs, agafar el més actual; si són
geogràfiques, d’adreça, telèfon, correu o altre mitjà de contacte,
deixar-les per poder analitzar manualment quines són les correctes...


Pitort, sobre el que comentes, entenc la teva preocupació, però cal tenir
en compte que intentarem fer la importació el millor possible, i això vol
dir moltes hores de preparació prèvia per preveure què ens trobarem i com
ho solucionarem.

1 - efectivament, ja hi ha molta informació al mapa i cal respectar-la. En
el flux de treball s’haurà de detallar què es farà quan ja hi hagi
informació al mapa. Ens podem trobar escoles que són un node, un edifici o
un recinte, algunes tindran adreça i dades contacte, però la majoria només
tindran el nom. Els hi podem afegir les dades de contacte, els cicles que
cobreix, si són públiques o privades, la franja d’edat dels alumnes...

2 - això també s’ha de preveure en el procediment d’importació. Abans de
donar per bo un centre, cal comprovar si està a un lloc lògic. A la wiki
s’ha de detallar com i què fer: les coordenades cauen a l’adreça que indica
el centre? Es pot confirmar d’alguna manera que hi ha un centre i és el que
s’indica? Si no es pot, què es fa amb aquest centre? Si no hi ha res,
deixem només el node que prové del dataset o dibuixem recinte, edificis i
serveis?


El concepte d’importació com bolcar les dades d’un dataset al mapa de
manera automàtica ja no té sentit avui dia. Es tracta més de verificar què
hi ha i completar-ho amb dades oficials, per això parlo d’importació,
perquè es fa amb dades oficials i hi haurà un procediment més o menys
automatitzat al darrera (conversió d’etiquetes, gestor de tasques, flux de
treball...)

Una de les coses que es pot fer com a pas previ és fer una consulta sobre
els centres que tenim actualment al mapa i quines etiquetes tenen, si algú
sap com fer-la i bolcar-la en un fitxer que puguem consultar, endavant!

Salut!

El dom., 28 jul. 2019 a las 18:08,  escribió:

> Hola,
>
> Us deixeu una tasca fonamental i una de recomanable:
>
> 1. Què fareu amb els centres que ja existeixen? Surpimireu la feina feta?
> 2. Com verificareu que les coordenades són correctes i no poseu centres al
> mig del carrer? La meva experiència indica que són aproximades i en un
> entorn urbà pot passar qualsevol cosa.
>
> No estic en contra de les importacions, però si de la feina mal feta. Qui
> importi dades hauria de verificar-ne el resultat. Tenim exemples molt
> lamentables. Més no equival a millor.
>
> Salutacions
> pitort
>
> --- original message ---
> From: Victor 
> Date: 28.07.2019 15:56:09
> To: talk-cat@openstreetmap.org
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>
> Hola, jo podria col.laborar amb el tema dels scripts, analitzar
> l'arxiu d'origen i si cal fer neteja de les dades, uniformitzar camps,
> etc. Conec python i pandas que pot anar be per sengons quin tipus
> d'analisis.
>
> On 7/27/19, talk-cat-requ...@openstreetmap.org
>  wrote:
> > Send Talk-cat mailing list submissions to
> >
> > Bon dia, gent!
> >
> > Tot aprofitant que tenim el personal docent fent vacances, he pensat
> en
> > començar a preparar la importació dels centres docents que tenim a
> > Catalunya, a partir del dataset que hi ha a les dades obertes de la
> > Generalitat.
> >
> > Per poder fer la importació cal seguir una sèrie de passes i anar prenent
> > decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento
> per
> > aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en
> sí,
> > sinó en la presa de decisions, programació d’script, redactat de
> > documentació i correus... Per què us feu una idea, el dataset està
> compost
> > per gairebé 22.000 files, que no he mirat encara si són a centre per
> fila o
> > n’hi ha de repetits, i 60 camps.
> >
> > Fases de treball (ordre aproximat):
> >
> > 1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
> > contenen. (FASE FETA, adjun

Re: [Talk-cat] Importació centres docents a Catalunya

[pitort]

Hola,

Us deixeu una tasca fonamental i una de recomanable:

1. Què fareu amb els centres que ja existeixen? Surpimireu la feina feta?
2. Com verificareu que les coordenades són correctes i no poseu centres al mig 
del carrer? La meva experiència indica que són aproximades i en un entorn urbà 
pot passar qualsevol cosa.

No estic en contra de les importacions, però si de la feina mal feta. Qui 
importi dades hauria de verificar-ne el resultat. Tenim exemples molt 
lamentables. Més no equival a millor.

Salutacions
pitort

--- original message ---
From: Victor 
Date: 28.07.2019 15:56:09
To: talk-cat@openstreetmap.org
Subject: Re: [Talk-cat]  Importació centres docents a Catalunya

Hola, jo podria col.laborar amb el tema dels scripts, analitzar
l'arxiu d'origen i si cal fer neteja de les dades, uniformitzar camps,
etc. Conec python i pandas que pot anar be per sengons quin tipus
d'analisis.

On 7/27/19, talk-cat-requ...@openstreetmap.org
 wrote:
> Send Talk-cat mailing list submissions to
>
> Bon dia, gent!
>
> Tot aprofitant que tenim el personal docent fent vacances, he pensat
en
> començar a preparar la importació dels centres docents que tenim a
> Catalunya, a partir del dataset que hi ha a les dades obertes de la
> Generalitat.
>
> Per poder fer la importació cal seguir una sèrie de passes i anar prenent
> decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento
per
> aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en
sí,
> sinó en la presa de decisions, programació d’script, redactat de
> documentació i correus... Per què us feu una idea, el dataset està compost
> per gairebé 22.000 files, que no he mirat encara si són a centre per
fila o
> n’hi ha de repetits, i 60 camps.
>
> Fases de treball (ordre aproximat):
>
> 1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
> contenen. (FASE FETA, adjunto fitxer).
>
> 2 - determinar quins camps són importables i quins no
>
> 3 - obrir el dataset i analitzar què hi ha: duplicitat de centres?
Com
> apareixen els que ofereixen més d’un cicle formatiu? Caldrà afegir
> etiquetat nou (edats mínimes i màximes, per exemple)? Hi ha diferenciació
> entre privat i concertat? Com indiquem estudis públics amb taxa (escola
> idiomes, alguns cicles superiors, escola adults...)? Com han tractat
els
> ZAR o escoles rurals? Cal afegir algun codi per identificar qui hi forma
> part?
>
> 4 - definir l’etiquetat tant dels camps importables com el que haguem
> definit abans per tractar les diferents casuístiques
>
> 5 - crear un script que converteixi el csv o xml origen en el fitxer
osm o
> csv base per a la importació
>
> 6 - determinar com farem la importació (més aviat serà tot coflació
de
> dades): gestor de tasques per municipi, àrea, quantitat de centres?
>
> 7 - documentar tot a la wiki: llicència, estudi dels camps, script
per a la
> conversió, com es farà la importació... Decidir llengua/llengües de
la
> wiki: català, castellà i anglès?
>
> 8 - escriure a la comunitat espanyola
>
> 9 - escriure a imports, afegir la proposta a la wiki corresponent,
> gestionar respostes...
>
> 10 - importació!
>
> Us convido a que dieu la vostra i comenteu on i com podríeu ajudar,
per
> muntar un equip de treball i anar organitzant-nos. O què us semblaria
> compartir les tasques de preparació amb la llista espanyola per tenir
més
> mans i opinions abans de fer-la oficial.
>
> Afegeixo una sèrie d’enllaços a diferents pàgines de la wiki on he trobat
> informació relativa als centres docents:
>
> Codi ISCED, utilitzat per identificar el grau formatiu:
> https://wiki.openstreetmap.org/wiki/Key:isced:level
>
> Etiqueta school amb les etiquetes addicionals proposades:
> https://wiki.openstreetmap.org/wiki/Tag:amenity%3Dschool
>
> Estudi sobre les etiquetes disponibles per al sector educatiu (la versió
en
> castellà podria ser un xic diferent a l’anglesa):
> https://wiki.openstreetmap.org/wiki/Education_features
>
> Última importació de centres escolars que he trobat, feta a Perú:
> https://wiki.openstreetmap.org/wiki/ES:Importando_instituciones_educativas_en_Per%C3%BA
>
> Exemple de wiki d’importació, feta a Madrid:
> https://wiki.openstreetmap.org/wiki/Madrid_Drinking_Water_Import
> Salut!
> -- next part --
> An HTML attachment was scrubbed...
> URL:
> <http://lists.openstreetmap.org/pipermail/talk-cat/attachments/20190726/d2806e52/attachment-0001.html>
> -- next part --
> A non-text attachment was scrubbed...
> Name: OSM_centres_docents.csv
> Type: application/vnd.ms-excel
> Size: 2775 bytes
> Desc: not available
> URL:
> <http://lists.openstreetmap.org/pipermail/talk-cat/attachments/20190726/d2806e52/attachme

Re: [Talk-cat] Importació centres docents a Catalunya

[Victor]

Hola, jo podria col.laborar amb el tema dels scripts, analitzar
l'arxiu d'origen i si cal fer neteja de les dades, uniformitzar camps,
etc. Conec python i pandas que pot anar be per sengons quin tipus
d'analisis.

On 7/27/19, talk-cat-requ...@openstreetmap.org
 wrote:
> Send Talk-cat mailing list submissions to
>
> Bon dia, gent!
>
> Tot aprofitant que tenim el personal docent fent vacances, he pensat en
> començar a preparar la importació dels centres docents que tenim a
> Catalunya, a partir del dataset que hi ha a les dades obertes de la
> Generalitat.
>
> Per poder fer la importació cal seguir una sèrie de passes i anar prenent
> decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento per
> aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en sí,
> sinó en la presa de decisions, programació d’script, redactat de
> documentació i correus... Per què us feu una idea, el dataset està compost
> per gairebé 22.000 files, que no he mirat encara si són a centre per fila o
> n’hi ha de repetits, i 60 camps.
>
> Fases de treball (ordre aproximat):
>
> 1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
> contenen. (FASE FETA, adjunto fitxer).
>
> 2 - determinar quins camps són importables i quins no
>
> 3 - obrir el dataset i analitzar què hi ha: duplicitat de centres? Com
> apareixen els que ofereixen més d’un cicle formatiu? Caldrà afegir
> etiquetat nou (edats mínimes i màximes, per exemple)? Hi ha diferenciació
> entre privat i concertat? Com indiquem estudis públics amb taxa (escola
> idiomes, alguns cicles superiors, escola adults...)? Com han tractat els
> ZAR o escoles rurals? Cal afegir algun codi per identificar qui hi forma
> part?
>
> 4 - definir l’etiquetat tant dels camps importables com el que haguem
> definit abans per tractar les diferents casuístiques
>
> 5 - crear un script que converteixi el csv o xml origen en el fitxer osm o
> csv base per a la importació
>
> 6 - determinar com farem la importació (més aviat serà tot coflació de
> dades): gestor de tasques per municipi, àrea, quantitat de centres?
>
> 7 - documentar tot a la wiki: llicència, estudi dels camps, script per a la
> conversió, com es farà la importació... Decidir llengua/llengües de la
> wiki: català, castellà i anglès?
>
> 8 - escriure a la comunitat espanyola
>
> 9 - escriure a imports, afegir la proposta a la wiki corresponent,
> gestionar respostes...
>
> 10 - importació!
>
> Us convido a que dieu la vostra i comenteu on i com podríeu ajudar, per
> muntar un equip de treball i anar organitzant-nos. O què us semblaria
> compartir les tasques de preparació amb la llista espanyola per tenir més
> mans i opinions abans de fer-la oficial.
>
> Afegeixo una sèrie d’enllaços a diferents pàgines de la wiki on he trobat
> informació relativa als centres docents:
>
> Codi ISCED, utilitzat per identificar el grau formatiu:
> https://wiki.openstreetmap.org/wiki/Key:isced:level
>
> Etiqueta school amb les etiquetes addicionals proposades:
> https://wiki.openstreetmap.org/wiki/Tag:amenity%3Dschool
>
> Estudi sobre les etiquetes disponibles per al sector educatiu (la versió en
> castellà podria ser un xic diferent a l’anglesa):
> https://wiki.openstreetmap.org/wiki/Education_features
>
> Última importació de centres escolars que he trobat, feta a Perú:
> https://wiki.openstreetmap.org/wiki/ES:Importando_instituciones_educativas_en_Per%C3%BA
>
> Exemple de wiki d’importació, feta a Madrid:
> https://wiki.openstreetmap.org/wiki/Madrid_Drinking_Water_Import
> Salut!
> -- next part --
> An HTML attachment was scrubbed...
> URL:
> 
> -- next part --
> A non-text attachment was scrubbed...
> Name: OSM_centres_docents.csv
> Type: application/vnd.ms-excel
> Size: 2775 bytes
> Desc: not available
> URL:
> 
>
> --
>
> Subject: Digest Footer
>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
>
> --
>
> End of Talk-cat Digest, Vol 69, Issue 1
> ***
>

___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

[Talk-cat] Importació centres docents a Catalunya

[Lanxana .]

Bon dia, gent!

Tot aprofitant que tenim el personal docent fent vacances, he pensat en
començar a preparar la importació dels centres docents que tenim a
Catalunya, a partir del dataset que hi ha a les dades obertes de la
Generalitat.

Per poder fer la importació cal seguir una sèrie de passes i anar prenent
decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento per
aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en sí,
sinó en la presa de decisions, programació d’script, redactat de
documentació i correus... Per què us feu una idea, el dataset està compost
per gairebé 22.000 files, que no he mirat encara si són a centre per fila o
n’hi ha de repetits, i 60 camps.

Fases de treball (ordre aproximat):

1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
contenen. (FASE FETA, adjunto fitxer).

2 - determinar quins camps són importables i quins no

3 - obrir el dataset i analitzar què hi ha: duplicitat de centres? Com
apareixen els que ofereixen més d’un cicle formatiu? Caldrà afegir
etiquetat nou (edats mínimes i màximes, per exemple)? Hi ha diferenciació
entre privat i concertat? Com indiquem estudis públics amb taxa (escola
idiomes, alguns cicles superiors, escola adults...)? Com han tractat els
ZAR o escoles rurals? Cal afegir algun codi per identificar qui hi forma
part?

4 - definir l’etiquetat tant dels camps importables com el que haguem
definit abans per tractar les diferents casuístiques

5 - crear un script que converteixi el csv o xml origen en el fitxer osm o
csv base per a la importació

6 - determinar com farem la importació (més aviat serà tot coflació de
dades): gestor de tasques per municipi, àrea, quantitat de centres?

7 - documentar tot a la wiki: llicència, estudi dels camps, script per a la
conversió, com es farà la importació... Decidir llengua/llengües de la
wiki: català, castellà i anglès?

8 - escriure a la comunitat espanyola

9 - escriure a imports, afegir la proposta a la wiki corresponent,
gestionar respostes...

10 - importació!

Us convido a que dieu la vostra i comenteu on i com podríeu ajudar, per
muntar un equip de treball i anar organitzant-nos. O què us semblaria
compartir les tasques de preparació amb la llista espanyola per tenir més
mans i opinions abans de fer-la oficial.

Afegeixo una sèrie d’enllaços a diferents pàgines de la wiki on he trobat
informació relativa als centres docents:

Codi ISCED, utilitzat per identificar el grau formatiu:
https://wiki.openstreetmap.org/wiki/Key:isced:level

Etiqueta school amb les etiquetes addicionals proposades:
https://wiki.openstreetmap.org/wiki/Tag:amenity%3Dschool

Estudi sobre les etiquetes disponibles per al sector educatiu (la versió en
castellà podria ser un xic diferent a l’anglesa):
https://wiki.openstreetmap.org/wiki/Education_features

Última importació de centres escolars que he trobat, feta a Perú:
https://wiki.openstreetmap.org/wiki/ES:Importando_instituciones_educativas_en_Per%C3%BA

Exemple de wiki d’importació, feta a Madrid:
https://wiki.openstreetmap.org/wiki/Madrid_Drinking_Water_Import
Salut!


OSM_centres_docents.csv
Description: MS-Excel spreadsheet
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat