[Talk-cat] Las Calles de las Mujeres

2020-05-07 Conversa Lanxana . 
Bona tarda!

aquest cap de setmana ens hem proposat pujar Madrid al projecte de "Las
Calles de las Mujeres", per aquest motiu es farà un hackató dissabte amb
unes breus presentacions del projecte, dades i viquipedia i la invitació a
tothom a ajudar a filtrar els carrers.

Si us animeu, us podeu apuntar aquí: http://meetu.ps/e/HZl0s/wwHdH/d

L'enllaç a l'event s'enviarà als inscrits, la plataforma serà jitsi dins de
riot.

Tenim algunes altres ciutats pendents d'acabar de processar i pujar, i
properament està previst fer-ho amb Sevilla i València, que té més
complexitat lingüística al nomenclàtor.

Us esperem!


Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

[Talk-cat] Sobre les importacions: bones, regulars i irregulars

2020-03-25 Conversa Lanxana . 
Bon dia,

aquests dies hem estat en el punt de mira de la comunitat OSM, arrel de la
importació de les farmàcies. Per a qui no hagi estat pendent de llistes i
TG, faig un petit resum:

El dia que es va decretar l’estat d’alarma per covid-19, ens vam plantejar
què podíem fer per ajudar des del nostre confinament. De tots els conjunts
de dades de fonts amb llicència, vam triar les farmàcies, com a primer pas.
De les farmàcies hi havia 2 conjunts possibles: un catàleg sense
coordenades publicat amb llicència CC0 i el conjunt d’equipaments, on entre
altres moltes dades hi ha les farmàcies, tot georreferenciat. Es va muntar
la wiki d’importació i el projecte al Gestor de Tasques, mentre es discutia
amb la comunitat espanyola i s’escrivia tant a la espanyola com a la de
imports, que és qui finalment té la potestat d’acceptar o no la importació
com a vàlida.

I aquí van començar els problemes... el conjunt triat, per facilitat de
treball, va ser el dels equipaments, i la carta que tenim de la Generalitat
autoritzant el seu ús és “contradictòria” segons Imports. Qui vulgui seguir
el fil, aquí el pot trobar:
https://lists.openstreetmap.org/pipermail/imports/2020-March/006194.html

Amb correus més o menys desafortunats, la tensió pujant per moments i el
projecte a punt de ser revertit, en paral·lel es van iniciar gestions amb
els propietaris de les dades (els gestors corresponents a la Generalitat),
i finalment es va aconseguir que el dataset d’on havíem agafat les dades (i
que ja us avanço que conté moltíssimes més i de molt interès per a OSM),
canviés la seva llicència a CC0, que és totalment compatible amb OSM i no
requereix cap autorització expressa.

Gràcies a tots els que heu col·laborat tant en la importació en sí com en
aconseguir que el que semblava una bona importació, i va passar a ser
irregular, ha tornat a ser bona.

Així les coses, convido a fer una reflexió de grup:

- a vegades les ganes ens poden, volem fer ja el que sabem que és bo, però
quan estem parlant d’importacions, necessitem seguir totes les passes per
donar-li validesa, perquè sinó tota la feina, tot el temps invertit,
quedaran en no res. Una importació no vàlida pot comportar des de revertir
tota la feina que s’ha fet, fins al bloqueig de l’usuari que l’hagi fet.
Deixant pel camí ofenses, bronques, malentesos...

- tenim moltes dades interessants i moltes ganes de que siguin a OSM. Això
és bo, però cada cop hi ha més dades al mapa i hi ha una corrent dins d’OSM
contrària a les importacions, així que ens hem d'assegurar que tota
importació que surti de la comunitat sigui bona, ja no ens serveixen
importacions regulars de "fico el que tinc i m'oblido del que hi havia"

- hi ha unes normes d’importació que tothom ha de seguir, a grans trets:
font vàlida i contrastada, llicència compatible, etiquetat OSM, mecanisme
de conflació de dades, documentació a la wiki d’OSM, comunicació a
comunitat local, comunicació a imports i esperar la seva validació abans de
començar a importar.

I tot això bé, per una banda pels problemes que hem tingut (i pogut
resoldre a temps) amb aquesta importació, i perquè ahir vam trobar el
rastre d’unes importacions que no han seguit el procediment, i veurem com,
com a comunitat i comptant amb l’usuari que les ha fet, ho podem redreçar
abans no saltin les alarmes.

Cuideu-vos i a mapejar! (properament a les seves pantalles, hospitals i
ambulatoris?)
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-12-29 Conversa Lanxana . 
Bon dia (i Bon Any, gairebé)!

fins avui no he trobat el moment per donar un cop d'ull als fitxers. Està
genial la llista de conversió, estalviarà molta feina en la revisió dels
etiquetats. Moltes gràcies!

He detectat una altre cosa que aniria bé canviar, si es pot... en els
centres que imparteixen dues tipologies d'estudi (per exemple les escoles
institut que abarquen dels 3 als 18 anys) he vist que alguns cops apareixen
com school:primary i altres com a school:secondary, seria possible que
s'agrupessin els diferents estudis que imparteixen? És a dir, concatenar
els valors utilitzant el ; com a separador -> school:primary; secondary;
professional, per posar un exemple complex (que ara mateix no sé si es dona
o no).

Sobre dividir les tasques, doncs si es poden agrupar els punts amb una eina
de clustering, des del codi, seria una molt bona solució. Que les àrees
gràfiques es solapin no hauria de suposar un problema, ja que el centre
estarà en una o en una altra, i encara que dues persones treballin a la
mateixa àrea, no generarien conflicte al pujar les dades. Per altra banda,
tenint en compte la complexitat al revisar els centres, crec que les
tasques haurien de ser relativament petites, d'uns 20 o 25 centres per
tasca. Crec que és millor tenir moltes tasques petites que poques i molt
grans, que no donin temps a acabar d'una sola editada. No sé com ho
veieu... també es podrien fer més grans i després veure si es pot habilitar
l'eina del gestor que divideix les tasques en altres més petites, però amb
la dispersió al territori que hi pot haver, crec que és millor que la
divisió ja la portem feta "de casa".

Com a coses al revisar abans de donar per bo un centre, crec que seria:
- verificar ubicació: que caigui en un lloc lògic
- verificar si ja hi és, al mateix lloc o proper, i ja sigui com a node o
àrea
- verificar adreça: que el nom del carrer sigui com el que ja hi ha a OSM i
la numeració lligui amb la existent o amb cadastre
- verificar la resta d'etiquetat, com que grups d'edat, estudis i tipus
centre lliguin entre ells
- verificar el nom: que no contingui abreviatures, crear short_name si cal
- traçar el perímetre del centre (optatiu, però ja que hi som...)

Què en penseu? Afegiríeu o trauríeu alguna comprovació? Quants centres
posaríeu per tasca (hi ha uns 5500 centres a importar)?

Salutacions!

El sáb., 7 dic. 2019 a las 17:03, Victor () escribió:

> Hola,
>
>  ok, he fet les modificacions, no es molt complicat. Aqui estan els arxius
> i el nou OSM:
> https://drive.google.com/open?id=1etBzdv3Dni3Dv_Vcfd_6huvuB9yme5hm
> He posat les traduccions de paraules i frases totes al fitxer de
> configuracio de forma que es poden afegir o modificar segons sigui
> necessari.
>
> # Terms and abreviations to be translated
> translations:
> operator:type:
> Públic: public
> Privat: private
> operator:
> Alt. Ens Públ.: Altres ens Públics
> Alt. est. no UE: Atres estats no Unió Europea
> Alt. estats UE: Atres estats Unió Europea
> Alt. Titularit.: Atres titularitats
> Altres Depart.: Altres Departaments
> Associacions: Associacions
> Cooperatives: Cooperatives
> Corp. Locals: Corporacions locals
> Dep.Ensenyament: Departament d'Ensenyament
> Església Catòl.: Església Catòlica
> Fundacions: Fundacions
> Jurídica Estra.: Jurídica estrangera
> Ordes i Cong.: Ordes i Congregacions
> Person.Fís. Es.: Persones Físiques
> Persones Físiq.: Persones Físiques
> Soc. Civils: Societats civils
> Soc. Mercantils: Societats mercantils
>
> word_replacements:
> addr:street:
> C.: Carrer
> Av.: Avinguda
> Ctra.: Carretera
> Pl.: Plaça
> pça.: Plaça
> Pça.: Plaça
> Pg.: Passeig
> Pss: Passeig
> Rbla.: Rambla
> Rda.: Ronda
> Trav.: Travessera
> Ptge.: Passatge
> pge.: Passatge
> urb.: Urbanització
> Urb.: Urbanització
> Prol.: Prolongació
> name:
> Esc.: Escola
> Cons.: Consevatori
> Cent.: "Centre "
> Prof: "Professional "
> Mús.: Música
> C.Educ.: "Centre d'Educació "
> Sup.: "Superior "
> Inst.: Institut
> inf.: infants
>
> Respecte als centres propers el que podria fer es agruparlos en paquests
> de p.ex 100 centres (clustering) , per proximitat basat en les
> coordenades.  I fer un arxiu OSM per cada grup.
> A partir d'aixo tambe es podria treure el poligon quadrat (bbox) que conte
> cada grup (max lat, max lon, min lat, min lon). Pero no serien quadrats
> alineats ni res, molts es solaparien per algun canto a llocs com barcelona,
> etc. No se si serviria.
> O potser amb els osm de cada grup es suficient per repartir la feina, per
> que de fet l'altre script de madrid fa el contrari, a partir dels quadrats
> calcula aquests osm petits.
>
> On Sat, Dec 7, 2019 at 1:25 PM Lanxana .  wrote:
>
>> Bon dia!
>>
>> En primer lloc, molt bona fei

Re: [Talk-cat] Importació centres docents a Catalunya

2019-12-07 Conversa Lanxana . 
Bon dia!

En primer lloc, molt bona feina, Víctor, ets un crack! Moltes gràcies per
preparar l'script.

Fins avui no he pogut mirar-m'ho amb calma, al intentar carregar el fitxer
*.osm a JOSM dona un error en unes coordenades, que al fitxer origen estan
malament. És una correcció manual que ja documentaré a la wiki i ho
comunicaré també al Departament d'Ensenyament perquè ho corregeixin a la
seva base. És l'Institut de Navarcles, codi 08059524, on la longitud s'ha
de canviar a 1.91130 (aprox., al dataset agafa el mateix valor que la UTM
Y, fins i tot a la columna amb la nova georeferència)

Respecte a generar el fitxer GEOJSON, el propi JOSM deixa exportar en
aquest format, i des de QGIS puc fer els polígons per al gestor de tasques
(al menys aquesta és la teoria). Estic investigant com aconseguir polígons
que tinguin una quantitat similar de centres propers entre ells, sinó ho
faria de manera manual i aproximada.

Respecte al script, volia saber si es poden incloure uns petits canvis, si
no es pogués ho documentaria per a que es faci la revisió manual abans de
validar cada centre:

- el tag url no cal que aparegui en cada centre, el reservaríem per al
changeset. En canvi, els de source i source:date està bé que hi siguin
perquè és informació directa que un pot necessitar quan consulti aquell
centre en concret.

- el tag operator:type agafa el valor de la taula, que està en català, i
hauria de quedar en anglès:

Nom naturalesa operator:type
Públic public
Privat private

- el tag operator també agafar el valor de la taula, que conté abreviatures
i s'haurien de substituir pels noms complets:

Nom titularitat operator
Alt. Ens Públ. Altres ens Públics
Alt. est. no UE Atres estats no Unió Europea
Alt. estats UE Atres estats Unió Europea
Alt. Titularit. Atres titularitats
Altres Depart. Altres Departaments
Associacions Associacions
Cooperatives Cooperatives
Corp. Locals Corporacions locals
Dep.Ensenyament Departament d'Ensenyament
Església Catòl. Església Catòlica
Fundacions Fundacions
Jurídica Estra. Jurídica estrangera
Ordes i Cong. Ordes i Congregacions
Person.Fís. Es. Persones Físiques
Persones Físiq. Persones Físiques
Soc. Civils Societats civils
Soc. Mercantils Societats mercantils

- passa el mateix amb el tag name, en aquest cas hi ha moltíssimes
variables i no sé fins a quin punt es poden automatitzar els canvis (si es
pogués a partir d'una taula, la tinc creada i te la podria passar)

- igual amb el tag addr:street, però com que les adreces s'hauran de
revisar manualment sí o sí, es optatiu fer el canvi de C. per Carrer, Av.
per Avinguda, etc. amb l'script

Un cop més, moltes gràcies per la feina feta!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-10-12 Conversa Lanxana . 
Crec que precisament per això a Madrid van fer dos scripts per tenir un
primer, genèric, que transforma els fitxers xml a osm, i un altre per
convertir el fitxer osm en les tasques que es carreguen al gestor ( que és
el que podem aprofitar). No sé si és possible tenir un script que sigui
capaç de processar tots els tipus de dataset que tenim de la Generalitat.
Hi haurà coses comunes com podria ser el tema adreça (que s'ha de processar
i separar en parts), però altres molt específiques (com els isced_level,
min_age, max_age, etc. en aquest cas).

Encara no aconsegueixo posar-me amb el gestor per veure què necessita ni
com es fa. La meva idea era seguir el procés que van fer ells, o mirar com
es fa amb les tasques de cadastre. En tot cas veig que cal un fitxer
geojson amb els límits de les tasques i tampoc he aconseguit encara
generar-lo. A les males estic pensant que podem ordenar per codi postal,
dividir en paquets d'uns 20 punts i tirar milles... al menys garantiríem
una certa proximitat geogràfica entre ells perquè en una mateixa tasca no
tinguis un centre a la Vall d'Aran i un altre a Deltebre...

Si algú sap i pot generar el geojson i/o investigar com funciona el gestor
de tasques, endavant! Jo no sé quan podré ni si ho podré fer.

Salut!

<https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
Libre
de virus. www.avast.com
<https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El sáb., 12 oct. 2019 a las 4:48, Ismael Luceno ()
escribió:

> On 22/Sep/2019 14:00, Lanxana . wrote:
> > Com a guia m'he estat mirant la importació de les oficines de correus
> > de Madrid [3]. Fan servir dos scripts (tots dos estan a github): un
> > per convertir l'etiquetat i l'altre per generar les tasques per al
> > gestor.
>
> Seria interessant unir les dues parts i automatitzar la tasca; podem
> generar un fitxer XML amb el resultat llest per importar, així es pot
> simplement revisar i importar.
>
> Per fer les unions amb nodes existents, quan no hi ha referència més
> fiable, simplement es pot usar la posició amb algun marge d'error i
> qualesvol altra etiqueta disponible.
>
> > Crec que podríem aprofitar el segon, però caldria adaptar o programar
> > un que faci el mateix que el primer però amb la estructura del xml de
> > la Generalitat (m'ha semblat que és diferent) i amb les nostres
> > etiquetes.
> <...>
>
> Jo diria que es important tenir un script genèric, capaç d'importar des
> de qualsevol font, i així concentrar esforços, perquè molt del que
> necessiten fer segurament és comú.
>
> No sembla una tasca difícil; ia més madridxml2osm no és fàcil d'adaptar,
> tot està codificat en el codi font, quan hauria de ser una transformació
> guiada pel contingut.
>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-10-07 Conversa Lanxana . 
Bon dia,

sí, així és, l'script ha de convertir els camps del csv o xml (el format
que et vagi més bé) a format osm amb l'etiquetat detallat. He vist que em
vaig oblidar posar a la taula que a tots els centres s'ha d'afegir la
etiqueta "source=Generalitat de Catalunya", suposo que no serà cap problema
afegir-lo.

Et passo el fitxer de Figueres en format osm perquè el puguis remenar.
Sobre el llenguatge de programació, el que et vagi més bé. Si ho fas amb
python, el podré llegir, a programar no m'hi veig.

Gràcies!

El mié., 25 sept. 2019 a las 20:46, Victor () escribió:

> Ok, llavors entenc s'hauria de fer un script que converteixi el CSV de la
> generalitat a format OSM amb els camps adaptats segons la teva descripcio.
> I despres aquest OSM es convertiria en les tasques per carregar pels
> voluntaris. Correcte?
> El 1er script no crec que sigui gaire problema, ho podria fer en python.
> M'aniria be el format concret del OSM, un d'exemple, pero que ho puc
> trobar. El script de Madrid es shell-script, mes criptic de seguir.
> El que no se quan podre, d'aqui a un parell de setmanes potser.
> victor
>


Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>


cd_figueres.osm
Description: Binary data
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-09-22 Conversa Lanxana . 
Bon dia,

tornem a la càrrega, després de fer les consultes pertinents i donar-hi un
parell més de voltes, he actualitzat la wiki [1] amb les etiquetes a
utilitzar i he preparat un document [2] on es detalla quina etiqueta es
converteix en quina o quines, i he afegit com a mostra els centres de
Figueres, tal com apareixen al fitxer de la Generalitat com tal com han de
quedar en el fitxer osm. Hi ha dos camps (coordenades GEO X i Y) que s'han
de conservar tal qual per a que OSM ubiqui bé els punts (hi ha algun centre
que les coordenades UTM envia enmig del mar, però les GEO estan bé)

Com a guia m'he estat mirant la importació de les oficines de correus de
Madrid [3]. Fan servir dos scripts (tots dos estan a github): un per
convertir l'etiquetat i l'altre per generar les tasques per al gestor. Crec
que podríem aprofitar el segon, però caldria adaptar o programar un que
faci el mateix que el primer però amb la estructura del xml de la
Generalitat (m'ha semblat que és diferent) i amb les nostres etiquetes. Com
que no sóc programadora i els darrers intents per aprendre han sigut
nefastos, ho deixo per als experts. Víctor, podries ocupar-te'n? Si tens
qualsevol dubte, em pots contactar per correu o al telegram.

Per a les formes de contacte, a tagging s'està debatent si fer servir
'contact:phone=*' o 'phone=*', en aquest cas he proposat fer servir la
fórmula 'contact:phone/fax/email...' per unificar criteris, però sempre es
podria canviar si calgués.

Gràcies!

[1] https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
[2]
https://drive.google.com/file/d/1098kcGQlB43PXZrL33sq5dgHTSFtRnrT/view?usp=sharing
[3] https://wiki.openstreetmap.org/wiki/Madrid_Post_Offices_Import

>

Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-08-05 Conversa Lanxana . 
Bones, anem a pams...

La idea principal és que tenim un conjunt de dades A (generalitat), que
depurem per eliminar els duplicats i transformem en un conjunt de dades B
(etiquetat OSM). Aquest conjunt B es dividirà en X tasques que aniran al
gestor de tasques per facilitar la seva edició. Quan obris la tasca X1,
tindràs els punts de la tasca, cadascú amb les etiquetes que li pertoquen,
i en principi només caldrà verificar que és la mateixa escola que hi ha a
OSM, o és a prop. Si és la mateixa, es copien les etiquetes del punt X1 a
la escola en el mapa o es fusionen geometries. Si no ho és, o no hi és,
doncs caldrà dibuixar-la amb el nivell de detall que decidim i posar-li les
etiquetes que tenim en el punt X1. I si hi ha dubtes, preveure-ho i
deixar-la en "standby" com van fer a Madrid amb crec que va ser les fonts
d'aigua potable.

Ja que revisem les escoles que hi ha, podem unificar criteris, com que
l’etiquetat vagi sempre en el contorn o perímetre, com a amenity=school +
totes les etiquetes que tenim a la tasca Xn. Podem decidir que amb només el
perímetre ja està bé o la podem detallar un xic més. Per exemple, podem
afegir els edificis i posar-los el building=school o buildgin=kindergarten
si sabem de manera certera qué són, sinò building=school, building=public o
building=yes; podem afegir la pista esportiva com a leisure=pitch +
sport=multi (o basket, o futbol, el que pertoqui); podem afegir una font si
té i sabem on és, etc...

Sobre l’etiquetat que ja hi ha, no he mirat en els fitxers que vas passar
quin és, potser caldrà veure en cada cas què fer. Si és només el nom, doncs
veure quin dels dos és més complet i correcte. O si són etiquetes repetides
al perímetre i al edifici, esborrar les que sobren de l'edifici. Una de les
coses que estic preparant és l’ajust dels noms que hi ha al dataset als
codis d’ús de OSM. Per exemple, s’han de treure les abreviatures i les
sigles (AFA, CEE, CFA, EASD, EB...). En alguns casos serà complex i per
això estic fent un llistat amb tot el que he trobat i possibles solucions
per traslladar-ho després a debat i decidir com posem el nom.

Una altra cosa que s’haurà de fer és “arreglar” les adreces, ahir quan vaig
obrir el dataset per analitzar les dades vaig veure que el format que tenen
no és vàlid, s’hauran de “cuinar” abans de poder-les incorporar.

En aquests dies o ja el cap de setmana (sóc de les que no fan vacances a
l'agost) vull preparar bé què s’ha de fer amb cada tipus de dada, a nivell
de programació. Per exemple, que si l’adreça és ‘Av. Generalitat, 15’,
l’script ho haurà de traduir a tres camps: addr:full=Av.Generalitat, 15 +
addr:street=Avinguda de la Generalitat + addr:housenumber=15. I si l’escola
ofereix EINF2C+EPRI, l’script ho haurà de traduir a isced:level:1=yes +
isced:level:2=yes + min_age=3 + max_age=12  (lo dels isced:level ho estic
consultant amb tagging perquè ens deixin posar-los així en comptes de fer
servir isced:level=1; 2), a banda del tema del nom, format del número de
telèfon, etc.

Sobre altres scripts, es poden mirar les importacions que han fet a Madrid,
diria que per cadascuna han optat per una solució diferent, i que alguns
scripts estan la wiki i altres a github:
https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/Importaciones#Importaciones_finalizadas

I sobre manteniment de les dades, es pot plantejar com a tasca anual,
comprovar si han actualitzat el dataset al portal de dades obertes i fer un
match amb el que ja tinguem al mapa. En tot cas, afegirem el codi del
centre com a ref  per tal que després sigui més fàcil comparar dades i
actualitzar les que calgui.

Crec que no em deixo res...

Salut!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-08-03 Conversa Lanxana . 
Bones!

Wiki creada i primers apartats afegits. Faltarà posar el codi que es faci
servir per a la conversió de les dades i el flux de treball (o workflow).

A revisar:
- en alguns apartats he afegit comentaris en cursiva i entre parèntesis
perquè cal acabar de redactar-los
- a la primera taula, la de "Tagging Conversion" falta determinar si
existeix o no un etiquetat que ens serveixi per als camps que a la columna
"OSM tag" estan en blanc. Si no hi ha etiqueta o no volem complicar-nos la
vida, s'afegeix "Not used" i cap problema. Són: Nom delegació, Nom comarca,
Nom DM (nom del districte del municipi?), Zona educativa i centre
d'Educació especial.
- a la segona taula, algú que tingui més coneixement del complex món
educatiu actual i totes les seves sigles... s'ha de revisar que no l'hagi
pifiat al assignar els ISCED level als que el tenen, i si es pot assignar a
la resta, o posar un " - " per saber que no té equivalència (per exemple,
les escoles d'idiomes no tindrien ISCED_level). Ídem amb les franges
d'edat, en alguns casos només he posat la edat mínima per accedir-hi, cal
revisar si la resta tenen edat mínima d'accés o no i si les que hi ha estan
ben posades.
- cas apart seran els centres d'educació especial i els centres estrangers.
Per als primers encara no sé com s'etiqueten i per al segons, probablement
tocarà llistar-los i assignar el valor individualment, ja que segueixen el
model educatiu d'un altre país.

Passo els enllaços a la wiki i al isced_level:

wiki: https://wiki.openstreetmap.org/wiki/Import_schools_in_Catalunya
isced_level: https://wiki.openstreetmap.org/wiki/Key:isced:level

Salut!
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-07-31 Conversa Lanxana . 
Bones,

moltes gràcies Víctor pel llistat, comparar les dues bases ens servirà per
saber com de ben situats estan els centres al llistat de la Generalitat,
que encara recordo d'algun altre llistat, centres que anaven a parar al mig
del mar per errors a les coordenades...
El que aniria bé també és veure per quin motiu estan duplicats els centres
al llistat de la Generalitat i definir els criteris per eliminar-los.

Sobre el que dius, yopaseopor, comptava amb poder fer servir el gestor de
tasques per coordinar la feina. Caldrà veure com fem els grups de punts. A
una ciutat pots dir "faig paquets de X punts" i ja, però amb tot el
territori també caldrà tenir en compte proximitat entre els punts, i tampoc
podem dividir en una quadrícula exacta perquè ens podem trobar zones amb 10
centres i zones amb 200... A veure quina dispersió hi ha i quina és la
millor manera d'agrupar-los... em sona que hi ha algun algoritme a QGIS que
permet fer-ho.

Us convido a anar pensant en l'etiquetat que els hi posarem (els obvis de
name, amenity, addr:*, contact:*... i altres no tan directes, com edats i
el o els "isced levels"), de cara a que l'script primer depuri i després
afegeixi les etiquetes OSM.

Si no hi ha cap canvi, aquest cap de setmana m'hi podré dedicar una
estona.

Anem parlant!

El mié., 31 jul. 2019 a las 12:55, yo paseopor ()
escribió:

> Si sabem zonificar-ho per fer tota aquesta feinada podem fer servir el
> gestor de tasques de la comunitat espanyola. És des d'on gestionem les
> importacions de cadastre o el SIGPAC de 2019 per a Catalunya.
> http://tareas.openstreetmap.es
>
> Salut i mapes
> yopaseopor
>
> On Wed, Jul 31, 2019 at 12:48 PM Victor  wrote:
>
>> He fet una primera prova de aparellar els centres descarregats del OSM
>> amb el llistat de la generalitat mitjançat la proximitat per coordenades, o
>> sigui els que estan a menys d'uns 300m aproximadament.  I he generat un csv
>> amb els nom i municipi del centre al OSM i el nom i municipi al csv de la
>> generalitat:
>>
>> https://drive.google.com/file/d/17x1Q1w6oQGdGT6Bh6Qdv-ehtF1QmaPg6/view?usp=sharing
>>
>> Molts coincideixen mes o menys, alguns deuen ser fals positius degut a
>> escoles i instituts que estan tocant, etc.   Molts no tenen cap nom al OSM,
>> ara amb aixo es podrien completar facilment.
>> I de moment per anar rapid nomes ho he fet amb nodes, que ja venen amb
>> les coordenades. Per poligons i relacions quan tingui una estona mes. I
>> afegint escoles bressol tambe.
>>
>> Aquests serien els centres que apareixen als dos llocs, per coordenades.
>> Tambe tinc els que estan a gencat pero encara no estan a OSM. I viceversa,
>> algun que hagi deixat de ser escola.
>> ___
>> Talk-cat mailing list
>> Talk-cat@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-cat
>>
> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-07-29 Conversa Lanxana . 
Acabo de recordar i veure que des de la consulta overpass es poden
descarregar la resta d'etiquetats... quin cap!

<https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
Libre
de virus. www.avast.com
<https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El lun., 29 jul. 2019 a las 20:35, Lanxana . ()
escribió:

> Bones,
>
> Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
> quantes consultes generals... al dataset hi ha 5641 centres diferents (si
> he aplicat bé la formula per calcular els valors diferents). Respecte a
> OSM, he fet un parell de consultes ràpides a overpass per saber quants
> centres hi ha ara al mapa:
>
> amenity=school [1] -> 648 punts, 7 línies i 1895 polígons
>
> amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons
>
> Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
> hi ha centres que són node i polígon.
>
> El dataset està al portal de dades obertes de la Generalitat, deixo
> l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
> baixar-lo en csv per poder treballar amb el Calc.
>
> A Madrid van fer la importació dels centres de culte i de museus, tenint
> en compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com
> a guia per redactar aquesta [4] i [5], només que ells van fer-ho
> directament en anglès i el tinc massa rovellat com per escriure-ho tot
> directament.
>
> Salut!
>
> [1] https://overpass-turbo.eu/s/La4
>
> [2] https://overpass-turbo.eu/s/La5
>
> [3]
> https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-docents/e2ef-eiqj
>
> [4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import
>
> [5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import
>
>
> <https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
>  Libre
> de virus. www.avast.com
> <https://www.avast.com/sig-email?utm_medium=email_source=link_campaign=sig-email_content=webmail>
> <#m_7165180332788154757_DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
>
> El lun., 29 jul. 2019 a las 11:45, Victor () escribió:
>
>> Aixo dels centres existents ja ho havia pensat, importar masivament no es
>> tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
>> solucio es fer-ho mig manualment amb el maxim de pre-procesament per
>> agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
>> manual, si parlem de milers de centres.
>>
>> M'he baixat la base de dades de OSM en XML d'una part del valles i he
>> extret les escoles; els elements amb el tag 'school'.  Poden ser tant nodes
>> com ways o relations. Molts nomes posa el nom, altres hi ha tambe addreça,
>> web, telf... p.ex:
>> > timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
>> user="larslynch">
>> 
>> 
>> 
>> 
>> 
>> 
>>
>> Quan pugui ho acavo d'extreure a un CSV,  de tot catalunya o el que
>> pugui, el fitxer inicial ocupa molts GB pero es pot fer.
>>
>>  La teva llista d'escoles, d'on ha sortit? del ICC?  El tema de buscar
>> els repetits i les diferencies es facil si me'l pases, puc extreure un
>> llistat en CSV o similar.
>> Despres apart es podria intentar aparellar tots els centres del teu
>> llistat amb tots els del OSM.  No se si sera posible pel nom, o si no per
>> proximitat de les coordenades (tampoc es tan facil quan son ways o
>> relations, pero es pot fer) i veure quins falten a una banda i a l'altre,
>> quins no hi son al OSM (potser no falten tants), quins hi son pero falten
>> attributs, etc.  I evaluar que val la pena fer, suposo.
>>
>> On Sun, Jul 28, 2019 at 10:42 PM 
>> wrote:
>>
>>>
>>> --
>>>
>>> Message: 1
>>> Date: Sun, 28 Jul 2019 15:56:09 +0200
>>> From: Victor 
>>> To: talk-cat@openstreetmap.org
>>> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>>>
>>>
>>>
>>> ___
>> Talk-cat mailing list
>> Talk-cat@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-cat
>>
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-07-29 Conversa Lanxana . 
Bones,

Sí, hi ha molta feina a fer manualment i hi ha moltes dades. He fet unes
quantes consultes generals... al dataset hi ha 5641 centres diferents (si
he aplicat bé la formula per calcular els valors diferents). Respecte a
OSM, he fet un parell de consultes ràpides a overpass per saber quants
centres hi ha ara al mapa:

amenity=school [1] -> 648 punts, 7 línies i 1895 polígons

amenity=kindergarten [2] -> 183 punts, 6 línies i 211 polígons

Així que podríem dir que estim meitat i meitat, sense entrar a valorar si
hi ha centres que són node i polígon.

El dataset està al portal de dades obertes de la Generalitat, deixo
l’enllaç directe [3]. Es pot descarregar en diferents formats, jo vaig
baixar-lo en csv per poder treballar amb el Calc.

A Madrid van fer la importació dels centres de culte i de museus, tenint en
compte els que ja hi havia al mapa, havia pensat aprofitar les wikis com a
guia per redactar aquesta [4] i [5], només que ells van fer-ho directament
en anglès i el tinc massa rovellat com per escriure-ho tot directament.

Salut!

[1] https://overpass-turbo.eu/s/La4

[2] https://overpass-turbo.eu/s/La5

[3]
https://analisi.transparenciacatalunya.cat/Educaci-/Directori-de-centres-docents/e2ef-eiqj

[4] https://wiki.openstreetmap.org/wiki/Madrid_Places_of_Worship_Import

[5] https://wiki.openstreetmap.org/wiki/Madrid_Museums_Import


Libre
de virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El lun., 29 jul. 2019 a las 11:45, Victor () escribió:

> Aixo dels centres existents ja ho havia pensat, importar masivament no es
> tan facil. Pero tampoc se com ho feu normalment.  Sembla que la unica
> solucio es fer-ho mig manualment amb el maxim de pre-procesament per
> agilitzar o anar nomes als que faltin.  Tot i aixo sembla una feinada
> manual, si parlem de milers de centres.
>
> M'he baixat la base de dades de OSM en XML d'una part del valles i he
> extret les escoles; els elements amb el tag 'school'.  Poden ser tant nodes
> com ways o relations. Molts nomes posa el nom, altres hi ha tambe addreça,
> web, telf... p.ex:
>  timestamp="2013-01-11T08:30:42Z" changeset="14606972" uid="1195768"
> user="larslynch">
> 
> 
> 
> 
> 
> 
>
> Quan pugui ho acavo d'extreure a un CSV,  de tot catalunya o el que pugui,
> el fitxer inicial ocupa molts GB pero es pot fer.
>
>  La teva llista d'escoles, d'on ha sortit? del ICC?  El tema de buscar els
> repetits i les diferencies es facil si me'l pases, puc extreure un llistat
> en CSV o similar.
> Despres apart es podria intentar aparellar tots els centres del teu
> llistat amb tots els del OSM.  No se si sera posible pel nom, o si no per
> proximitat de les coordenades (tampoc es tan facil quan son ways o
> relations, pero es pot fer) i veure quins falten a una banda i a l'altre,
> quins no hi son al OSM (potser no falten tants), quins hi son pero falten
> attributs, etc.  I evaluar que val la pena fer, suposo.
>
> On Sun, Jul 28, 2019 at 10:42 PM 
> wrote:
>
>>
>> --
>>
>> Message: 1
>> Date: Sun, 28 Jul 2019 15:56:09 +0200
>> From: Victor 
>> To: talk-cat@openstreetmap.org
>> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>>
>>
>>
>> ___
> Talk-cat mailing list
> Talk-cat@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-cat
>
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

Re: [Talk-cat] Importació centres docents a Catalunya

2019-07-28 Conversa Lanxana . 
Bona tarda,

Gràcies a tots dos per opinar. Sobre l’anàlisi, d’entrada he vist que els
centres estan repetits, sense que hagi trobat encara per quin motiu.
Pensava que era una fila per tipus d’ensenyament, però no és així. Com
exemple, un centre de Girona que apareix 4 cops, ofereix EINF1C, EINF2C,
EPRI, ESO i BATX a les quatres files. La única diferència és el curs i any
de les dades, a banda 2 files tenen unes coordenades i 2 files unes altres.
En aquest cas caldria posar-les sobre el mapa per veure si consta de dos
edificis que justifiquin aquesta diferència.

Victor, hi ha alguna manera automàtica de fer aquest anàlisi, és a dir,
comparar les dades dels centres repetits i detectar les diferències?

En funció d’aquestes diferències, decidiríem què fer. Per exemple, si la
diferència està en les dates del curs, agafar el més actual; si són
geogràfiques, d’adreça, telèfon, correu o altre mitjà de contacte,
deixar-les per poder analitzar manualment quines són les correctes...


Pitort, sobre el que comentes, entenc la teva preocupació, però cal tenir
en compte que intentarem fer la importació el millor possible, i això vol
dir moltes hores de preparació prèvia per preveure què ens trobarem i com
ho solucionarem.

1 - efectivament, ja hi ha molta informació al mapa i cal respectar-la. En
el flux de treball s’haurà de detallar què es farà quan ja hi hagi
informació al mapa. Ens podem trobar escoles que són un node, un edifici o
un recinte, algunes tindran adreça i dades contacte, però la majoria només
tindran el nom. Els hi podem afegir les dades de contacte, els cicles que
cobreix, si són públiques o privades, la franja d’edat dels alumnes...

2 - això també s’ha de preveure en el procediment d’importació. Abans de
donar per bo un centre, cal comprovar si està a un lloc lògic. A la wiki
s’ha de detallar com i què fer: les coordenades cauen a l’adreça que indica
el centre? Es pot confirmar d’alguna manera que hi ha un centre i és el que
s’indica? Si no es pot, què es fa amb aquest centre? Si no hi ha res,
deixem només el node que prové del dataset o dibuixem recinte, edificis i
serveis?


El concepte d’importació com bolcar les dades d’un dataset al mapa de
manera automàtica ja no té sentit avui dia. Es tracta més de verificar què
hi ha i completar-ho amb dades oficials, per això parlo d’importació,
perquè es fa amb dades oficials i hi haurà un procediment més o menys
automatitzat al darrera (conversió d’etiquetes, gestor de tasques, flux de
treball...)

Una de les coses que es pot fer com a pas previ és fer una consulta sobre
els centres que tenim actualment al mapa i quines etiquetes tenen, si algú
sap com fer-la i bolcar-la en un fitxer que puguem consultar, endavant!

Salut!

El dom., 28 jul. 2019 a las 18:08,  escribió:

> Hola,
>
> Us deixeu una tasca fonamental i una de recomanable:
>
> 1. Què fareu amb els centres que ja existeixen? Surpimireu la feina feta?
> 2. Com verificareu que les coordenades són correctes i no poseu centres al
> mig del carrer? La meva experiència indica que són aproximades i en un
> entorn urbà pot passar qualsevol cosa.
>
> No estic en contra de les importacions, però si de la feina mal feta. Qui
> importi dades hauria de verificar-ne el resultat. Tenim exemples molt
> lamentables. Més no equival a millor.
>
> Salutacions
> pitort
>
> --- original message ---
> From: Victor 
> Date: 28.07.2019 15:56:09
> To: talk-cat@openstreetmap.org
> Subject: Re: [Talk-cat]  Importació centres docents a Catalunya
>
> Hola, jo podria col.laborar amb el tema dels scripts, analitzar
> l'arxiu d'origen i si cal fer neteja de les dades, uniformitzar camps,
> etc. Conec python i pandas que pot anar be per sengons quin tipus
> d'analisis.
>
> On 7/27/19, talk-cat-requ...@openstreetmap.org
>  wrote:
> > Send Talk-cat mailing list submissions to
> >
> > Bon dia, gent!
> >
> > Tot aprofitant que tenim el personal docent fent vacances, he pensat
> en
> > començar a preparar la importació dels centres docents que tenim a
> > Catalunya, a partir del dataset que hi ha a les dades obertes de la
> > Generalitat.
> >
> > Per poder fer la importació cal seguir una sèrie de passes i anar prenent
> > decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento
> per
> > aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en
> sí,
> > sinó en la presa de decisions, programació d’script, redactat de
> > documentació i correus... Per què us feu una idea, el dataset està
> compost
> > per gairebé 22.000 files, que no he mirat encara si són a centre per
> fila o
> > n’hi ha de repetits, i 60 camps.
> >
> > Fases de treball (ordre aproximat):
> >
> > 1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
> > contenen. (FASE FETA, adjunto fitxer).
> >
> > 2 - determinar quins camps són importables i quins no
> >
> > 3 - obrir el dataset i analitzar què hi ha: duplicitat de centres?
> Com
> > apareixen els que ofereixen més d’un cicle formatiu? Caldrà afegir
> > etiquetat nou

[Talk-cat] Importació centres docents a Catalunya

2019-07-26 Conversa Lanxana . 
Bon dia, gent!

Tot aprofitant que tenim el personal docent fent vacances, he pensat en
començar a preparar la importació dels centres docents que tenim a
Catalunya, a partir del dataset que hi ha a les dades obertes de la
Generalitat.

Per poder fer la importació cal seguir una sèrie de passes i anar prenent
decisions. Per fer-ho més fàcil, transparent i participatiu, ho comento per
aquí. Tota ajuda serà benvinguda, no tan sols a fer la importació en sí,
sinó en la presa de decisions, programació d’script, redactat de
documentació i correus... Per què us feu una idea, el dataset està compost
per gairebé 22.000 files, que no he mirat encara si són a centre per fila o
n’hi ha de repetits, i 60 camps.

Fases de treball (ordre aproximat):

1 - analitzar quins camps de dades hi ha (columnes) al dataset i què
contenen. (FASE FETA, adjunto fitxer).

2 - determinar quins camps són importables i quins no

3 - obrir el dataset i analitzar què hi ha: duplicitat de centres? Com
apareixen els que ofereixen més d’un cicle formatiu? Caldrà afegir
etiquetat nou (edats mínimes i màximes, per exemple)? Hi ha diferenciació
entre privat i concertat? Com indiquem estudis públics amb taxa (escola
idiomes, alguns cicles superiors, escola adults...)? Com han tractat els
ZAR o escoles rurals? Cal afegir algun codi per identificar qui hi forma
part?

4 - definir l’etiquetat tant dels camps importables com el que haguem
definit abans per tractar les diferents casuístiques

5 - crear un script que converteixi el csv o xml origen en el fitxer osm o
csv base per a la importació

6 - determinar com farem la importació (més aviat serà tot coflació de
dades): gestor de tasques per municipi, àrea, quantitat de centres?

7 - documentar tot a la wiki: llicència, estudi dels camps, script per a la
conversió, com es farà la importació... Decidir llengua/llengües de la
wiki: català, castellà i anglès?

8 - escriure a la comunitat espanyola

9 - escriure a imports, afegir la proposta a la wiki corresponent,
gestionar respostes...

10 - importació!

Us convido a que dieu la vostra i comenteu on i com podríeu ajudar, per
muntar un equip de treball i anar organitzant-nos. O què us semblaria
compartir les tasques de preparació amb la llista espanyola per tenir més
mans i opinions abans de fer-la oficial.

Afegeixo una sèrie d’enllaços a diferents pàgines de la wiki on he trobat
informació relativa als centres docents:

Codi ISCED, utilitzat per identificar el grau formatiu:
https://wiki.openstreetmap.org/wiki/Key:isced:level

Etiqueta school amb les etiquetes addicionals proposades:
https://wiki.openstreetmap.org/wiki/Tag:amenity%3Dschool

Estudi sobre les etiquetes disponibles per al sector educatiu (la versió en
castellà podria ser un xic diferent a l’anglesa):
https://wiki.openstreetmap.org/wiki/Education_features

Última importació de centres escolars que he trobat, feta a Perú:
https://wiki.openstreetmap.org/wiki/ES:Importando_instituciones_educativas_en_Per%C3%BA

Exemple de wiki d’importació, feta a Madrid:
https://wiki.openstreetmap.org/wiki/Madrid_Drinking_Water_Import
Salut!


OSM_centres_docents.csv
Description: MS-Excel spreadsheet
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat

[Talk-cat] Importacions dades Ajuntament de Barcelona i Generalitat de Catalunya

2019-02-21 Conversa Lanxana . 
Bon dia,

he preparat un parell de wikis amb els conjunts de dades obertes
disponibles als portals de l'Ajuntament de Barcelona [1] i a la Generalitat
de Catalunya[2], a l'estil del que han fet altres col·laboradors per a
Madrid, Sevilla, Gijón... Per a aquests organismes tenim autorització per a
reutilitzar les seves dades, gràcies a les gestions que va fer en Joaquin.
També tenim per a l'AMB i la Diputació de Barcelona, però encara no m'ho he
mirat.

Per a cada conjunt que vulguem importar caldrà seguir el procés
d'importació establert a OSM [3]: definir com es farà, escriure-ho en una
wiki, i consultar a la llista d'imports. En alguns casos, per les
característiques de les dades, es podrà aprofitar el esquema.

A la darrera reunió es va parlar de fixar-nos el proper objectiu en els
equipaments d'emergència (bombers, sanitat, farmàcies, policia, DEA...).
Podria ser un punt de partida per establir els mecanismes, crear els
scripts que calgui, etc.

Quan pugueu aneu donant un cop d'ull i decidim per on començar. I els que
pugueu ocupar-vos dels scripts aixequeu la mà ;-)

[1]
https://wiki.openstreetmap.org/wiki/Ca:Importaci%C3%B3_Ajuntament_de_Barcelona
[2]
https://wiki.openstreetmap.org/wiki/Ca:Importaci%C3%B3_dades_Generalitat_de_Catalunya
[3] https://wiki.openstreetmap.org/wiki/ES:Importaci%C3%B3n/Directrices
___
Talk-cat mailing list
Talk-cat@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-cat