Re: [Talk-ca] Fwd: Données GTFS et licence d'utilisation
Bonjour Claude, J'ai utilisé une méthode de travail assez particulière : je me suis fait un script Python assez bordélique qui est capable d'extraire les informations d'une ligne de bus de la STM et d'en générer un fichier OSM XML. Ensuite j'ouvrais ce fichier dans JOSM comme un layer séparé (en plus du layer "OSM") et j'importais les arrêts manquants dans le layer "OSM" et déplaçait ceux qui etaient au mauvais endroit et ajoutait les tags manquants. Dans un second temps, j'ai crée les relations pour les arrêts et routes selon le format Public Transport v2. La chaine d'action que tu décris me semble bien. La difficulté réside dans les arrêts déjà existants. Faire une passe manuelle pour corriger les arrêts existants peut être réalise à Laval, mais à Montréal il y a énormément d'arrêts qui sont incomplets. Je pourrais tenter de bricoler un script qui identifierait les arrêts existants qui nécessitent des corrections (par exemple pas de ref=, ne respecte pas le public_transport:version=2, ne font pas partie d'une relation, etc.), tenterait de trouver l'arret issu des données GTFS le plus proche et modifierait le noeud existant pour le déplacer aux coordonnées GTFS. Par contre, je ne suis pas sur que les coordonnées fournies par EXO et la STM correspondent *toujours* au poteau d'arret. D'apres ce que j'ai vu ca me semble varié: parfois c'est l'emplacement où le bus s'arrete, parfois le poteau, parfois l'abri. Je n'ai pas vraiment fait d'import à part les quelques bricolages dont je parle ci-dessus, et j'ai bien pris soin à chaque fois de tout valider à la main pour être sur de ne pas faire d'erreur. Si on pouvait avoir l'avis de personnes qui en ont déjà réalisés ça serait très intéressant. On Sat, 1 Sep 2018 at 11:19, Alouette955 wrote: > Bonjour Damien, > > Actuellement j’en suis à l’étape planification. Aurais-tu documenté ta > (votre) méthode de travail pour importer les stations et développer les > relations. Bien entendu, avec ton accord, je m’inspirerais fortement de ta > page du wiki pour documenter l’avancement du travail mais dans le concret > j’aimerais m’inspirer d’une méthode de travail éprouvée. > > Concernant la vingtaine de stations (ou peut-être un peu plus) voici un > exemple du problème: > > https://osm.org/go/cIrVJ6WoQ- > > Quelques-unes ont été placées en plein centre de l’intersection, d’autres > après l’intersection et non avant et, de plus, les données de Exo comporte > deux arrêts et non un seul. Excuse mon manque d’habileté mais je n’ai pas > encore trouvé comment changer les coordonnées d’un noeud existant pour > donner celles du poteau d’arrêt tel que présentes dans les données de Exo. > Les glisser approximativement sur la carte est ardu et ne donne pas > l’exactitude des données de Exo. > > Si je vais plus loin je vais documenter ça plus formellement mais voici ma > vision de la chaine d’action à prendre: > > 1- Identifier les arrêts déjà présents dans OSM pour le secteur d’un > réseau à documenter > 2- Télécharger les arrêts du réseau à documenter à partir des données > GTFS > 3- Corriger l’emplacement et les attributs des arrêts présents et les > retirer du fichier d’importation > 4- Retirer du fichier d’importation les doublons déjà importés (ayant le > même attribut ref=numéro de l’arrêt) puisque faisant partie de 2 réseaux > 5- Importer les arrêts de bus du réseau > 6- Créer manuellement les relations selon le format Public Transport v2 > à partir des données GTFS et des chemins existants dans OSM > > Je sais que c’est très résumé mais si je me trompe en partant mieux vaut > le savoir. > > Je sais que c’est un projet de très long haleine puisque Exo gère ou > coordonne 16 réseaux tout assumant l’exploitation de 12. Les 4 “autonomes” > étant STM, STL, RTL et CRT Lanaudière. > > Voir: > > https://rtm.quebec/fr/a-propos/donnees-ouvertes > > Peut-être qu’une page de documentation EXO qui pointe vers une page > détaillée par réseau (dont STM) pourrait être envisageable? > > Merci de ton aide et s’il y a des contributeurs intéressés à attaquer ce > projet ne vous gênez surtout pas, je me demande encore si j’ai les reins > assez solides pour ça. > > Claude > > P.S. J’ai épuré cette réponse de ton message d’origine concernant les > données ouvertes du STM afin de l’alléger. > > *From:* Damien Riegel > *Sent:* Wednesday, August 29, 2018 6:52 PM > *To:* alouette...@gmail.com > *Cc:* talk-ca > *Subject:* Re: [Talk-ca] Fwd: Données GTFS et licence d'utilisation > > Bonjour Claude, > > > Effectivement, si les données sont disponibles sous licence CC-BY, il > faudra obtenir une autorisation. Au cas où, je mets un lien vers un article > (en anglais) qui explique pourquoi il faut faire ça et comment le faire: > https://blog.op
Re: [Talk-ca] Fwd: Données GTFS et licence d'utilisation
Bonjour Damien, Actuellement j’en suis à l’étape planification. Aurais-tu documenté ta (votre) méthode de travail pour importer les stations et développer les relations. Bien entendu, avec ton accord, je m’inspirerais fortement de ta page du wiki pour documenter l’avancement du travail mais dans le concret j’aimerais m’inspirer d’une méthode de travail éprouvée. Concernant la vingtaine de stations (ou peut-être un peu plus) voici un exemple du problème: https://osm.org/go/cIrVJ6WoQ- Quelques-unes ont été placées en plein centre de l’intersection, d’autres après l’intersection et non avant et, de plus, les données de Exo comporte deux arrêts et non un seul. Excuse mon manque d’habileté mais je n’ai pas encore trouvé comment changer les coordonnées d’un noeud existant pour donner celles du poteau d’arrêt tel que présentes dans les données de Exo. Les glisser approximativement sur la carte est ardu et ne donne pas l’exactitude des données de Exo. Si je vais plus loin je vais documenter ça plus formellement mais voici ma vision de la chaine d’action à prendre: 1- Identifier les arrêts déjà présents dans OSM pour le secteur d’un réseau à documenter 2- Télécharger les arrêts du réseau à documenter à partir des données GTFS 3- Corriger l’emplacement et les attributs des arrêts présents et les retirer du fichier d’importation 4- Retirer du fichier d’importation les doublons déjà importés (ayant le même attribut ref=numéro de l’arrêt) puisque faisant partie de 2 réseaux 5- Importer les arrêts de bus du réseau 6- Créer manuellement les relations selon le format Public Transport v2 à partir des données GTFS et des chemins existants dans OSM Je sais que c’est très résumé mais si je me trompe en partant mieux vaut le savoir. Je sais que c’est un projet de très long haleine puisque Exo gère ou coordonne 16 réseaux tout assumant l’exploitation de 12. Les 4 “autonomes” étant STM, STL, RTL et CRT Lanaudière. Voir: https://rtm.quebec/fr/a-propos/donnees-ouvertes Peut-être qu’une page de documentation EXO qui pointe vers une page détaillée par réseau (dont STM) pourrait être envisageable? Merci de ton aide et s’il y a des contributeurs intéressés à attaquer ce projet ne vous gênez surtout pas, je me demande encore si j’ai les reins assez solides pour ça. Claude P.S. J’ai épuré cette réponse de ton message d’origine concernant les données ouvertes du STM afin de l’alléger. From: Damien Riegel Sent: Wednesday, August 29, 2018 6:52 PM To: alouette...@gmail.com Cc: talk-ca Subject: Re: [Talk-ca] Fwd: Données GTFS et licence d'utilisation Bonjour Claude, Effectivement, si les données sont disponibles sous licence CC-BY, il faudra obtenir une autorisation. Au cas où, je mets un lien vers un article (en anglais) qui explique pourquoi il faut faire ça et comment le faire: https://blog.openstreetmap.org/2017/03/17/use-of-cc-by-data/ En ce qui concerne l'import, il me semble que la logique d'OSM voudrait qu'on préfère garder les stations qui sont déjà existantes plutôt que de les remplacer (la logique étant qu'on préfère des données saisies par des utilisateurs à des données issues d'imports). S'il n'y a qu'une vingtaine d'arrêts problématiques, est-ce envisageable de ne pas les importer et de garder les existants ? Je pense que la discussion concernant l'import peut avoir lieu sur cette liste. Marquer les arrêts comme highway=bus_stop n'est pas incompatible avec Public Transport v2. J'ai ajouté ce tag pour des arrêts que j'ai ajouté à Montréal car sinon ils ne sont pas affichés sur la carte, donc autant le garder à mon avis. J'ai aussi vu qu'il y avait des discussions pour retravailler le format Public Transport v2 avec une reintroduction de highway=bus_stop. J'en profite pour ajouter que pour Montréal, j'ai crée un tableau qui recense l'état actuel du réseau de la STM dans OSM: https://wiki.openstreetmap.org/wiki/Bus_routes_in_Montr%C3%A9al . Je ne sais pas si ça vaut le coup d'ajouter EXO sur cette page ou de créer une page dédiée, à voir. Bonne soirée, Damien On Tue, 28 Aug 2018 at 15:21, Alouette955 wrote: Bonjour, J’étais à la veille d’écrire à cette liste pour le même sujet mais concernant le RTM (Réseau de transport métropolitain, maintenant EXO). Je crois que leur données ouvertes, sujettes à la licence CC-BY, me poseraient le même problème. Voir https://rtm.quebec/fr/a-propos/donnees-ouvertes. Auquel cas je ferai la même démarche auprès de donneesouvertes@exo.quebec. Si jamais un projet d’importation des données GTFS de Exo est déjà dans la moulinette merci de m’en informer. Mon projet est d’importer, dans un premier temps, les arrêts d’autobus (public_transport=platform) afin, dans un deuxième temps, de les intégrer manuellement dans des relations de lignes et trajets d’autobus selon la norme Public Transport version 2. J’étais sur le point de créer une page sur le Wiki pour discuter/avaliser cette
Re: [Talk-ca] Fwd: Données GTFS et licence d'utilisation
Bonjour Claude, Effectivement, si les données sont disponibles sous licence CC-BY, il faudra obtenir une autorisation. Au cas où, je mets un lien vers un article (en anglais) qui explique pourquoi il faut faire ça et comment le faire: https://blog.openstreetmap.org/2017/03/17/use-of-cc-by-data/ En ce qui concerne l'import, il me semble que la logique d'OSM voudrait qu'on préfère garder les stations qui sont déjà existantes plutôt que de les remplacer (la logique étant qu'on préfère des données saisies par des utilisateurs à des données issues d'imports). S'il n'y a qu'une vingtaine d'arrêts problématiques, est-ce envisageable de ne pas les importer et de garder les existants ? Je pense que la discussion concernant l'import peut avoir lieu sur cette liste. Marquer les arrêts comme highway=bus_stop n'est pas incompatible avec Public Transport v2. J'ai ajouté ce tag pour des arrêts que j'ai ajouté à Montréal car sinon ils ne sont pas affichés sur la carte, donc autant le garder à mon avis. J'ai aussi vu qu'il y avait des discussions pour retravailler le format Public Transport v2 avec une reintroduction de highway=bus_stop. J'en profite pour ajouter que pour Montréal, j'ai crée un tableau qui recense l'état actuel du réseau de la STM dans OSM: https://wiki.openstreetmap.org/wiki/Bus_routes_in_Montr%C3%A9al . Je ne sais pas si ça vaut le coup d'ajouter EXO sur cette page ou de créer une page dédiée, à voir. Bonne soirée, Damien On Tue, 28 Aug 2018 at 15:21, Alouette955 wrote: > Bonjour, > > J’étais à la veille d’écrire à cette liste pour le même sujet mais > concernant le RTM (Réseau de transport métropolitain, maintenant EXO). > > Je crois que leur données ouvertes, sujettes à la licence CC-BY, me > poseraient le même problème. Voir > https://rtm.quebec/fr/a-propos/donnees-ouvertes. Auquel cas je ferai la > même démarche auprès de donneesouvertes@exo.quebec. > > Si jamais un projet d’importation des données GTFS de Exo est déjà dans la > moulinette merci de m’en informer. > > Mon projet est d’importer, dans un premier temps, les arrêts d’autobus > (public_transport=platform) afin, dans un deuxième temps, de les intégrer > manuellement dans des relations de lignes et trajets d’autobus selon la > norme Public Transport version 2. J’étais sur le point de créer une page > sur le Wiki pour discuter/avaliser cette importation. > > Pour ce faire je devrais effacer une vingtaine d’arrêts ajoutés > manuellement au fil du temps qui arborent plutôt l’ancien attribut > highway=bus_stop et ne correspondent qu’approximativement aux coordonnées > lat/long de Exo. > > Si ce projet est en cours je proposerais mon aide sinon j’aimerais bien en > discuter. Je sais que quelques lignes d’autobus à Laval ont été ajoutées et > semblent se conformer partiellement à la norme v2. > > Malheureusement il n’existe pas de liste de discussions pour la banlieue > de Montréal pour y lancer la discussion. > > Merci, > > Claude > > *From:* Damien Riegel > *Sent:* Monday, August 27, 2018 8:49 PM > *To:* talk-ca > *Subject:* [Talk-ca] Fwd: Données GTFS et licence d'utilisation > > English version below > Bonsoir à tous, > > > J'avais contacté la STM en juillet concernant l'utilisation de leurs > données GTFS dans OSM. Ils fournissent des données avec une license > d'utilisation qui empeche l'import à cause de la clause de mention, il nous > fallait donc une autorisation explicite pour pouvoir les utiliser. C'est > maintenant chose faite ! > > Je vous transfert le mail que j'ai reçu de leur part et vais mettre à jour > le wiki pour ajouter la STM dans la page des contributeurs. > > English version > Hi everyone, > > I wrote to the STM (Société de Transport de Montréal) in July about using > their GTFS data for OSM. They provide data with a license that blocked us > from using them because of an attribution clause, so we needed an explicit > authorization to be able to use them. We just got it! > > I'm transfering their email (in french) and will update the wiki to add > the STM on the Contributors page. > > Bonne soirée, > Damien > > -- Forwarded message - > From: Développeurs STM > Date: Wed, 22 Aug 2018 at 09:18 > Subject: RE: Données GTFS et licence d'utilisation > To: Damien Riegel > > > Bonjour Damien, > > > > Désolé pour le délai de réponse. > > > > Oui, vous pouvez utiliser les données GTFS de la STM pour Open Street Map > en ajoutant la Société de transport de Montréal dans la page des > contributeurs. > > > > Nous analysons la façon de faire de la ville de Montréal quant à son > accord explicite, il y a quelque chose d’intéressant. > > > > Merci et encore une fois désolé du délai de réponse. > > > > Bonne journée > > > > *Nicolas Bertrand* > > *Chargé de projets - Systèmes électroniques d'informationSociété de > transport de Montréal* > DE Expérience client et activités commerciales > > > > *De :* Damien Riegel [mailto:damien.rie...@gmail.com] > *Envoyé :* 14 août 2018 19:19 > *À :*
Re: [Talk-ca] Fwd: Données GTFS et licence d'utilisation
Bonjour, J’étais à la veille d’écrire à cette liste pour le même sujet mais concernant le RTM (Réseau de transport métropolitain, maintenant EXO). Je crois que leur données ouvertes, sujettes à la licence CC-BY, me poseraient le même problème. Voir https://rtm.quebec/fr/a-propos/donnees-ouvertes. Auquel cas je ferai la même démarche auprès de donneesouvertes@exo.quebec. Si jamais un projet d’importation des données GTFS de Exo est déjà dans la moulinette merci de m’en informer. Mon projet est d’importer, dans un premier temps, les arrêts d’autobus (public_transport=platform) afin, dans un deuxième temps, de les intégrer manuellement dans des relations de lignes et trajets d’autobus selon la norme Public Transport version 2. J’étais sur le point de créer une page sur le Wiki pour discuter/avaliser cette importation. Pour ce faire je devrais effacer une vingtaine d’arrêts ajoutés manuellement au fil du temps qui arborent plutôt l’ancien attribut highway=bus_stop et ne correspondent qu’approximativement aux coordonnées lat/long de Exo. Si ce projet est en cours je proposerais mon aide sinon j’aimerais bien en discuter. Je sais que quelques lignes d’autobus à Laval ont été ajoutées et semblent se conformer partiellement à la norme v2. Malheureusement il n’existe pas de liste de discussions pour la banlieue de Montréal pour y lancer la discussion. Merci, Claude From: Damien Riegel Sent: Monday, August 27, 2018 8:49 PM To: talk-ca Subject: [Talk-ca] Fwd: Données GTFS et licence d'utilisation English version below Bonsoir à tous, J'avais contacté la STM en juillet concernant l'utilisation de leurs données GTFS dans OSM. Ils fournissent des données avec une license d'utilisation qui empeche l'import à cause de la clause de mention, il nous fallait donc une autorisation explicite pour pouvoir les utiliser. C'est maintenant chose faite ! Je vous transfert le mail que j'ai reçu de leur part et vais mettre à jour le wiki pour ajouter la STM dans la page des contributeurs. English version Hi everyone, I wrote to the STM (Société de Transport de Montréal) in July about using their GTFS data for OSM. They provide data with a license that blocked us from using them because of an attribution clause, so we needed an explicit authorization to be able to use them. We just got it! I'm transfering their email (in french) and will update the wiki to add the STM on the Contributors page. Bonne soirée, Damien -- Forwarded message - From: Développeurs STM Date: Wed, 22 Aug 2018 at 09:18 Subject: RE: Données GTFS et licence d'utilisation To: Damien Riegel Bonjour Damien, Désolé pour le délai de réponse. Oui, vous pouvez utiliser les données GTFS de la STM pour Open Street Map en ajoutant la Société de transport de Montréal dans la page des contributeurs. Nous analysons la façon de faire de la ville de Montréal quant à son accord explicite, il y a quelque chose d’intéressant. Merci et encore une fois désolé du délai de réponse. Bonne journée Nicolas Bertrand Chargé de projets - Systèmes électroniques d'information Société de transport de Montréal DE Expérience client et activités commerciales De : Damien Riegel [mailto:damien.rie...@gmail.com] Envoyé : 14 août 2018 19:19 À : Développeurs STM Objet : Re: Données GTFS et licence d'utilisation Bonjour Nicole, Avez-vous des nouvelles concernant ma demande ? Merci, Damien 2018-07-31 13:18 GMT-04:00 Damien Riegel : Bonjour, Merci beaucoup pour votre réponse. J'espère que vos experts donneront une suite favorable. Au besoin, qu'ils n'hésitent pas à me contacter, je reste disponible pour toute question. Damien 2018-07-31 9:55 GMT-04:00 Développeurs STM : Bonjour Damien, Désolée de délai à vous répondre, avec les vacances, plusieurs experts ne sont pas disponibles dont ceux qui pourraient répondre à la question ci-dessous. Par contre, nous avons bien pris note de votre demande et vous répondrons dès que les vérifications légales pourront être effectuées. Bonne journée, Nicole Gruslin Conseillère corporative web De : Damien Riegel [mailto:damien.rie...@gmail.com] Envoyé : 19 juillet 2018 15:11 À : Développeurs STM Objet : Données GTFS et licence d'utilisation Bonjour, Tout d'abord je tiens à remercier la STM de mettre à disposition ses données au format GTFS. En tant que contributeur au projet OpenStreetMap, j'aimerais pouvoir utiliser ces données afin de mettre à jour et d'ajouter les lignes et arrêts de bus. Malheureusement, la licence d'utilisation ne permet pas cela. En effet, elle comporte la clause suivante: Mention de la Société de transport de Montréal Vous êtes tenu de mentionner la STM en tant que source des données que vous utilisez. À la demande de la STM, vous devrez toutefois retirer une telle mention lors d’une utilisation qu’elle
