Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

2017-07-27 18:02 GMT+02:00 marc marc : > +1 pour votre cache local > > une instance semi-publique d'overpass API. > > Ce ne sera pas gratuit > > C'est un peu paradoxal qu'une asso paye. Ne serrais de pas aux projets d'y > contribuer ? > Surtout qu'il y a eu une levée

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

+1 pour votre cache local une instance semi-publique d'overpass API. Ce ne sera pas gratuit C'est un peu paradoxal qu'une asso paye. Ne serrais de pas aux projets d'y contribuer ? A moins qu'un admin sys se dévoue pour prendre en charge l'installation et la config ici et maintenant ? ;) Oui je

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Merci pour vos réponses. Après avoir discuté avec Christian : -à court terme je vais demander à Jawg de créer un cache en local pour les applis Jungle Bus et OSM contributor. -à plus long terme je propose de demander à Jawg d'installer et gérer une instance semi-publique d'overpass API. Tous les

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

marc marc wrote > pourrais-tu lire mon autre threat et y répondre à mes questions ? > (...) > on en pale sur l'autre thread ou sur la ml tech, comme tu préfères Si je peux aider avec un retour d'expé bien sûr. Si cela concerne particulièrement la mise en place de l'API sur l'infrastructure

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 23 juillet 2017 à 23:37, a écrit : > Si je comprends bien le souci c'est qu'en cas de plante il faut remonter > une base puis appliquer les diff. > > C'est ça qui est lent. > > Mettre du propriétaire n'y changera rien. > Je ne dis pas mettre nécessairement du

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Si je comprends bien le souci c'est qu'en cas de plante il faut remonter une base puis appliquer les diff. C'est ça qui est lent. Mettre du propriétaire n'y changera rien. Si on veut répliquer Postgres avec du WAL ou des clusters, la solution libre existe. Il me semble moins coûteux (en

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21/07/2017 à 20:18, Stéphane Péneau a écrit : > Hello ! > > Cette instance gère les adiff ? (attic) Non, ce n’est pas activé dans le déploiement actuel. ___ Talk-fr mailing list Talk-fr@openstreetmap.org

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Non je ne parle pas de l'installation du socle logiciel.Le problème c'est bien la réplication des données et là on est vraiment à la ramasse: il suffit de voir comment c'est compliqué et long de redémarrer quand une instance est plantée, et pas du tout à cause du logiciel opensource utilisé ou de

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Philippe je me perd dans la structure de ton message. ma réponse si j'ai bien compris ton avis : - la doc d'installation d'un overpass api est limpide pour un sysadmin (même si je ne l'ai pas encore testé). jesaispluski a fait un ansile. il ne reste qu'à valider mais si c'est confirmé, déployer

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 23. 07. 17 à 16:28, sly (sylvain letuffe) a écrit : > Mon avis, c'est qu'avant toutes les suggestions que j'ai lu ici sur des > proxy disons qu'il y a des solutions à court terme et à + long terme. un proxy ha pour jungle bus qui bascule entre les instances publiques existante, c'est quelques

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Je crois que le gros problème pour avoir plus de serveurs et donc de redondance c'est toujours le même: moins un problème de bande passante que de la charge énorme que représente l'installation de la base de données, et le fait que très peu de progrès ont été faits pour faciliter sa réplication.

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

overflorian wrote > Est-ce que vous sauriez à quoi cela est dû ? Cette page liste l'historique des problèmes rencontrés par les 2 instances "principales" : https://wiki.openstreetmap.org/wiki/Overpass_API/status overflorian wrote > Quelles en sont les causes profondes ? Je pense que ça se

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

marc marc wrote > Je sais pas s'il y a une liste entre sysadmin d'overpass api ? Oui, y'a, et c'est indiqué sur la page principale de documentation de l'Overpass API au chapitre 3 : https://wiki.openstreetmap.org/wiki/Overpass_API C'est une liste de diffusion hébergée par l'association

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 22/07/2017 à 21:26, marc marc a écrit : Le 22. 07. 17 à 20:55, François Lacombe a écrit : Le 22 juil. 2017 8:47 PM, "marc marc" a écrit : Ce genre de projet doit faire des stats anonyme de ce qu'il consomme. Tant que le volume est petit comme tu le décris, c'est acceptable de le

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 22. 07. 17 à 20:55, François Lacombe a écrit : > Le 22 juil. 2017 8:47 PM, "marc marc" a écrit : > Ce genre de projet doit faire des stats anonyme de ce qu'il consomme. > Tant que le volume est petit comme tu le décris, c'est acceptable de le > faire sur un overpass public. > Mmm le

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 22 juillet 2017 à 20:46, marc marc a écrit : > Le 22. 07. 17 à 15:23, Florian LAINEZ a écrit : > > J'ai été un peu perdu techniquement parlant à certains moments mais > > globalement j'ai compris. > N'hésites pas à demander ce qui a besoin d'explication

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Bonsoir Le 22 juil. 2017 8:47 PM, "marc marc" a écrit : Ce genre de projet doit faire des stats anonyme de ce qu'il consomme. Tant que le volume est petit comme tu le décris, c'est acceptable de le faire sur un overpass public. Mmm le but du projet est d'etre

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 22. 07. 17 à 15:23, Florian LAINEZ a écrit : > J'ai été un peu perdu techniquement parlant à certains moments mais > globalement j'ai compris. N'hésites pas à demander ce qui a besoin d'explication supplémentaire Je vais séparer fortement ce que le(s) dev(s) peux/devrait faire de ce qu'il

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 22 juillet 2017 à 15:23, Florian LAINEZ a écrit : > Hello, > Merci à tous pour vos réponses, je vois que le sujet est important pour > beaucoup de monde et j'aimerai aider dans la mesure de mes moyens à régler > cette situation problématique. > J'ai été un peu perdu

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Hello, Merci à tous pour vos réponses, je vois que le sujet est important pour beaucoup de monde et j'aimerai aider dans la mesure de mes moyens à régler cette situation problématique. J'ai été un peu perdu techniquement parlant à certains moments mais globalement j'ai compris. Il y a deux sujets

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Hello ! Cette instance gère les adiff ? (attic) Stf Le 21. 07. 17 à 14:34, Rodolphe Pelloux-Prayer a écrit : > Pour info, j’ai commencé il y a quelque temps un rôle ansible [0] pour > déployer overpass-api sur l’infra osm.fr et il y a une vm en test à > l’adresse

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21. 07. 17 à 19:23, François Lacombe a écrit : > > Le 21 juillet 2017 à 18:02, Christian Quest a écrit : > ... ne s'est-on pas bien éloigné du sujet initial ? > > > Il ne me semble pas : Florian voulait trouver une solution aux soucis de > dispo avec l'Overpass > La solution : se passer

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21 juillet 2017 à 18:02, Christian Quest a écrit : > > ... ne s'est-on pas bien éloigné du sujet initial ? > Il ne me semble pas : Florian voulait trouver une solution aux soucis de dispo avec l'Overpass La solution : se passer de l'overpass et faire de l'osmfilter

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21/07/2017 à 17:54, marc marc a écrit : Ceci dit un téléchargement d'un diff globale est de toute façon déjà un gain gigantesque par rapport à un query global La localisation du filtre est quasi un détail. Oui et non, enfin ça dépend si on parle bien de la même chose... oui on parle bien de

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

>> Ceci dit un téléchargement d'un diff globale est de toute façon déjà un >> gain gigantesque par rapport à un query global >> La localisation du filtre est quasi un détail. > Oui et non, enfin ça dépend si on parle bien de la même chose... oui on parle bien de la même chose : osmfilter (ou

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21/07/2017 à 17:12, marc marc a écrit : ne serrais-ce pas plus efficace que l'overpass api français (ou n'importe quel autre) exporte un minute-diff filtré ? Le 21. 07. 17 à 16:53, Christian Quest a écrit : > Pourquoi toujours mettre overpass dans la boucle ? Parce que le filtre serrait

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

...@openstreetmap.fr] Envoyé : vendredi 21 juillet 2017 16:54 À : talk-fr@openstreetmap.org Objet : Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ? ... (Re)découvrez osmosis... il peut prendre en entrée un dump complet ou des diff, appliquer des filtres dessus, sortir ça au final

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

>> ne serrais-ce pas plus efficace que l'overpass api français (ou >> n'importe quel autre) exporte un minute-diff filtré ? Le 21. 07. 17 à 16:53, Christian Quest a écrit : > Pourquoi toujours mettre overpass dans la boucle ? Parce que le filtre serrait plus économe en ressource s'il était situé

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21. 07. 17 à 16:34, François Lacombe a écrit : > comment tu synchronises entre l'overpass api et la db locale ? > On peut imaginer les choses les plus simples : tu vides ta base locale > et tu remplaces par le retour de l'overpass API A mon avis cette façon de faire augmente la charge publique

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Pourquoi toujours mettre overpass dans la boucle ? Les diff sont produits en daily, hourly et minute au niveau osm.org (planet) On a des diff dispo en daily sur les extraits régionaux proposés par geofabrik On a des diff minute sur les extraits pas mal d'extraits régionaux proposés par

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21 juillet 2017 à 16:26, marc marc a écrit : > Mais ma question était justement comment tu synchronises entre > l'overpass api et la db locale ? > Ca va dépendre de plein de choses On peut imaginer les choses les plus simples : tu vides ta base locale et tu

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21. 07. 17 à 16:10, François Lacombe a écrit : > Le 21 juillet 2017 à 15:11, marc marc > a écrit : > > Le 21. 07. 17 à 14:21, François Lacombe a écrit : > > Par contre, est-ce utile et justifié de monter une instance

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21 juillet 2017 à 16:17, Christian Quest a écrit : > Dans ton schéma, quel est le rôle de l'overpass ? > > Est-ce que ce n'est pas juste sa capacité à n'extraire que certaines > données de la masse qui est utile ? > > Ne serait-il pas plus simple de prendre les

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Dans ton schéma, quel est le rôle de l'overpass ? Est-ce que ce n'est pas juste sa capacité à n'extraire que certaines données de la masse qui est utile ? Ne serait-il pas plus simple de prendre les hourly-diff, de les passer à travers osmfilter ou osmosis pour mettre à jour la base locale ?

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21 juillet 2017 à 15:11, marc marc a écrit : > Le 21. 07. 17 à 14:21, François Lacombe a écrit : > > Par contre, est-ce utile et justifié de monter une instance overpass en > > ayant préalablement épuré le jeu de données à ce qui nous intéresse > > uniquement ? > >

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21/07/2017 à 15:23, marc marc a écrit : Mais la version osm-fr était-elle standard ? A lire le wiki, j'ai l'impression que l'instance osm-fr a une amélioration pour permettre de s'en servir comme proxy d'édition. C'est un petit script au dessus d'overpass (et indépendant) qui permet de

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21/07/2017 à 15:23, marc marc a écrit : > Le 21. 07. 17 à 11:26, Christian Quest a écrit : >>> La seule chose qui reste à créer c'est un "diff" non pas mondial ou >>> géographique comme cela existe déjà mais sur base d'un nombre limité >>> d'objet (par exemple

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21. 07. 17 à 11:26, Christian Quest a écrit : >> La seule chose qui reste à créer c'est un "diff" non pas mondial ou >> géographique comme cela existe déjà mais sur base d'un nombre limité >> d'objet (par exemple plateorm+bus_stop+stop_area+route=bus) > osmfilter / osmconvert ou osmosis peuvent

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21. 07. 17 à 14:21, François Lacombe a écrit : > Par contre, est-ce utile et justifié de monter une instance overpass en > ayant préalablement épuré le jeu de données à ce qui nous intéresse > uniquement ? > Remonter un backend conforme à l'API central pour l'édition, qui > dupliquerait le

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Bonjour, > […] >> J'ai lu la doc d'install hier soir. >> L'installation a l'air assez documentée. >> Je vais tester en local dans les jours à venir. > > Teste sur un extrait, pas sur le planet... et SSD (rapide) indispensable > >> Mais la version osm-fr était-elle standard ? >> A lire le wiki,

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Sur le fond on est d'accord, il va falloir disposer de ressources locales au projet pour ne plus dépendre d'OAPI. Par contre, est-ce utile et justifié de monter une instance overpass en ayant préalablement épuré le jeu de données à ce qui nous intéresse uniquement ? Remonter un backend conforme à

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21/07/2017 à 10:48, marc marc a écrit : Comment fonctionne un serveur overpass ? il a - une copie locale de la base mondiale - un moyen pour la garder à jour (par ex chaque minute via un diff) Oui, dans les grandes lignes c'est ça, la particularité c'est que la base a une structure propre

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 21. 07. 17 à 10:35, Christian Quest a écrit : > OSM-FR est à la recherche d'un admin pour maintenir son instance overpass. J'ai lu la doc d'install hier soir. L'installation a l'air assez documentée. Je vais tester en local dans les jours à venir. Mais la version osm-fr était-elle standard ? A

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Comment fonctionne un serveur overpass ? il a - une copie locale de la base mondiale - un moyen pour la garder à jour (par ex chaque minute via un diff) Si Jungle bus avait sa base locale contenant toutes infos couramment utilisée par cet app (plateorm, bus_stop, stop_area, route=bus), Jungle

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Quand on commence à avoir un usage critique d'une API pour un projet donné, il faut devenir autonome si on le peut vis à vis de cette API... Si une appli dépend: 1) d'overpass pour chercher des données dans une base OSM 2) de fond de cartes 3) de l'API OSM pour de l'édition elle peut se

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Bonjour Jean-Yvon, Le 21 juillet 2017 à 09:38, a écrit : > Pas complètement d'accord ou je n'ai pas compris ce que tu entends par > tampon. > > Car Jungle Bus est dans l'édition de données. > > Si tu ajoute des arrêts mais ne les vois pas, c'est gênant.

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Pas complètement d'accord ou je n'ai pas compris ce que tu entends par tampon. Car Jungle Bus est dans l'édition de données. Si tu ajoute des arrêts mais ne les vois pas, c'est gênant. Déception du contributeur (ai-je bien tagué ?) et risque de double contribution. Tu veux dire qu'on aura

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Bonjour, Je partage l'avis de Marc sur la mise en place d'un tampon métier. L'overpass API couvre tellement d'acteurs et de cas d'usages qu'il n'est pas raisonnable de lui demander d'encaisser 100% de la charge d'un projet en particulier. En montant un buffer (pas un cache), vous pouvez mieux

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Bonsoir, Je suis fan de la haute disponibilité et solution équivalente. Il y a 2 overpass api planté : allemande et française. Une première solution applicative est d'avoir la liste de toute les serveurs overpass api et de passer au suivant en cas d'erreur dans un ordre statique ou dans un

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Le 20 juillet 2017 à 23:32, a écrit : > Précisions et c'est une réponse à Marc qui me posait une question en MP. > > C'est aussi un indice sur la réponse de François. > > Actuellement c'est "uniquement" le out meta qui ne marche plus, out body > et out skel

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

L'Overpass API allemande jsutement a planté aussi (à cause d'une perte d'alimentation chez l'hébergeur pourtant sensé avoir des alimentations de secours, ce qui a entrainé des pertes de donénes au redémarrage et l'absence de certains secteurs de données pour des fichiers qui pourtant étaient

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Précisions et c'est une réponse à Marc qui me posait une question en MP. C'est aussi un indice sur la réponse de François. Actuellement c'est "uniquement" le out meta qui ne marche plus, out body et out skel marchent. C'est c'est une requête CSV, soit tu mets ", ::count" en colonne et tu

Re: [OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Hello Florian Niveau robustesse il n'y a pas 36 solutions, il faut un cluster avec un loadbalancer Avec un bon hyperviseur, tu detruit carrement une vm qui plante pour en remonter une aussi sec Mais ca reste couteux alors il faut deja adresser ses requêtes a différentes instances, au moins de et

[OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

Salut, Aujourd'hui on a eu -encore !- une interruption de service sur l'overpass API. Cela a impacté l'appli Jungle Bus mais j'imagine tout un tas d'autres services qui se basent dessus. J'ai l'impression que cela se produit souvent. Je constate dans mes projets que ce service reste le maillon