Re: [OSM-dev-fr] Synchronisation d'une DB tierce avec OSM : diff vs Overpass
Là on a deux SSD de 480 et 512 Go, mais les bases qui sont dessus pour tile et layers les remplissent... d'où quelques acrobaties régulières pour gagner de la place en attendant de passer à 960 ou 1To. Un SSD de 960Go avait été mis sur tile (osm13) mais avait posé quelques problèmes très peu de temps après son installation. Incompatibilité avec l'autre SSD PCI express ? Mystère... je l'ai récupéré il y a peu, installé et testé dans un autre serveur à la maison et tout semble ok. On va revoir tout ça à la rentrée... à suivre prochainement ! Le 14 août 2014 00:45, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Ok Christian merci pour ces infos. De combien de moyens/disques auriez-vous besoin ? Have fun pour l'update ! *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com Le 13 août 2014 23:40, Christian Quest cqu...@openstreetmap.fr a écrit : Et non, il n'y a pas encore eu de mise à jour sur nos serveurs car la 0.7.50 avait encore quelques bugs il y a peu. De plus, la nouvelle version avec les historiques prends beaucoup plus de place... on va donc mettre à jour dans un avenir proche une fois qu'on aura aussi mis à niveau les serveurs avec des SSD... Le 13 août 2014 19:17, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Bonjour, Par rapport à ce sujet et à la version 0.7.50 de l'OAPI, est-ce que http://api.openstreetmap.fr/oapi/ est bien à jour ? Il ne comprends visiblement pas les éléments adiff dans la requête. Ce cas échant, pas de problème je peux me rabattre vers l'API principal. Bonne fin de journée. *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com Le 31 juillet 2014 22:53, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Christian, j'ai failli appeler les pompiers. Merci, ca semble être parfaitement ce que je recherche, je vais de ce pas regarder la vidéo :) A+ *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com Le 31 juillet 2014 16:11, Christian Quest cqu...@openstreetmap.fr a écrit : François... attention, tu va avoir un choc. Overpass depuis la version 0.7.50 propose un accès complet à l'historique... avec la production de diff entre 2 dates que tu peux choisir ainsi que les emprises et types d'objet de ton choix. Elle est pas belle la vie ? Je te recommande de regarder la vidéo de la présentation de Roland au hackday du dernier SOTM-EU: http://stateofthemap.eu/en/slots/37 Le 31 juillet 2014 16:06, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Bonjour, Je récupère actuellement plusieurs types de features depuis OSM dans une base perso pour faire une petite expérience et la remarque suivante est tombée rapidement : Si les données d'OSM ont valeur d'exclusivité lorsque celles-ci sont disponibles (hypothèse de départ, pas forcément vérifiée tout le temps), alors lorsqu'un objet qui était présent sur OSM disparait, il a été redessiné ou n'existe plus le terrain. Il faut donc le supprimer de ma base pour respecter l'hypothèse. Sauf que je récupère les données qui m'intéressent quotidiennement avec Overpass (en spécifiant une date d'édition en conséquence) sans voir passer les suppressions. Cela donne lieu à différent problèmes : - Les objets détruits sur le terrain persistent de mon côté - Les objets détruits puis redessinés sont en double chez moi. Il vaudrait donc mieux travailler avec des diff, sauf que seuls certains objets m'intéressent et que les diffs présenteraient beaucoup trop de bruit à l'entrée de mon workflow. Une idée de mix entre diff et Overpass ? :) *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Synchronisation d'une DB tierce avec OSM : diff vs Overpass
Le 14 août 2014 18:54, Christian Quest cqu...@openstreetmap.fr a écrit : Nous utilisons des SSD standards et pas des modèles entreprise beaucoup plus cher. Sur layers c'est un Samsung 840 Pro, sur tile (plus ancien) c'est un OCZ Revodrive. J'utilise des Samsung 840 Pro aussi, et un Crucial M550 (environ 300 euros le 512Go, prix en baisse continue, meilleure performance que le Samsung, et chauffe moins que le Samsung epndant des opération intensives) dans mon portable comme disque système (le second SSD est resté Samsung 840, légèrement moins performant mais est moins sollicité). Les deux séries suivent sensiblement les mêmes évolutions de prix, à un ou deux euros près selon les stocks des vendeurs. Sur le PC desktop, les tests de performance ont donné des résultats contraires (Samsung un peu meilleur que Crucial) je ne sais pas trop pourquoi mais cela semble lié à la gestion de l'énergie apparemment meilleure sur le Crucial (il préserve aussi ma batterie plus longtemps qu'avec Samsung, la veille est mieux réglée, réveil et mise en veille semblent un peu plus rapide chez Crucial, mais c'est sans doute lié aussi à la conso du controleur Samsung à triple coeur ARM). Mais en gros, so les deux se valent; le Crucial n'a pas les pauses qu'on voit de temps en temps chez Samsung qui met parfois quelques secondes à se réveiller alors qu'il est très actif. ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Synchronisation d'une DB tierce avec OSM : diff vs Overpass
Et non, il n'y a pas encore eu de mise à jour sur nos serveurs car la 0.7.50 avait encore quelques bugs il y a peu. De plus, la nouvelle version avec les historiques prends beaucoup plus de place... on va donc mettre à jour dans un avenir proche une fois qu'on aura aussi mis à niveau les serveurs avec des SSD... Le 13 août 2014 19:17, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Bonjour, Par rapport à ce sujet et à la version 0.7.50 de l'OAPI, est-ce que http://api.openstreetmap.fr/oapi/ est bien à jour ? Il ne comprends visiblement pas les éléments adiff dans la requête. Ce cas échant, pas de problème je peux me rabattre vers l'API principal. Bonne fin de journée. *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com Le 31 juillet 2014 22:53, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Christian, j'ai failli appeler les pompiers. Merci, ca semble être parfaitement ce que je recherche, je vais de ce pas regarder la vidéo :) A+ *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com Le 31 juillet 2014 16:11, Christian Quest cqu...@openstreetmap.fr a écrit : François... attention, tu va avoir un choc. Overpass depuis la version 0.7.50 propose un accès complet à l'historique... avec la production de diff entre 2 dates que tu peux choisir ainsi que les emprises et types d'objet de ton choix. Elle est pas belle la vie ? Je te recommande de regarder la vidéo de la présentation de Roland au hackday du dernier SOTM-EU: http://stateofthemap.eu/en/slots/37 Le 31 juillet 2014 16:06, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Bonjour, Je récupère actuellement plusieurs types de features depuis OSM dans une base perso pour faire une petite expérience et la remarque suivante est tombée rapidement : Si les données d'OSM ont valeur d'exclusivité lorsque celles-ci sont disponibles (hypothèse de départ, pas forcément vérifiée tout le temps), alors lorsqu'un objet qui était présent sur OSM disparait, il a été redessiné ou n'existe plus le terrain. Il faut donc le supprimer de ma base pour respecter l'hypothèse. Sauf que je récupère les données qui m'intéressent quotidiennement avec Overpass (en spécifiant une date d'édition en conséquence) sans voir passer les suppressions. Cela donne lieu à différent problèmes : - Les objets détruits sur le terrain persistent de mon côté - Les objets détruits puis redessinés sont en double chez moi. Il vaudrait donc mieux travailler avec des diff, sauf que seuls certains objets m'intéressent et que les diffs présenteraient beaucoup trop de bruit à l'entrée de mon workflow. Une idée de mix entre diff et Overpass ? :) *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Synchronisation d'une DB tierce avec OSM : diff vs Overpass
Ok Christian merci pour ces infos. De combien de moyens/disques auriez-vous besoin ? Have fun pour l'update ! *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com Le 13 août 2014 23:40, Christian Quest cqu...@openstreetmap.fr a écrit : Et non, il n'y a pas encore eu de mise à jour sur nos serveurs car la 0.7.50 avait encore quelques bugs il y a peu. De plus, la nouvelle version avec les historiques prends beaucoup plus de place... on va donc mettre à jour dans un avenir proche une fois qu'on aura aussi mis à niveau les serveurs avec des SSD... Le 13 août 2014 19:17, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Bonjour, Par rapport à ce sujet et à la version 0.7.50 de l'OAPI, est-ce que http://api.openstreetmap.fr/oapi/ est bien à jour ? Il ne comprends visiblement pas les éléments adiff dans la requête. Ce cas échant, pas de problème je peux me rabattre vers l'API principal. Bonne fin de journée. *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com Le 31 juillet 2014 22:53, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Christian, j'ai failli appeler les pompiers. Merci, ca semble être parfaitement ce que je recherche, je vais de ce pas regarder la vidéo :) A+ *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com Le 31 juillet 2014 16:11, Christian Quest cqu...@openstreetmap.fr a écrit : François... attention, tu va avoir un choc. Overpass depuis la version 0.7.50 propose un accès complet à l'historique... avec la production de diff entre 2 dates que tu peux choisir ainsi que les emprises et types d'objet de ton choix. Elle est pas belle la vie ? Je te recommande de regarder la vidéo de la présentation de Roland au hackday du dernier SOTM-EU: http://stateofthemap.eu/en/slots/37 Le 31 juillet 2014 16:06, François Lacombe francois.laco...@telecom-bretagne.eu a écrit : Bonjour, Je récupère actuellement plusieurs types de features depuis OSM dans une base perso pour faire une petite expérience et la remarque suivante est tombée rapidement : Si les données d'OSM ont valeur d'exclusivité lorsque celles-ci sont disponibles (hypothèse de départ, pas forcément vérifiée tout le temps), alors lorsqu'un objet qui était présent sur OSM disparait, il a été redessiné ou n'existe plus le terrain. Il faut donc le supprimer de ma base pour respecter l'hypothèse. Sauf que je récupère les données qui m’intéressent quotidiennement avec Overpass (en spécifiant une date d'édition en conséquence) sans voir passer les suppressions. Cela donne lieu à différent problèmes : - Les objets détruits sur le terrain persistent de mon côté - Les objets détruits puis redessinés sont en double chez moi. Il vaudrait donc mieux travailler avec des diff, sauf que seuls certains objets m’intéressent et que les diffs présenteraient beaucoup trop de bruit à l'entrée de mon workflow. Une idée de mix entre diff et Overpass ? :) *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
[OSM-dev-fr] Synchronisation d'une DB tierce avec OSM : diff vs Overpass
Bonjour, Je récupère actuellement plusieurs types de features depuis OSM dans une base perso pour faire une petite expérience et la remarque suivante est tombée rapidement : Si les données d'OSM ont valeur d'exclusivité lorsque celles-ci sont disponibles (hypothèse de départ, pas forcément vérifiée tout le temps), alors lorsqu'un objet qui était présent sur OSM disparait, il a été redessiné ou n'existe plus le terrain. Il faut donc le supprimer de ma base pour respecter l'hypothèse. Sauf que je récupère les données qui m’intéressent quotidiennement avec Overpass (en spécifiant une date d'édition en conséquence) sans voir passer les suppressions. Cela donne lieu à différent problèmes : - Les objets détruits sur le terrain persistent de mon côté - Les objets détruits puis redessinés sont en double chez moi. Il vaudrait donc mieux travailler avec des diff, sauf que seuls certains objets m’intéressent et que les diffs présenteraient beaucoup trop de bruit à l'entrée de mon workflow. Une idée de mix entre diff et Overpass ? :) *François Lacombe* francois dot lacombe At telecom-bretagne dot eu http://www.infos-reseaux.com ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr