Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Jacques Lavignotte]

Le 03/02/2020 à 19:22, Christian Quest a écrit :

Merci pour le retour que tu peux ajouter ici: 
https://wiki.openstreetmap.org/wiki/Talk:Planet.osm#Torrent


Plus tard. C'est un de mes desktops qui sert, temporairement. Je cherche 
une solution très économe énergétiquement : ça pourrait très vite être 
un RaspBerry équipé d'un DD.


J.

--
GnuPg : 156520BBC8F5B1E3 Because privacy matters.
« Quand est-ce qu'on mange ? » AD (c) (tm)

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Note @Christian Quest ,
* ton tracker privé "http://retracker.local/announce; ne peut pas marcher,
il ne devrait pas être inclus car il n'est pas routable sur Internet.
* le tracker "http://tracker.computel.fr:80/announce; semble instable, il
marche parfois ou pas du tout, en tout cas jamais au premier essai, et il
ne collecte pratiquement aucun seeder supplémentaire.
Les deux trackers qui marchent sont le tien "
http://tracker.cquest.org:6969/announce; et sinon "udp://
tracker.opentrackr.org:1337"

Je note encore une fois que le téléchargement commence vite, puis ralentit
brusquement ou se met en pause pendant une minute pour reprendre avec à
peine 4-5 Kio/s par pair, puis à nouveau des pauses.

Cette fois je suis convaincu que c'est Free qui met en place le
ralentissement des torrents qu'il ne parvient pas à identifier avec une clé
de sécurité "connue".

Un gros PBF en format binaire de 50 Gio doit être pris pour lui comme un
téléchargement illégal de vidéos et comme il ne trouve pas de clé, il
bloque assez vite.

Donc il serait souhaitable d'inclure dans le torrent un petit fichier
licence signé numériquement indiquant le hachage SHA-1 du gros PBF (qui
malheusement n'est publié qu'avec un hachage rapide MD5, pas utilisé comme
clé sur les Torrents et le DHT), qu'un "contrôleur" pourra vite charger. De
quoi éviter que Free ne pas bloquer ensuite le DHT. sur cette clé et garder
les flux rapides.


Le lun. 3 févr. 2020 à 19:22, Christian Quest  a
écrit :

> Le 03/02/2020 à 18:04, Jacques Lavignotte a écrit :
> >
> >
> > Le 28/01/2020 à 20:48, Christian Quest a écrit :
> >> J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
> >>
> >> Vous pouvez participer au test en téléchargeant ce fichier planet à
> >> l'aide du client BitTorrent de votre choix.
> >>
> >> Attention... il fait dans les 50Go, donc il faut de la place sur
> >> disque ;)
> >
> > On doit maintenant voir un « Transmission (Linux) »
> >
> > Ca a mis 20 minutes à descendre. Je suis sur une fibre 400 Mb/s Orange.
> >
>
> Pas mal du tout, j'ai eu des retours de download à 800Mbps.
>
>
> > Ca a uploadé de l'ordre de 400MB. Maintenant plus rien.
> >
>
> Normal, il y a bien plus de "seeders" qui partagent le fichier que de
> "leetchers" qui le téléchargent.
>
> Merci pour le retour que tu peux ajouter ici:
> https://wiki.openstreetmap.org/wiki/Talk:Planet.osm#Torrent
>
>
> --
> Christian Quest - OpenStreetMap France
>
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Francois Gouget]

On Mon, 3 Feb 2020, marc marc wrote:
[...]
> en passant pour moi la vrai erreur, c'est Https Everywhere qui ne
> devrait pas basculer en https si le certificat n'est pas bon.

Je suis assez d'accord. Mais il me semblait justement que HTTPS 
Everywhere avait une liste blanche de sites où on peut passer en HTTPS.
D'ailleurs la voilà et openbittorrent est dans la liste :
https://atlas.eff.org/letters/o.html

Comme OpenBittorrent est dans la liste je pense qu'Https Everywhere doit 
forcer le passage en https pour éviter les attaques MITM (je me mets au 
milieu et je renvoie un mauvais certificat pour le https pour forcer 
HTTPS Everywhere à continuer en http et ce qui me permet d'intercepter 
et de changer tout le trafic).

Bien sûr l'utilisateur se prend une erreur et est donc tenté de 
continuer en http. Mais cela requière une action consciente (et non 
évidente) de sa part.

Il y a probablement eu une régression du coté d'OpenBittorrent.


> chez moi il ne bascule pas, tu ne l'aurais pas forcé en https ?

J'ai cliqué sur "Réinitialiser aux paramêtres par défaut" et pas de 
changement il me renvoie toujours vers le https.

-- 
Francois Gouget   http://fgouget.free.fr/
 You can have my guns when you pry them from my kids cold, dead hands.___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Le 03/02/2020 à 18:04, Jacques Lavignotte a écrit :



Le 28/01/2020 à 20:48, Christian Quest a écrit :

J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à 
l'aide du client BitTorrent de votre choix.


Attention... il fait dans les 50Go, donc il faut de la place sur 
disque ;)


On doit maintenant voir un « Transmission (Linux) »

Ca a mis 20 minutes à descendre. Je suis sur une fibre 400 Mb/s Orange.



Pas mal du tout, j'ai eu des retours de download à 800Mbps.



Ca a uploadé de l'ordre de 400MB. Maintenant plus rien.



Normal, il y a bien plus de "seeders" qui partagent le fichier que de 
"leetchers" qui le téléchargent.


Merci pour le retour que tu peux ajouter ici: 
https://wiki.openstreetmap.org/wiki/Talk:Planet.osm#Torrent



--
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Jacques Lavignotte]

Le 28/01/2020 à 20:48, Christian Quest a écrit :

J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à 
l'aide du client BitTorrent de votre choix.


Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)


On doit maintenant voir un « Transmission (Linux) »

Ca a mis 20 minutes à descendre. Je suis sur une fibre 400 Mb/s Orange.

Ca a uploadé de l'ordre de 400MB. Maintenant plus rien.

J.

--
GnuPg : 156520BBC8F5B1E3 Because privacy matters.
« Quand est-ce qu'on mange ? » AD (c) (tm)

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Le lun. 3 févr. 2020 à 14:27, Christian Quest  a
écrit :

> Le 03/02/2020 à 03:23, Francois Gouget a écrit :
> > On Wed, 29 Jan 2020, Philippe Verdy wrote:
> >
> >> Traqueurs vides de tous clients connectés dessus, donc pas de
> >> téléchargement du tout. Les deux traqueurs n'annoncent personne (statut
> >> torrent : non annoncé, sur opentracker.org bien que marqué "activé" et
> >> "traqueur principal"; sur le second traqueur sur openbittorrent.com il
> >> l'est même pas pas activé, donc pas annoncé non plus).
> > J'ai eu un peu de mal avec ces sites :
> >
> > * http://openbittorrent.com/
> >-> Je me retrouve automatiquement sur https://openbittorrent.com/
> dont
> >   le certificat est valide pour *.opentrackr.org et pas
> >   openbittorrent.com. Bon, en fait c'est la faute de Https
> Everywhere
> >   mais il y a quand même un problème avec le certificat.
> >
> > * http://opentracker.org/
> >Page vide.
> >-> Je suppose qu'en fait il s'agissait de https://opentrackr.org/
>
> Les tracker bittorrent n'ont pas forcément de site visible. Sur les
> miens tu n'aura rien.
>
> Oui, j'ai l'impression que openbittorrent.com est devenu opentrackr.org,
> je vais le retirer de la liste des torrents pour le prochain planet.
>
> Cela n'a pas trop d'importance tant qu'il y a au moins un tracker qui
> répond correctement et permet de savoir qui partage le fichier.
>
> > Et comme je ne connais pas bien Bittorrent je ne sais pas trop quoi en
> > faire ensuite.
> >
> > Par contre pour ce qui est du téléchargement à partir de
> > http://osm.cquest.org/torrents/ pas de problème : débit de 800 Mb/s en
> > moyenne. Vive la fibre.
>
> Impeccable, c'est l'objectif... un bon débit en réception.
>

J'ai la même fibre Free à Niort. Et bien que son débit soit excellent, en
pratique sur ces torrents je n'airrive pas à dépasser les 50 Kio/s (500
kbit/s) en gros. Bref un fichier planet met quand même plus de 3 jours à se
charger (avant la génération du fichier suivant 7 jours plus tard).

Et malgré qu'il y a des tentatives de connexion chez moi sur ma fibre, les
autres ne chargent pas à plus de 5 Kio/s sur ma fibre (alors qu'il y a
plein de bande passante disponible).

Je crois sincèrement que Free a non seulement fermé le service Torrent en
janvier sur sa box (sans le dire), mais qu'il a aussi mis un bridage du
protocole Torrent pour les connexions HTTP/HTTPS sans domaine déclaré sur
des IP simples (ou si on n'utilise pas un VPN via un domaine tiers). Je
vois le net ralentissement aussi sur nombre de torrents libres Linux, mais
certains n'ont pas ce ralentissement.

Je crois que le protocole Torrent est maintenant monitoré par Free (via un
service tiers d'autorisation qui va contrôler les contenus, et
éventuellement libérer le débit).

Ce qui veut dire que les planet d'OSM (qui n'ont pas de fichier licence
inclus et pas d'idcentification claire de la source) seront de toute façon
bridés.

J'en reviens donc à la demande d'inclure dans les Torrent un fichier
licence (ce qui serait aussi conforme aux exigences d'OSM), éventuellement
aussi une signature numérique (une signature HMAC du: hachage SHA-1 du
fichier, et de l'auteur) et que c'est une mauvaise idée de streamer en P2P
les fichier PBF "nus". Afin d'assurer que ces torrent s ont bien libres et
légaux et ne soient jamais bridés par un opérateur tiers.
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[marc marc]

Le 03.02.20 à 03:23, Francois Gouget a écrit :
> * http://openbittorrent.com/
>   -> Je me retrouve automatiquement sur https://openbittorrent.com/ dont 
>  le certificat est valide pour *.opentrackr.org et pas 
>  openbittorrent.com. Bon, en fait c'est la faute de Https Everywhere 
>  mais il y a quand même un problème avec le certificat.

oui et non :)
rien n'impose d'avoir une version https d'un site annoncé en http
mais *SI* le site a changé d'url, la façon propre est de faire un
redirect de l'ancien nom vers le nouveau nom (et conserver un certificat
https valide si l'ancien nom était dispo en https).

en passant pour moi la vrai erreur, c'est Https Everywhere qui ne
devrait pas basculer en https si le certificat n'est pas bon.
chez moi il ne bascule pas, tu ne l'aurais pas forcé en https ?

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Le 03/02/2020 à 03:23, Francois Gouget a écrit :

On Wed, 29 Jan 2020, Philippe Verdy wrote:


Traqueurs vides de tous clients connectés dessus, donc pas de
téléchargement du tout. Les deux traqueurs n'annoncent personne (statut
torrent : non annoncé, sur opentracker.org bien que marqué "activé" et
"traqueur principal"; sur le second traqueur sur openbittorrent.com il
l'est même pas pas activé, donc pas annoncé non plus).

J'ai eu un peu de mal avec ces sites :

* http://openbittorrent.com/
   -> Je me retrouve automatiquement sur https://openbittorrent.com/ dont
  le certificat est valide pour *.opentrackr.org et pas
  openbittorrent.com. Bon, en fait c'est la faute de Https Everywhere
  mais il y a quand même un problème avec le certificat.

* http://opentracker.org/
   Page vide.
   -> Je suppose qu'en fait il s'agissait de https://opentrackr.org/


Les tracker bittorrent n'ont pas forcément de site visible. Sur les 
miens tu n'aura rien.


Oui, j'ai l'impression que openbittorrent.com est devenu opentrackr.org, 
je vais le retirer de la liste des torrents pour le prochain planet.


Cela n'a pas trop d'importance tant qu'il y a au moins un tracker qui 
répond correctement et permet de savoir qui partage le fichier.



Et comme je ne connais pas bien Bittorrent je ne sais pas trop quoi en
faire ensuite.

Par contre pour ce qui est du téléchargement à partir de
http://osm.cquest.org/torrents/ pas de problème : débit de 800 Mb/s en
moyenne. Vive la fibre.


Impeccable, c'est l'objectif... un bon débit en réception.


Ensuite en upload, pratiquement rien. Moins de 100 kb/s de temps en
temps. En ce moment 1 à 1,5 Mb/s, loin de la limite de mon coté. Je
suppose que ça bouchone à l'autre bout.


C'est juste qu'il n'y a pas de demande sur ce fichier actuellement et 
donc que personne ne vient prendre des morceaux du fichier chez toi.


Il y a quand même un peu de débit en upload, lié à ton download.


Perso ce que j'aimerai bien c'est une solution pour fiabiliser
l'affichage des différents fonds dans iD et Osmose : régulièrement
lorsque je zoome j'ai des morceaux qui ne veulent pas se rafraîchir, du
coup j'ai soit un trou noir, soit du flou. Cela dit c'est peut-être plus
un mauvais coup de Firefox.

Mais si le problème vient de timeout liés à la saturation des serveurs
alors une solution distribuée pourrait être intéressante. Quelque chose
un peu à la PeerTube par exemple.


Il y a effectivement une saturation sur les serveurs de tuiles de la 
fondation. Certaines tuiles arrivent plus tard, voire jamais.


C'est un tout autre sujet...


--
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Francois Gouget]

On Wed, 29 Jan 2020, Philippe Verdy wrote:

> Traqueurs vides de tous clients connectés dessus, donc pas de
> téléchargement du tout. Les deux traqueurs n'annoncent personne (statut
> torrent : non annoncé, sur opentracker.org bien que marqué "activé" et
> "traqueur principal"; sur le second traqueur sur openbittorrent.com il
> l'est même pas pas activé, donc pas annoncé non plus).

J'ai eu un peu de mal avec ces sites :

* http://openbittorrent.com/
  -> Je me retrouve automatiquement sur https://openbittorrent.com/ dont 
 le certificat est valide pour *.opentrackr.org et pas 
 openbittorrent.com. Bon, en fait c'est la faute de Https Everywhere 
 mais il y a quand même un problème avec le certificat.

* http://opentracker.org/
  Page vide.
  -> Je suppose qu'en fait il s'agissait de https://opentrackr.org/

Et comme je ne connais pas bien Bittorrent je ne sais pas trop quoi en 
faire ensuite.

Par contre pour ce qui est du téléchargement à partir de 
http://osm.cquest.org/torrents/ pas de problème : débit de 800 Mb/s en 
moyenne. Vive la fibre.

Ensuite en upload, pratiquement rien. Moins de 100 kb/s de temps en 
temps. En ce moment 1 à 1,5 Mb/s, loin de la limite de mon coté. Je 
suppose que ça bouchone à l'autre bout.



Perso ce que j'aimerai bien c'est une solution pour fiabiliser 
l'affichage des différents fonds dans iD et Osmose : régulièrement 
lorsque je zoome j'ai des morceaux qui ne veulent pas se rafraîchir, du 
coup j'ai soit un trou noir, soit du flou. Cela dit c'est peut-être plus 
un mauvais coup de Firefox.

Mais si le problème vient de timeout liés à la saturation des serveurs 
alors une solution distribuée pourrait être intéressante. Quelque chose 
un peu à la PeerTube par exemple.

-- 
Francois Gouget   http://fgouget.free.fr/
 There are 10 types of people in the world...
   those who understand binary and those who don't.___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Francois Gouget]

On Sat, 1 Feb 2020, Philippe Verdy wrote:
[...]
> J'ai bien l'impression que Free a fait un compromis en supprimant ce qu'il
> juge "ne plus être utile" sur la Révolution (et répondre à la demande des
> abonnés d'avoir accès à Netflix dessus, même si ce n'est pas inclus dans
> l'offre, avec leurs propres identifiants Netflix, et sans passer à la Delta

Il y a peut-être un problème de place pour le firmware mais je doute 
fort que Netflix et Youtube Kids soient responsable : les torrents sont 
gérés sur le boitier serveur alors que tout ce qui est vidéo est géré 
sur le boitier TV. Deux boitiers donc deux firmwares indépendants.


-- 
Francois Gouget   http://fgouget.free.fr/
  Good judgment comes from experience, and experience comes from bad judgment
   -- Barry LePatner___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Ceci dit, mettre les PBF seuls en torrent est limite question légalité: il
manque les infos de licence OSM. Je pense que même la Fondation devrait
réfléchir à mettre en place elle-même ses traqueurs, qui diffuseront des
flux multifichiers contenant le PBF, le petit .md5 éventuellement, un
fichier LICENCE, et éventuellement une signature numérique par la Fondation
certifiant qu'elle est l'auteur de ce fichier autorisé en téléchargement
légal.
Mais le protocole Torrent devrait aussi inclure des métadonnées dans ses
fichiers .torrent (le format .torrent est basé sur un dictionnaire codé,
contenant au moins un ou plusieurs traqueurs publics, le nom du stream, les
noms de dossiers et fichiers, leur taille, et les infos de découpage en
fragments ainsi que la liste binaire des signatures SHA-12 de fragments).

La Fondation reconnait que ses propres serveurs HTTP ne suffisent plus pour
la charge des fichiers planet/hsotory et diffs. Permettre aux utilisateurs
d'OSM d'utiliser plus massivement une solution de chargement légal en P2P
par un partage volontaire de bande passante par les utilisateurs OSM
eux-mêmes résoudrait ce problème (qui est le même pour les "petites"
distributions Linux qui n'ont pas de gros serveurs pour servir rapidement
et à bas coût autant de monde qu'elles voudraient). Avec le développement
accéléré de la fibre maintenant dans le monde, le P2P est une solution tout
à fait viable, la plupart des abonnés fibre ont largement de la bande
passante disponible, et il serait temps d'en développer l'usage, quitte à
revoir les protocoles P2P utilisés (pour y inclure le contrôle de
légalité), afin que la fibre ou les autres solutions THD pour tous serve à
de nouveaux usages et apporte un réel plus au développement du libre (pas
seulement pour les contributeurs les plus riches qui peuvent se payer des
serveurs et hébergements de domaines).

Microsoft lui-même fait du P2P pour ses distributions de logiciel dont
Windows et Office et son service Microsofot Update, avec son propre
protocole P2P. Les besoins sont là aussi pour le travail sur Azure et avec
les autres clouds, sans aller chercher les solutions chères des
fournisseurs de CDN (Level 3, Amazon...). Il faut le rappeler, le P2P est
utile et légal, les usages illégaux sont possibles mais on doit pouvoir
identifier et certifier les usages légaux sans tout bloquer, sinon autant
éteindre l'Internet tout de suite et complètement pour former uniquement
des réseaux privés déconnectés les uns des autres (Internet ne
fonctionnerait même pas du tout sans P2P, comme IGP et le DNS par exemple).


Le sam. 1 févr. 2020 à 15:10, Philippe Verdy  a écrit :

> J'ai trouvé cet article aussi:
>
> https://www.clubic.com/forum/t/la-fonction-torrent-de-la-freebox-sur-la-sellette/325163
>
> Visiblement Free a volontairement supprimé/désactivé cette fonction de la
> Révolution (en attendant de mettre en place un contrôle de légalité avec
> ses propres traqueurs imposés pour pouvoir éteindre les torrents illégaux?)
> Donc plus moyen de charger des distribs Linux ou des PBF et autres données
> libres en torrent sur cette box. Je ne sais pas ce qu'il en est des autres
> box (si Free a mis en place dessus un protocole de contrôle de légalité et
> satisfaire les injonctions du SACD, de la SACEM et d'autres sociétés
> d'auteurs nationales ou étrangères).
>
> Le sam. 1 févr. 2020 à 14:53, Philippe Verdy  a écrit :
>
>> Note: je ne suis pas seul à ne plus avoir les torrents sur la Freebox
>> Révolution (v6):
>> https://freebox.toosurtoo.com/forum/viewtopic.php?t=23348
>>
>> Certains parlent de mettre à jour l'appli Freebox Compagnon sur mobile
>> Android pour activer les torrents (valable peut-être en décembre mais plus
>> avec la version de mi-janvier), j'ai essayé aussi mais ça ne lance toujours
>> pas les connexions alors que le fichier est bien marqué "en attente" de
>> téléchargement. Free m'énerve avec ses changements de firmware inopinés
>> durant la nuit, le plantage au matin, et la nécessité de redémarrer la box
>> manuellement (en la débranchant de l'alimentation, ça ne marche pas avec la
>> télécommande ou la console Freebox OS), et ensuite espérer qu'on aura une
>> synchro (qui peut mettre plusieurs dizaines de minutes parfois pour
>> récupérer la connexion fibre et les services, alors que la synchro fibre
>> est quasi immédiate, mais les serveurs Free mettent du temps à répondre et
>> recharger les droits d'accès après ces mises à jour inopinées).
>>
>> D'autres fois, ces chargements et redémarrages forcent la TV à passer sur
>> la Freebox alors qu'on regardait autre chose. quand le vois la liste des
>> redémarrages de Freebox imposés par Free n'importe quand : j'en ai un tous
>> les 7 à 15 jours, parfois même sans chargement de nouveau firmware, mais il
>> n'y a eu pourtant aucune perte de synchro fibre (je pense que Free change
>> sans arrêt ses plans de routage IP pour ceux qui sont en ZMD, où la fibre
>> est louée à un opérateur de boucle local comme Orange ou SFR, 

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

J'ai trouvé cet article aussi:
https://www.clubic.com/forum/t/la-fonction-torrent-de-la-freebox-sur-la-sellette/325163

Visiblement Free a volontairement supprimé/désactivé cette fonction de la
Révolution (en attendant de mettre en place un contrôle de légalité avec
ses propres traqueurs imposés pour pouvoir éteindre les torrents illégaux?)
Donc plus moyen de charger des distribs Linux ou des PBF et autres données
libres en torrent sur cette box. Je ne sais pas ce qu'il en est des autres
box (si Free a mis en place dessus un protocole de contrôle de légalité et
satisfaire les injonctions du SACD, de la SACEM et d'autres sociétés
d'auteurs nationales ou étrangères).

Le sam. 1 févr. 2020 à 14:53, Philippe Verdy  a écrit :

> Note: je ne suis pas seul à ne plus avoir les torrents sur la Freebox
> Révolution (v6):
> https://freebox.toosurtoo.com/forum/viewtopic.php?t=23348
>
> Certains parlent de mettre à jour l'appli Freebox Compagnon sur mobile
> Android pour activer les torrents (valable peut-être en décembre mais plus
> avec la version de mi-janvier), j'ai essayé aussi mais ça ne lance toujours
> pas les connexions alors que le fichier est bien marqué "en attente" de
> téléchargement. Free m'énerve avec ses changements de firmware inopinés
> durant la nuit, le plantage au matin, et la nécessité de redémarrer la box
> manuellement (en la débranchant de l'alimentation, ça ne marche pas avec la
> télécommande ou la console Freebox OS), et ensuite espérer qu'on aura une
> synchro (qui peut mettre plusieurs dizaines de minutes parfois pour
> récupérer la connexion fibre et les services, alors que la synchro fibre
> est quasi immédiate, mais les serveurs Free mettent du temps à répondre et
> recharger les droits d'accès après ces mises à jour inopinées).
>
> D'autres fois, ces chargements et redémarrages forcent la TV à passer sur
> la Freebox alors qu'on regardait autre chose. quand le vois la liste des
> redémarrages de Freebox imposés par Free n'importe quand : j'en ai un tous
> les 7 à 15 jours, parfois même sans chargement de nouveau firmware, mais il
> n'y a eu pourtant aucune perte de synchro fibre (je pense que Free change
> sans arrêt ses plans de routage IP pour ceux qui sont en ZMD, où la fibre
> est louée à un opérateur de boucle local comme Orange ou SFR, mais ensuite
> ça plante ou ça rame pour les reconnexions, qui mettent un temps fou entre
> l'étape 4 et l'étape 9; il m'est arrivé souvent de devoir redémarrer
> manuellement la box plusieurs fois de suite, je peux y perdre une bonne
> demi-heure).
>
>
> Le sam. 1 févr. 2020 à 14:35, Philippe Verdy  a écrit :
>
>>
>>
>> Le sam. 1 févr. 2020 à 11:18, Christian Quest 
>> a écrit :
>>
>>> Le 30/01/2020 à 13:46, Philippe Verdy a écrit :
>>> > Par curiosité j'ai essayé d'ajouter des .torrent fiables de
>>> > distributions linux, et là aussi la Freebox Server Revolution v6 (pas
>>> > la v7=Delta, ni la Freebox One) ne se connecte plus, ça reste "en
>>> > attente" là aussi et le statut affiche "déconnecté" (il indique de
>>> > vérifier que les ports et le VPN sont bien activés et "ouverts" aux
>>> > connexion entrantes).
>>> >
>>> > J'avais fait des téléchargements de torrents Linux avant et ça
>>> > marchait sans problème.
>>> >
>>> > J'ai bien l'impression que Free a viré le client torrent de son
>>> > firmware de mi-janvier (mais il ne l'a pas dit dans son site de
>>> > support, qui indique seulement l'ajout des clients Netflix et Youtube
>>> > Kids, annoncé aussi dans les cartouches du menu TV du Freebox Player)
>>> >
>>> > J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va
>>> > falloir que je signale l'anomalie à Free pour au moins avoir une
>>> > explication si le service est effectivement retiré (mais l'interface
>>> > Freebox OS affiche toujours les paramètres et la liste des
>>> > téléchargements; ce téléchargeur intégré en revanche fonctionne avec
>>> > le téléchargement simple en FTP ou HTTP, mais il n'y a plus de support
>>> > des protocoles Torrent/PEX/DHT).
>>> >
>>> Depuis mon passage à la fibre, c'est une freebox Delta qui a remplacé ma
>>> Révolution.
>>>
>> La Delta a plus de place dans sa mémoire flash pour un firmware plus
>> gros. J'ai bien l'impression que Free a fait un compromis en supprimant ce
>> qu'il juge "ne plus être utile" sur la Révolution (et répondre à la demande
>> des abonnés d'avoir accès à Netflix dessus, même si ce n'est pas inclus
>> dans l'offre, avec leurs propres identifiants Netflix, et sans passer à la
>> Delta ou la Freebox One et payer le coût d'un échange, et l'achat très cher
>> de la Delta uniquement pour Free avec en plus un réengagement lent);
>> l'ajout aussi de Youtube Kids doit probablement répondre à la demande
>> d'abonnés parents, pour que les enfants utilisent la télécommande Freebox
>> sans bidouiller le PC des parents ou leur donner un accès Internet complet
>> avec n'importe quel navigateur web.
>> Je me demande ce que Free va encore supprimer dans la Révolution (Freebox

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Note: je ne suis pas seul à ne plus avoir les torrents sur la Freebox
Révolution (v6):
https://freebox.toosurtoo.com/forum/viewtopic.php?t=23348

Certains parlent de mettre à jour l'appli Freebox Compagnon sur mobile
Android pour activer les torrents (valable peut-être en décembre mais plus
avec la version de mi-janvier), j'ai essayé aussi mais ça ne lance toujours
pas les connexions alors que le fichier est bien marqué "en attente" de
téléchargement. Free m'énerve avec ses changements de firmware inopinés
durant la nuit, le plantage au matin, et la nécessité de redémarrer la box
manuellement (en la débranchant de l'alimentation, ça ne marche pas avec la
télécommande ou la console Freebox OS), et ensuite espérer qu'on aura une
synchro (qui peut mettre plusieurs dizaines de minutes parfois pour
récupérer la connexion fibre et les services, alors que la synchro fibre
est quasi immédiate, mais les serveurs Free mettent du temps à répondre et
recharger les droits d'accès après ces mises à jour inopinées).

D'autres fois, ces chargements et redémarrages forcent la TV à passer sur
la Freebox alors qu'on regardait autre chose. quand le vois la liste des
redémarrages de Freebox imposés par Free n'importe quand : j'en ai un tous
les 7 à 15 jours, parfois même sans chargement de nouveau firmware, mais il
n'y a eu pourtant aucune perte de synchro fibre (je pense que Free change
sans arrêt ses plans de routage IP pour ceux qui sont en ZMD, où la fibre
est louée à un opérateur de boucle local comme Orange ou SFR, mais ensuite
ça plante ou ça rame pour les reconnexions, qui mettent un temps fou entre
l'étape 4 et l'étape 9; il m'est arrivé souvent de devoir redémarrer
manuellement la box plusieurs fois de suite, je peux y perdre une bonne
demi-heure).


Le sam. 1 févr. 2020 à 14:35, Philippe Verdy  a écrit :

>
>
> Le sam. 1 févr. 2020 à 11:18, Christian Quest  a
> écrit :
>
>> Le 30/01/2020 à 13:46, Philippe Verdy a écrit :
>> > Par curiosité j'ai essayé d'ajouter des .torrent fiables de
>> > distributions linux, et là aussi la Freebox Server Revolution v6 (pas
>> > la v7=Delta, ni la Freebox One) ne se connecte plus, ça reste "en
>> > attente" là aussi et le statut affiche "déconnecté" (il indique de
>> > vérifier que les ports et le VPN sont bien activés et "ouverts" aux
>> > connexion entrantes).
>> >
>> > J'avais fait des téléchargements de torrents Linux avant et ça
>> > marchait sans problème.
>> >
>> > J'ai bien l'impression que Free a viré le client torrent de son
>> > firmware de mi-janvier (mais il ne l'a pas dit dans son site de
>> > support, qui indique seulement l'ajout des clients Netflix et Youtube
>> > Kids, annoncé aussi dans les cartouches du menu TV du Freebox Player)
>> >
>> > J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va
>> > falloir que je signale l'anomalie à Free pour au moins avoir une
>> > explication si le service est effectivement retiré (mais l'interface
>> > Freebox OS affiche toujours les paramètres et la liste des
>> > téléchargements; ce téléchargeur intégré en revanche fonctionne avec
>> > le téléchargement simple en FTP ou HTTP, mais il n'y a plus de support
>> > des protocoles Torrent/PEX/DHT).
>> >
>> Depuis mon passage à la fibre, c'est une freebox Delta qui a remplacé ma
>> Révolution.
>>
> La Delta a plus de place dans sa mémoire flash pour un firmware plus gros.
> J'ai bien l'impression que Free a fait un compromis en supprimant ce qu'il
> juge "ne plus être utile" sur la Révolution (et répondre à la demande des
> abonnés d'avoir accès à Netflix dessus, même si ce n'est pas inclus dans
> l'offre, avec leurs propres identifiants Netflix, et sans passer à la Delta
> ou la Freebox One et payer le coût d'un échange, et l'achat très cher de la
> Delta uniquement pour Free avec en plus un réengagement lent); l'ajout
> aussi de Youtube Kids doit probablement répondre à la demande d'abonnés
> parents, pour que les enfants utilisent la télécommande Freebox sans
> bidouiller le PC des parents ou leur donner un accès Internet complet avec
> n'importe quel navigateur web.
> Je me demande ce que Free va encore supprimer dans la Révolution (Freebox
> v6) sans le dire à ses abonnés, en ne disant que ce qu'il a ajouté à la
> place.
>
>
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Le sam. 1 févr. 2020 à 11:18, Christian Quest  a
écrit :

> Le 30/01/2020 à 13:46, Philippe Verdy a écrit :
> > Par curiosité j'ai essayé d'ajouter des .torrent fiables de
> > distributions linux, et là aussi la Freebox Server Revolution v6 (pas
> > la v7=Delta, ni la Freebox One) ne se connecte plus, ça reste "en
> > attente" là aussi et le statut affiche "déconnecté" (il indique de
> > vérifier que les ports et le VPN sont bien activés et "ouverts" aux
> > connexion entrantes).
> >
> > J'avais fait des téléchargements de torrents Linux avant et ça
> > marchait sans problème.
> >
> > J'ai bien l'impression que Free a viré le client torrent de son
> > firmware de mi-janvier (mais il ne l'a pas dit dans son site de
> > support, qui indique seulement l'ajout des clients Netflix et Youtube
> > Kids, annoncé aussi dans les cartouches du menu TV du Freebox Player)
> >
> > J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va
> > falloir que je signale l'anomalie à Free pour au moins avoir une
> > explication si le service est effectivement retiré (mais l'interface
> > Freebox OS affiche toujours les paramètres et la liste des
> > téléchargements; ce téléchargeur intégré en revanche fonctionne avec
> > le téléchargement simple en FTP ou HTTP, mais il n'y a plus de support
> > des protocoles Torrent/PEX/DHT).
> >
> Depuis mon passage à la fibre, c'est une freebox Delta qui a remplacé ma
> Révolution.
>
La Delta a plus de place dans sa mémoire flash pour un firmware plus gros.
J'ai bien l'impression que Free a fait un compromis en supprimant ce qu'il
juge "ne plus être utile" sur la Révolution (et répondre à la demande des
abonnés d'avoir accès à Netflix dessus, même si ce n'est pas inclus dans
l'offre, avec leurs propres identifiants Netflix, et sans passer à la Delta
ou la Freebox One et payer le coût d'un échange, et l'achat très cher de la
Delta uniquement pour Free avec en plus un réengagement lent); l'ajout
aussi de Youtube Kids doit probablement répondre à la demande d'abonnés
parents, pour que les enfants utilisent la télécommande Freebox sans
bidouiller le PC des parents ou leur donner un accès Internet complet avec
n'importe quel navigateur web.
Je me demande ce que Free va encore supprimer dans la Révolution (Freebox
v6) sans le dire à ses abonnés, en ne disant que ce qu'il a ajouté à la
place.
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

J'ai mis 3 jours à charger la version 200120 du 23 janvier avec le
torrent... Une fois fini, c'est la version 200127 du 30 janvier qui est là.

Sans automatisation, ce sera difficile de rendre cela fiable pour toujours
avoir la version  "latest", à moins d'ajouter sur les serveurs HTTP miroirs
le support aussi de trackers "WebTorrent" (pour les clients web sans
application, mais ne supporte pas le DHT ou PEX) et "BitTorrent
announce/scrape" (avec le support du DHT et de PEX), ce qui nécessite
d'héberger non seulement les fichiers .pbf et le petit .md5, mais aussi un
fichier .pbf.torrent contenant le cache des hachages SHA1 des fragments et
les URL d'annonces (chaque fragment devrait faire 512 Kio, valeur standard,
ou 1 Mio, mais moins fiable et les clients ne peuvent pas facilement
charger en "swarm" des fragments si gros sans recevoir un "choking", ou
juste un fichier  .pbf.par avec les clés SHA-1 et un fichier séparé pour
les URLs d'annonces.

Je suggère de garder des fragments de 512 Kio plutôt que 1 Mio qui provoque
de très gros ralentissements sur presque tous les logiciel clients torrent
dans leur config par défaut, qui se mettent en pause pendant plus d'une
minute puis ne chargent qu'à 5Kio/s. Ca double le nombre de fragments et la
taille du fichier .torrent (Pour un  fichier planet.pbf de ~49 Gio
actuellement, cela donne un fichier .torrent de ~2 Mio ou lieu de ~1 Mio,
ce qui reste très supportable mais améliorera les performances et la
capacité de supporter plus de clients Torrent avec des configs mémoire plus
réduites, pour le fichier history de ~81Gio, cela donne un fichier torrent
de ~3,3 Mio au lieu de 1,6 Mio, là encore ça passe bien).

Il est dommage que le protocole Bittorrent "standard" ne supporte que des
fragments de taille fixe en une seule liste linéaire, au lieu d'un arbre
binaire (comme Tiger Tree Hash, basé plus ou moins sur une composition de
type HMAC, qui permet aussi une mise en ligne plus rapide pour les très
gros fichiers, et plus de parallélisme pour la mise en ligne "à la
demande", et plus d'adaptabilité à des tailles de fragments demandés
variables de façon exponentielle: les clients ayant une bande passante plus
réduite voudront des fragments plus petits, ceux ayant une connexion THD
voudront des fragments plus grands; les arbres de hachage binaires
permettent aussi de repérer les fragments partiellement en erreur sans
avoir à les recharger en entier, ils économisent donc de la bande passante
pour les serveurs "seeders").




Le sam. 1 févr. 2020 à 11:18, Christian Quest  a
écrit :

> Le 30/01/2020 à 13:46, Philippe Verdy a écrit :
> > Par curiosité j'ai essayé d'ajouter des .torrent fiables de
> > distributions linux, et là aussi la Freebox Server Revolution v6 (pas
> > la v7=Delta, ni la Freebox One) ne se connecte plus, ça reste "en
> > attente" là aussi et le statut affiche "déconnecté" (il indique de
> > vérifier que les ports et le VPN sont bien activés et "ouverts" aux
> > connexion entrantes).
> >
> > J'avais fait des téléchargements de torrents Linux avant et ça
> > marchait sans problème.
> >
> > J'ai bien l'impression que Free a viré le client torrent de son
> > firmware de mi-janvier (mais il ne l'a pas dit dans son site de
> > support, qui indique seulement l'ajout des clients Netflix et Youtube
> > Kids, annoncé aussi dans les cartouches du menu TV du Freebox Player)
> >
> > J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va
> > falloir que je signale l'anomalie à Free pour au moins avoir une
> > explication si le service est effectivement retiré (mais l'interface
> > Freebox OS affiche toujours les paramètres et la liste des
> > téléchargements; ce téléchargeur intégré en revanche fonctionne avec
> > le téléchargement simple en FTP ou HTTP, mais il n'y a plus de support
> > des protocoles Torrent/PEX/DHT).
> >
> Depuis mon passage à la fibre, c'est une freebox Delta qui a remplacé ma
> Révolution.
>
> Le client BitTorrent y fonctionne parfaitement. J'ai constaté que
> d'autres clients "Freebox BitTorrent 2.0" avait échangé avec mes seeds,
> mais sans savoir quelle type de box ils avaient.
>
> Sinon...
>
> - j'ai mis en place 2 trackers maison (opentracker)
>
> - le planet du 27/01/2020 est dispo (sa récupération depuis
> planet.osm.org prend quand même plus de 3h)
>
> - j'ai ajouté un flux RSS pour permettre le download automatique pour
> les seeds supplémentaires
>
> Il ne reste plus qu'à automatiser tout ça et à publier les torrents sur
> planet.openstreetmap.org
>
>
> --
> Christian Quest - OpenStreetMap France
>
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Le 30/01/2020 à 13:46, Philippe Verdy a écrit :
Par curiosité j'ai essayé d'ajouter des .torrent fiables de 
distributions linux, et là aussi la Freebox Server Revolution v6 (pas 
la v7=Delta, ni la Freebox One) ne se connecte plus, ça reste "en 
attente" là aussi et le statut affiche "déconnecté" (il indique de 
vérifier que les ports et le VPN sont bien activés et "ouverts" aux 
connexion entrantes).


J'avais fait des téléchargements de torrents Linux avant et ça 
marchait sans problème.


J'ai bien l'impression que Free a viré le client torrent de son 
firmware de mi-janvier (mais il ne l'a pas dit dans son site de 
support, qui indique seulement l'ajout des clients Netflix et Youtube 
Kids, annoncé aussi dans les cartouches du menu TV du Freebox Player)


J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va 
falloir que je signale l'anomalie à Free pour au moins avoir une 
explication si le service est effectivement retiré (mais l'interface 
Freebox OS affiche toujours les paramètres et la liste des 
téléchargements; ce téléchargeur intégré en revanche fonctionne avec 
le téléchargement simple en FTP ou HTTP, mais il n'y a plus de support 
des protocoles Torrent/PEX/DHT).


Depuis mon passage à la fibre, c'est une freebox Delta qui a remplacé ma 
Révolution.


Le client BitTorrent y fonctionne parfaitement. J'ai constaté que 
d'autres clients "Freebox BitTorrent 2.0" avait échangé avec mes seeds, 
mais sans savoir quelle type de box ils avaient.


Sinon...

- j'ai mis en place 2 trackers maison (opentracker)

- le planet du 27/01/2020 est dispo (sa récupération depuis 
planet.osm.org prend quand même plus de 3h)


- j'ai ajouté un flux RSS pour permettre le download automatique pour 
les seeds supplémentaires


Il ne reste plus qu'à automatiser tout ça et à publier les torrents sur 
planet.openstreetmap.org



--
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Par curiosité j'ai essayé d'ajouter des .torrent fiables de distributions
linux, et là aussi la Freebox Server Revolution v6 (pas la v7=Delta, ni la
Freebox One) ne se connecte plus, ça reste "en attente" là aussi et le
statut affiche "déconnecté" (il indique de vérifier que les ports et le VPN
sont bien activés et "ouverts" aux connexion entrantes).

J'avais fait des téléchargements de torrents Linux avant et ça marchait
sans problème.

J'ai bien l'impression que Free a viré le client torrent de son firmware de
mi-janvier (mais il ne l'a pas dit dans son site de support, qui indique
seulement l'ajout des clients Netflix et Youtube Kids, annoncé aussi dans
les cartouches du menu TV du Freebox Player)

J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va
falloir que je signale l'anomalie à Free pour au moins avoir une
explication si le service est effectivement retiré (mais l'interface
Freebox OS affiche toujours les paramètres et la liste des téléchargements;
ce téléchargeur intégré en revanche fonctionne avec le téléchargement
simple en FTP ou HTTP, mais il n'y a plus de support des protocoles
Torrent/PEX/DHT).

Le jeu. 30 janv. 2020 à 13:32, Cyrille37 OSM 
a écrit :

> Nickel
>
> https://framapic.org/vq7U5ZAMf76g/24MGghGicGjy.png
>
> Cyrille37
>
> Le 30/01/2020 à 13:15, Christian Quest a écrit :
> > Le 30/01/2020 à 13:10, Cyrille37 OSM a écrit :
> >>
> >> Hello
> >>
> >> Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour
> >> essayer ?
> >>
> >> Merki, Cyrille37
> >>
> >
> > sur https://osm.cquest.org/torrents/
> >
> >
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Cyrille37 OSM]

Nickel

https://framapic.org/vq7U5ZAMf76g/24MGghGicGjy.png

Cyrille37

Le 30/01/2020 à 13:15, Christian Quest a écrit :

Le 30/01/2020 à 13:10, Cyrille37 OSM a écrit :


Hello

Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour 
essayer ?


Merki, Cyrille37



sur https://osm.cquest.org/torrents/




___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Tu as peut-être un autre modèle de Freebox (j'ai la v6 Revolution; Free a
mis à jour récemment en mi-janvier la Révolutionn pour ajouter les client
Netflix et Youtube Kids, mais je pense que le client torrent intégré n'est
plus là. L'interface de réglage est toujours là, y compris pour régler les
ports et les débloquer, mais il ne doit plus y avoir aucun service démarré
pour le prendre en charge)

Le jeu. 30 janv. 2020 à 13:14, Christian Quest  a
écrit :

> Le 30/01/2020 à 12:46, Philippe Verdy a écrit :
> > Le torrent est toujours marqué "indisponible" sur le téléchargeur de
> > ma freebox. Rien ne se charge, ça reste en attente.
> > Aucun aucun pair visible (0 clients, 0 seeds) quand j'ajoute le
> > .torrent qui ne se connecte pas du tout.
> > Comment fais-tu sur ta Freebox ? Je ne vois pourtant aucun blocage
> > dans son pare-feu.
> >
> Je met le fichier .torrent dans le dossier "Téléchargement/A
> télécharger"... ensuite ça démarre tout seul.
>
>
> --
> Christian Quest - OpenStreetMap France
>
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Le 30/01/2020 à 13:10, Cyrille37 OSM a écrit :


Hello

Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour essayer ?

Merki, Cyrille37



sur https://osm.cquest.org/torrents/


--
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Note: deux des traqueurs inclus dans le .torrent ne fonctionnent pas, même
sur PC:
* http://tracker.computel.fr:80/announce (status = Not working, message =
Bad gateway)
* http://tracker.openbittorrent.com:80/announce (status = Not working,
message = Gone)

Le jeu. 30 janv. 2020 à 13:11, Cyrille37 OSM 
a écrit :

> Hello
>
> Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour essayer ?
>
> Merki, Cyrille37
> Le 30/01/2020 à 10:35, Christian Quest a écrit :
>
> Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:
>
> - l'ajout de "web seed" dans les torrents
>
> - la mise en route de mon propre tracker (avec opentracker)
>
> - la création d'un nouveau torrent pour le planet historique (80Go) avec
> web seed et nouveau tracker
>
> - le bon content-type pour les .torrent sur osm.cquest.org
>
> - des liens symboliques "latest" vers le torrent de la dernière version
>
> A ajouter maintenant, un flux RSS...
>
>
> Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la même
> occasion le téléchargement en HTTP, ce qui permet là aussi de répartir la
> charge en bande passante.
>
> J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça
> fonctionne très bien, ce qui est utile pour scripter si besoin le download
> ;)
>
>
> Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
>
> Traqueurs vides de tous clients connectés dessus, donc pas de
> téléchargement du tout. Les deux traqueurs n'annoncent personne (statut
> torrent : non annoncé, sur opentracker.org bien que marqué "activé" et
> "traqueur principal"; sur le second traqueur sur openbittorrent.com il
> l'est même pas pas activé, donc pas annoncé non plus).
> Bref des traqueurs où il n'y a pas assez de persistance avec au moins un
> client stable pour rétablir les connexions, qui deviennent des traqueurs
> morts, 12 heures après.
>
> L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de
> téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne
> traqueur principal pour que les mises à jour suivent: au moins là le
> fichier est disponible, même si c'est avec des limitations de trafic, mais
> ça permettrait justement de lever les problèmes de disponibilité. Mais
> évidemment ça impose d'installer un traqueur torrent sur les serveurs
> d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et
> sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus
> la possibilité de les garder (il faudrait un délai pour avoir au moins deux
> versions dont la plus récente et celle d'avant; pour ~50Go par fichier
> planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux
> fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup
> plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un
> espace de quelques % gardé libre pour la croissance régulière de la taille
> de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment
> pas de taille, mai il en faut un par fichier planet).
>
> C'est ce que font les principales distribs Linux (y compris pour les mises
> à jour de paquets pour certaines): au moins une URL normale, d'autres en
> miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui
> soulage le tout côté serveurs en ajoutant une partie de la bande passante
> partagée des clients connectés, et permet de télécharger encore plus vite
> depuis plusieurs sources simultanées incluant le site principal et les
> miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes
> traqueurs.
>
>
> Le mar. 28 janv. 2020 à 20:48, Christian Quest 
> a écrit :
>
>> J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
>>
>> Vous pouvez participer au test en téléchargeant ce fichier planet à
>> l'aide du client BitTorrent de votre choix.
>>
>> Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)
>>
>> J'ai 3 "seed" actifs:
>>
>> - 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
>> par fibre
>>
>> - 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)
>>
>> - 1 depuis une dédibox
>>
>> Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)
>>
>>
>> Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
>> ça serait super cool pour se faire une idée de l'efficacité pour
>> proposer ce type de distribution dans l'avenir. Indiquez aussi votre
>> type de connexion internet et éventuellement le client bittorrent utilisé.
>>
>> Merci d'avance !
>>
>>
>> --
>> Christian Quest - OpenStreetMap France
>>
>>
>> ___
>> Talk-fr mailing list
>> Talk-fr@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-fr
>>
>
> --
> Ce message a été vérifié par *MailScanner* 
> pour des virus ou des polluriels et rien de
> suspect n'a été trouvé.
>
> ___
> Talk-fr mailing 
> 

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Le 30/01/2020 à 12:46, Philippe Verdy a écrit :
Le torrent est toujours marqué "indisponible" sur le téléchargeur de 
ma freebox. Rien ne se charge, ça reste en attente.
Aucun aucun pair visible (0 clients, 0 seeds) quand j'ajoute le 
.torrent qui ne se connecte pas du tout.
Comment fais-tu sur ta Freebox ? Je ne vois pourtant aucun blocage 
dans son pare-feu.


Je met le fichier .torrent dans le dossier "Téléchargement/A 
télécharger"... ensuite ça démarre tout seul.



--
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

J'ajoute que les ports sont marqués comme activés pour les connexions
entrantes dans les paramètres de la console Freebox.
Il y a bien les traqueurs, mais ils n'annoncent personne (aucune source,
aucun client).
Le DHT est tout aussi muet. Je me demande si le client torrent de la
Freebox fonctionne réellement ou si Free ne l'a pas simplement
éteint/supprimé sur le dernier firmware de la Freebox Revolution, pour
laisser la place au nouveau client Netflix.
Sinon ça fonctionne avec un client torrent sur PC (qBittorrent pour Windows)

Le jeu. 30 janv. 2020 à 12:46, Philippe Verdy  a écrit :

> Le torrent est toujours marqué "indisponible" sur le téléchargeur de ma
> freebox. Rien ne se charge, ça reste en attente.
> Aucun aucun pair visible (0 clients, 0 seeds) quand j'ajoute le .torrent
> qui ne se connecte pas du tout.
> Comment fais-tu sur ta Freebox ? Je ne vois pourtant aucun blocage dans
> son pare-feu.
>
> Le jeu. 30 janv. 2020 à 10:36, Christian Quest 
> a écrit :
>
>> Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:
>>
>> - l'ajout de "web seed" dans les torrents
>>
>> - la mise en route de mon propre tracker (avec opentracker)
>>
>> - la création d'un nouveau torrent pour le planet historique (80Go) avec
>> web seed et nouveau tracker
>>
>> - le bon content-type pour les .torrent sur osm.cquest.org
>>
>> - des liens symboliques "latest" vers le torrent de la dernière version
>>
>> A ajouter maintenant, un flux RSS...
>>
>>
>> Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la
>> même occasion le téléchargement en HTTP, ce qui permet là aussi de répartir
>> la charge en bande passante.
>>
>> J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça
>> fonctionne très bien, ce qui est utile pour scripter si besoin le download
>> ;)
>>
>>
>> Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
>>
>> Traqueurs vides de tous clients connectés dessus, donc pas de
>> téléchargement du tout. Les deux traqueurs n'annoncent personne (statut
>> torrent : non annoncé, sur opentracker.org bien que marqué "activé" et
>> "traqueur principal"; sur le second traqueur sur openbittorrent.com il
>> l'est même pas pas activé, donc pas annoncé non plus).
>> Bref des traqueurs où il n'y a pas assez de persistance avec au moins un
>> client stable pour rétablir les connexions, qui deviennent des traqueurs
>> morts, 12 heures après.
>>
>> L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de
>> téléchargement sur le site openstreetmap.org (et qu'OSM lui-même
>> devienne traqueur principal pour que les mises à jour suivent: au moins là
>> le fichier est disponible, même si c'est avec des limitations de trafic,
>> mais ça permettrait justement de lever les problèmes de disponibilité. Mais
>> évidemment ça impose d'installer un traqueur torrent sur les serveurs
>> d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et
>> sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus
>> la possibilité de les garder (il faudrait un délai pour avoir au moins deux
>> versions dont la plus récente et celle d'avant; pour ~50Go par fichier
>> planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux
>> fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup
>> plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un
>> espace de quelques % gardé libre pour la croissance régulière de la taille
>> de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment
>> pas de taille, mai il en faut un par fichier planet).
>>
>> C'est ce que font les principales distribs Linux (y compris pour les
>> mises à jour de paquets pour certaines): au moins une URL normale, d'autres
>> en miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui
>> soulage le tout côté serveurs en ajoutant une partie de la bande passante
>> partagée des clients connectés, et permet de télécharger encore plus vite
>> depuis plusieurs sources simultanées incluant le site principal et les
>> miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes
>> traqueurs.
>>
>>
>> Le mar. 28 janv. 2020 à 20:48, Christian Quest 
>> a écrit :
>>
>>> J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
>>>
>>> Vous pouvez participer au test en téléchargeant ce fichier planet à
>>> l'aide du client BitTorrent de votre choix.
>>>
>>> Attention... il fait dans les 50Go, donc il faut de la place sur disque
>>> ;)
>>>
>>> J'ai 3 "seed" actifs:
>>>
>>> - 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
>>> par fibre
>>>
>>> - 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)
>>>
>>> - 1 depuis une dédibox
>>>
>>> Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)
>>>
>>>
>>> Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
>>> ça serait super cool pour se faire une idée de l'efficacité pour
>>> proposer ce type de 

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Cyrille37 OSM]

Hello

Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour essayer ?

Merki, Cyrille37

Le 30/01/2020 à 10:35, Christian Quest a écrit :


Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:

- l'ajout de "web seed" dans les torrents

- la mise en route de mon propre tracker (avec opentracker)

- la création d'un nouveau torrent pour le planet historique (80Go) 
avec web seed et nouveau tracker


- le bon content-type pour les .torrent sur osm.cquest.org

- des liens symboliques "latest" vers le torrent de la dernière version

A ajouter maintenant, un flux RSS...


Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la 
même occasion le téléchargement en HTTP, ce qui permet là aussi de 
répartir la charge en bande passante.


J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça 
fonctionne très bien, ce qui est utile pour scripter si besoin le 
download ;)



Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
Traqueurs vides de tous clients connectés dessus, donc pas de 
téléchargement du tout. Les deux traqueurs n'annoncent personne 
(statut torrent : non annoncé, sur opentracker.org 
 bien que marqué "activé" et "traqueur 
principal"; sur le second traqueur sur openbittorrent.com 
 il l'est même pas pas activé, donc pas 
annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins 
un client stable pour rétablir les connexions, qui deviennent des 
traqueurs morts, 12 heures après.


L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL 
de téléchargement sur le site openstreetmap.org 
 (et qu'OSM lui-même devienne traqueur 
principal pour que les mises à jour suivent: au moins là le fichier 
est disponible, même si c'est avec des limitations de trafic, mais ça 
permettrait justement de lever les problèmes de disponibilité. Mais 
évidemment ça impose d'installer un traqueur torrent sur les serveurs 
d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux 
fichiers, et sinon ne désinscrivent les anciens fichiers que si ces 
serveurs n'ont plus la possibilité de les garder (il faudrait un 
délai pour avoir au moins deux versions dont la plus récente et celle 
d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de 
stockage plus les quelques Ko pour les deux fichiers traqueurs 
.torrent; je ne pense pas que cela nécessite beaucoup plus d'espace 
que ce qui est déjà nécessaire et qui tient compte aussi d'un espace 
de quelques % gardé libre pour la croissance régulière de la taille 
de ces fichiers Planet; les fichiers .torrent eux ne changeront 
quasiment pas de taille, mai il en faut un par fichier planet).


C'est ce que font les principales distribs Linux (y compris pour les 
mises à jour de paquets pour certaines): au moins une URL normale, 
d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur 
torrent qui soulage le tout côté serveurs en ajoutant une partie de 
la bande passante partagée des clients connectés, et permet de 
télécharger encore plus vite depuis plusieurs sources simultanées 
incluant le site principal et les miroirs volontaires qui veulent 
aussi inscrire leurs fichiers sur les mêmes traqueurs.



Le mar. 28 janv. 2020 à 20:48, Christian Quest 
mailto:cqu...@openstreetmap.fr>> a écrit :


J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur
disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci),
connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit
moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent
utilisé.

Merci d'avance !


-- 
Christian Quest - OpenStreetMap France



___
Talk-fr mailing list
Talk-fr@openstreetmap.org 
https://lists.openstreetmap.org/listinfo/talk-fr


--
Ce message a été vérifié par *MailScanner* 


pour des virus ou des polluriels et rien de
suspect n'a été trouvé.

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

--
Christian Quest - OpenStreetMap France

___
Talk-fr mailing list
Talk-fr@openstreetmap.org

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Le torrent est toujours marqué "indisponible" sur le téléchargeur de ma
freebox. Rien ne se charge, ça reste en attente.
Aucun aucun pair visible (0 clients, 0 seeds) quand j'ajoute le .torrent
qui ne se connecte pas du tout.
Comment fais-tu sur ta Freebox ? Je ne vois pourtant aucun blocage dans son
pare-feu.

Le jeu. 30 janv. 2020 à 10:36, Christian Quest  a
écrit :

> Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:
>
> - l'ajout de "web seed" dans les torrents
>
> - la mise en route de mon propre tracker (avec opentracker)
>
> - la création d'un nouveau torrent pour le planet historique (80Go) avec
> web seed et nouveau tracker
>
> - le bon content-type pour les .torrent sur osm.cquest.org
>
> - des liens symboliques "latest" vers le torrent de la dernière version
>
> A ajouter maintenant, un flux RSS...
>
>
> Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la même
> occasion le téléchargement en HTTP, ce qui permet là aussi de répartir la
> charge en bande passante.
>
> J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça
> fonctionne très bien, ce qui est utile pour scripter si besoin le download
> ;)
>
>
> Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
>
> Traqueurs vides de tous clients connectés dessus, donc pas de
> téléchargement du tout. Les deux traqueurs n'annoncent personne (statut
> torrent : non annoncé, sur opentracker.org bien que marqué "activé" et
> "traqueur principal"; sur le second traqueur sur openbittorrent.com il
> l'est même pas pas activé, donc pas annoncé non plus).
> Bref des traqueurs où il n'y a pas assez de persistance avec au moins un
> client stable pour rétablir les connexions, qui deviennent des traqueurs
> morts, 12 heures après.
>
> L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de
> téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne
> traqueur principal pour que les mises à jour suivent: au moins là le
> fichier est disponible, même si c'est avec des limitations de trafic, mais
> ça permettrait justement de lever les problèmes de disponibilité. Mais
> évidemment ça impose d'installer un traqueur torrent sur les serveurs
> d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et
> sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus
> la possibilité de les garder (il faudrait un délai pour avoir au moins deux
> versions dont la plus récente et celle d'avant; pour ~50Go par fichier
> planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux
> fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup
> plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un
> espace de quelques % gardé libre pour la croissance régulière de la taille
> de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment
> pas de taille, mai il en faut un par fichier planet).
>
> C'est ce que font les principales distribs Linux (y compris pour les mises
> à jour de paquets pour certaines): au moins une URL normale, d'autres en
> miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui
> soulage le tout côté serveurs en ajoutant une partie de la bande passante
> partagée des clients connectés, et permet de télécharger encore plus vite
> depuis plusieurs sources simultanées incluant le site principal et les
> miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes
> traqueurs.
>
>
> Le mar. 28 janv. 2020 à 20:48, Christian Quest 
> a écrit :
>
>> J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
>>
>> Vous pouvez participer au test en téléchargeant ce fichier planet à
>> l'aide du client BitTorrent de votre choix.
>>
>> Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)
>>
>> J'ai 3 "seed" actifs:
>>
>> - 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
>> par fibre
>>
>> - 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)
>>
>> - 1 depuis une dédibox
>>
>> Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)
>>
>>
>> Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
>> ça serait super cool pour se faire une idée de l'efficacité pour
>> proposer ce type de distribution dans l'avenir. Indiquez aussi votre
>> type de connexion internet et éventuellement le client bittorrent utilisé.
>>
>> Merci d'avance !
>>
>>
>> --
>> Christian Quest - OpenStreetMap France
>>
>>
>> ___
>> Talk-fr mailing list
>> Talk-fr@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-fr
>>
>
> --
> Ce message a été vérifié par *MailScanner* 
> pour des virus ou des polluriels et rien de
> suspect n'a été trouvé.
>
> ___
> Talk-fr mailing 
> listTalk-fr@openstreetmap.orghttps://lists.openstreetmap.org/listinfo/talk-fr
>
> --
> Christian Quest - 

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:

- l'ajout de "web seed" dans les torrents

- la mise en route de mon propre tracker (avec opentracker)

- la création d'un nouveau torrent pour le planet historique (80Go) avec 
web seed et nouveau tracker


- le bon content-type pour les .torrent sur osm.cquest.org

- des liens symboliques "latest" vers le torrent de la dernière version

A ajouter maintenant, un flux RSS...


Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la 
même occasion le téléchargement en HTTP, ce qui permet là aussi de 
répartir la charge en bande passante.


J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça 
fonctionne très bien, ce qui est utile pour scripter si besoin le 
download ;)



Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
Traqueurs vides de tous clients connectés dessus, donc pas de 
téléchargement du tout. Les deux traqueurs n'annoncent personne 
(statut torrent : non annoncé, sur opentracker.org 
 bien que marqué "activé" et "traqueur 
principal"; sur le second traqueur sur openbittorrent.com 
 il l'est même pas pas activé, donc pas 
annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins 
un client stable pour rétablir les connexions, qui deviennent des 
traqueurs morts, 12 heures après.


L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL 
de téléchargement sur le site openstreetmap.org 
 (et qu'OSM lui-même devienne traqueur 
principal pour que les mises à jour suivent: au moins là le fichier 
est disponible, même si c'est avec des limitations de trafic, mais ça 
permettrait justement de lever les problèmes de disponibilité. Mais 
évidemment ça impose d'installer un traqueur torrent sur les serveurs 
d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux 
fichiers, et sinon ne désinscrivent les anciens fichiers que si ces 
serveurs n'ont plus la possibilité de les garder (il faudrait un délai 
pour avoir au moins deux versions dont la plus récente et celle 
d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de 
stockage plus les quelques Ko pour les deux fichiers traqueurs 
.torrent; je ne pense pas que cela nécessite beaucoup plus d'espace 
que ce qui est déjà nécessaire et qui tient compte aussi d'un espace 
de quelques % gardé libre pour la croissance régulière de la taille de 
ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment 
pas de taille, mai il en faut un par fichier planet).


C'est ce que font les principales distribs Linux (y compris pour les 
mises à jour de paquets pour certaines): au moins une URL normale, 
d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur 
torrent qui soulage le tout côté serveurs en ajoutant une partie de la 
bande passante partagée des clients connectés, et permet de 
télécharger encore plus vite depuis plusieurs sources simultanées 
incluant le site principal et les miroirs volontaires qui veulent 
aussi inscrire leurs fichiers sur les mêmes traqueurs.



Le mar. 28 janv. 2020 à 20:48, Christian Quest 
mailto:cqu...@openstreetmap.fr>> a écrit :


J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.

Attention... il fait dans les 50Go, donc il faut de la place sur
disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci),
connecté
par fibre

- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit
moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent
utilisé.

Merci d'avance !


-- 
Christian Quest - OpenStreetMap France



___
Talk-fr mailing list
Talk-fr@openstreetmap.org 
https://lists.openstreetmap.org/listinfo/talk-fr


--
Ce message a été vérifié par *MailScanner* 
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


--
Christian Quest - OpenStreetMap France

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Philippe Verdy]

Traqueurs vides de tous clients connectés dessus, donc pas de
téléchargement du tout. Les deux traqueurs n'annoncent personne (statut
torrent : non annoncé, sur opentracker.org bien que marqué "activé" et
"traqueur principal"; sur le second traqueur sur openbittorrent.com il
l'est même pas pas activé, donc pas annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins un
client stable pour rétablir les connexions, qui deviennent des traqueurs
morts, 12 heures après.

L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL de
téléchargement sur le site openstreetmap.org (et qu'OSM lui-même devienne
traqueur principal pour que les mises à jour suivent: au moins là le
fichier est disponible, même si c'est avec des limitations de trafic, mais
ça permettrait justement de lever les problèmes de disponibilité. Mais
évidemment ça impose d'installer un traqueur torrent sur les serveurs
d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux fichiers, et
sinon ne désinscrivent les anciens fichiers que si ces serveurs n'ont plus
la possibilité de les garder (il faudrait un délai pour avoir au moins deux
versions dont la plus récente et celle d'avant; pour ~50Go par fichier
planet, il faut donc ~100Go de stockage plus les quelques Ko pour les deux
fichiers traqueurs .torrent; je ne pense pas que cela nécessite beaucoup
plus d'espace que ce qui est déjà nécessaire et qui tient compte aussi d'un
espace de quelques % gardé libre pour la croissance régulière de la taille
de ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment
pas de taille, mai il en faut un par fichier planet).

C'est ce que font les principales distribs Linux (y compris pour les mises
à jour de paquets pour certaines): au moins une URL normale, d'autres en
miroirs comples par RSYNC, et sinon leur propre traqueur torrent qui
soulage le tout côté serveurs en ajoutant une partie de la bande passante
partagée des clients connectés, et permet de télécharger encore plus vite
depuis plusieurs sources simultanées incluant le site principal et les
miroirs volontaires qui veulent aussi inscrire leurs fichiers sur les mêmes
traqueurs.


Le mar. 28 janv. 2020 à 20:48, Christian Quest  a
écrit :

> J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
>
> Vous pouvez participer au test en téléchargeant ce fichier planet à
> l'aide du client BitTorrent de votre choix.
>
> Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)
>
> J'ai 3 "seed" actifs:
>
> - 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté
> par fibre
>
> - 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)
>
> - 1 depuis une dédibox
>
> Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)
>
>
> Si vous pouvez notez le temps de transfert complet et/ou le débit moyen
> ça serait super cool pour se faire une idée de l'efficacité pour
> proposer ce type de distribution dans l'avenir. Indiquez aussi votre
> type de connexion internet et éventuellement le client bittorrent utilisé.
>
> Merci d'avance !
>
>
> --
> Christian Quest - OpenStreetMap France
>
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Cédric Frayssinet]

Bonjour Christian,

Voici mon test.

J'ai téléchargé le fichier en 28mn, soit environ 32 Mo/s derrière une
Freebox fibre et le logiciel Transmission 2.84.

J'ai pas pensé à utiliser l'outil  Freebox pour le téléchargement mais
si besoin, je peux mettre en partage sur ma freebox ; c'est une bonne idée.

Cédric

Le 28/01/2020 à 20:48, Christian Quest a écrit :
> J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
>
> Vous pouvez participer au test en téléchargeant ce fichier planet à
> l'aide du client BitTorrent de votre choix.
>
> Attention... il fait dans les 50Go, donc il faut de la place sur
> disque ;)
>
> J'ai 3 "seed" actifs:
>
> - 1 depuis ma freebox (avec le bittorrent intégré à celle-ci),
> connecté par fibre
>
> - 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)
>
> - 1 depuis une dédibox
>
> Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)
>
>
> Si vous pouvez notez le temps de transfert complet et/ou le débit
> moyen ça serait super cool pour se faire une idée de l'efficacité pour
> proposer ce type de distribution dans l'avenir. Indiquez aussi votre
> type de connexion internet et éventuellement le client bittorrent
> utilisé.
>
> Merci d'avance !
>
>

-- 

Sur Mastodon : @bristow...@framapiaf.org 

Promouvoir et soutenir le logiciel libre 

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/

Vous pouvez participer au test en téléchargeant ce fichier planet à 
l'aide du client BitTorrent de votre choix.


Attention... il fait dans les 50Go, donc il faut de la place sur disque ;)

J'ai 3 "seed" actifs:

- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci), connecté 
par fibre


- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)

- 1 depuis une dédibox

Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)


Si vous pouvez notez le temps de transfert complet et/ou le débit moyen 
ça serait super cool pour se faire une idée de l'efficacité pour 
proposer ce type de distribution dans l'avenir. Indiquez aussi votre 
type de connexion internet et éventuellement le client bittorrent utilisé.


Merci d'avance !


--
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Le 26/01/2020 à 21:29, marc marc a écrit :

Le 26.01.20 à 15:27, Thomas Gratier a écrit :

La version courte: l'ensemble de la communauté en récupérant des planet
complets finit par saturer la bande passante

question courte (de la discussion qui a lieu aussi sur la ml dev) :
pq 100 personnes ont besoin chaque semaine de télécharger le planet ?
je crois que certains ignorent ou trouvent trop compliqué la maj
cela implique de mieux informer et/ou rendre la maj + facile.



Je suis aussi étonné d'un besoin de téléchargement régulier du planet.

Il y a peut être une forme de paresse (plus simple) mais aussi une façon 
de se rassurer sur le "j'ai une copie identique" vis à vis d'une copie 
mise à jour avec les problèmes qui peuvent intervenir sur les mises à jour.




OpenStreetMap France pourrait créer un miroir et/ou une version torrent?

l'ironie c'est que pour le moment, faire un miroir doit se faire
par téléchargement d'un planet toute les semaine.
le planet osm.org lui meme n'est pas produit avec les diff.
après rien n'interdit de produire un planet non mirroir de l'original.
cela dépend de la réponse à la question précédente.



On peut effectivement le faire, mais on tombera dans la garantie d'avoir 
quelque chose d'identique.






Un/des avis?

une piste est de comprendre le besoin (voir point 1)
une piste est la création d'un planet non miroir (voir point précédent)
une piste est la création d'un miroir à la volée : pas de dl automatique
entre osm.org et osm.fr chaque semaine mais si qlq clique sur le lien
osm.fr, cela télécharger le dernier planet osm.org et le met à
disposition pendant une semaine (puisqu'après il est "périmé")
ainsi si 2 personnes téléchargent le planet via osm.fr
il y a un gain, sans jamais provoquer de trafic inutile.
la piste d'un miroir osm.org me semble venir après même si perso je
serrai pour, surtout si geolimité pour favoriser l'efficacité (car il y
a deja un outil qui télécharge sur tous les miroirs en meme temps,
c'est très con de télécharger sur un miroir loin quand on en a un proche)


Un miroir "à la volé" ne présente de l'intérêt que si il est peu 
utilisé, si il n'est régulièrement, autant mettre à dispo dès que 
possible un fichier, pour favoriser l'usage du miroir (et simplifier son 
fonctionnement).



Le 26.01.20 à 20:09, Christian Quest a écrit :
> Je viens de regénérer des torrents pour le fichier planet pbf:
> http://osm.cquest.org/torrents/

créer autant de torrent mono-seed initial que de personne ayant l'idée
d'héberger un planet en réduit l'intérêt. surtout combiné à la non
priorisation des sources proches.
c'est p'tre cela qui explique la non utilisation, faudrait au moins
avoir le lien depuis la page osm.fr en attend plus communautaire.

ton planet vient d'osm.org ou c'est une génération locale ?

Il vient d'un miroir, et je l'avais déjà sur disque car j'ai importé une 
base monde cette semaine sur ma tour nord ;)


On peut même créer des torrents "hybrides" qui peuvent utiliser des 
sources HTTP en seed... ce qui combine le téléchargement direct depuis 
de multiples serveurs miroir et le p2p entre ceux qui téléchargent.


Ces torrents sont expérimentaux, histoire de tester et valider le 
fonctionnement. Après validation et automatisation de tout ça, il 
suffira de mettre ces petits fichiers sur planet.openstreetmap.org (et 
les miroirs) pour leur donner de la visibilité et qu'ils soient 
largement partagés et utilisés. On itère ;)


Pour le download par script, lftp est un wget/curl like qui intègre 
aussi le protocole BitTorrent. A tester aussi...


La diffusion par torrent se fait déjà par exemple pour ubuntu. Lors des 
sorties de releases semestrielles, le demande en download est énorme et 
les torrents sont une bonne alternative. J'avais aussi testé la 
diffusion des sorties de modèles de prévision de météo-france, qui eux 
sont non seulement volumineux mais mis à jour toutes les 6h. Tout sort 
des serveurs de MF à Toulouse et donc le lien est saturé... le p2p n'a 
jamais été envisagé (bien que proposé comme solution) vu que c'est une 
techno trop attachée au côté "piratage".


--
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[marc marc]

Le 26.01.20 à 20:09, Christian Quest a écrit :
> Je viens de regénérer des torrents pour le fichier planet pbf:
> http://osm.cquest.org/torrents/

créer autant de torrent mono-seed initial que de personne ayant l'idée
d'héberger un planet en réduit l'intérêt. surtout combiné à la non
priorisation des sources proches.
c'est p'tre cela qui explique la non utilisation, faudrait au moins
avoir le lien depuis la page osm.fr en attend plus communautaire.

ton planet vient d'osm.org ou c'est une génération locale ?
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[marc marc]

Le 26.01.20 à 15:27, Thomas Gratier a écrit :
> La version courte: l'ensemble de la communauté en récupérant des planet
> complets finit par saturer la bande passante

question courte (de la discussion qui a lieu aussi sur la ml dev) :
pq 100 personnes ont besoin chaque semaine de télécharger le planet ?
je crois que certains ignorent ou trouvent trop compliqué la maj
cela implique de mieux informer et/ou rendre la maj + facile.

> OpenStreetMap France pourrait créer un miroir et/ou une version torrent?

l'ironie c'est que pour le moment, faire un miroir doit se faire
par téléchargement d'un planet toute les semaine.
le planet osm.org lui meme n'est pas produit avec les diff.
après rien n'interdit de produire un planet non mirroir de l'original.
cela dépend de la réponse à la question précédente.

> Un/des avis?

une piste est de comprendre le besoin (voir point 1)
une piste est la création d'un planet non miroir (voir point précédent)
une piste est la création d'un miroir à la volée : pas de dl automatique
entre osm.org et osm.fr chaque semaine mais si qlq clique sur le lien
osm.fr, cela télécharger le dernier planet osm.org et le met à
disposition pendant une semaine (puisqu'après il est "périmé")
ainsi si 2 personnes téléchargent le planet via osm.fr
il y a un gain, sans jamais provoquer de trafic inutile.
la piste d'un miroir osm.org me semble venir après même si perso je
serrai pour, surtout si geolimité pour favoriser l'efficacité (car il y
a deja un outil qui télécharge sur tous les miroirs en meme temps,
c'est très con de télécharger sur un miroir loin quand on en a un proche)
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Pour de gros fichiers comme ça, à la durée de vie courte, BitTorrent me 
semble bien adapté et les mirroir il y en a déjà plusieurs mais 
visiblement peu utilisés (il faudrait un redirect automatique à la 
sourceforge).


Le p2p est adapté car plus il y a de monde à charger un fichier, plus il 
est disponible au même moment et donc cela ne s'engorge pas à la source 
primaire.



J'avais mis ça en place il y a quelques années, sur un petit scaleway... 
mais comme ce n'était pas utilisé j'ai arrêté.


Je viens de regénérer des torrents pour le fichier planet pbf: 
http://osm.cquest.org/torrents/


Il faut juste maintenant que j'arrive à "seeder" correctement depuis mes 
twin towers, chacune connectée à une fibre différente, ce qui devrait 
faire dans les 500Mbps x 2 en sortie.



Le 26/01/2020 à 15:37, Thomas Gratier a écrit :

Bonjour,

Pour le suivi, cela semble temporaire 
https://lists.openstreetmap.org/pipermail/dev/2020-January/030873.html
Mais la question d'avoir un miroir fr supplémentaire (si ce n'est pas 
déjà le cas) ou un bittorrent reste ouverte.



Thomas Gratier

Le dim. 26 janv. 2020 à 15:27, Thomas Gratier 
mailto:osgeo.mailingl...@gmail.com>> a 
écrit :


Salut à tous,

Il y a une discussion enflammée sur Twitter
https://twitter.com/komzpa/status/1221025538317475842 concernant
la limitation récente de la bande passante pour récupérer un
fichier planet
https://twitter.com/komzpa/status/1221025538317475842qui rend donc
le processus très long.

La version courte: l'ensemble de la communauté en récupérant des
planet complets finit par saturer la bande passante (voir
https://lists.openstreetmap.org/pipermail/dev/2020-January/030873.html)
et cela semble poser des problèmes réseaux. Il faudrait selon
certains ne travailler plus qu'avec des diff pour limiter la bande
passante en argumentant que sinon on va au delà du "fair use"
(pour les tuiles, je comprend mais pour la donnée brute, j'ai plus
de mal). Pour d'autres, il faudrait avoir des miroirs et/ou des
versions torrent pour ne plus avoir ce genre de limitation.

Personnellement, je suis plutôt partisan de la seconde option car
sinon pour travailler avec un planet, il faudra se préoccuper de
mettre en place des diff, ce qui est une barrière à la
réutilisation de mon point de vue.

OpenStreetMap France pourrait créer un miroir et/ou une version
torrent? On peut se rapprocher de la fondation en tant que
chapitre local pour faire avancer le truc?

Un/des avis?


Merci de vos retours

Thomas Gratier
https://twitter.com/komzpa/status/1221179076079235072
https://twitter.com/komzpa/status/1221174462852292608
https://twitter.com/komzpa/status/1221174462852292608


--
Ce message a été vérifié par *MailScanner* 
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


--
Christian Quest - OpenStreetMap France

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Thomas Gratier]

Bonjour,

Pour le suivi, cela semble temporaire
https://lists.openstreetmap.org/pipermail/dev/2020-January/030873.html
Mais la question d'avoir un miroir fr supplémentaire (si ce n'est pas déjà
le cas) ou un bittorrent reste ouverte.


Thomas Gratier

Le dim. 26 janv. 2020 à 15:27, Thomas Gratier 
a écrit :

> Salut à tous,
>
> Il y a une discussion enflammée sur Twitter
> https://twitter.com/komzpa/status/1221025538317475842 concernant la
> limitation récente de la bande passante pour récupérer un fichier planet
> https://twitter.com/komzpa/status/1221025538317475842qui rend donc le
> processus très long.
>
> La version courte: l'ensemble de la communauté en récupérant des planet
> complets finit par saturer la bande passante (voir
> https://lists.openstreetmap.org/pipermail/dev/2020-January/030873.html)
> et cela semble poser des problèmes réseaux. Il faudrait selon certains ne
> travailler plus qu'avec des diff pour limiter la bande passante en
> argumentant que sinon on va au delà du "fair use" (pour les tuiles, je
> comprend mais pour la donnée brute, j'ai plus de mal). Pour d'autres, il
> faudrait avoir des miroirs et/ou des versions torrent pour ne plus avoir ce
> genre de limitation.
>
> Personnellement, je suis plutôt partisan de la seconde option car sinon
> pour travailler avec un planet, il faudra se préoccuper de mettre en place
> des diff, ce qui est une barrière à la réutilisation de mon point de vue.
>
> OpenStreetMap France pourrait créer un miroir et/ou une version torrent?
> On peut se rapprocher de la fondation en tant que chapitre local pour faire
> avancer le truc?
>
> Un/des avis?
>
>
> Merci de vos retours
>
> Thomas Gratier
> https://twitter.com/komzpa/status/1221179076079235072
> https://twitter.com/komzpa/status/1221174462852292608
> https://twitter.com/komzpa/status/1221174462852292608
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

[OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Thomas Gratier]

Salut à tous,

Il y a une discussion enflammée sur Twitter
https://twitter.com/komzpa/status/1221025538317475842 concernant la
limitation récente de la bande passante pour récupérer un fichier planet
https://twitter.com/komzpa/status/1221025538317475842qui rend donc le
processus très long.

La version courte: l'ensemble de la communauté en récupérant des planet
complets finit par saturer la bande passante (voir
https://lists.openstreetmap.org/pipermail/dev/2020-January/030873.html) et
cela semble poser des problèmes réseaux. Il faudrait selon certains ne
travailler plus qu'avec des diff pour limiter la bande passante en
argumentant que sinon on va au delà du "fair use" (pour les tuiles, je
comprend mais pour la donnée brute, j'ai plus de mal). Pour d'autres, il
faudrait avoir des miroirs et/ou des versions torrent pour ne plus avoir ce
genre de limitation.

Personnellement, je suis plutôt partisan de la seconde option car sinon
pour travailler avec un planet, il faudra se préoccuper de mettre en place
des diff, ce qui est une barrière à la réutilisation de mon point de vue.

OpenStreetMap France pourrait créer un miroir et/ou une version torrent? On
peut se rapprocher de la fondation en tant que chapitre local pour faire
avancer le truc?

Un/des avis?


Merci de vos retours

Thomas Gratier
https://twitter.com/komzpa/status/1221179076079235072
https://twitter.com/komzpa/status/1221174462852292608
https://twitter.com/komzpa/status/1221174462852292608
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr