柴田(あ)です。 <[email protected]> の、 "Re: [OSM-ja]キャッシュデータの分割" において、 "Wed, 17 Mar 2010 11:11:27 -0700" 発信のメイルで "Shun N. Watanabe"さんは書きました：
> nazotoko の渡邊です。 > > 2010/3/17 SHIBATA Akira <[email protected]>: > > 柴田(あ)です。 > > http://38.127.225.239:8080/?MLITJ … > > のパフォーマンスがめっちゃ落ちているように見えます。 > > 昨日柴田さんの負荷がきつすぎて、サーバーの持ち主から強制的にリセットを > かけられました。柴田さんのIPアドレスが、ブラックリスト入りすると、 > いろいろこまるので、これをもう使わないでください。 教えてくださってありがとうございます。 当方あせっていて… この週末にイベントがあって、少なくとも 24 時間は まったく PC に触れない時間がありそうと考えていて いない間でも wget を継続できるようにと仕込みの 方法を模索していました。 手動だとずっと張り付いていないといけないので… で、いろいろ実験させてもらってやっと安定的に 並列状態を維持できるようにする方法を見つけました。 わかるまで 48 時間くらいかかったということでも ありますが… > 逆に184.73.236.108 は、かなりの負荷に耐えられるタイプのサーバーです。 > こっちはまだ暇で、千葉茨城が終わったらやること無いので、 > こっちに回してください。 現在安定的に 8 〜 12 ほど並列に回っていると思います。 これ以上増やしてもしょうがない気がしますがいかがでしょう？ ということで下に二点ほど… ○並列 wget の数を制限する方法について wget するスクリプト(downdoad.sh)について下のように記述 #!/bin/sh bash ./download.sh XXXXX+(32x0) YYYYY XXXXX+(32x0)+32 YYYYY+32 & bash ./download.sh XXXXX+(32x1) YYYYY XXXXX+(32x1)+32 YYYYY+32 & : bash ./download.sh XXXXX+(32x6) YYYYY XXXXX+(32x6)+32 YYYYY+32 & bash ./download.sh XXXXX+(32x7) YYYYY XXXXX+(32x7)+32 YYYYY+32 bash ./download.sh XXXXX+(32x8) YYYYY XXXXX+(32x0)+32 YYYYY+32 & bash ./download.sh XXXXX+(32x9) YYYYY XXXXX+(32x1)+32 YYYYY+32 & : bash ./download.sh XXXXX+(32x14) YYYYY XXXXX+(32x14)+32 YYYYY+32 & bash ./download.sh XXXXX+(32x15) YYYYY XXXXX+(32x15)+32 YYYYY+32 ってな感じに並列に動かしたいスクリプトをいくつか書いて 行末のアンパサンド「 & 」で「バックグラウンドに移し、 何行かに一つアンパサンドを抜くという方法です。 前提は wget するスクリプトがだいたい同じペースで動いて くれることです。 特に行末にアンパサンドがついていない行がさっさと終わると 次のアンパサンドが付いている行が動き出して負荷が 急激に上がります。 実験で sleep とか使ってみたりしましたが、 この方法のほうが簡単でかつ途切れがないようにおもいます。 あと親プロセスの kill の仕方によってはゾンビになって wget のスクリプトが急激にたくさん動いたりして、これまた 面倒なことになりました。 多分強制的リセットがかかったのはその辺の並列実験をしていた ためだろうと思います。 # ってわかっているひとには当然のことかもしれませんが、 # 当方のような wget 初心者には負荷のかけ方がわかって # いませんで、他の方の益になればと思います。 ○遺言のような (笑 多分そうなりませんが、万一のときにはということで… 先述の内容にて少なくとも 24 時間は PC に触れない予定なのは この週末に自転車の遠乗りのイベントのためです。 ですので、少なくとも 24 時間は触らなくても黙って稼動する ことを期待しているわけです。 3/19 の宵の口くらいには測定経験から 36 時間分くらいの エリア指定を投入しようと思います。 # 疲労困憊したあとゆっくり寝られる期待 (^^; まぁ、それはおいといて、万一帰ってこなかったときに、 当方が wget したデータについて永続的に見える状態とは いえませんので、当方のサーバから抜いていっていただけると ありがたいです。 当方のサーバから wget で抜く方法は多分渡邊さんなら 範囲と方法をご存知ですので、ソのときにはヨロシクです＞各位 や、還ってくるつもりですけど、永久にというのは一番避けたくて 何日かとかいうのも次善(笑)ということで、継続性をと思います。 要は「ソの場合」に親族にサーバの電源を落とされるまでに 回収していってもらえればと。 -- あまねく生命に、あまねく知性に、最大の幸福を願う [email protected] http://www.psychoscape.net/ _______________________________________________ Talk-ja mailing list [email protected] http://lists.openstreetmap.org/listinfo/talk-ja
