Bonjour tout le monde,
J'ai cr�� un petit script bash, sans grande pr�tention, destin� � t�l�charger
en local des pages statiques. Pour ne pas charger le serveur, j'ai mis des
temps d'attente entre chaque d/l . Accessoirement, ces temps sont variables.
Ce qui me g�ne sont les options de wget. Comme vous le voyez, le range d'id
est asser important, et le t�l�pchargement de tout cela se fait sur plusieurs
semaines.
Je passe par un netcahe, et j'ai mis les login et pass en variables d'env,
cela fonctionne bien.
Par contre, le netcache, comme la connection internet sont susceptible de
tomber, c'est pour cela que je donne ces options � wget, de r�essayer �
l'infinie. Mais m�me avec ces options, il arrive souvent que le script
s'arr�te avec un timeout d�pass�.
J'aimerai bien ne pas avoir � aller v�rifier tous les jours que le script
continue de tourner, et �viter ces timeout.
Quelqu'un aurait-il des informations pour m'aider � fiabiliser la persistence
de wget?
Merci de votre aide.
--
Vincent
[SCRIPT]
#!/bin/sh
# url.sh get all files id
# Vincent Badier <[EMAIL PROTECTED]>
# May 2003
# Predefined range
START_ID=0
END_ID=1000000
ATTENTE=100
# We construct all variables
id=${2:-END_ID}
I=${1:-START_ID}
HIBOUND=${3:-ATTENTE}
URL="http://toto.com?Id=";
echo $id
echo $I
LOBOUND=1
RANDMAX=32767
while [ $I -lt $id ]; do
URLM=${URL}$I
echo "Downloading "${URLM}...
wget -c --waitretry=15 --tries=inf $URLM || exit 1
I=$(($I + 1))
BINUMBER=$(( $LOBOUND + ($HIBOUND * $RANDOM) / ($RANDMAX + 1) ))
echo "sleeping $BINUMBER"
sleep $BINUMBER
done
Vous souhaitez acquerir votre Pack ou des Services MandrakeSoft?
Rendez-vous sur "http://www.mandrakestore.com";
