Exemplo para a minha resposta, utilizando https://metacpan.org/pod/yada:
$ yada --max 30 --proxy socks4://127.0.0.1:9060 --useragent 'Mozilla/4.0 (MSIE 6.0; Windows NT 5.0)' lista_de_urls.txt Isso assumindo que vc esteja rodando o daemon do tor com a configuração padrão, e que o arquivo lista_de_urls.txt tenha 1 URL por linha :) Pela minha experiência, dá para aumentar a concorrência muito mais. Mas para isso teria que rodar vários daemons do tor, cada um conectado em um circuito diferente. Isso engana até o firewall do Akamai :D 2014-01-30 Solli Honorio <[email protected]> > Lucas, > > Com relação a lentidão, estou assumindo que antes vc fazia o acesso ao > site na mesma localização (o teu script roda no Brasil para acessar o > servidor que está no Brasil também) e com o proxy passou ter acesso via > outra região (EUA por exemplo). > > Se for isto, só esta mudança vai fazer você altera a latência de uns 30 ms > (no meu ambiente tenho latência de 3 ms) para qualquer coisa começando com > 300 ms. Ou seja, a simples troca de ponto de acesso faz com que o tempo de > viagem aumente em 10 vezes (no mínimo). > > Contra latência não muito o que fazer, mas recentemente tive um ganho > interessante nos meus scripts trocando o > LWP::UserAgent pelo WWW::Curl::UserAgent. > > O Stan tem razão, diante do fato, aparentemente o paralelismo parece ser a > melhor alternativa. > > Para aumentar o paralelismo, recomendo fortemente utilizar > o Parallel::ForkManager. > > Abraços, > > Solli Honorio > > > > Em 29 de janeiro de 2014 19:59, Lucas Moraes <[email protected] > > escreveu: > >> Boa noite pessoal, estou fazendo web crawler de um site, só que esse >> site bloqueou meu IP e fui forçado a usar proxy, mas estou tento problema >> de lentidão. Alguém tem alguma solução para deixar o proxy mais rápido? >> Falou. >> >> =begin disclaimer >> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ >> SaoPaulo-pm mailing list: [email protected] >> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> >> =end disclaimer >> >> > > > -- > "o animal satisfeito dorme". - Guimarães Rosa > > =begin disclaimer > Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ > SaoPaulo-pm mailing list: [email protected] > L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> > =end disclaimer > >
=begin disclaimer Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ SaoPaulo-pm mailing list: [email protected] L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> =end disclaimer
