Lucas, Com relação a lentidão, estou assumindo que antes vc fazia o acesso ao site na mesma localização (o teu script roda no Brasil para acessar o servidor que está no Brasil também) e com o proxy passou ter acesso via outra região (EUA por exemplo).
Se for isto, só esta mudança vai fazer você altera a latência de uns 30 ms (no meu ambiente tenho latência de 3 ms) para qualquer coisa começando com 300 ms. Ou seja, a simples troca de ponto de acesso faz com que o tempo de viagem aumente em 10 vezes (no mínimo). Contra latência não muito o que fazer, mas recentemente tive um ganho interessante nos meus scripts trocando o LWP::UserAgent pelo WWW::Curl::UserAgent. O Stan tem razão, diante do fato, aparentemente o paralelismo parece ser a melhor alternativa. Para aumentar o paralelismo, recomendo fortemente utilizar o Parallel::ForkManager. Abraços, Solli Honorio Em 29 de janeiro de 2014 19:59, Lucas Moraes <[email protected]>escreveu: > Boa noite pessoal, estou fazendo web crawler de um site, só que esse site > bloqueou meu IP e fui forçado a usar proxy, mas estou tento problema de > lentidão. Alguém tem alguma solução para deixar o proxy mais rápido? > Falou. > > =begin disclaimer > Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ > SaoPaulo-pm mailing list: [email protected] > L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> > =end disclaimer > > -- "o animal satisfeito dorme". - Guimarães Rosa
=begin disclaimer Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ SaoPaulo-pm mailing list: [email protected] L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> =end disclaimer
