Use o Tor via SOCKS, e para compensar a lentidão, rode o crawler em uns 30 requests paralelos/concorrentes.
среда, 29 января 2014 г. пользователь Lucas Moraes написал: > Boa noite pessoal, estou fazendo web crawler de um site, só que esse site > bloqueou meu IP e fui forçado a usar proxy, mas estou tento problema de > lentidão. Alguém tem alguma solução para deixar o proxy mais rápido? > Falou. >
=begin disclaimer Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ SaoPaulo-pm mailing list: [email protected] L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> =end disclaimer
