[SP-pm] Web Crawler com proxy lento

[Stanislaw Pusep]

Use o Tor via SOCKS, e para compensar a lentidão, rode o crawler em uns 30
requests paralelos/concorrentes.

среда, 29 января 2014 г. пользователь Lucas Moraes написал:

> Boa noite pessoal, estou fazendo web crawler de um site, só que esse site
> bloqueou meu IP e fui forçado a usar proxy, mas estou tento problema de
> lentidão. Alguém tem alguma solução para deixar o proxy mais rápido?
> Falou.
>
-------------- Pr�xima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20140130/b41906a5/attachment.html>