[SP-pm] Web Crawler com proxy lento
Daniel Vinciguerra
dan.vinciguerra at gmail.com
Wed Jan 29 15:53:45 PST 2014
Até onde sei existem N fatores que podem ser os motivos da lentidão que vão
desde banda à geolocalização do proxy em relação a você e ao website.
Como não sou nenhum perito em infra, tentaria outros proxies ou tentaria
fazer um trackback sobre o tempo de resposta do proxie que vc esta usando e
algo mais pra ter mais informações sobre a conexão e poder definir melhor
uma alternativa.
*Daniel Vinciguerra*
Web Solutions Architect and Co-Owner at Bivee
http://github.com/dvinciguerra <http://github.com/dvinciguerra>
2014-01-29 Lucas Moraes <lucastiagodemoraes at gmail.com>
> Boa noite pessoal, estou fazendo web crawler de um site, só que esse site
> bloqueou meu IP e fui forçado a usar proxy, mas estou tento problema de
> lentidão. Alguém tem alguma solução para deixar o proxy mais rápido?
> Falou.
>
> =begin disclaimer
> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
> SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
> =end disclaimer
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20140129/c4d0e202/attachment.html>
More information about the SaoPaulo-pm
mailing list