<p dir="ltr">Tente usar uma lista maior de proxies.  E se possível tente  negociar um user agent que não seja barrado, tente respeitar ETAG, if-modify-since etc. </p>
<div class="gmail_quote">Le 30 janv. 2014 08:20, "Solli Honorio" <<a href="mailto:shonorio@gmail.com">shonorio@gmail.com</a>> a écrit :<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">Lucas,<div><br></div><div>Com relação a lentidão, estou assumindo que antes vc fazia o acesso ao site na mesma localização (o teu script roda no Brasil para acessar o servidor que está no Brasil também) e com o proxy passou ter acesso via outra região (EUA por exemplo).</div>


<div><br></div><div>Se for isto, só esta mudança vai fazer você altera a latência de uns 30 ms (no meu ambiente tenho latência de 3 ms) para qualquer coisa começando com 300 ms. Ou seja, a simples troca de ponto de acesso faz com que o tempo de viagem aumente em 10 vezes (no mínimo).</div>


<div><br></div><div>Contra latência não muito o que fazer, mas recentemente tive um ganho interessante nos meus scripts trocando o LWP::UserAgent pelo WWW::Curl::UserAgent.</div><div><br></div><div>O Stan tem razão, diante do fato, aparentemente o paralelismo parece ser a melhor alternativa.</div>


<div><br></div><div>Para aumentar o paralelismo, recomendo fortemente utilizar o Parallel::ForkManager.</div><div><br></div><div>Abraços,</div><div><br></div><div>Solli Honorio</div><div><br></div></div><div class="gmail_extra">


<br><br><div class="gmail_quote">Em 29 de janeiro de 2014 19:59, Lucas Moraes <span dir="ltr"><<a href="mailto:lucastiagodemoraes@gmail.com" target="_blank">lucastiagodemoraes@gmail.com</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div dir="ltr">Boa noite pessoal, estou fazendo web crawler de um site, só que esse site bloqueou meu IP e fui forçado a usar proxy, mas estou tento problema de lentidão. Alguém tem alguma solução para deixar o proxy mais rápido?<div>



Falou.</div></div>
<br>=begin disclaimer<br>
   Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
 SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
 L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br>"o animal satisfeito dorme". - Guimarães Rosa
</div>
<br>=begin disclaimer<br>
   Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
 SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org">SaoPaulo-pm@pm.org</a><br>
 L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></blockquote></div>