<div dir="ltr">Exemplo para a minha resposta, utilizando <a href="https://metacpan.org/pod/yada">https://metacpan.org/pod/yada</a>:<br><div><br></div><div>$ yada --max 30 --proxy socks4://<a href="http://127.0.0.1:9060">127.0.0.1:9060</a> --useragent 'Mozilla/4.0 (MSIE 6.0; Windows NT 5.0)' lista_de_urls.txt</div>

<div><br></div><div>Isso assumindo que vc esteja rodando o daemon do tor com a configuração padrão, e que o arquivo lista_de_urls.txt tenha 1 URL por linha :)</div><div>Pela minha experiência, dá para aumentar a concorrência muito mais. Mas para isso teria que rodar vários daemons do tor, cada um conectado em um circuito diferente. Isso engana até o firewall do Akamai :D</div>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-01-30 Solli Honorio <span dir="ltr"><<a href="mailto:shonorio@gmail.com" target="_blank">shonorio@gmail.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr">Lucas,<div><br></div><div>Com relação a lentidão, estou assumindo que antes vc fazia o acesso ao site na mesma localização (o teu script roda no Brasil para acessar o servidor que está no Brasil também) e com o proxy passou ter acesso via outra região (EUA por exemplo).</div>



<div><br></div><div>Se for isto, só esta mudança vai fazer você altera a latência de uns 30 ms (no meu ambiente tenho latência de 3 ms) para qualquer coisa começando com 300 ms. Ou seja, a simples troca de ponto de acesso faz com que o tempo de viagem aumente em 10 vezes (no mínimo).</div>



<div><br></div><div>Contra latência não muito o que fazer, mas recentemente tive um ganho interessante nos meus scripts trocando o LWP::UserAgent pelo WWW::Curl::UserAgent.</div><div><br></div><div>O Stan tem razão, diante do fato, aparentemente o paralelismo parece ser a melhor alternativa.</div>



<div><br></div><div>Para aumentar o paralelismo, recomendo fortemente utilizar o Parallel::ForkManager.</div><div><br></div><div>Abraços,</div><div><br></div><div>Solli Honorio</div><div><br></div></div><div class="gmail_extra">



<br><br><div class="gmail_quote">Em 29 de janeiro de 2014 19:59, Lucas Moraes <span dir="ltr"><<a href="mailto:lucastiagodemoraes@gmail.com" target="_blank">lucastiagodemoraes@gmail.com</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div class="im">

<div dir="ltr">Boa noite pessoal, estou fazendo web crawler de um site, só que esse site bloqueou meu IP e fui forçado a usar proxy, mas estou tento problema de lentidão. Alguém tem alguma solução para deixar o proxy mais rápido?<div>




Falou.</div></div>
<br></div><div class="im">=begin disclaimer<br>
   Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
 SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
 L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></div></blockquote></div><span class="HOEnZb"><font color="#888888"><br><br clear="all"><div><br></div>-- <br>"o animal satisfeito dorme". - Guimarães Rosa
</font></span></div>
<br>=begin disclaimer<br>
   Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
 SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org">SaoPaulo-pm@pm.org</a><br>
 L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></blockquote></div><br></div>