<div dir="ltr">Valeu pessoal pelas respostas, foram de muita valia para mim.<div>Desculpa pela demora para responder eu estava de viajem. </div><div>Ate mais.</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">
Em 31 de janeiro de 2014 00:15, Marcio Ferreira <span dir="ltr"><<a href="mailto:marciodesouzaferreira@gmail.com" target="_blank">marciodesouzaferreira@gmail.com</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr"><div><div><div><div>Lucas, você já tentou randomizar seu UserAgent a cada request? (ou mesmo qualquer parametro que altere seu fingerprint?)<br></div><div><br>Usar um pool de servidores necessita um trabalho mais orquestrado(com uso de filas, talvez <i>semaphore</i>), talvez pequenas alterações no código já resolva seu problema.<br>
</div><div><br></div>Recomendo fortemente o YADA. Stan++<br><br></div>Umas configurações simples podem te ajudar:<br><br>my %conf = (<br> http_response => 1,<br> max => 25,<br> common_opts => {<br> FOLLOWLOCATION => 1,<br>
TIMEOUT => 20,<br># VERBOSE => 1,<br> SSL_VERIFYHOST => 0,<br> SSL_VERIFYPEER => 0,<br> PROXY => 'localhost:9050',<br> PROXYTYPE => Net::Curl::Easy::CURLPROXY_SOCKS4,<br> USERAGENT => WWW::UserAgent::Random::rand_ua("browsers")<br>
});<br><br></div><div>YADA->new( %conf );<br></div><div><br></div>Essa configuração faz requisições via TOR(já mencionado pelo Stan) e ainda altera randomicamente seu UserAgent.<br><br>Outra recomendação também é você alterar os UAs do WWW::UserAgent::Random, o módulo não é atualizado a muito tempo(então só possui browsers antigos) o que torna simples esse hack.<br>
<br></div><div>Abs!<br></div><div><div><br></div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">Em 30 de janeiro de 2014 13:40, Leonardo Ruoso <span dir="ltr"><<a href="mailto:leonardo@ruoso.com" target="_blank">leonardo@ruoso.com</a>></span> escreveu:<div>
<div class="h5"><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">LVS é seu amigo!<div><br></div><div>Se o IP é de um pool de servidores, então é só colocar para sair alternadamente por todos os IPs.</div>
<div><br></div><div>Se o IP é de dialup, aí é mais complicado, você precisaria de uma VM em qualquer lugar, Amazon, Linode, etc e faz a mesma coisa, roteamento com LVS, mas usando NAT no LVS e configurando o LVS para fazer rotação de IP. </div>
<div><br></div><div>Provavelmente a performance vai ficar muito maior que com o tor, com a desvantagem de que se você não consegue justificar um pool de IP para você o provedor lhe fornece cada IP por um pequeno custo mensal. </div>
<div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">Em 30 de janeiro de 2014 08:20, Solli Honorio <span dir="ltr"><<a href="mailto:shonorio@gmail.com" target="_blank">shonorio@gmail.com</a>></span> escreveu:<div>
<div><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Lucas,<div><br></div><div>Com relação a lentidão, estou assumindo que antes vc fazia o acesso ao site na mesma localização (o teu script roda no Brasil para acessar o servidor que está no Brasil também) e com o proxy passou ter acesso via outra região (EUA por exemplo).</div>
<div><br></div><div>Se for isto, só esta mudança vai fazer você altera a latência de uns 30 ms (no meu ambiente tenho latência de 3 ms) para qualquer coisa começando com 300 ms. Ou seja, a simples troca de ponto de acesso faz com que o tempo de viagem aumente em 10 vezes (no mínimo).</div>
<div><br></div><div>Contra latência não muito o que fazer, mas recentemente tive um ganho interessante nos meus scripts trocando o LWP::UserAgent pelo WWW::Curl::UserAgent.</div><div><br></div><div>O Stan tem razão, diante do fato, aparentemente o paralelismo parece ser a melhor alternativa.</div>
<div><br></div><div>Para aumentar o paralelismo, recomendo fortemente utilizar o Parallel::ForkManager.</div><div><br></div><div>Abraços,</div><div><br></div><div>Solli Honorio</div><div><br></div></div><div class="gmail_extra">
<br><br><div class="gmail_quote">Em 29 de janeiro de 2014 19:59, Lucas Moraes <span dir="ltr"><<a href="mailto:lucastiagodemoraes@gmail.com" target="_blank">lucastiagodemoraes@gmail.com</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div>
<div dir="ltr">Boa noite pessoal, estou fazendo web crawler de um site, só que esse site bloqueou meu IP e fui forçado a usar proxy, mas estou tento problema de lentidão. Alguém tem alguma solução para deixar o proxy mais rápido?<div>
Falou.</div></div>
<br></div><div>=begin disclaimer<br>
Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></div></blockquote></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br>"o animal satisfeito dorme". - Guimarães Rosa
</font></span></div>
<br>=begin disclaimer<br>
Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></blockquote></div></div></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br>Leonardo Ruoso<div>Journalist, Perl developer and business consultant<br><div>Media, UFC/2006; Telecom, IFCE/1998</div>
</div>
</font></span></div>
<br>=begin disclaimer<br>
Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></blockquote></div></div></div><br></div>
<br>=begin disclaimer<br>
Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org">SaoPaulo-pm@pm.org</a><br>
L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></blockquote></div><br></div>