<div dir="ltr">Павел, а для чего вам это нужно?<div>Если для того, чтобы скачать как можно быстрее некий список URL, то рекомендую Parallel::Downloader, он как раз на основе AnyEvent::HTTP. А еще для подобных целей бывают AnyEvent::Curl::Multi и AnyEvent::Net::Curl::Queued. Ну и на основе Mojo::UserAgent тоже довольно просто такое сделать: <a href="https://gist.github.com/creaktive/4347600" target="_blank">https://gist.github.com/creaktive/4347600</a></div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-10-02 9:29 GMT+02:00 Павел Купцов <span dir="ltr"><<a href="mailto:pavel@kuptsov.info" target="_blank">pavel@kuptsov.info</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">В итоге сделал так: <div><br><div class="gmail_extra"><div class="gmail_extra">my $max = 100;# </div><div class="gmail_extra">$AnyEvent::HTTP::MAX_PER_HOST = $max;<br></div><div class="gmail_extra"><br></div><div class="gmail_extra">...</div><div class="gmail_extra"><div class="gmail_extra">$cv->begin;</div><div class="gmail_extra"> http_get $url,<br></div><div class="gmail_extra"> cookie_jar => {},</div><div class="gmail_extra"> recurse => 3, </div><div class="gmail_extra"> headers => {</div><div class="gmail_extra"> 'user-agent' => 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',</div><div class="gmail_extra"> referer => '<a href="http://referer.com" target="_blank">http://referer.com</a>'</div><div class="gmail_extra"> },</div><div class="gmail_extra"> timeout => 20,</div><div class="gmail_extra">...</div></div><div class="gmail_extra"><br></div><div class="gmail_extra"><br></div><div class="gmail_extra">Пока полет нормальный. Ну и с учетом того что у меня идет опрос по списку урлов и все домены уникальны - то не думаю что нанесу вред какому-то сайту персонально :)).</div><div><div><div dir="ltr"><div><br></div><div>--</div><div>Павел</div></div></div></div>
<br><div class="gmail_quote">1 октября 2015 г., 22:00 пользователь <span dir="ltr"><<a href="mailto:moscow-pm-request@pm.org" target="_blank">moscow-pm-request@pm.org</a>></span> написал:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span class="">Сообщения, предназначенные для списка<br>
рассылки Moscow-pm, отправляйте по адресу<br>
<a href="mailto:moscow-pm@pm.org" target="_blank">moscow-pm@pm.org</a><br>
<br>
Для изменения параметров подписки или<br>
отписки используйте веб-страницу<br>
<a href="http://mail.pm.org/mailman/listinfo/moscow-pm" rel="noreferrer" target="_blank">http://mail.pm.org/mailman/listinfo/moscow-pm</a><br>
или отправьте письмо, в теле или теме<br>
которого будет слово 'help', по адресу<br>
<a href="mailto:moscow-pm-request@pm.org" target="_blank">moscow-pm-request@pm.org</a><br>
<br>
Адрес администратора этого списка<br>
рассылки:<br>
<a href="mailto:moscow-pm-owner@pm.org" target="_blank">moscow-pm-owner@pm.org</a><br>
<br>
При ответе, пожалуйста, измените тему<br>
письма на более содержательную чем "Re:<br>
Содержание дайджеста списка рассылки<br>
Moscow-pm..."<br>
<br>
<br>
В этом номере:<br>
<br></span>
1. Re: AnyEvent::HTTP MAX_PER_HOST (Ivan Petrov)<br>
2. Re: AnyEvent::HTTP MAX_PER_HOST (Ruslan Zakirov)<br>
3. Re: AnyEvent::HTTP MAX_PER_HOST (Alexey Shrub)<br>
<br>
<br>
----------------------------------------------------------------------<br>
<br>
Message: 1<br>
Date: Thu, 1 Oct 2015 15:27:51 +0300<br>
From: Ivan Petrov <<a href="mailto:i.petro.77.00@gmail.com" target="_blank">i.petro.77.00@gmail.com</a>><span class=""><br>
To: <a href="mailto:moscow-pm@pm.org" target="_blank">moscow-pm@pm.org</a><br>
Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST<br></span>
Message-ID: <<a href="mailto:20151001122751.GA10321@vdsl.uvw.ru" target="_blank">20151001122751.GA10321@vdsl.uvw.ru</a>><br>
Content-Type: text/plain; charset=utf-8<span class=""><br>
<br>
> Доброго времени суток!<br>
> А кто-нибудь в сабжевом модуле менял это значение в большую сторону?<br>
<br></span><span class="">
> our $MAX_PER_HOST = 4; # changing this is evil<br>
<br></span><span class="">
> и почему это зло? :))<br>
<br>
<br></span><span class="">
злом видимо он считал потому что AnyEvent'ом легко DDOS организовать.<br>
<br>
<br>
а так если у Вас например API между Вашими двумя серверами то сам бог<br>
велел сюда 100500 вписывать :)<br>
<br>
я кстати не знаю пофиксил ли он багу еще с этим связанную<br>
<br>
$MAX_PER_HOST = 1;<br>
for (1 .. 100) {<br>
http_get '<a href="http://domain.to" rel="noreferrer" target="_blank">domain.to</a>', timeout => 10, rouse_cb;<br>
}<br>
<br>
если <a href="http://domain.to" rel="noreferrer" target="_blank">domain.to</a> отвечает 30 секунд, то таймаут 10 работал только на<br>
$MAX_PER_HOST запросах, а остальные могли ждать бесконечности.<br>
<br>
я еще не смотрел этот момент исправили или нет<br>
<br>
<br></span>
------------------------------<br>
<br>
Message: 2<br>
Date: Thu, 1 Oct 2015 18:38:47 +0300<br>
From: Ruslan Zakirov <<a href="mailto:ruslan.zakirov@gmail.com" target="_blank">ruslan.zakirov@gmail.com</a>><span class=""><br>
To: "Moscow.pm group" <<a href="mailto:moscow-pm@pm.org" target="_blank">moscow-pm@pm.org</a>><br>
Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST<br>
Message-ID:<br></span>
<<a href="mailto:CAMOxC8ti87_Hf2o-RdqUF7OXaspZ5pt92YyhxcLaJ-KE%2B704Kg@mail.gmail.com" target="_blank">CAMOxC8ti87_Hf2o-RdqUF7OXaspZ5pt92YyhxcLaJ-KE+704Kg@mail.gmail.com</a>><br>
Content-Type: text/plain; charset="utf-8"<span class=""><br>
<br>
Менял до 100000. Зло если к чужому домену одновременно открываешь много<br>
коннектов.<br>
<br>
2015-10-01 12:30 GMT+03:00 Павел Купцов <<a href="mailto:pavel@kuptsov.info" target="_blank">pavel@kuptsov.info</a>>:<br>
<br>
> Доброго времени суток!<br>
> А кто-нибудь в сабжевом модуле менял это значение в большую сторону?<br>
><br></span><span class="">
> our $MAX_PER_HOST = 4; # changing this is evil<br>
><br></span><span class="">
> и почему это зло? :))<br>
><br>
><br>
> --<br>
> Павел<br>
><br>
><br>
> --<br>
> Moscow.pm mailing list<br>
> <a href="mailto:moscow-pm@pm.org" target="_blank">moscow-pm@pm.org</a> | <a href="http://moscow.pm.org" rel="noreferrer" target="_blank">http://moscow.pm.org</a><br>
><br>
><br>
<br>
<br>
--<br>
Best regards, Ruslan.<br></span><span class="">
----------- следущая часть -----------<br>
Вложение в формате HTML было извлечено…<br></span>
URL: <<a href="http://mail.pm.org/pipermail/moscow-pm/attachments/20151001/c06c815e/attachment-0001.html" rel="noreferrer" target="_blank">http://mail.pm.org/pipermail/moscow-pm/attachments/20151001/c06c815e/attachment-0001.html</a>><br>
<br>
------------------------------<br>
<br>
Message: 3<br>
Date: Thu, 01 Oct 2015 20:54:10 +0300<br>
From: Alexey Shrub <<a href="mailto:worldmind@mail.ru" target="_blank">worldmind@mail.ru</a>><span class=""><br>
To: "Moscow.pm group" <<a href="mailto:moscow-pm@pm.org" target="_blank">moscow-pm@pm.org</a>><br>
Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST<br></span>
Message-ID: <<a href="mailto:1443722050.1372.0@smtp.mail.ru" target="_blank">1443722050.1372.0@smtp.mail.ru</a>><span class=""><br>
Content-Type: text/plain; charset="utf-8"; Format="flowed"<br>
<br></span><div><div class="h5">
Там ещё где-то в дебрях (вроде в AnyEvent::DNS)<br>
есть лимит на днс резолвинг, надо его<br>
тоже выкручивать, иначе при проблемах<br>
с какой-нибудь зоной всё начнёт<br>
тормозить<br>
<br>
On Чт, окт 1, 2015 в 6:38 , Ruslan Zakirov<br>
<<a href="mailto:ruslan.zakirov@gmail.com" target="_blank">ruslan.zakirov@gmail.com</a>> wrote:<br>
>> our $MAX_PER_HOST = 4; # changing this is evil<br></div></div><span class="">
----------- следущая часть -----------<br>
Вложение в формате HTML было извлечено…<br></span>
URL: <<a href="http://mail.pm.org/pipermail/moscow-pm/attachments/20151001/9ea081ab/attachment-0001.html" rel="noreferrer" target="_blank">http://mail.pm.org/pipermail/moscow-pm/attachments/20151001/9ea081ab/attachment-0001.html</a>><span class=""><br>
<br>
------------------------------<br>
<br>
Subject: Нижний колонтитул дайджеста<br>
<br>
_______________________________________________<br>
Moscow-pm mailing list<br>
<a href="mailto:Moscow-pm@pm.org" target="_blank">Moscow-pm@pm.org</a><br>
<a href="http://mail.pm.org/mailman/listinfo/moscow-pm" rel="noreferrer" target="_blank">http://mail.pm.org/mailman/listinfo/moscow-pm</a><br>
<br>
<br>
------------------------------<br>
<br></span>
Конец Дайджест списка рассылки Moscow-pm; том 96, выпуск 3<br>
**********************************************************************************************<br>
</blockquote></div><br></div></div></div>
<br>--<br>
Moscow.pm mailing list<br>
<a href="mailto:moscow-pm@pm.org">moscow-pm@pm.org</a> | <a href="http://moscow.pm.org" rel="noreferrer" target="_blank">http://moscow.pm.org</a><br>
<br></blockquote></div><br></div>