[Moscow.pm] AnyEvent::HTTP MAX_PER_HOST

Пт Окт 2 01:01:54 PDT 2015

Павел, а для чего вам это нужно?
Если для того, чтобы скачать как можно быстрее некий список URL, то
рекомендую Parallel::Downloader, он как раз на основе AnyEvent::HTTP. А еще
для подобных целей бывают AnyEvent::Curl::Multi
и AnyEvent::Net::Curl::Queued. Ну и на основе Mojo::UserAgent тоже довольно
просто такое сделать: https://gist.github.com/creaktive/4347600

2015-10-02 9:29 GMT+02:00 Павел Купцов <pavel на kuptsov.info>:

> В итоге сделал так:
>
> my $max = 100;#
> $AnyEvent::HTTP::MAX_PER_HOST = $max;
>
> ...
> $cv->begin;
>     http_get $url,
>     cookie_jar => {},
>     recurse => 3,
>     headers => {
>                 'user-agent' => 'Mozilla/5.0 (Windows NT 6.1)
> AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
>                 referer => 'http://referer.com'
>                 },
>     timeout => 20,
> ...
>
>
> Пока полет нормальный. Ну и с учетом того что у меня идет опрос по списку
> урлов и все домены уникальны - то не думаю что нанесу вред какому-то сайту
> персонально :)).
>
> --
> Павел
>
> 1 октября 2015 г., 22:00 пользователь <moscow-pm-request на pm.org> написал:
>
>> Сообщения, предназначенные для списка
>> рассылки Moscow-pm, отправляйте по адресу
>>         moscow-pm на pm.org
>>
>> Для изменения параметров подписки или
>> отписки используйте веб-страницу
>>         http://mail.pm.org/mailman/listinfo/moscow-pm
>> или отправьте письмо, в теле или теме
>> которого будет слово 'help', по адресу
>>         moscow-pm-request на pm.org
>>
>> Адрес администратора этого списка
>> рассылки:
>>         moscow-pm-owner на pm.org
>>
>> При ответе, пожалуйста, измените тему
>> письма на более содержательную чем "Re:
>> Содержание дайджеста списка рассылки
>> Moscow-pm..."
>>
>>
>> В этом номере:
>>
>>    1. Re: AnyEvent::HTTP MAX_PER_HOST (Ivan Petrov)
>>    2. Re: AnyEvent::HTTP MAX_PER_HOST (Ruslan Zakirov)
>>    3. Re: AnyEvent::HTTP MAX_PER_HOST (Alexey Shrub)
>>
>>
>> ----------------------------------------------------------------------
>>
>> Message: 1
>> Date: Thu, 1 Oct 2015 15:27:51 +0300
>> From: Ivan Petrov <i.petro.77.00 на gmail.com>
>> To: moscow-pm на pm.org
>> Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST
>> Message-ID: <20151001122751.GA10321 на vdsl.uvw.ru>
>> Content-Type: text/plain; charset=utf-8
>>
>> > Доброго времени суток!
>> > А кто-нибудь в сабжевом модуле менял это значение в большую сторону?
>>
>> > our $MAX_PER_HOST       =   4; # changing this is evil
>>
>> > и почему это зло? :))
>>
>>
>> злом видимо он считал потому что AnyEvent'ом легко DDOS организовать.
>>
>>
>> а так если у Вас например API между Вашими двумя серверами то сам бог
>> велел сюда 100500 вписывать :)
>>
>> я кстати не знаю пофиксил ли он багу еще с этим связанную
>>
>> $MAX_PER_HOST = 1;
>> for (1 .. 100) {
>>     http_get 'domain.to', timeout => 10, rouse_cb;
>> }
>>
>> если domain.to отвечает 30 секунд, то таймаут 10 работал только на
>> $MAX_PER_HOST запросах, а остальные могли ждать бесконечности.
>>
>> я еще не смотрел этот момент исправили или нет
>>
>>
>> ------------------------------
>>
>> Message: 2
>> Date: Thu, 1 Oct 2015 18:38:47 +0300
>> From: Ruslan Zakirov <ruslan.zakirov на gmail.com>
>> To: "Moscow.pm group" <moscow-pm на pm.org>
>> Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST
>> Message-ID:
>>         <
>> CAMOxC8ti87_Hf2o-RdqUF7OXaspZ5pt92YyhxcLaJ-KE+704Kg на mail.gmail.com>
>> Content-Type: text/plain; charset="utf-8"
>>
>> Менял до 100000. Зло если к чужому домену одновременно открываешь много
>> коннектов.
>>
>> 2015-10-01 12:30 GMT+03:00 Павел Купцов <pavel на kuptsov.info>:
>>
>> > Доброго времени суток!
>> > А кто-нибудь в сабжевом модуле менял это значение в большую сторону?
>> >
>> > our $MAX_PER_HOST       =   4; # changing this is evil
>> >
>> > и почему это зло? :))
>> >
>> >
>> > --
>> > Павел
>> >
>> >
>> > --
>> > Moscow.pm mailing list
>> > moscow-pm на pm.org | http://moscow.pm.org
>> >
>> >
>>
>>
>> --
>> Best regards, Ruslan.
>> ----------- следущая часть -----------
>> Вложение в формате HTML было извлечено…
>> URL: <
>> http://mail.pm.org/pipermail/moscow-pm/attachments/20151001/c06c815e/attachment-0001.html
>> >
>>
>> ------------------------------
>>
>> Message: 3
>> Date: Thu, 01 Oct 2015 20:54:10 +0300
>> From: Alexey Shrub <worldmind на mail.ru>
>> To: "Moscow.pm group" <moscow-pm на pm.org>
>> Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST
>> Message-ID: <1443722050.1372.0 на smtp.mail.ru>
>> Content-Type: text/plain; charset="utf-8"; Format="flowed"
>>
>> Там ещё где-то в дебрях (вроде в AnyEvent::DNS)
>> есть лимит на днс резолвинг, надо его
>> тоже выкручивать, иначе при проблемах
>> с какой-нибудь зоной всё начнёт
>> тормозить
>>
>> On Чт, окт 1, 2015 в 6:38 , Ruslan Zakirov
>> <ruslan.zakirov на gmail.com> wrote:
>> >> our $MAX_PER_HOST       =   4; # changing this is evil
>> ----------- следущая часть -----------
>> Вложение в формате HTML было извлечено…
>> URL: <
>> http://mail.pm.org/pipermail/moscow-pm/attachments/20151001/9ea081ab/attachment-0001.html
>> >
>>
>> ------------------------------
>>
>> Subject: Нижний колонтитул дайджеста
>>
>> _______________________________________________
>> Moscow-pm mailing list
>> Moscow-pm на pm.org
>> http://mail.pm.org/mailman/listinfo/moscow-pm
>>
>>
>> ------------------------------
>>
>> Конец Дайджест списка рассылки Moscow-pm; том 96, выпуск 3
>>
>> **********************************************************************************************
>>
>
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20151002/7f60200e/attachment-0001.html>