[Moscow.pm] AnyEvent::HTTP MAX_PER_HOST

[Павел Купцов]

В итоге сделал так:

my $max = 100;#
$AnyEvent::HTTP::MAX_PER_HOST = $max;

...
$cv->begin;
    http_get $url,
    cookie_jar => {},
    recurse => 3,
    headers => {
                'user-agent' => 'Mozilla/5.0 (Windows NT 6.1)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
                referer => 'http://referer.com'
                },
    timeout => 20,
...


Пока полет нормальный. Ну и с учетом того что у меня идет опрос по списку
урлов и все домены уникальны - то не думаю что нанесу вред какому-то сайту
персонально :)).

--
Павел

1 октября 2015 г., 22:00 пользователь <moscow-pm-request на pm.org> написал:

> Сообщения, предназначенные для списка
> рассылки Moscow-pm, отправляйте по адресу
>         moscow-pm на pm.org
>
> Для изменения параметров подписки или
> отписки используйте веб-страницу
>         http://mail.pm.org/mailman/listinfo/moscow-pm
> или отправьте письмо, в теле или теме
> которого будет слово 'help', по адресу
>         moscow-pm-request на pm.org
>
> Адрес администратора этого списка
> рассылки:
>         moscow-pm-owner на pm.org
>
> При ответе, пожалуйста, измените тему
> письма на более содержательную чем "Re:
> Содержание дайджеста списка рассылки
> Moscow-pm..."
>
>
> В этом номере:
>
>    1. Re: AnyEvent::HTTP MAX_PER_HOST (Ivan Petrov)
>    2. Re: AnyEvent::HTTP MAX_PER_HOST (Ruslan Zakirov)
>    3. Re: AnyEvent::HTTP MAX_PER_HOST (Alexey Shrub)
>
>
> ----------------------------------------------------------------------
>
> Message: 1
> Date: Thu, 1 Oct 2015 15:27:51 +0300
> From: Ivan Petrov <i.petro.77.00 на gmail.com>
> To: moscow-pm на pm.org
> Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST
> Message-ID: <20151001122751.GA10321 на vdsl.uvw.ru>
> Content-Type: text/plain; charset=utf-8
>
> > Доброго времени суток!
> > А кто-нибудь в сабжевом модуле менял это значение в большую сторону?
>
> > our $MAX_PER_HOST       =   4; # changing this is evil
>
> > и почему это зло? :))
>
>
> злом видимо он считал потому что AnyEvent'ом легко DDOS организовать.
>
>
> а так если у Вас например API между Вашими двумя серверами то сам бог
> велел сюда 100500 вписывать :)
>
> я кстати не знаю пофиксил ли он багу еще с этим связанную
>
> $MAX_PER_HOST = 1;
> for (1 .. 100) {
>     http_get 'domain.to', timeout => 10, rouse_cb;
> }
>
> если domain.to отвечает 30 секунд, то таймаут 10 работал только на
> $MAX_PER_HOST запросах, а остальные могли ждать бесконечности.
>
> я еще не смотрел этот момент исправили или нет
>
>
> ------------------------------
>
> Message: 2
> Date: Thu, 1 Oct 2015 18:38:47 +0300
> From: Ruslan Zakirov <ruslan.zakirov на gmail.com>
> To: "Moscow.pm group" <moscow-pm на pm.org>
> Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST
> Message-ID:
>         <
> CAMOxC8ti87_Hf2o-RdqUF7OXaspZ5pt92YyhxcLaJ-KE+704Kg на mail.gmail.com>
> Content-Type: text/plain; charset="utf-8"
>
> Менял до 100000. Зло если к чужому домену одновременно открываешь много
> коннектов.
>
> 2015-10-01 12:30 GMT+03:00 Павел Купцов <pavel на kuptsov.info>:
>
> > Доброго времени суток!
> > А кто-нибудь в сабжевом модуле менял это значение в большую сторону?
> >
> > our $MAX_PER_HOST       =   4; # changing this is evil
> >
> > и почему это зло? :))
> >
> >
> > --
> > Павел
> >
> >
> > --
> > Moscow.pm mailing list
> > moscow-pm на pm.org | http://moscow.pm.org
> >
> >
>
>
> --
> Best regards, Ruslan.
> ----------- следущая часть -----------
> Вложение в формате HTML было извлечено…
> URL: <
> http://mail.pm.org/pipermail/moscow-pm/attachments/20151001/c06c815e/attachment-0001.html
> >
>
> ------------------------------
>
> Message: 3
> Date: Thu, 01 Oct 2015 20:54:10 +0300
> From: Alexey Shrub <worldmind на mail.ru>
> To: "Moscow.pm group" <moscow-pm на pm.org>
> Subject: Re: [Moscow.pm] AnyEvent::HTTP MAX_PER_HOST
> Message-ID: <1443722050.1372.0 на smtp.mail.ru>
> Content-Type: text/plain; charset="utf-8"; Format="flowed"
>
> Там ещё где-то в дебрях (вроде в AnyEvent::DNS)
> есть лимит на днс резолвинг, надо его
> тоже выкручивать, иначе при проблемах
> с какой-нибудь зоной всё начнёт
> тормозить
>
> On Чт, окт 1, 2015 в 6:38 , Ruslan Zakirov
> <ruslan.zakirov на gmail.com> wrote:
> >> our $MAX_PER_HOST       =   4; # changing this is evil
> ----------- следущая часть -----------
> Вложение в формате HTML было извлечено…
> URL: <
> http://mail.pm.org/pipermail/moscow-pm/attachments/20151001/9ea081ab/attachment-0001.html
> >
>
> ------------------------------
>
> Subject: Нижний колонтитул дайджеста
>
> _______________________________________________
> Moscow-pm mailing list
> Moscow-pm на pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm
>
>
> ------------------------------
>
> Конец Дайджест списка рассылки Moscow-pm; том 96, выпуск 3
>
> **********************************************************************************************
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20151002/735e187e/attachment.html>