[Moscow.pm] AnyEvent::HTTP как ограничить размер ответа?

Andrey Kopeyko andrey на kopeyko.ru
Пт Дек 11 04:34:50 PST 2015


On Fri, 11 Dec 2015, Павел Купцов wrote:

> Коллеги, вот вопрос по теме рассылки есть, т.е. по perl :)
>
> Кто пользует у себя сабж - в частности его метод http_get,
> как решаете вопрос с ограничением размера ответа сервера?
> А то у меня попадаются в запросах сайты которые бесконечно отдают
> text/html, в итоге скрипт не заканчивается по таймауту, а все это дело
> принимает в память, что ведет к ее исчерпанию.
>
> Вот на сейчас у меня примерно так:
> http_get $url,
>
>      headers    => {
>        'user-agent' => 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36
> (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',

А если не прикидываться браузером, который умеет websocket - не полегчает 
ли?


-- 
Best regards,
Andrey Kopeyko <andrey at kopeyko.ru>


Подробная информация о списке рассылки Moscow-pm