[Moscow.pm] LWP::Parallel

Dmitriy T. 403rus на gmail.com
Сб Май 10 14:00:25 PDT 2008


Насколько я помню LWP(который обычный - с Parallel не работал, но думаю 
там так же) резолвит хосты без учёта таймаута, отсюда такое и 
получается. К тому же если в LWP::Parallel синхронный резолвер и 
нагрузки очень большие, то предлагаю искать сразу другой инструментарий 
(возможно лучше вообще на C/C++).

Ещё помню как-то когда писал web-парсер(не помню уже на чём) сдуру 
выставил обрабатывать бесконечное число редиректов - а там некоторые 
страницы редиректили сами на себя, получилось весело...

Михаил Монашёв wrote:
> Здравствуйте.
>
> LWP::Parallel рабочий модуль?
>
> Таймаут  задаю  секунду. Запихиваю ему 1000 урлов. Через секунду, да и
> через  минуту  тоже,  он  всё  ещё  чего-то  там  ждёт,  и не все урлы
> обработаны.
>
> --
>
> С уважением,
> Михаил Монашёв, SoftSearch.ru
> mailto:postmaster на softsearch.ru
> ICQ# 166233339
> http://michael.mindmix.ru/
> Без бэкапа по жизни.
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm



Подробная информация о списке рассылки Moscow-pm