[Moscow.pm] LWP::Parallel
Dmitriy T.
403rus на gmail.com
Сб Май 10 14:00:25 PDT 2008
Насколько я помню LWP(который обычный - с Parallel не работал, но думаю
там так же) резолвит хосты без учёта таймаута, отсюда такое и
получается. К тому же если в LWP::Parallel синхронный резолвер и
нагрузки очень большие, то предлагаю искать сразу другой инструментарий
(возможно лучше вообще на C/C++).
Ещё помню как-то когда писал web-парсер(не помню уже на чём) сдуру
выставил обрабатывать бесконечное число редиректов - а там некоторые
страницы редиректили сами на себя, получилось весело...
Михаил Монашёв wrote:
> Здравствуйте.
>
> LWP::Parallel рабочий модуль?
>
> Таймаут задаю секунду. Запихиваю ему 1000 урлов. Через секунду, да и
> через минуту тоже, он всё ещё чего-то там ждёт, и не все урлы
> обработаны.
>
> --
>
> С уважением,
> Михаил Монашёв, SoftSearch.ru
> mailto:postmaster на softsearch.ru
> ICQ# 166233339
> http://michael.mindmix.ru/
> Без бэкапа по жизни.
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm
Подробная информация о списке рассылки Moscow-pm