[Moscow.pm] LWP::Parallel

[Михаил Монашёв]

Здравствуйте, Дмитрий.

А кроме резолвера в нём какие ещё могут быть проблемы? Потому как в
моём случае хостов всего пяток.

DT> Насколько я помню LWP(который обычный - с Parallel не работал, но думаю
DT> там так же) резолвит хосты без учёта таймаута, отсюда такое и 
DT> получается. К тому же если в LWP::Parallel синхронный резолвер и 
DT> нагрузки очень большие, то предлагаю искать сразу другой инструментарий
DT> (возможно лучше вообще на C/C++).

DT> Ещё помню как-то когда писал web-парсер(не помню уже на чём) сдуру
DT> выставил обрабатывать бесконечное число редиректов - а там некоторые
DT> страницы редиректили сами на себя, получилось весело...

>> LWP::Parallel рабочий модуль?
>>
>> Таймаут  задаю  секунду. Запихиваю ему 1000 урлов. Через секунду, да и
>> через  минуту  тоже,  он  всё  ещё  чего-то  там  ждёт,  и не все урлы
>> обработаны.

--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.