[Moscow.pm] tie Berkeley. Разобрался!!!
ksvs
ksvs1996 на ymail.com
Ср Окт 24 06:19:48 PDT 2012
Спасибо, продолжаю.
Про 4 дня - это я про злополучный tie, а не про Perl.
Узнал много нового.
Больше всего понравилось делать так, что главный процесс раздает задания дочерним,
а те скачивают страницы, парсят и возвращают главному. После этого главный дает дочернему новое задание.
А главный только управляет очередями и выдает конечный результат.
Так здорово выходит.
Вот только, что-то дочерние процессы по-немного разрастаются.
Уже под 30М, а главный 16.
Можно сделать ограничение на количество скачиваний. Чтобы потом дочерний процесс завершался и создавался новый.
Это я еще не знаю как сделать красиво. По идее главный форкать нельзя, так как пишут, сломается все COW.
В главном ведь много данный, который меняются.
Надо держать один дочерний-чистый для размножения.
Главный будет определять, что дочерний завершился, будет слать сигнал "размножителю".
Что-то сложно выходит. Мне проще сейчас сохранить насканированое и запустить заново.
Если не пропадет желание, сделаю вариант потом с AnyEvent::HTTP, в одном процессе правда.
Нет, наверно не сделаю.
----- Original Message -----
From: Yury Pats <yu.pats на gmail.com>
To: Moscow.pm group <moscow-pm на pm.org>
Cc:
Sent: Wednesday, 24 October 2012, 14:33
Subject: Re: [Moscow.pm] tie Berkeley. Разобрался!!!
2012/10/24 ksvs <ksvs1996 на ymail.com>:
> Интересно, а много еще подводных камней в Perl?
> После этого задумаешься, а стоит смотреть на Moose и прочие штучки.
Пробовать что-то новое -- это ваш собственный выбор.
Естественно, если вы считаете, что потратили впустую последние пару
недель, которые вы присутствуете в этом списке рассылки, то, конечно,
продолжать не стоит.
Однако, продолжайте!
--
WBR, Yury Pats
skype: yuripats
cellular: +375 (29) 5870723
--
Moscow.pm mailing list
moscow-pm на pm.org | http://moscow.pm.org
Подробная информация о списке рассылки Moscow-pm