[Moscow.pm] AnyEvent::Fork::Pool колбэк после завершения всех заданий

[Павел Купцов]

Я в итоге отказался от Fork::Pool и делал свой велосипед :), который я
понял лучше.

Я разделил задачу на 2 скрипта - 1-й лаунчер, который следит за очередью,
форкается в определенном месте для запуска 2-го скрипта парсера (fork затем
exec("script.pl args")) и ловит закончивших работу через SIGCHLD. Работает
очень стабильно и достаточно быстро. Всегда можно ускорить увеличив размер
одновременно работающих парсеров (тут только в железо упираюсь, а так без
ограничений).
Хотя возможно это не ваш случай.


--
Павел

12 января 2016 г., 23:00 пользователь <moscow-pm-request на pm.org> написал:

> Сообщения, предназначенные для списка
> рассылки Moscow-pm, отправляйте по адресу
>         moscow-pm на pm.org
>
> Для изменения параметров подписки или
> отписки используйте веб-страницу
>         http://mail.pm.org/mailman/listinfo/moscow-pm
> или отправьте письмо, в теле или теме
> которого будет слово 'help', по адресу
>         moscow-pm-request на pm.org
>
> Адрес администратора этого списка
> рассылки:
>         moscow-pm-owner на pm.org
>
> При ответе, пожалуйста, измените тему
> письма на более содержательную чем "Re:
> Содержание дайджеста списка рассылки
> Moscow-pm..."
>
>
> В этом номере:
>
>    1. Re: AnyEvent::Fork::Pool колбэк после
>       завершения всех заданий
>       (Андрей Асякин)
>
>
> ----------------------------------------------------------------------
>
> Message: 1
> Date: Tue, 12 Jan 2016 12:27:10 +0300
> From: Андрей Асякин <asan999 на gmail.com>
> To: moscow-pm на pm.org
> Subject: Re: [Moscow.pm] AnyEvent::Fork::Pool колбэк после
>         завершения всех заданий
> Message-ID: <5694C6EE.8020303 на gmail.com>
> Content-Type: text/plain; charset="utf-8"; Format="flowed"
>
> Только SIGCHLD придет шаблонному процессу, от которого форкаются
> воркеры, а не основному паренту.
>
> Каким то образом самому отслеживать количество завершившихся заданий?
> там есть всякие on_event, или через колбек получать какой то статус, что
> все...
>
> On 01/11/2016 06:46 PM, Akzhan Abdulin wrote:
> > любой процесс по завершении вызывает SIGH_CHILD. не забывай вызывать
> > предыдущий обработчик
> >
> >
>
> ----------- следущая часть -----------
> Вложение в формате HTML было извлечено…
> URL: <
> http://mail.pm.org/pipermail/moscow-pm/attachments/20160112/2c5136d0/attachment-0001.html
> >
>
> ------------------------------
>
> Subject: Нижний колонтитул дайджеста
>
> _______________________________________________
> Moscow-pm mailing list
> Moscow-pm на pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm
>
>
> ------------------------------
>
> Конец Дайджест списка рассылки Moscow-pm; том 99, выпуск 11
>
> ***********************************************************************************************
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20160113/bfca4e23/attachment.html>