[Moscow.pm] Gearman

[Victor Efimov]

4 июня 2014 г., 21:26 пользователь Ilya Chesnokov
<chesnokov.ilya на gmail.com> написал:
> 4 июня 2014 г., 20:57 пользователь Victor Efimov <victor на vsespb.ru> написал:
>> 4 июня 2014 г., 20:45 пользователь Ilya Chesnokov
>> <chesnokov.ilya на gmail.com> написал:
>>> 4 июня 2014 г., 20:37 пользователь Victor Efimov <victor на vsespb.ru> написал:
>>>> 4 июня 2014 г., 19:53 пользователь Akzhan Abdulin
>>>> <akzhan.abdulin на gmail.com> написал:
>>>>>
>>>>> Хотя спортить их на Perl несложно.
>>>> да, сделать свой велосипед на базе Redis.
>>>
>>> Осталось лишь понять, нахрена? )
>>
>> А что он конкретно даёт в задаче создания job server ?
>>
>> 1) сериализацию данных в очередь (много чем можно сделать)
>> 2) сам сервер очередей (это то что бы заменил бы redis)
>
> Зачем делать что-то самому, если есть уже готовое?
>

Я как бы особо не отговариваю его использовать, просто вот люди выше
указали на его недостатки, порекомендовали другие системы, а я хочу
сказать что сам gearman в общем то не такой большой и _мало_ _что_
_даёт_, а в обмен на это нужно будет его деплоить, изучать и вообще
иметь его в своей инфраструктуре.

Конкретно я столкнулся с таким когда встал вопрос использования
gearman - сериализацию данных хорошо знаю, Redis и как на нём делать
очереди - тоже.
Моя задача требует _быстрой_ обработки множества мелких заданий - по
задержкам и производительности gearman информации не нашёл (а вот от
Redis прекрасно знаю что ждать, т.к. работал и с Redis и с Resque в
Rails). + были ещё требования к распределению заданий по очередям и
ещё что-то.

Воркеры на базе AE мне были не нужны, т.к. будет нормально так CPU
расходываться (а если они на базе AE, но на самом деле делают fork, а
AE там просто так, то не нужны по религиозным соображениям)

>> а вот сам сервер с воркерами, который будет их (воркеры) запускать, он
>> уже не даёт ?
>
> Насколько я понял, не дает. А какая система это дает?
>

Не знаю какая даёт, мысль была в том что самому придётся писать всё равно.

>>  но наверное есть модули, который на базе gearman это
>> реализуют?
>
> Модули есть, например этот:
> https://metacpan.org/pod/AnyEvent::Gearman::WorkerPool
>
>> ради (1) и (2) нужно ли связываться с ним, и подойдёт ли он для твоих
>> целей - это уже лучше конкретную задачу смотреть.
>
> Задача достаточно простая - отдельная очередь, в которую будут изредка
> подкидываться задания обновить кое-какие данные клиентов.
> Также подумываю о том, чтобы перевести на него email-уведомления.
>

ну вроде простая, заоблочных требований к job server наверное не будет.

>>>
>>> И да, Gearman уже давно на Си написан, привязка к Perl там только
>>> через коннекторы.
>>
>> ну, если так сравнивать, Redis и CBOR::XS тоже на Си написаны.
>
> Это было к вопросу о портировании чего-либо на Perl - в том смысле, что незачем.
>
> --
> Best regards,
> Ilya Chesnokov
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org