[Moscow.pm] Универсальная параллелилка?
Alexander Lourier
aml на rulezz.ru
Пн Май 26 07:56:07 PDT 2014
Интересно, насколько простым его можно сделать на перле. Кошерная
буферизация данных на входе в каждый воркер и разгребание входной очереди -
это будет или запутанный код в AnyEvent-стиле, или что-то на Coro с умными
примитивами синхронизации.
On May 26, 2014 4:48 PM, "Роман Юсуфханов" <r.yusufkhanov на gmail.com> wrote:
> Автор спрашивал об универсальном средстве ) тоже интересно.
> Может набросать простенький скриптик.
> http://www.perlmonks.org/?node_id=966939
> 26.05.2014 18:40 пользователь "Oleg Nurtdinov" <j на jumper.cc> написал:
>
>> Не претендую на универсальность, но в большинстве случаем можно делать
>> так:
>>
>> Если входные данные известны заранее, то нужно
>> - разбить файл /usr/bin/split'ом на n частей
>> - запустить по скрипту для каждой части (xargs)
>> - смёрджить результаты (если они нужны в одном файле)
>> и всё это простым bash скриптом
>>
>> Mon, 26 May 2014 18:35:12 +0400 от Харпалёв Иван <
>> ivan.kharpalev на gmail.com>:
>>
>> Доброго времени суток, могучий MoscowPM!
>>
>> Есть перловый скрипт, который работает в один поток, и на каждую строку
>> из STDIN выводит одну строку в STDOUT.
>>
>> Есть ли какой софт, чтоб можно было написать
>>
>> cat data | perl paralleler.pl -script=very_complex_script.pl -n=8 |
>> ...
>>
>>
>>
>> Или посоветуйте, как его писать.
>> Как сделать неблокирующее чтение из воркеров в скрипте мастере?
>>
>>
>> Уважение
>> Иван Харпалёв
>> --
>> Moscow.pm mailing list
>> moscow-pm на pm.org <https://e.mail.ru/compose?To=moscow%2dpm@pm.org> |
>> http://moscow.pm.org
>>
>>
>>
>> --
>> Moscow.pm mailing list
>> moscow-pm на pm.org | http://moscow.pm.org
>>
>>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20140526/2e4ee5c1/attachment-0001.html>
Подробная информация о списке рассылки Moscow-pm