[Moscow.pm] Универсальная параллелилка?
Oleg Nurtdinov
j на jumper.cc
Пн Май 26 07:40:28 PDT 2014
Не претендую на универсальность, но в большинстве случаем можно делать так:
Если входные данные известны заранее, то нужно
- разбить файл /usr/bin/split'ом на n частей
- запустить по скрипту для каждой части (xargs)
- смёрджить результаты (если они нужны в одном файле)
и всё это простым bash скриптом
Mon, 26 May 2014 18:35:12 +0400 от Харпалёв Иван <ivan.kharpalev на gmail.com>:
>Доброго времени суток, могучий MoscowPM!
>
>Есть перловый скрипт, который работает в один поток, и на каждую строку из STDIN выводит одну строку в STDOUT.
>
>Есть ли какой софт, чтоб можно было написать
>
>cat data | perl paralleler.pl -script= very_complex_script.pl -n=8 | ...
>
>
>
>Или посоветуйте, как его писать.
>Как сделать неблокирующее чтение из воркеров в скрипте мастере?
>
>
>Уважение
>Иван Харпалёв
>--
>Moscow.pm mailing list
>moscow-pm на pm.org | http://moscow.pm.org
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20140526/59ad4134/attachment.html>
Подробная информация о списке рассылки Moscow-pm