[Moscow.pm] Универсальная параллелилка?

Роман Юсуфханов r.yusufkhanov на gmail.com
Пн Май 26 07:48:31 PDT 2014


Автор спрашивал об универсальном средстве ) тоже интересно.
Может набросать простенький скриптик. http://www.perlmonks.org/?node_id=966939

26.05.2014 18:40 пользователь "Oleg Nurtdinov" <j на jumper.cc> написал:
Не претендую на универсальность, но в большинстве случаем можно делать так:

Если входные данные известны заранее, то нужно
- разбить файл /usr/bin/split'ом на n частей
- запустить по скрипту для каждой части (xargs)
- смёрджить результаты (если они нужны в одном файле)
и всё это простым bash скриптом

Mon, 26 May 2014 18:35:12 +0400 от Харпалёв Иван <ivan.kharpalev на gmail.com>:
Доброго времени суток, могучий  MoscowPM!

Есть перловый скрипт, который работает в один поток,  и на каждую строку  из  STDIN  выводит одну строку в STDOUT.

Есть ли какой софт, чтоб можно было написать 

cat data  |  perl paralleler.pl  -script=very_complex_script.pl -n=8  |  ...



Или посоветуйте, как его писать. 
Как сделать неблокирующее чтение из воркеров в скрипте мастере?


Уважение
Иван Харпалёв
-- 
Moscow.pm mailing list
moscow-pm на pm.org | http://moscow.pm.org



--
Moscow.pm mailing list
moscow-pm на pm.org | http://moscow.pm.org

----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20140526/f80ebe47/attachment.html>


Подробная информация о списке рассылки Moscow-pm