[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Orlovsky Alexander]

Я знаю не-Perl реализацию  map/reduce - это Hadoop (Java). Там для хранения данных используется своя распределенная ФС, которая хранит файлы кусками на нодах, воркеры, соответсвенно, обрабатывают локальные куски данных... Точно не знаю, подзабыл :) Подробности можно в документации посмотреть и в исходном коде Hadoop.

19.01.09, 03:22, "Михаил Монашёв" <postmaster на softsearch.ru>:

> Здравствуйте.
> Вот  думаю  перейти с написания скриптов, обрабатывающих например всех
> юзеров,   к   написанию   функций   для  MapReduce.  А  потому,  хотел
> поинтересоваться, как народ в компаниях вроде Яндекса, Рамблера, Супа,
> Мыла и других реализует гугловский MapReduce?
> На  спане  нашёл http://search.cpan.org/dist/Parallel-MapReduce/ , что
> весьма любопытно.
> Как   например  решается  проблема  перекачки  и  накопления  большого
> количества данных между фазами Map и Reduce и между одним MapReduce-ом
> и другим MapReduce-ом?
> --
> С уважением,
> Михаил Монашёв, SoftSearch.ru
> mailto:postmaster на softsearch.ru
> ICQ# 166233339
> http://michael.mindmix.ru/
> Без бэкапа по жизни.
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org