[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Михаил Монашёв]

Здравствуйте, Александр.

OA> Я знаю не-Perl реализацию  map/reduce - это Hadoop (Java).
OA> Там для хранения данных используется своя распределенная ФС,
OA> которая хранит файлы кусками на нодах, воркеры, соответсвенно,
OA> обрабатывают локальные куски данных... Точно не знаю, подзабыл :)
OA> Подробности можно в документации посмотреть и в исходном коде
OA> Hadoop.

С Java очень не хочется связываться, как бы хорошо там не было :-)

Там у них и бигтейбл есть, но тоже как-то не тянет...

>> Здравствуйте.
>> Вот  думаю  перейти с написания скриптов, обрабатывающих например всех
>> юзеров,   к   написанию   функций   для  MapReduce.  А  потому, хотел
>> поинтересоваться, как народ в компаниях вроде Яндекса, Рамблера, Супа,
>> Мыла и других реализует гугловский MapReduce?
>> На  спане  нашёл
>> http://search.cpan.org/dist/Parallel-MapReduce/ , что
>> весьма любопытно.
>> Как   например  решается  проблема  перекачки  и  накопления  большого
>> количества данных между фазами Map и Reduce и между одним MapReduce-ом
>> и другим MapReduce-ом?


--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.