[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Ruslan Zakirov]

2009/1/19 Михаил Монашёв <postmaster на softsearch.ru>:
> Здравствуйте.
>
> Вот  думаю  перейти с написания скриптов, обрабатывающих например всех
> юзеров,   к   написанию   функций   для  MapReduce.  А  потому,  хотел
> поинтересоваться, как народ в компаниях вроде Яндекса, Рамблера, Супа,
> Мыла и других реализует гугловский MapReduce?
>
> На  спане  нашёл http://search.cpan.org/dist/Parallel-MapReduce/ , что
> весьма любопытно.
>
> Как   например  решается  проблема  перекачки  и  накопления  большого
> количества данных между фазами Map и Reduce и между одним MapReduce-ом
> и другим MapReduce-ом?

Если использовать Memcached для шаринга, то можно на каждом воркере
иметь его и соответственно для reduce передавать работу согласно
алгоритму партишининга MemCached, чтобы результат маппинга сразу
оказывался на локальной машинке.

Хотя что-то MemCached не кажется удачным решением. Что интересно
делается в Parallel-MapReduce при переполнении кеша.

>
> --
>
> С уважением,
> Михаил Монашёв, SoftSearch.ru
> mailto:postmaster на softsearch.ru
> ICQ# 166233339
> http://michael.mindmix.ru/
> Без бэкапа по жизни.
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>



-- 
Best regards, Ruslan.