[Moscow.pm] Идеальный Map-ер и Reduce-ер
Михаил Монашёв
postmaster на softsearch.ru
Вс Янв 18 16:22:15 PST 2009
Здравствуйте.
Вот думаю перейти с написания скриптов, обрабатывающих например всех
юзеров, к написанию функций для MapReduce. А потому, хотел
поинтересоваться, как народ в компаниях вроде Яндекса, Рамблера, Супа,
Мыла и других реализует гугловский MapReduce?
На спане нашёл http://search.cpan.org/dist/Parallel-MapReduce/ , что
весьма любопытно.
Как например решается проблема перекачки и накопления большого
количества данных между фазами Map и Reduce и между одним MapReduce-ом
и другим MapReduce-ом?
--
С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.
Подробная информация о списке рассылки Moscow-pm