[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Монашёв Михаил]

Здравствуйте, Руслан.

> Если использовать Memcached для шаринга, то можно на каждом воркере
> иметь его и соответственно для reduce передавать работу согласно
> алгоритму партишининга MemCached, чтобы результат маппинга сразу
> оказывался на локальной машинке.

> Хотя что-то MemCached не кажется удачным решением. Что интересно
> делается в Parallel-MapReduce при переполнении кеша.

Ничего не делается :-)

Мемкашед тут совсем не к месту. У него например ограничение в 1М на
размер ответа. И данные потерять можно...

Вместо него лучше http://memcachedb.org/ использовать, запускаемый у
всех редьюсеров. 

Parallel-MapReduce - это игрушка. Для обработки большого количества
данных не подходит.



-- 
С уважением,
Монашёв Михаил, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.