[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Михаил Монашёв]

Здравствуйте, Руслан.

RZ> Дело  не  в  ограничении,  а  в  памяти.  Придет вам ключик на 100
RZ> мегабайт  и  что  с  ним  делать?  Нужно  слить  на  диск, а потом
RZ> разбивать.  Может  лучше  подумать  над  хачиньем  интерфейсов   к
RZ> memcache, чтобы можно было эффективно хранить последовательности и
RZ> чтобы они попадали на одну ноду.

А как быть, если на одну ноду пришло несколько огромных ключей они все
не  помещаются  физически  на  диске? Выходит, что или большой сетевой
трафик,   необходимый   для   размазывания   нагрузки,  или  допустить
возможность перегрузки одной ноды и по размеру сохранённых данных и по
нагрузке на эту ноду по операциям чтения-записи.

Возможно было бы правильным дать возможность юзеру выбирать.

--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.