[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Михаил Монашёв]

Здравствуйте, Руслан.

RZ> Дело не в ограничении, а в памяти. Придет вам ключик на 100 мегабайт и
RZ> что с ним делать? Нужно слить на диск, а потом разбивать. Может лучше
RZ> подумать над хачиньем интерфейсов к memcache, чтобы можно было
RZ> эффективно хранить последовательности и чтобы они попадали на одну
RZ> ноду.

Ты наверное прав. Подобная ситуация вероятна.

В редьюсере мы ведь всёравно обходим элементы одного ключа. И наверное
делаем это в цикле. Так можно хранить эти элементы не в одном ключе, а
в нескольких с последовательной нумерацией, вытаскивать их чанками и
так же по одному отдавать их во внутренний цикл обработки элементов
одного ключа...

--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.