[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Михаил Монашёв]

Здравствуйте, Павел.

ПТ> Здравствуйте, Михаил.
ПТ> А вот это сильно.
ПТ> Сорри за оффтоп. 

В каком смысле "сильно"? Грибы у меня забористые или идея понравилась?
Можно поняснить.

Я  просто  тут пытаюсь людей спровоцировать на диалог. Тема, видимо не
всем понятна, а потому любое обсуждение ИМХО полезно.

Есть  например  большой  вопрос об эффективности использовании ssh как
транспорта.  Но при этом Disco и Parallel::MapReduce их используют. Мы
же   не  MapReduce-ботнет  делаем.  А  во  внутренней  сетке  всё  это
запускаем. Шифрование там лишнее ИМХО.

Также  есть  мысль,  что  перед  мапером  должен  запускаться какой-то
итератор,  который  поставляет  маперу  данные  в  формате хэша. Также
должно  быть  какое-то  хранилище,  чтобы складывать результаты работы
маперов, потом агркгировать их по ключам и раздавать редьюсерам.

Ещё  есть  ощущение,  что  редьюсеры  особенно лично мне и не нужны. И
потому  MapReduce  вырождается  просто  в  запускалку  в  параллель на
нескольких серверах каких-то скриптов. Хотя возможно просто не хватает
практики, чтобы понять всю мощь MapReduce и начать использовать его.

--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.