[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Павел Тимонин]

Сильно - в смысле "здравствуйте, Михаил" :) - строчка, после которой я это
написал. такое обращение к самому себе.поэтому и извинялся за оффтоп -
никакого отношения к теме это не имеет.

сама же тема мне очень непонятна и интересна, тред читаю, но ничего не
понимаю - я в этом ни в зуб ногой. но вижу большуя практическую пользу.

21 января 2009 г. 1:20 пользователь Михаил Монашёв <postmaster на softsearch.ru
> написал:

> Здравствуйте, Павел.
>
> ПТ> Здравствуйте, Михаил.
> ПТ> А вот это сильно.
> ПТ> Сорри за оффтоп.
>
> В каком смысле "сильно"? Грибы у меня забористые или идея понравилась?
> Можно поняснить.
>
> Я  просто  тут пытаюсь людей спровоцировать на диалог. Тема, видимо не
> всем понятна, а потому любое обсуждение ИМХО полезно.
>
> Есть  например  большой  вопрос об эффективности использовании ssh как
> транспорта.  Но при этом Disco и Parallel::MapReduce их используют. Мы
> же   не  MapReduce-ботнет  делаем.  А  во  внутренней  сетке  всё  это
> запускаем. Шифрование там лишнее ИМХО.
>
> Также  есть  мысль,  что  перед  мапером  должен  запускаться какой-то
> итератор,  который  поставляет  маперу  данные  в  формате хэша. Также
> должно  быть  какое-то  хранилище,  чтобы складывать результаты работы
> маперов, потом агркгировать их по ключам и раздавать редьюсерам.
>
> Ещё  есть  ощущение,  что  редьюсеры  особенно лично мне и не нужны. И
> потому  MapReduce  вырождается  просто  в  запускалку  в  параллель на
> нескольких серверах каких-то скриптов. Хотя возможно просто не хватает
> практики, чтобы понять всю мощь MapReduce и начать использовать его.
>
> --
>
> С уважением,
> Михаил Монашёв, SoftSearch.ru
> mailto:postmaster на softsearch.ru
> ICQ# 166233339
> http://michael.mindmix.ru/
> Без бэкапа по жизни.
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено&hellip;
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20090121/bb84e578/attachment.html>