[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Павел Тимонин]

20 января 2009 г. 19:37 пользователь Монашёв Михаил <
postmaster на softsearch.ru> написал:

> Здравствуйте, Михаил.

А вот это сильно.
Сорри за оффтоп.

>
>
> Вдогонку... А редьюсеры запускать на тех хостах, где скопилось больше всего
> данных от маперов, в надежде, что придётся гонять меньше данных по
> сети.
>
> > Выходит,  что  мастер-процесс, раскидывающий задачи по маперам, должен
> > знать  какой  тип  данных  им  передаётся  и  где  данные  этого  типа
> > хранятся...
>
> > Приходим  к  тому,  что  было  неплохо иметь возможность самому писать
> > алгоритм раскидования задач маперам. Или же скрыть его от программиста
> > и на каждом мапере игнорировать чтение данных, расположенных на других
> > хостах, если на тех хостах запущены маперы.
>
> >> Кудряво написано.
> >> Но, если мы знаем где лежат данные, то запустить там же мапперы
> >> не сложно, а ежли нет - то "ой".
> >> Соответсвенно, тот же hadoop хранит файлы кусками на кластере и
> >> его "запускалка мапов" знает где и что лежит.
>
> >> 20.01.09, 18:11, "Монашёв Михаил" <postmaster на softsearch.ru>:
>
> >>> Здравствуйте, Михаил.
> >>> Хотел  спросить,  как  бы  Вы решали задачу выбора хостов для запусков
> >>> маперов, чтобы они работали с теми данными, которые хранятся на том же
> >>> хосте?
>
>
>
>
> --
> С уважением,
> Монашёв Михаил, SoftSearch.ru
> mailto:postmaster на softsearch.ru
> ICQ# 166233339
> http://michael.mindmix.ru/
> Без бэкапа по жизни.
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено&hellip;
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20090120/43a55355/attachment-0001.html>