[Moscow.pm] Идеальный Map-ер и Reduce-ер

[Монашёв Михаил]

Здравствуйте, Александр.

Выходит,  что  мастер-процесс, раскидывающий задачи по маперам, должен
знать  какой  тип  данных  им  передаётся  и  где  данные  этого  типа
хранятся...

Приходим  к  тому,  что  было  неплохо иметь возможность самому писать
алгоритм раскидования задач маперам. Или же скрыть его от программиста
и на каждом мапере игнорировать чтение данных, расположенных на других
хостах, если на тех хостах запущены маперы.

> Кудряво написано. 
> Но, если мы знаем где лежат данные, то запустить там же мапперы
> не сложно, а ежли нет - то "ой". 
> Соответсвенно, тот же hadoop хранит файлы кусками на кластере и
> его "запускалка мапов" знает где и что лежит.

> 20.01.09, 18:11, "Монашёв Михаил" <postmaster на softsearch.ru>:

>> Здравствуйте, Михаил.
>> Хотел  спросить,  как  бы  Вы решали задачу выбора хостов для запусков
>> маперов, чтобы они работали с теми данными, которые хранятся на том же
>> хосте?

-- 
С уважением,
Монашёв Михаил, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.