<br><br><div class="gmail_quote">20 января 2009 г. 19:37 пользователь Монашёв Михаил <span dir="ltr"><<a href="mailto:postmaster@softsearch.ru">postmaster@softsearch.ru</a>></span> написал:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Здравствуйте, Михаил.</blockquote><div>А вот это сильно.</div><div>Сорри за оффтоп. </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><br>
<br>
Вдогонку... А редьюсеры запускать на тех хостах, где скопилось больше всего<br>
данных от маперов, в надежде, что придётся гонять меньше данных по<br>
сети.<br>
<div><div></div><div class="Wj3C7c"><br>
> Выходит, что мастер-процесс, раскидывающий задачи по маперам, должен<br>
> знать какой тип данных им передаётся и где данные этого типа<br>
> хранятся...<br>
<br>
> Приходим к тому, что было неплохо иметь возможность самому писать<br>
> алгоритм раскидования задач маперам. Или же скрыть его от программиста<br>
> и на каждом мапере игнорировать чтение данных, расположенных на других<br>
> хостах, если на тех хостах запущены маперы.<br>
<br>
>> Кудряво написано.<br>
>> Но, если мы знаем где лежат данные, то запустить там же мапперы<br>
>> не сложно, а ежли нет - то "ой".<br>
>> Соответсвенно, тот же hadoop хранит файлы кусками на кластере и<br>
>> его "запускалка мапов" знает где и что лежит.<br>
<br>
>> 20.01.09, 18:11, "Монашёв Михаил" <<a href="mailto:postmaster@softsearch.ru">postmaster@softsearch.ru</a>>:<br>
<br>
>>> Здравствуйте, Михаил.<br>
>>> Хотел спросить, как бы Вы решали задачу выбора хостов для запусков<br>
>>> маперов, чтобы они работали с теми данными, которые хранятся на том же<br>
>>> хосте?<br>
<br>
<br>
<br>
<br>
--<br>
С уважением,<br>
Монашёв Михаил, SoftSearch.ru<br>
mailto:<a href="mailto:postmaster@softsearch.ru">postmaster@softsearch.ru</a><br>
ICQ# 166233339<br>
<a href="http://michael.mindmix.ru/" target="_blank">http://michael.mindmix.ru/</a><br>
Без бэкапа по жизни.<br>
<br>
--<br>
Moscow.pm mailing list<br>
<a href="mailto:moscow-pm@pm.org">moscow-pm@pm.org</a> | <a href="http://moscow.pm.org" target="_blank">http://moscow.pm.org</a><br>
</div></div></blockquote></div><br>