[Moscow.pm] Ау, где докладчики?

[Михаил Монашёв]

Здравствуйте, Руслан.

RZ> Михаил, может расскажешь про
RZ> результаты  MapReduce,  как  получилось,  как  работает  и  на чем
RZ> работает?

Получилось.  На  боевой  машине только сегодня запустили. Уже даже два
джоба  отработали.  Но  пока всё очень сыро и рассказывать/выкладывать
рано.  Я  только  инсталлировал  и  собирал баги неделю. Кроме того, я
сегодня пришёл к мысли, что репорте таки нужен :-)

Сейчас  мы  например  запускаем  500  маперов  на 5 серверах. И одного
редьюсера,  чтобы  он  данные положил в 1 файл на 1 сервере. А конечно
правильнее  было  бы  запускать  также  много  редьюсеров,  чтобы  они
молотили  данные  в параллель, чтобы мускул, выступающий промежуточным
хранилищем  не  загибался.  А потом файлики репортером сливать на один
сервер и там с ними работать.

Короче  надо  там всё допилить до ума. Комментариев в коде понаписать,
директории нужные автоматом создавать, а не падать на них...

  

--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.