[Moscow.pm] Ау, где докладчики?

[Михаил Монашёв]

Здравствуйте, Руслан.

>> RZ> Михаил, может расскажешь про
>> RZ> результаты  MapReduce,  как  получилось,  как  работает  и  на чем
>> RZ> работает?
>>
>> Получилось.   На  боевой  машине только сегодня запустили. Уже даже
>> два  джоба   отработали.   Но   пока  всё  очень  сыро            и
>> рассказывать/выкладывать   рано.    Я    только   инсталлировал   и
>>  собирал  баги  неделю.  Кроме  того, я сегодня пришёл к мысли, что
>> репорте таки нужен :-)

RZ> Выкладывать  не  обязательно,  достаточно  интересная  тема      и
RZ> архитектура.  Как раз во время написания слайдов приведешь мысли в
RZ> порядок и разложишь по полочкам все :)

Я не готов пока выступать.

Архитектура  там  простая  - маперы раскладываю обработанные данные по
сети  по mysql-ям, а редьюсеры потом локально их обрабатывают и кладут
куда  скажешь  -  в  файлы, например. Место mysql-я можно использовать
что-то  ещё,  достаточно заменить один класс. Чтобы не было распухания
перловых  процессов  все входные и промежуточные данные обрабатываются
построчно.

Самое важное ИМХО понять идею MapReduce. Тогда сразу многое становится
очевидным.  Например, нужно  но  ли оно вообще или обычным SELECT-ом к
базе можно обойтись.

>> Короче  надо  там всё допилить до ума. Комментариев в коде понаписать,
>> директории нужные автоматом создавать, а не падать на них...

RZ> Тебя  никто  не  заставляет  выкладывать  код.  У Ивана был доклад
RZ> прикольный   про  обработку  почтовых  логов.  Как  он  их  гоняет
RZ> гигабайтами  туда-сюда  на  ПОЯх.  Было  интересно  послушать  про
RZ> технологию.

Технологии никакой нет. Это как придумывать модное AJAX вместо старого
JavaScript.

У  нас  наоборот,  по  сети  гоняется минимум данных и только во время
работы маперов.

--

С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster на softsearch.ru
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.