[Moscow.pm] Offline #5

[Kaltashkin Eugene]

Кстати по поводу обработки больших логов.
Каким образом POE увеличивает/улучшает скорость обработки ?
Расскажешь вкратце прям тута ?
Что делать с рваной структурой логов аля sendmail, exim, postfix,
где записи объединены одним общим признаком ?
Тупо логи апача разбирать не сильно интересно, если нет сессионности.

Из моих механизмов я использую следущие:
Если важна онлайновость обработки логов и квантование по времени, то 
много удобнее дергать данные через
использование меток временных промежутков.
grep(bzgrep) -A 1000000 "$date" logfile.log > tmp.log
Начальное значение $date скажем формируется как head -1 logfile.log.
следущее значение как $date = tail -1 tmp.log.
таким образом обеспечивая целостность проверки лога.
Далее просто штатная проработка параметров по временному логу.
Если нужно разгребать логи целиком, то вот тут интересен твой метод.
Мне например нужно разгрести пару логов размером по 30 Гигов. Как ? я 
пока не понимаю.


Ivan B. Serezhkin пишет:
> Привет.
>
> Я тут решил немножко исправится, да и работа была интересная.
> Вообщем готов расказать про "POE и обработка адских логов".
> В программе:
> Как правильно читать с диска
> Почему зипованные файлы не выход (уровни абстракции чтения)
> Как правильно парсить
> Где хранить накопленную информацию и как её показывать
> Зачем нужен rrd и что туда совать
> И как в конце концов управлять полученным монстриком (eval over xmpp)
>
> Так что пора планировать пятый оффлайн, Майский перл - майским перлом, 
> но оффлайны никто не отменял =)
>
>
>