[Moscow.pm] Offline #5

[Kaltashkin Eugene]

Ivan B. Serezhkin пишет:
> Писать POE::Filter::(exim|sendmail|postfix) Это хороший вариант 
> деятельности.
> У меня логи многострочные, Известно что новая запись начинается со слов 
> mess:
> Вот я и взял готовый POE::Filter::Line , перенастроил его, 
> абстрагировался от файлов и строк, и стал получать просто куски данных.
>   
ээээ. многострочные с постоянным признаком начала строки это конечно сказка.
Но такое бывает нечасто :(
у мя есть паблик хост с openvpn в логе которого черт ногу сломит.
ну не хватает у меня моральных сил написать для него грамотный парсер 
для определения активных сессий.

> Во во, у меня немножко ждругой подход, я весь лог в процессе создания 
> индексю в gdbm,
> запихиваю туда смещение.
> bzgrep - это не современный путь, зиповать ты можешь только на одном 
> ядре проца.
> А вот одно ядро проца раззиповывает медленнее, чем читается просто с диска.
> Тут надо балансировать на грани ... вообщем раскажу.
>   
gdbm это жесть, хоть и быстро работает.
Насчет bzgrep ясное дело, что не современно, но архивные логи парсить по 
другому врядли получится.
Сводить все логи в промежуточную структуру это тема, но всё равно затратно.

> Гору 30 гигов в час, во первых нужен хороший логсервер .... =)
> Во вторых надо паралелится. Во вторых надо умно паралелится.
> Пое тут помогает сильно, у меня штук пять читалок логов, которые тупо 
> читают логи,
> делают изкаждой записи готовый объект SOLOG::Record, в котором запись 
> уже распарсена,
> и отдаёт такие объекты в головную считалку, которая ничего не 
> читает/парсит? а только работает с этими объектами.
> А чтобы не включатся/выключатся при перенастройке - оно у меня 
> разговаривает со мной по XMPP - и вот только изза этого можно было 
> выбрать POE.
>   
насчет XMPP это конечно клёво :) IRC был бы круче, если бы умел offline 
messages.
Мне конечно статку в онлайне особо не нада, для mrtg хватает 5минутного 
среза,
но всё таки обрабатывать объёмы по несколько миллионов записей не гут.
Думаю как соптимайзить это всётаки.
>> --
>> Moscow.pm mailing list
>> moscow-pm на pm.org | http://moscow.pm.org
>> http://mail.pm.org/mailman/listinfo/moscow-pm
>>     
> ЗЫ  !!!!!!!  # XXX FIXME FUCKUP
> Тирлайн(tearline) состоит не только и двух минусов.
> Тирлайн это два минуса, пробел и перевод строки.
> У меня тхундербирд не говорит что такая конструкция это подпись.
>   
да да ! тоже самое