[Moscow.pm] Offline #5

[Ivan B. Serezhkin]

Kaltashkin Eugene wrote:
> Ivan B. Serezhkin пишет:
>   
>> Писать POE::Filter::(exim|sendmail|postfix) Это хороший вариант 
>> деятельности.
>> У меня логи многострочные, Известно что новая запись начинается со слов 
>> mess:
>> Вот я и взял готовый POE::Filter::Line , перенастроил его, 
>> абстрагировался от файлов и строк, и стал получать просто куски данных.
>>   
>>     
> ээээ. многострочные с постоянным признаком начала строки это конечно сказка.
> Но такое бывает нечасто :(
> у мя есть паблик хост с openvpn в логе которого черт ногу сломит.
> ну не хватает у меня моральных сил написать для него грамотный парсер 
> для определения активных сессий.
>   
Ок, это интересная задача,  попробую что нибудь сделать ....
типа ...  парсер /var/log/messages это не сложно, но надо время.
>   
>> Во во, у меня немножко ждругой подход, я весь лог в процессе создания 
>> индексю в gdbm,
>> запихиваю туда смещение.
>> bzgrep - это не современный путь, зиповать ты можешь только на одном 
>> ядре проца.
>> А вот одно ядро проца раззиповывает медленнее, чем читается просто с диска.
>> Тут надо балансировать на грани ... вообщем раскажу.
>>   
>>     
> gdbm это жесть, хоть и быстро работает.
> Насчет bzgrep ясное дело, что не современно, но архивные логи парсить по 
> другому врядли получится.
>   
Архивные ... или вчерашние ?
> Сводить все логи в промежуточную структуру это тема, но всё равно затратно.
>   
это единственный способ паралелится на перле, увы =(
треды - я их боюсь.
>   
>> Гору 30 гигов в час, во первых нужен хороший логсервер .... =)
>> Во вторых надо паралелится. Во вторых надо умно паралелится.
>> Пое тут помогает сильно, у меня штук пять читалок логов, которые тупо 
>> читают логи,
>> делают изкаждой записи готовый объект SOLOG::Record, в котором запись 
>> уже распарсена,
>> и отдаёт такие объекты в головную считалку, которая ничего не 
>> читает/парсит? а только работает с этими объектами.
>> А чтобы не включатся/выключатся при перенастройке - оно у меня 
>> разговаривает со мной по XMPP - и вот только изза этого можно было 
>> выбрать POE.
>>   
>>     
> насчет XMPP это конечно клёво :) IRC был бы круче, если бы умел offline 
> messages.
> Мне конечно статку в онлайне особо не нада, для mrtg хватает 5минутного 
> среза,
>   
а так и получается, у меня сообщение по конвееру обработки идёт минут пять.
Ирк .. Я думал использовать ирк как диспетчер.. но .. не понравилось.
> но всё таки обрабатывать объёмы по несколько миллионов записей не гут.
> Думаю как соптимайзить это всётаки.
>   
>>> --
>>> Moscow.pm mailing list
>>> moscow-pm на pm.org | http://moscow.pm.org
>>> http://mail.pm.org/mailman/listinfo/moscow-pm
>>>     
>>>       
>> ЗЫ  !!!!!!!  # XXX FIXME FUCKUP
>> Тирлайн(tearline) состоит не только и двух минусов.
>> Тирлайн это два минуса, пробел и перевод строки.
>> У меня тхундербирд не говорит что такая конструкция это подпись.
>>   
>>     
> да да ! тоже самое
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm


-- 
Ivan B. Serezhkin