[Moscow.pm] Offline #5
Ivan B. Serezhkin
ivan на serezhkin.com
Пт Мар 14 13:10:07 PDT 2008
Kaltashkin Eugene wrote:
> Ivan B. Serezhkin пишет:
>
>> Писать POE::Filter::(exim|sendmail|postfix) Это хороший вариант
>> деятельности.
>> У меня логи многострочные, Известно что новая запись начинается со слов
>> mess:
>> Вот я и взял готовый POE::Filter::Line , перенастроил его,
>> абстрагировался от файлов и строк, и стал получать просто куски данных.
>>
>>
> ээээ. многострочные с постоянным признаком начала строки это конечно сказка.
> Но такое бывает нечасто :(
> у мя есть паблик хост с openvpn в логе которого черт ногу сломит.
> ну не хватает у меня моральных сил написать для него грамотный парсер
> для определения активных сессий.
>
Ок, это интересная задача, попробую что нибудь сделать ....
типа ... парсер /var/log/messages это не сложно, но надо время.
>
>> Во во, у меня немножко ждругой подход, я весь лог в процессе создания
>> индексю в gdbm,
>> запихиваю туда смещение.
>> bzgrep - это не современный путь, зиповать ты можешь только на одном
>> ядре проца.
>> А вот одно ядро проца раззиповывает медленнее, чем читается просто с диска.
>> Тут надо балансировать на грани ... вообщем раскажу.
>>
>>
> gdbm это жесть, хоть и быстро работает.
> Насчет bzgrep ясное дело, что не современно, но архивные логи парсить по
> другому врядли получится.
>
Архивные ... или вчерашние ?
> Сводить все логи в промежуточную структуру это тема, но всё равно затратно.
>
это единственный способ паралелится на перле, увы =(
треды - я их боюсь.
>
>> Гору 30 гигов в час, во первых нужен хороший логсервер .... =)
>> Во вторых надо паралелится. Во вторых надо умно паралелится.
>> Пое тут помогает сильно, у меня штук пять читалок логов, которые тупо
>> читают логи,
>> делают изкаждой записи готовый объект SOLOG::Record, в котором запись
>> уже распарсена,
>> и отдаёт такие объекты в головную считалку, которая ничего не
>> читает/парсит? а только работает с этими объектами.
>> А чтобы не включатся/выключатся при перенастройке - оно у меня
>> разговаривает со мной по XMPP - и вот только изза этого можно было
>> выбрать POE.
>>
>>
> насчет XMPP это конечно клёво :) IRC был бы круче, если бы умел offline
> messages.
> Мне конечно статку в онлайне особо не нада, для mrtg хватает 5минутного
> среза,
>
а так и получается, у меня сообщение по конвееру обработки идёт минут пять.
Ирк .. Я думал использовать ирк как диспетчер.. но .. не понравилось.
> но всё таки обрабатывать объёмы по несколько миллионов записей не гут.
> Думаю как соптимайзить это всётаки.
>
>>> --
>>> Moscow.pm mailing list
>>> moscow-pm на pm.org | http://moscow.pm.org
>>> http://mail.pm.org/mailman/listinfo/moscow-pm
>>>
>>>
>> ЗЫ !!!!!!! # XXX FIXME FUCKUP
>> Тирлайн(tearline) состоит не только и двух минусов.
>> Тирлайн это два минуса, пробел и перевод строки.
>> У меня тхундербирд не говорит что такая конструкция это подпись.
>>
>>
> да да ! тоже самое
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm
--
Ivan B. Serezhkin
Подробная информация о списке рассылки Moscow-pm