[Cascavel-pm] Ajuda com o syslog

[Marco A P D'Andrade]

Olha, eu dei uma olhada no Logsentry sugerido pelo Solli, e na falta
de opções me pareceu uma boa partida...

- manter os logs locais,
- em ciclos determinados
  - fazer o envio à centralizadora
  - após determinado tamanho fazer rotate (rename, graceful)
  - quando, apos rotate, atingir o fim do arquivo 2 vezes (em 2
ciclos), retira da lista e faz compressão/archive/exclusão;


Uma questão que ao meu ver depõe contra logs via tcp é que vc pode ter
um delay no handshake... se esta for a abordagem, pode valer a pena
usar udp para a local, e esta reenviar, mas isso só vale a pena se o
syslog-ng der conta do recado dispensando o processo, mesmo em casos
de falhas...

Via de regra, eu partiria para um basico em perl, e posterior
adaptação ou partiria do Logsentry...


Claro que com este volume de dados, investir em ferro o mais cedo
possível, ao menos para ter onde armazenar/manipular estes volume de
dados, mesmo com a excelente taxa de compressão dos logs de apache,
logo logo lota ;)


Sds,
Marco Antonio

Em 26/03/07, Luis Motta Campos<luismottacampos em yahoo.co.uk> escreveu:
> On Mar 26, 2007, at 2:08 PM, Marco A P D'Andrade wrote:
> > Champs,
> > Acrescentando mais um detalhe na afirmação do Flavio, lembre-se que
> > via UDP vc pode ter linhas fora de ordem, eu já percebi esta
> > ocorrência, ao acaso, em logs de correio, que utilizo este formato,
> > cópia local, e reenvio via syslog para centralizadora, a fim de gerar
> > estatísticas (não lembro de ter visto syslog via tcp)...
>
>    Sem problemas com a ordem, posso reorganizar isso no parsing.
>    Eu acho que o Syslog NG implementa logging por TCP... mas é mais
> recente.
>
> > Não conheço as sugestões do Solli, mas uma alternativa mais primaria
> > seria o velho log-rotate (se não forem muitas instancias de apache),
> > digamos de 5 em 5 minutos, rsync e merge ...  (unindo ideias do
> > Luciano e Solli) ...
> >
> > Claro, alternativas mais elaboradas poderiam passar por módulos no
> > apache para centralizar os logs... sei que existe uma opção para banco
> > de dados, ou para performance, pode ser armazenado num bando de dados
> > (mysql) eheh
>
>    Obrigado, Marco.
>    Eu acho que agora vou encostar isso até o pessoal aqui conseguir
> demonstrar que eles precisam de dinheiro para comprar mais ferro... :-
> P leva um tempão aqui para convencer o pessoal a abrir a mão. Mas
> eles abrem bem aberta, quando ficam convencidos.
>
>    Sobre a quantidade de informação: os servidores produzem cerca de
> 8Gb de logs cada um, todos os dias. Tenho um cluster de 10 máquinas,
> e ele vai crecer para 40-60 em breve. Eu preciso de um jeito de
> manter centralizados todos os logs das máquinas, sem que isso reflita
> negativamente na performance: se a máquina não for capaz de usar o
> log remoto por qualquer razão, ela tem de armazenar localmente até
> ser possível enviar os logs para a central e tem de dar alarme, de
> preferência de uma forma que eu consiga monitorar via smnp ou Nagios.
>
>    Se você souber de alguma ferramenta que faz isso, o pessoal aqui
> está começando a levar isso muito à sério agora...
>
>    Putamplexos!
> --
> Luis Motta Campos (a.k.a. Monsieur Champs) is a software engineer,
> Perl fanatic evangelist, and amateur {cook, photographer}
>
>
> _______________________________________________
> Cascavel-pm mailing list
> Cascavel-pm em pm.org
> http://mail.pm.org/mailman/listinfo/cascavel-pm
>