[SP-pm] Monitoramento e estatísticas

[Andre Carneiro]

Heil Perl!


Pessoal, preciso de um 'norte' para resolver um problema de arquitetura de
software. Fiz aqui no meu trabalho um 'log parser' distribuído, que gera
alguns dados de estatísticas que eu preciso capturar isso de alguma forma,
mas ainda não sei bem como fazer.

A arquitetura resumida é o seguinte:

- um daemon que, de tempos em tempos, lê arquivos de log e o divide em
vários arquivos menores, zipa esses arquivos e move para um outro
diretório. Chamo isso de 'dispatcher';
- um daemon que lê os arquivo gerados pelo 'dispatchers', e constrói jobs
através do módulo Gearman::Client e os envia para um ou mais servidores
para que os jobs sejam processados. Chamo isso de 'jobmanager';
- Em várias máquinas existem(na verdade 'existirão' :D ) os servidores de
'jobs'(outros daemons ), que recebem as requisições do 'jobmanager' via
gearman e inicia o processamento dos logs, de fato, através do módulo
Gearman::Worker, de maneira que a resposta não é esperada pelo JobManager.


Problema:

Preciso gravar os dados utilizados nas estatístifcas, além de outras
informações, mas não sei qual seria a melhor forma de fazer isso
considerando que vários workers estariam gravando os dados de vários
servidores diferentes, e a idéia é não centralizar isso num banco de dados
relacional, evitando concorrência, já que o ambiente aqui por enquanto não
suporta clusterização de banco de dados. Eu pensei em gravar os dados
localmente em cada máquina onde os workers gravaram e enviar esses dados
para um monitor central, ou deixar o dado disponível de alguma forma para
que o monitor central soubesse a quantidade de dados que está sendo
processada e de onde. Não sei se fui claro...

Alguém poderia dar uma sugestão, por gentileza?


Antecipadamente agradeço!



Cheers!

-- 
André Garcia Carneiro
Analista/Desenvolvedor Perl
(11)82907780
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20111101/6078aa92/attachment.html>