[SP-pm] Comparando grande massa de dados

[Andre Carneiro]

Em 19 de maio de 2010 17:39, Guarnieri, Carlos [ICG-IT] <
carlos.guarnieri at citi.com> escreveu:

> Pessoal,
> Preciso fazer a reconciliacao de um banco de dados. Essa reconciliacao tera
> de rodar automatica todo final de semana para garantir que alguns sistemas
> estejam em sync. Não temos poder sobre o formato do arquivo que vamos
> receber, mas terei de comparar com algumas tabelas em nosso banco de dados.
>
> Enfim temos umas 50 colunas (algumas de endereco [char 64] / mas a maioria
> char 20]) e mais de 1 milhao de registros. Entao não quero fazer um sqlload
> em nosso banco para comparar via banco.
> Alguem tem alguma sugestao interessante de como comparar esses dados? Criar
> tabela de espalhamento e testar um contra outro, exportar o banco no mesmo
> formato do arquivo e fazer diff no unix (:d)...
>
> Sugestoes são bem vindas.
>
>
Certo!

1) qual RDBMS você está usando (Postgres, Oracle, SQLServer, MySQL) ?;

2) Você mencionou sqlload. Então eu suponho que vc vai ter que transformar
os dados no formato que o sqlload aceita. Se for isso, você pode usar
templates, por exemplo. Um template para cada arquivo recebido com formato
específico, e alguns módulos que receberão os dados e usarão os templates
para formatá-los corretamente;

3) Exitem módulos para você trabalhar com o sqlload no CPAN. Sugiro que você
dê uma procurada e posta o RDBMS que vc está usando para que nós possamos
sugerir algum módulo para você;



Cheers!


>
> Valew
> _______________________________________________
> SaoPaulo-pm mailing list
> SaoPaulo-pm at pm.org
> http://mail.pm.org/mailman/listinfo/saopaulo-pm
>



-- 
André Garcia Carneiro
Analista/Desenvolvedor Perl
(11)82907780
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20100519/84d5609b/attachment.html>