[SP-pm] Comparando grande massa de dados

[Guarnieri, Carlos [ICG-IT]]

entao... sao oracle e sybase... mas como os arquivos sao grandes to com medo de joga pro banco.
 
Tava pensando mais em pegar os dados e comparar no unix...
 
o q acham?

  _____  

From: saopaulo-pm-bounces+carlos.guarnieri=citi.com em pm.org [mailto:saopaulo-pm-bounces+carlos.guarnieri=citi.com em pm.org] On Behalf Of Andre Carneiro
Sent: quarta-feira, 19 de maio de 2010 18:09
To: saopaulo-pm em mail.pm.org
Subject: Re: [SP-pm] Comparando grande massa de dados




Em 19 de maio de 2010 17:39, Guarnieri, Carlos [ICG-IT] <carlos.guarnieri em citi.com> escreveu:


	Pessoal,
	Preciso fazer a reconciliacao de um banco de dados. Essa reconciliacao tera de rodar automatica todo final de semana para garantir que alguns sistemas estejam em sync. Não temos poder sobre o formato do arquivo que vamos receber, mas terei de comparar com algumas tabelas em nosso banco de dados.
	
	Enfim temos umas 50 colunas (algumas de endereco [char 64] / mas a maioria char 20]) e mais de 1 milhao de registros. Entao não quero fazer um sqlload em nosso banco para comparar via banco.
	Alguem tem alguma sugestao interessante de como comparar esses dados? Criar tabela de espalhamento e testar um contra outro, exportar o banco no mesmo formato do arquivo e fazer diff no unix (:d)...
	
	Sugestoes são bem vindas.
	
	


Certo! 

1) qual RDBMS você está usando (Postgres, Oracle, SQLServer, MySQL) ?;

2) Você mencionou sqlload. Então eu suponho que vc vai ter que transformar os dados no formato que o sqlload aceita. Se for isso, você pode usar templates, por exemplo. Um template para cada arquivo recebido com formato específico, e alguns módulos que receberão os dados e usarão os templates para formatá-los corretamente;

3) Exitem módulos para você trabalhar com o sqlload no CPAN. Sugiro que você dê uma procurada e posta o RDBMS que vc está usando para que nós possamos sugerir algum módulo para você;



Cheers!
 


	Valew
	_______________________________________________
	SaoPaulo-pm mailing list
	SaoPaulo-pm em pm.org
	http://mail.pm.org/mailman/listinfo/saopaulo-pm
	




-- 
André Garcia Carneiro
Analista/Desenvolvedor Perl
(11)82907780

-------------- Pr?xima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20100519/1c27b2ee/attachment-0001.html>