[SP-pm] Comparando grande massa de dados

[Andre Carneiro]

Existe o sqlldr para Oracle(mas você já sabia disso :D). Ele serve
exatamente para carregar grandes quantidades de dados rapidamente.

Existem alguns módulos para manipular e executar cargas de dados no CPAN,
utilizando o SQLLoader. O que eu achei mais simples foi esse aqui:

http://search.cpan.org/~ezra/Oracle-SQLLoader-0.9/lib/Oracle/SQLLoader.pm

O problema é que não é atualizado desde 2006!!!



2010/5/19 Guarnieri, Carlos [ICG-IT] <carlos.guarnieri at citi.com>

>  entao... sao oracle e sybase... mas como os arquivos sao grandes to com
> medo de joga pro banco.
>

Deixe disso! Faça muitos testes em tabelas temporárias(se possível em uma
base de testes), e seja feliz!


> Tava pensando mais em pegar os dados e comparar no unix...
>
>

Que tipo de comparação?



> o q acham?
>

Não sei, mais detalhes por favor(se possível)!!!



>
>  ------------------------------
> *From:* saopaulo-pm-bounces+carlos.guarnieri=citi.com at pm.org [mailto:
> saopaulo-pm-bounces+carlos.guarnieri<saopaulo-pm-bounces%2Bcarlos.guarnieri>
> =citi.com at pm.org] *On Behalf Of *Andre Carneiro
> *Sent:* quarta-feira, 19 de maio de 2010 18:09
> *To:* saopaulo-pm at mail.pm.org
> *Subject:* Re: [SP-pm] Comparando grande massa de dados
>
>
>
> Em 19 de maio de 2010 17:39, Guarnieri, Carlos [ICG-IT] <
> carlos.guarnieri at citi.com> escreveu:
>
>> Pessoal,
>> Preciso fazer a reconciliacao de um banco de dados. Essa reconciliacao
>> tera de rodar automatica todo final de semana para garantir que alguns
>> sistemas estejam em sync. Não temos poder sobre o formato do arquivo que
>> vamos receber, mas terei de comparar com algumas tabelas em nosso banco de
>> dados.
>>
>> Enfim temos umas 50 colunas (algumas de endereco [char 64] / mas a maioria
>> char 20]) e mais de 1 milhao de registros. Entao não quero fazer um sqlload
>> em nosso banco para comparar via banco.
>> Alguem tem alguma sugestao interessante de como comparar esses dados?
>> Criar tabela de espalhamento e testar um contra outro, exportar o banco no
>> mesmo formato do arquivo e fazer diff no unix (:d)...
>>
>> Sugestoes são bem vindas.
>>
>>
> Certo!
>
> 1) qual RDBMS você está usando (Postgres, Oracle, SQLServer, MySQL) ?;
>
> 2) Você mencionou sqlload. Então eu suponho que vc vai ter que transformar
> os dados no formato que o sqlload aceita. Se for isso, você pode usar
> templates, por exemplo. Um template para cada arquivo recebido com formato
> específico, e alguns módulos que receberão os dados e usarão os templates
> para formatá-los corretamente;
>
> 3) Exitem módulos para você trabalhar com o sqlload no CPAN. Sugiro que
> você dê uma procurada e posta o RDBMS que vc está usando para que nós
> possamos sugerir algum módulo para você;
>
>
>
> Cheers!
>
>
>>
>> Valew
>> _______________________________________________
>> SaoPaulo-pm mailing list
>> SaoPaulo-pm at pm.org
>> http://mail.pm.org/mailman/listinfo/saopaulo-pm
>>
>
>
>
> --
> André Garcia Carneiro
> Analista/Desenvolvedor Perl
> (11)82907780
>
> _______________________________________________
> SaoPaulo-pm mailing list
> SaoPaulo-pm at pm.org
> http://mail.pm.org/mailman/listinfo/saopaulo-pm
>



-- 
André Garcia Carneiro
Analista/Desenvolvedor Perl
(11)82907780
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20100520/e5a56273/attachment-0001.html>