[SP-pm] Tempo (grande!) de liberação de memoria no perl

Renato Santos renato.cron at gmail.com
Tue Sep 28 19:36:02 PDT 2010


Entao... começando pelo procedimento do teórico do dedup

Ah cadastros salvos no db, por exemplo nome/email/fone.

100 terceiros te enviam estes dados do seu clientes, ex: financeiro da
eletropaulo, marketing da eletropaulo.

Depois de certos tratamentos (externos, feito em outra hora) eh salvo isso
em outra tabela.

A regra eh: bateu nome/qualquer coisa(tel/mail) eh a msma pessoa.

no $this, $self, ou seja la o nome da.maldita var! Eh populado assim:

$this->{$nm}[(email)]{$email} = id unico desta pessoa/ email

Esse email entre parenteses eh uma const numerica, pra separar o
email,fone,etc..

Depois feito um loop nos novos registros e eh comparado com este Hash.

Foi feito com hash na memoria, pq, em teoria, eh mais rapido ja ter tudo na
ram do que fazer um select por linha lida.

Pensando"ah, eh soum selext...."
Sao 4 tabelas, telefones, emails,enderecos,e a cadastro. 1 pessoa pode ter
55 emails (msmo q hj soh carregue 1 por entrada)
Multiplicando 8milhoes de selects vao gerar mais custo q um com outro where.

Vou ver as respostas novas deste e mail, depois posto de novo

Em set 28, 2010 7:59 PM, "Marcio Ferreira" <marciodesouzaferreira at gmail.com
>escreveu:

> Resumindo o e-mail inteiro! > Porque o perl 2 que foi executado pelo perl
1 ainda esta rodando mes...

> > Já ouviu falar em Orientação Objeto ?

  > > > Os selects estão bons, o problema mesmo é na hora de subir (depois
da "letra" F) que eu dro...

> > Se a aplicação ainda está em desenvolvimento, tente usar o PostgreSQL 9,
o algoritmo de VACCUM ...

  > >   > > > > Segue então o e-mail > > Tinha um processo aqui
(deduplicação de registros do banco...

> > Roda no notebook do Pira que tem mais memória e um processador de
verdade

  > > O processo fazia mais ou menos assim: > > Carrega do banco todos as
pessoas com a letra A > S...

> > Isso pode ti ajudar http://sao-paulo.pm.org/equinocio/2010/set/10

  > > > O código pra chamar o filho ta assim: > >
$rotinas->log("Chamando perl para process...

> > > > _______________________________________________ > SaoPaulo-pm
mailing list > SaoPaulo-pm at pm...
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20100928/6c0777d0/attachment.html>


More information about the SaoPaulo-pm mailing list