[SP-pm] Tempo (grande!) de liberação de memoria no perl

[Marcio Ferreira]

Renato, faça um curso de oratória, depois de ortografia

[]s,

@webgenes
Marcio Ferreira

"Perl lives as the 'toolbox for Unix' "



2010/9/28 Renato Santos <renato.cron at gmail.com>

> Daniel, eu sou deslexo!!
>
> E sim, nao deve ter chego no open ate agora! Isso eu entendi!
>
> So nao sei q diabos o perl tava(ou ta! Nao conferi agpra, depois de 4 hrs
> se ta rolando) fazendo depois do log final!
>
> Alguem tem mais experiência com grandes volumes?
>
> Eu estou super aberto a dicas, podem xingar!(afinal neh Marcio, alguem aki
> faz isso bem, mas errado )
>
> Tava olhando umas theads, falando sobre o ... como chama... mongodb. Sera q
> eh melhor usalo? Pois nao ah necessidade de relaciomento real entre as
> tabelas. Se nao existe agora, podera existir daqui algum tempo....
> Alias, quem mexeu no banco de prod trocou as gks por indrxes... soh pra
> "tentar " drixar mais rapido os milhoes de insert. Troquei pra copy agora
> sobe td em segundos....
>
> Vou dormi, abraco pro seis!
>
> Em set 28, 2010 11:36 PM, "Renato Santos" <renato.cron at gmail.com>escreveu:
>
>
> Entao... começando pelo procedimento do teórico do dedup
>
> Ah cadastros salvos no db, por exemplo nome/email/fone.
>
> 100 terceiros te enviam estes dados do seu clientes, ex: financeiro da
> eletropaulo, marketing da eletropaulo.
>
> Depois de certos tratamentos (externos, feito em outra hora) eh salvo isso
> em outra tabela.
>
> A regra eh: bateu nome/qualquer coisa(tel/mail) eh a msma pessoa.
>
> no $this, $self, ou seja la o nome da.maldita var! Eh populado assim:
>
> $this->{$nm}[(email)]{$email} = id unico desta pessoa/ email
>
> Esse email entre parenteses eh uma const numerica, pra separar o
> email,fone,etc..
>
> Depois feito um loop nos novos registros e eh comparado com este Hash.
>
> Foi feito com hash na memoria, pq, em teoria, eh mais rapido ja ter tudo na
> ram do que fazer um select por linha lida.
>
> Pensando"ah, eh soum selext...."
> Sao 4 tabelas, telefones, emails,enderecos,e a cadastro. 1 pessoa pode ter
> 55 emails (msmo q hj soh carregue 1 por entrada)
> Multiplicando 8milhoes de selects vao gerar mais custo q um com outro
> where.
>
> Vou ver as respostas novas deste e mail, depois posto de novo
>
> > > Em set 28, 2010 7:59 PM, "Marcio Ferreira" <
> marciodesouzaferreira at gmail.com>escreveu: >
>
> > > Resumindo o e-mail inteiro! > Porque o perl 2 que foi executado pelo
> perl 1 ainda esta rodando m...
>
> > > Se a aplicação ainda está em desenvolvimento, tente usar o PostgreSQL
> 9, o algoritmo de VACCUM ...
>
> > >   > >   > > > > Segue então o e-mail > > Tinha um processo aqui
> (deduplicação de registros do b...
>
> > > > > _______________________________________________ > SaoPaulo-pm
> mailing list > SaoPaulo-pm at pm...
>
>
> _______________________________________________
> SaoPaulo-pm mailing list
> SaoPaulo-pm at pm.org
> http://mail.pm.org/mailman/listinfo/saopaulo-pm
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20100929/2a837b28/attachment-0001.html>