Renato, faça um curso de oratória, depois de ortografia<br clear="all"><br>[]s,<br><br><div>@webgenes<br>Marcio Ferreira<br><br></div><div><span style="font-family:sans-serif;line-height:16px"><span style="font-size:x-small">"<a style="text-decoration:none"><font color="#000000">Perl</font></a> lives as the 'toolbox for Unix' "</span></span></div>
<br>
<br><br><div class="gmail_quote">2010/9/28 Renato Santos <span dir="ltr"><<a href="mailto:renato.cron@gmail.com">renato.cron@gmail.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<p>Daniel, eu sou deslexo!!</p>
<p>E sim, nao deve ter chego no open ate agora! Isso eu entendi!</p>
<p>So nao sei q diabos o perl tava(ou ta! Nao conferi agpra, depois de 4 hrs se ta rolando) fazendo depois do log final!</p>
<p>Alguem tem mais experiência com grandes volumes? </p>
<p>Eu estou super aberto a dicas, podem xingar!(afinal neh Marcio, alguem aki faz isso bem, mas errado )<br><br></p>
<p>Tava olhando umas theads, falando sobre o ... como chama... mongodb. Sera q eh melhor usalo? Pois nao ah necessidade de relaciomento real entre as tabelas. Se nao existe agora, podera existir daqui algum tempo....<br>
Alias, quem mexeu no banco de prod trocou as gks por indrxes... soh pra "tentar " drixar mais rapido os milhoes de insert. Troquei pra copy agora sobe td em segundos....</p>
<p>Vou dormi, abraco pro seis!</p>
<p>Em set 28, 2010 11:36 PM, "Renato Santos" <<a href="mailto:renato.cron@gmail.com" target="_blank">renato.cron@gmail.com</a>>escreveu:</p><div class="im"><br><br><p>Entao... começando pelo procedimento do teórico do dedup</p>
<p>Ah cadastros salvos no db, por exemplo nome/email/fone.<br><br></p>
<p>100 terceiros te enviam estes dados do seu clientes, ex: financeiro da eletropaulo, marketing da eletropaulo.</p>
<p>Depois de certos tratamentos (externos, feito em outra hora) eh salvo isso em outra tabela.</p>
<p>A regra eh: bateu nome/qualquer coisa(tel/mail) eh a msma pessoa.</p>
<p>no $this, $self, ou seja la o nome da.maldita var! Eh populado assim:</p>
<p>$this->{$nm}[(email)]{$email} = id unico desta pessoa/ email</p>
<p>Esse email entre parenteses eh uma const numerica, pra separar o email,fone,etc..</p>
<p>Depois feito um loop nos novos registros e eh comparado com este Hash.</p>
<p>Foi feito com hash na memoria, pq, em teoria, eh mais rapido ja ter tudo na ram do que fazer um select por linha lida. </p>
<p>Pensando"ah, eh soum selext...."<br>
Sao 4 tabelas, telefones, emails,enderecos,e a cadastro. 1 pessoa pode ter 55 emails (msmo q hj soh carregue 1 por entrada) <br>
Multiplicando 8milhoes de selects vao gerar mais custo q um com outro where.</p>
<p>Vou ver as respostas novas deste e mail, depois posto de novo</p>
</div><p></p><blockquote type="cite"><div class="im"><p><font color="#500050">
>
> Em set 28, 2010 7:59 PM, "Marcio Ferreira" <<a href="mailto:marciodesouzaferreira@gmail.com" target="_blank">marciodesouzaferreira@gmail.com</a>>escreveu:
>
</font></p></div><div class="gmail_quote"><p><font color="#500050">> > Resumindo o e-mail inteiro! > Porque o perl 2 que foi executado pelo perl 1 ainda esta rodando m...</font></p><div class="im"><p><font color="#500050">
>
> Se a aplicação ainda está em desenvolvimento, tente usar o PostgreSQL 9, o algoritmo de VACCUM ...</font></p></div><p><font color="#500050">
>
> > > > > > > Segue então o e-mail > > Tinha um processo aqui (deduplicação de registros do b...</font></p></div><div class="im"><p><font color="#500050">
>
>
>
> _______________________________________________
> SaoPaulo-pm mailing list
> SaoPaulo-pm@pm...</font></p></div></blockquote><p></p>
<p></p>
<br>_______________________________________________<br>
SaoPaulo-pm mailing list<br>
<a href="mailto:SaoPaulo-pm@pm.org">SaoPaulo-pm@pm.org</a><br>
<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a><br></blockquote></div><br>