Renato,<br><br>O teu email está realmente confuso e assim fica difícil encontrar ajuda. Pode ser apenas eu, mas eu não entendi qual é o teu problema. <br><br>Eu não entendi como você carrega dos dados ! Você faz um 'selec * from table where campo=inicia_com_letra_x' e coloca todo o resultado em memória ? O que significa aquele log no final do arquivo ? O que significa a tabela no inicio ?<br>
<br>Você consegue ser mais claro e detalho no teu problema ?<br><br>Solli M. Honório<br><br><div class="gmail_quote">Em 28 de setembro de 2010 17:11, Renato Santos <span dir="ltr"><<a href="mailto:renato.cron@gmail.com">renato.cron@gmail.com</a>></span> escreveu:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;"> id_file | id_layout | md5sum<br>
| file_name |<br>
time_start | time_end | validated | file_path | file_size |<br>
created_at | created_by | updated_at | updated_by | loaded | rows_ok<br>
| rows_ignored | clean | imported | imported_rows<br>
|<br>
imported_status | idorigem | reutilizar<br>
| query<br>
---------+-----------+----------------------------------+--------------------------------------------------------------------------+------------+----------+-----------+-----------+-----------+----------------------------+------------+------------+------------+--------+---------+--------------+-------+----------+---------------+----------------------------------------------------------------------------------------+----------+------------+-------<br>
3 | | changeme_too |<br>
/dados/work/OUT_PS_20100813_3.txt.conv.utf8<br>
| | | t | | | 2010-08-19<br>
11:27:06.808689 | 1 | | | t |<br>
| | t | f | | cadastros:1106160,<br>
emails:839833, enderecos:1063774, telefones:681226, updates:34815 |<br>
2 | t | f<br>
<br>
: Registros lidos: 1211132<br>
4 | | 7e42935177faec642955fe13b17a8291 |<br>
/dados/work/OUT_F5_20100814_1.txt.conv.utf8<br>
| | | t | | | 2010-08-20<br>
11:03:36.228324 | 1 | | | t |<br>
| | t | f | | cadastros:754023,<br>
emails:919402, enderecos:587103, telefones:669483, updates:55941<br>
| 3 | t | f<br>
<br>
: Registros lidos: 1379811<br>
5 | | f49957319ac7b1c0839d1f7d19ce8ab2 |<br>
/dados/work/OUT_F5_20100814_2.txt.conv.utf8<br>
| | | t | | | 2010-08-20<br>
14:46:31.645924 | 1 | | | t |<br>
| | t | f | | cadastros:569141,<br>
emails:840611, enderecos:540197, telefones:749958, updates:40869<br>
| 3 | t | f<br>
<br>
: Registros lidos: 1351801<br>
6 | | e4584ab99210780c0e846a28499692df |<br>
/dados/work/OUT_PV_20100821.txt.conv.utf8<br>
| | | t | | | 2010-08-23<br>
15:55:18.155197 | 1 | | | t |<br>
| | t | f | | cadastros:236929,<br>
emails:172333, enderecos:292073, telefones:316859, updates:661549<br>
| 1 | t | f<br>
<br>
: Registros lidos: 965113<br>
8 | | f10cd34b302735c3265dc3479e405688 |<br>
/dados/work/OUT_ERROS_F5_20100829.txt.conv.utf8<br>
| | | t | | | 2010-08-30<br>
10:19:46.501998 | 1 | | | t |<br>
| | t | f | | cadastros:59, emails:78,<br>
enderecos:46, telefones:50, updates:1 | 3 |<br>
t | f<br>
<br>
: Registros lidos: 98<br>
9 | | f28e5d8f4eeadf1ddcdbf33ecb06036f |<br>
/dados/work/OUT_ERROS_PS_20100829.txt.conv.utf8<br>
| | | t | | | 2010-08-30<br>
10:21:10.03357 | 1 | | | t |<br>
| | t | f | | cadastros:9, emails:9,<br>
enderecos:0, telefones:0, updates:0 | 2 |<br>
t | f<br>
<br>
: Registros lidos: 10<br>
10 | | ade079c2690f73fc19a7c4b991c214d5 |<br>
/dados/postgres/work_renato/OUT_REVISTA_FALTANTES_20100903.TXT.conv.utf8<br>
| | | t | | | 2010-09-03<br>
16:14:10.868327 | 1 | | | t |<br>
| | t | f | | cadastros:1486,<br>
emails:1816, enderecos:1789, telefones:1325, updates:1208<br>
| 1 | t | f<br>
<br>
: Registros lidos: 2977<br>
7 | | 07d84cfe2ef7742d8b6611ef38cef9eb |<br>
/dados/work/OUT_REVISTA_20100829.txt.conv.utf8<br>
| | | t | | | 2010-08-30<br>
10:05:45.124084 | 1 | | | t |<br>
| | t | f | | cadastros:0, emails:0,<br>
enderecos:0, telefones:0, updates:211503 | 1 |<br>
t | f<br>
<br>
: Registros lidos: 256194<br>
1 | | 6fa7b50c205882ce8f03e7b6813ad713 |<br>
/dados/work/OUT_PS_20100813_1.txt.conv.utf8<br>
| | | t | | | 2010-08-19<br>
10:42:46.460073 | 1 | | | t |<br>
| | t | f | | cadastros:1758010,<br>
emails:326527, enderecos:1137104, telefones:1328614, updates:7312 |<br>
2 | t | f<br>
<br>
: Registros lidos: 1799958<br>
2 | | changeme |<br>
/dados/work/OUT_PS_20100813_2.txt.conv.utf8<br>
| | | t | | | 2010-08-19<br>
11:26:31.105302 | 1 | | | t |<br>
| | t | f | | cadastros:1666106,<br>
emails:1071933, enderecos:1552752, telefones:1141629, updates:41893 |<br>
2 | t | f<br>
<br>
: Registros lidos: 1783627<br>
<br>
<br>
gbb<br>
<br>
idvian<br>
<br>
<br>
<br>
Tempo (grande!) de liberação de memoria no perl<br>
<br>
Pessoal,<br>
<br>
Tinha um processo aqui (deduplicação de registros do banco) que rodava com<br>
alguns milhores de registros,<br>
ai acabava acabando a RAM (4 GB, e chora, não vão por mais...),<br>
O processo fazia mais ou menos assim:<br>
<br>
Carrega do banco todos as pessoas com a letra A<br>
Sobe em RAM<br>
Loop num outro select nos registros com a lenta A<br>
compara com o com a RAM<br>
"Libera da ram" (undef nas variaveis...)<br>
<br>
E assim por diante até o Z<br>
<br>
<br>
Então, eu resolvi alterar, pois depois do primeiro processamento, a maquina<br>
ja estava sem RAM.<br>
Sei que a RAM não é liberada, mas fica 'reservada' para o proprio perl. Mas<br>
por segunraca, fiz um processamento ficar assim:<br>
<br>
Perl contralador:<br>
--> perl filho fazendo processamento da letra A (sobe na ram, processa,<br>
cospe a saida)<br>
perl pai lê a saida e pega algumas variaveis e continua...<br>
<br>
<br>
O processo esta funcionando (em desenv, rs!)<br>
<br>
Mas agora, rodando com os dados Full num banco de homologação na maquina de<br>
producao (rs!)<br>
O processo rodou normalmente até a letra B por exemplo (na verdade é de 0 a<br>
15 hexadecimal) e até a "letra" 4 não há um grande volume.<br>
<br>
O perl rodou, eu deu lida no log, e aconteceu isso:<br>
<br>
2010-09-28 11:36:43 - Iniciando aplicacao [Importador Dedup v 1.0]...<br>
2010-09-28 11:36:43 - Lendo arquivo de configuracao: conf/importador.pl.conf<br>
2010-09-28 11:36:43 - Conectando-se no banco de dados<br>
nestle_teste_dedup_novo@yamaha<br>
2010-09-28 11:36:43 - Carregando id_file 1...<br>
2010-09-28 11:36:43 - START: executaQuery.. letras: 4<br>
2010-09-28 11:42:49 - END: executaQuery..<br>
2010-09-28 11:42:49 - START: Loop DBM..<br>
2010-09-28 11:42:49 - 10000<br>
2010-09-28 11:42:50 - 20000<br>
...<br>
2010-09-28 11:55:38 - 2870000<br>
2010-09-28 11:55:52 - END: Loop DBM (READ = 2873193)..782.77837896347<br>
segundos...<br>
2010-09-28 11:57:54 - LoadDatabase: 1271 wallclock secs (235.19 usr + 19.15<br>
sys = 254.34 CPU)<br>
2010-09-28 11:57:54 - Criando arquivo ./tmp//cadastros_insert.22493.copy...<br>
2010-09-28 11:57:54 - Criando arquivo ./tmp//enderecos_insert.22493.copy...<br>
2010-09-28 11:57:54 - Criando arquivo ./tmp//cadastros_updated.22493.copy..<br>
</blockquote></div><br><br clear="all"><br>-- <br>"o animal satisfeito dorme". - Guimarães Rosa<br>