Fiz uns testes aqui no meu super lento notebook q acho q pode interessar:<br><br><br>fernando@fernando-laptop:~$ cat <a href="http://test_threads.pl">test_threads.pl</a> <br>#!/usr/bin/perl<br><br>use 5.10.0;<br>use strict;<br>
use Time::HiRes qw/gettimeofday tv_interval usleep/;<br><br>use threads ('yield',<br> 'stack_size' => 16384,<br> 'exit' => 'threads_only',<br> 'stringify');<br>
use threads::shared;<br><br>my @ips : shared;<br>my %result : shared;<br>my $time : shared;<br><br>$| = 1;<br><br>@ips = 1 .. 10_000;<br>my $ips = @ips;<br>say "ips: $ips";<br>my $max_threads = shift || 200;<br>
<br>my $t0 = [gettimeofday];<br>push my @thrs, create_thread() for 1 .. $max_threads;<br>say "Levou ", tv_interval($t0, [gettimeofday]), " seg para startar $max_threads threads";<br>say "Media de tempo p/ startar cada thread: ", $time / $max_threads;<br>
<br>print("\rtestados: ", scalar keys %result), usleep 100 while @ips and $ips != scalar keys %result;<br>print $/;<br><br>my %r;<br>$r{ $_ }++ for values %result;<br>say "$_: $r{ $_ }" for qw/OK NOK/;<br>
say "TOTAL: ", $r{ OK } + $r{ NOK };<br><br>sub create_thread {<br> threads->create({context => "void"}, \&sub_thread, [gettimeofday]);<br>}<br><br>sub sub_thread {<br> my $t0 = shift;<br>
my $time_unit = tv_interval($t0, [gettimeofday]);<br> my $tid = threads->tid;<br> say $tid, ": ", $time_unit if $tid >= $max_threads - 5;<br> $time += $time_unit;<br><br> while(my $ip = shift @ips) {<br>
my $r = int rand 9;<br> sleep 1 unless $r % 2;<br> $result{ $ip } = $r % 2 ? "OK" : "NOK";<br> }<br> exit;<br>}<br>fernando@fernando-laptop:~$ diff <a href="http://test_threads.pl">test_threads.pl</a> <a href="http://test_forks.pl">test_forks.pl</a> <br>
7c7<br>< use threads ('yield',<br>---<br>> use forks ('yield',<br>11c11<br>< use threads::shared;<br>---<br>> use forks::shared;<br>fernando@fernando-laptop:~$ time ./<a href="http://test_threads.pl">test_threads.pl</a> 100<br>
ips: 10000<br>95: 0.009266<br>96: 0.006097<br>97: 0.011582<br>98: 0.007523<br>99: 0.006502<br>100: 0.022716<br>testados: 99030seg para startar 100 threads<br>OK: 4509<br>NOK: 5395<br>TOTAL: 9904<br>Perl exited with active threads:<br>
85 running and unjoined<br> 15 finished and unjoined<br> 0 running and detached<br><br>real 0m55.945s<br>user 0m48.159s<br>sys 0m0.596s<br>fernando@fernando-laptop:~$ time ./<a href="http://test_threads.pl">test_threads.pl</a> 500<br>
ips: 10000<br>495: 0.005923<br>496: 0.151628<br>497: 1.154306<br>498: 0.005588<br>499: 0.005505<br>500: 0.006324<br>Levou 33.697717 seg para startar 500 threads<br>Media de tempo p/ startar cada thread: 0.06719761<br><br>
OK: 4420<br>NOK: 5580<br>TOTAL: 10000<br>Perl exited with active threads:<br> 0 running and unjoined<br> 500 finished and unjoined<br> 0 running and detached<br><br>real 0m38.136s<br>user 0m2.640s<br>sys 0m0.856s<br>
fernando@fernando-laptop:~$ time ./<a href="http://test_threads.pl">test_threads.pl</a> 1000<br>ips: 10000<br>995: 0.125149<br>996: 0.687834<br>997: 0.164103<br>998: 0.00555<br>999: 0.00544<br>1000: 0.005672<br>Levou 133.962833 seg para startar 1000 threads<br>
Media de tempo p/ startar cada thread: 0.132355601<br><br>OK: 4385<br>NOK: 5615<br>TOTAL: 10000<br>Perl exited with active threads:<br> 0 running and unjoined<br> 1000 finished and unjoined<br> 0 running and detached<br>
<br>real 2m28.914s<br>user 0m4.620s<br>sys 0m1.412s<br>fernando@fernando-laptop:~$ time ./<a href="http://test_forks.pl">test_forks.pl</a> 100<br>ips: 10000<br>95: 0.600199<br>96: 0.463332<br>97: 0.462497<br>98: 0.012093<br>
99: 1.848478<br>100: 0.273546<br>Levou 80.618404 seg para startar 100 threads<br>Media de tempo p/ startar cada thread: 0.81342024<br>testados: 9671<br>OK: 4417<br>NOK: 5583<br>TOTAL: 10000<br>Perl exited with active threads:<br>
2 running and unjoined<br> 98 finished and unjoined<br> 0 running and detached<br><br>real 3m37.531s<br>user 0m30.998s<br>sys 0m9.469s<br>fernando@fernando-laptop:~$ <br><br><br>Sendo q no forks meu load chegou a 53...<br>
<br><br clear="all">Just another Perl Hacker,<br>Fernando (SmokeMachine)<br><a href="http://perl-e.org">http://perl-e.org</a><br>
<br><br><div class="gmail_quote">Em 10 de julho de 2010 12:50, João André Simioni <span dir="ltr"><<a href="mailto:jasimioni@gmail.com">jasimioni@gmail.com</a>></span> escreveu:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Fiz um teste agora colocando um sleep 10 no inicio da função checkIp.<br>
As threads abrem rápido assim, mas o desempenho ficou ruim. Além<br>
disso, notei que as threads não utilizam os demais processadores.<br>
<br>
Minha solução atual está com um fork no começo, quebrando o código em<br>
8 processos distintos (número de processadores), cada processo com um<br>
sub-grupo e criando suas threads (30 threads por grupo).<br>
<br>
Obrigado pela ajuda<br>
<br>
João André<br>
<br>
2010/7/10 João André Simioni <<a href="mailto:jasimioni@gmail.com">jasimioni@gmail.com</a>>:<br>
<div><div></div><div class="h5">> Blabos,<br>
><br>
> o loop interno não é nem usado nesse código, como observado pelo<br>
> Bruno, porque ele define a quantidade de threads no início. Usualmente<br>
> eu disparo uma thread para cada elemento que vou gerenciar, e defino<br>
> um limite de threads abertas no início do código e é por isso que esse<br>
> loop existe, para controlar o limite de threads (e funciona bem em<br>
> diversos outros scripts que não têm o mesmo problema de desempenho).<br>
><br>
> Segue os comentários no código:<br>
><br>
>> #!/usr/bin/perl<br>
>><br>
>> use strict;<br>
>> use DBI;<br>
>> use Net::Ping;<br>
>> use Time::HiRes qw/usleep tv_interval gettimeofday/;<br>
>> use threads ('yield', 'stack_size' => 32*4096, 'exit' =><br>
>> 'threads_only', 'stringify');<br>
>><br>
>> my $host = '192.168.160.179';<br>
>> my $sid = 'HOMOLOG';<br>
>> my $user = 'mac_user';<br>
>> my $pass = 'mac_user';<br>
>><br>
>> my $dbh = DBI->connect("dbi:Oracle:host=$host;sid=$sid", $user, $pass,<br>
>> { AutoCommit => 1 });<br>
>><br>
>> my $sth = $dbh->prepare('SELECT CPE_ID, CLIENTE_ID, CPE_DESC,<br>
>> CPE_IP_WAN, CPE_NODE, CPE_IF FROM MAC_CPE WHERE CPE_PING = ? AND<br>
>> CPE_ATIVO = ?');<br>
>> $sth->execute('1', 'A');<br>
>><br>
>> my @cpes;<br>
>><br>
>> while (my (@row) = $sth->fetchrow_array) {<br>
>> push @cpes, [ @row ];<br>
>> }<br>
>><br>
>> $dbh->disconnect();<br>
><br>
> Até aqui somente listei os elementos a partir do banco de dados.<br>
><br>
> O código abaixo quebra o numero de elementos em 250 threads.<br>
><br>
>> my $maxThreads = 250;<br>
>> my $total = @cpes;<br>
>><br>
>> my $cpePerThread = int($total / $maxThreads);<br>
>><br>
>> my @toMonitor;<br>
>> my $i = 0;<br>
>> my $c = 0;<br>
>><br>
>> foreach my $cpe (@cpes) {<br>
>> push @{$toMonitor[$i]}, $cpe;<br>
>> $c++;<br>
>><br>
>> if ($c > $cpePerThread) {<br>
>> $i++;<br>
>> $c = 0;<br>
>> }<br>
>> }<br>
>><br>
>> print "Para $total cpes, e $maxThreads threads, tenho no final $i<br>
>> grupos, com ", scalar @{$toMonitor[0]}, " elementos cada\n";<br>
><br>
><br>
><br>
> E imprimo - vou ter o total de elementos dividido em 250 grupos (cada<br>
> grupo atendido por uma thread)<br>
><br>
><br>
><br>
>> sub processResult {<br>
>> my $r = shift;<br>
>> if (ref $r ne 'ARRAY') {<br>
>> print STDERR "Erro na thread\n";<br>
>> return 0;<br>
>> }<br>
>> my ($result, $host, $ifs) = @$r;<br>
>><br>
>> }<br>
><br>
> Funcao de processamento do resultado da thread -- aqui não faz nada<br>
><br>
>> sub testeClient {<br>
>> my $threadNum = shift;<br>
>> my $cpeGroup = shift;<br>
>> foreach my $cpe (@{$cpeGroup}) {<br>
>> my ($cpeId, $clientId, $cpeDesc, $cpeIp, $cpeNode, $cpeIf) = @$cpe;<br>
>> my $pingOk = &checkIp($cpeIp);<br>
>> my $status = $pingOk ? 'RESPONDE' : 'MORTO';<br>
>> # print join(", ", $threadNum, $cpeId, $clientId, $cpeDesc,<br>
>> $cpeIp, $cpeNode, $cpeIf, $status), "\n";<br>
>> }<br>
>> # print "Finishing thread $threadNum\n";<br>
>> return([1, 0]);<br>
>> }<br>
><br>
> Código da thread - basicamente chama a sub 'checkIp' para ver se o<br>
> host está vivo.<br>
><br>
> Abaixo o código de criação das threads - para cada grupo, cria uma thread.<br>
><br>
>> my $threadCount = 1;<br>
>> foreach my $cpeGroup (@toMonitor) {<br>
>> print "Trying to create thread";<br>
>> my $t0 = [gettimeofday];<br>
>><br>
>> print " in ", scalar localtime $t0->[0], ".", $t0->[1], "\n";<br>
>><br>
>> my $thr = threads->create({scalar => '1'}, 'testeClient',<br>
>> $threadCount, $cpeGroup);<br>
>> my $elapsed = tv_interval ( $t0, [gettimeofday]);<br>
>> print "Created thread $thr ($threadCount) - took $elapsed seconds<br>
>> to create\n";<br>
>> $threadCount++;<br>
><br>
> Esse bloco pode ser removido, pois nunca entra - foi a primeira coisa<br>
> que tirei, porque achei que a chamada a threads->list poderia estar<br>
> influenciando. Esse método retorna em menos de 1ms em todas as<br>
> execuções. Mas se preferir só ignora.<br>
><br>
>> while (threads->list() >= $maxThreads) {<br>
>> my @joinable = threads->list(threads::joinable);<br>
>> for (@joinable) {<br>
>> my $r = $_->join();<br>
>> &processResult($r);<br>
>> }<br>
>> usleep(10000);<br>
>> }<br>
>> my $elapsed = tv_interval ( $t0, [gettimeofday]);<br>
><br>
> Finaliza a criação de threads<br>
><br>
>> }<br>
><br>
> Aguarda as threads concluirem.<br>
><br>
>> while (threads->list()) {<br>
>> my @joinable = threads->list(threads::joinable);<br>
>> for (@joinable) {<br>
>> my $r = $_->join();<br>
>> &processResult($r);<br>
>> }<br>
>> usleep(10000);<br>
>> }<br>
><br>
> Fim de execução<br>
><br>
>> sub checkIp {<br>
>> my $ip = shift;<br>
>> my $pingOk = 0;<br>
><br>
><br>
> Essa rotina faz 3 testes para cada elemento. Em cada teste, tenta um<br>
> ping ICMP, um UDP e um TCP. Tenho que executar o ping do S.O. porque<br>
> senão sou obrigado a rodar o script como root e o Net::Ping faz<br>
> confusão com o ICMP. Se eu testo um host e ele nao responde no tempo<br>
> de timeout e eu em seguida testar outro host, se o primeiro responder<br>
> ele acha que o segundo respondeu.<br>
><br>
>> eval {<br>
>> for (1..3) {<br>
>> my $ping = `/bin/ping -c 1 -w 1 $ip`;<br>
>><br>
>> if (grep { / 0% packet loss/ } $ping) {<br>
>> $pingOk = 1;<br>
>> return 1;<br>
>> }<br>
>><br>
>> if ($pingOk == 0) {<br>
>> my $p = Net::Ping->new('icmp');<br>
>> $p->service_check(1);<br>
>> if ($p->ping($ip, 1)) {<br>
>> $pingOk = 1;<br>
>> return 1;<br>
>> }<br>
>> }<br>
>><br>
>> if ($pingOk == 0) {<br>
>> my $p = Net::Ping->new('udp');<br>
>> $p->service_check(1);<br>
>> if ($p->ping($ip, 1)) {<br>
>> $pingOk = 1;<br>
>> return 1;<br>
>> }<br>
>> }<br>
>><br>
>> sleep 3;<br>
>> }<br>
>> };<br>
>><br>
>> return $pingOk;<br>
>> }<br>
>><br>
><br>
> Quanto a usar Java, é que tenho um grupo de desenvolvimento Java do<br>
> meu lado - eu posso solicitar a eles, mas eu não vejo porque Perl não<br>
> pode atender bem nesse caso.<br>
><br>
> Obrigado<br>
><br>
_______________________________________________<br>
Rio-pm mailing list<br>
<a href="mailto:Rio-pm@pm.org">Rio-pm@pm.org</a><br>
<a href="http://mail.pm.org/mailman/listinfo/rio-pm" target="_blank">http://mail.pm.org/mailman/listinfo/rio-pm</a><br>
</div></div></blockquote></div><br>