[SP-pm] ordenando arquivos.

[Bruno Buss]

2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust at gmail.com>

> Fazer o 'sort' de arquivos gigantes está sendo o problema da bioinformática
> ultimamente
> (cada sequencia que eu recebo é um arquivo texto com 15GB de informação
> cada).
>
> Perl não dá conta de fazer o sort pois faz tudo em memória.
>

Errado, não é o "Perl que faz tudo em memória". É a função se sort nativa do
Perl que faz tudo em memória.

É perfeitamente possível realizar uma implementação do link que mandei
acima... ou então tentar utilizar algum módulo pronto:
http://search.cpan.org/~creamyg/Sort-External-0.18/lib/Sort/External.pm
http://search.cpan.org/~creamyg/Sort-External-0.18/lib/Sort/External/Cookbook.pod
http://search.cpan.org/~cnandor/File-Sort-1.01/Sort.pm

2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust at gmail.com>

> Ultimamente estou usando mais multi-threads (temos 32 cores no servidor) do
> que processamento em paralelo (MPI).


Creio que você queria dizer, processamento distribuído... pois paralelo você
já está fazendo ao utilizar os 32 cores do seu servidor :)

[ ]'s
-- 
Bruno C. Buss
http://brunobuss.wordpress.com/
http://www.dcc.ufrj.br/~brunobuss/
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20110726/2ce47858/attachment.html>