[SP-pm] ordenando arquivos.

[Thiago Yukio Kikuchi Oliveira]

2011/7/26 Bruno Buss <bruno.buss em gmail.com>

> 2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust em gmail.com>
>
>> Fazer o 'sort' de arquivos gigantes está sendo o problema da
>> bioinformática ultimamente
>> (cada sequencia que eu recebo é um arquivo texto com 15GB de informação
>> cada).
>>
>> Perl não dá conta de fazer o sort pois faz tudo em memória.
>>
>
> Errado, não é o "Perl que faz tudo em memória". É a função se sort nativa
> do Perl que faz tudo em memória.
>

Se a função nativa não é o "Perl" então eu não sei o que é.


>
> É perfeitamente possível realizar uma implementação do link que mandei
> acima... ou então tentar utilizar algum módulo pronto:
>

Implementar o sort externo pode ser feito em qualquer linguagem, e como você
demonstrou já existe em Perl.
Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são
melhores quando você quer realizar uma tarefa específica que exige
processamento intesivo.

Por exemplo, estou utilizando o nsort que é feito em C e utiliza threads
para o sorting. Ele ordena 1TB em 33 minutos em um PC comum com multicore.


Creio que você queria dizer, processamento distribuído... pois paralelo você
> já está fazendo ao utilizar os 32 cores do seu servidor :)
>

Ops, erro meu, quis dizer processamento distribuido utilizando MPI
-------------- Pr?xima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20110726/ae84a52a/attachment.html>