[SP-pm] ordenando arquivos.

[Blabos de Blebe]

> Implementar o sort externo pode ser feito em qualquer linguagem, e como você
> demonstrou já existe em Perl.
> Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são
> melhores quando você quer realizar uma tarefa específica que exige
> processamento intesivo.

Sort::External é XS, next desculpa esfarrapada :) :
http://api.metacpan.org/source/CREAMYG/Sort-External-0.18/External.xs

Mais que isso acho que só se for feito em assembly

2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust em gmail.com>:
>
> 2011/7/26 Bruno Buss <bruno.buss em gmail.com>
>>
>> 2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust em gmail.com>
>>>
>>> Fazer o 'sort' de arquivos gigantes está sendo o problema da
>>> bioinformática ultimamente
>>> (cada sequencia que eu recebo é um arquivo texto com 15GB de informação
>>> cada).
>>>
>>> Perl não dá conta de fazer o sort pois faz tudo em memória.
>>
>> Errado, não é o "Perl que faz tudo em memória". É a função se sort nativa
>> do Perl que faz tudo em memória.
>
> Se a função nativa não é o "Perl" então eu não sei o que é.
>
>>
>> É perfeitamente possível realizar uma implementação do link que mandei
>> acima... ou então tentar utilizar algum módulo pronto:
>
>
> Implementar o sort externo pode ser feito em qualquer linguagem, e como você
> demonstrou já existe em Perl.
> Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são
> melhores quando você quer realizar uma tarefa específica que exige
> processamento intesivo.
>
> Por exemplo, estou utilizando o nsort que é feito em C e utiliza threads
> para o sorting. Ele ordena 1TB em 33 minutos em um PC comum com multicore.
>
>>
>> Creio que você queria dizer, processamento distribuído... pois paralelo
>> você já está fazendo ao utilizar os 32 cores do seu servidor :)
>
> Ops, erro meu, quis dizer processamento distribuido utilizando MPI
>
> =begin disclaimer
>   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>  SaoPaulo-pm mailing list: SaoPaulo-pm em pm.org
>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
> =end disclaimer
>
>