[SP-pm] ordenando arquivos.

[Andre Carneiro]

Porra Brunão, foi mal! Não tinha visto o seu post que já falava do
Sort::External...

Cheers!

2011/7/26 Andre Carneiro <andregarciacarneiro at gmail.com>

> Seu troll!
>
> Eu achei esse módulo a uns 10 min no CPAN...
>
> Valeu!
>
>
> 2011/7/26 Blabos de Blebe <blabos at gmail.com>
>
>> > Implementar o sort externo pode ser feito em qualquer linguagem, e como
>> você
>> > demonstrou já existe em Perl.
>> > Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são
>> > melhores quando você quer realizar uma tarefa específica que exige
>> > processamento intesivo.
>>
>> Sort::External é XS, next desculpa esfarrapada :) :
>> http://api.metacpan.org/source/CREAMYG/Sort-External-0.18/External.xs
>>
>> Mais que isso acho que só se for feito em assembly
>>
>> 2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust at gmail.com>:
>> >
>> > 2011/7/26 Bruno Buss <bruno.buss at gmail.com>
>> >>
>> >> 2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust at gmail.com>
>> >>>
>> >>> Fazer o 'sort' de arquivos gigantes está sendo o problema da
>> >>> bioinformática ultimamente
>> >>> (cada sequencia que eu recebo é um arquivo texto com 15GB de
>> informação
>> >>> cada).
>> >>>
>> >>> Perl não dá conta de fazer o sort pois faz tudo em memória.
>> >>
>> >> Errado, não é o "Perl que faz tudo em memória". É a função se sort
>> nativa
>> >> do Perl que faz tudo em memória.
>> >
>> > Se a função nativa não é o "Perl" então eu não sei o que é.
>> >
>> >>
>> >> É perfeitamente possível realizar uma implementação do link que mandei
>> >> acima... ou então tentar utilizar algum módulo pronto:
>> >
>> >
>> > Implementar o sort externo pode ser feito em qualquer linguagem, e como
>> você
>> > demonstrou já existe em Perl.
>> > Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são
>> > melhores quando você quer realizar uma tarefa específica que exige
>> > processamento intesivo.
>> >
>> > Por exemplo, estou utilizando o nsort que é feito em C e utiliza threads
>> > para o sorting. Ele ordena 1TB em 33 minutos em um PC comum com
>> multicore.
>> >
>> >>
>> >> Creio que você queria dizer, processamento distribuído... pois paralelo
>> >> você já está fazendo ao utilizar os 32 cores do seu servidor :)
>> >
>> > Ops, erro meu, quis dizer processamento distribuido utilizando MPI
>> >
>> > =begin disclaimer
>> >   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>> >  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>> >  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> > =end disclaimer
>> >
>> >
>> =begin disclaimer
>>   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> =end disclaimer
>>
>
>
>
> --
> André Garcia Carneiro
> Analista/Desenvolvedor Perl
> (11)82907780
>



-- 
André Garcia Carneiro
Analista/Desenvolvedor Perl
(11)82907780
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20110726/a6665107/attachment.html>