[SP-pm] ordenando arquivos.

[Blabos de Blebe]

mua-ha-ha-ha

2011/7/26 Andre Carneiro <andregarciacarneiro em gmail.com>:
> Seu troll!
>
> Eu achei esse módulo a uns 10 min no CPAN...
>
> Valeu!
>
> 2011/7/26 Blabos de Blebe <blabos em gmail.com>
>>
>> > Implementar o sort externo pode ser feito em qualquer linguagem, e como
>> > você
>> > demonstrou já existe em Perl.
>> > Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são
>> > melhores quando você quer realizar uma tarefa específica que exige
>> > processamento intesivo.
>>
>> Sort::External é XS, next desculpa esfarrapada :) :
>> http://api.metacpan.org/source/CREAMYG/Sort-External-0.18/External.xs
>>
>> Mais que isso acho que só se for feito em assembly
>>
>> 2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust em gmail.com>:
>> >
>> > 2011/7/26 Bruno Buss <bruno.buss em gmail.com>
>> >>
>> >> 2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust em gmail.com>
>> >>>
>> >>> Fazer o 'sort' de arquivos gigantes está sendo o problema da
>> >>> bioinformática ultimamente
>> >>> (cada sequencia que eu recebo é um arquivo texto com 15GB de
>> >>> informação
>> >>> cada).
>> >>>
>> >>> Perl não dá conta de fazer o sort pois faz tudo em memória.
>> >>
>> >> Errado, não é o "Perl que faz tudo em memória". É a função se sort
>> >> nativa
>> >> do Perl que faz tudo em memória.
>> >
>> > Se a função nativa não é o "Perl" então eu não sei o que é.
>> >
>> >>
>> >> É perfeitamente possível realizar uma implementação do link que mandei
>> >> acima... ou então tentar utilizar algum módulo pronto:
>> >
>> >
>> > Implementar o sort externo pode ser feito em qualquer linguagem, e como
>> > você
>> > demonstrou já existe em Perl.
>> > Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são
>> > melhores quando você quer realizar uma tarefa específica que exige
>> > processamento intesivo.
>> >
>> > Por exemplo, estou utilizando o nsort que é feito em C e utiliza threads
>> > para o sorting. Ele ordena 1TB em 33 minutos em um PC comum com
>> > multicore.
>> >
>> >>
>> >> Creio que você queria dizer, processamento distribuído... pois paralelo
>> >> você já está fazendo ao utilizar os 32 cores do seu servidor :)
>> >
>> > Ops, erro meu, quis dizer processamento distribuido utilizando MPI
>> >
>> > =begin disclaimer
>> >   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>> >  SaoPaulo-pm mailing list: SaoPaulo-pm em pm.org
>> >  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> > =end disclaimer
>> >
>> >
>> =begin disclaimer
>>   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>  SaoPaulo-pm mailing list: SaoPaulo-pm em pm.org
>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> =end disclaimer
>
>
>
> --
> André Garcia Carneiro
> Analista/Desenvolvedor Perl
> (11)82907780
>
> =begin disclaimer
>   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>  SaoPaulo-pm mailing list: SaoPaulo-pm em pm.org
>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
> =end disclaimer
>
>