[SP-pm] ordenando arquivos.

[Andre Carneiro]

oops... maligna

2011/7/26 Andre Carneiro <andregarciacarneiro at gmail.com>

> blabos++ # risada malígnia...
>
>
>
> 2011/7/26 Blabos de Blebe <blabos at gmail.com>
>
>> mua-ha-ha-ha
>>
>> 2011/7/26 Andre Carneiro <andregarciacarneiro at gmail.com>:
>> > Seu troll!
>> >
>> > Eu achei esse módulo a uns 10 min no CPAN...
>> >
>> > Valeu!
>> >
>> > 2011/7/26 Blabos de Blebe <blabos at gmail.com>
>> >>
>> >> > Implementar o sort externo pode ser feito em qualquer linguagem, e
>> como
>> >> > você
>> >> > demonstrou já existe em Perl.
>> >> > Porém, acredito que linguagens de mais baixo nivel, C por exemplo,
>> são
>> >> > melhores quando você quer realizar uma tarefa específica que exige
>> >> > processamento intesivo.
>> >>
>> >> Sort::External é XS, next desculpa esfarrapada :) :
>> >> http://api.metacpan.org/source/CREAMYG/Sort-External-0.18/External.xs
>> >>
>> >> Mais que isso acho que só se for feito em assembly
>> >>
>> >> 2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust at gmail.com>:
>> >> >
>> >> > 2011/7/26 Bruno Buss <bruno.buss at gmail.com>
>> >> >>
>> >> >> 2011/7/26 Thiago Yukio Kikuchi Oliveira <stratust at gmail.com>
>> >> >>>
>> >> >>> Fazer o 'sort' de arquivos gigantes está sendo o problema da
>> >> >>> bioinformática ultimamente
>> >> >>> (cada sequencia que eu recebo é um arquivo texto com 15GB de
>> >> >>> informação
>> >> >>> cada).
>> >> >>>
>> >> >>> Perl não dá conta de fazer o sort pois faz tudo em memória.
>> >> >>
>> >> >> Errado, não é o "Perl que faz tudo em memória". É a função se sort
>> >> >> nativa
>> >> >> do Perl que faz tudo em memória.
>> >> >
>> >> > Se a função nativa não é o "Perl" então eu não sei o que é.
>> >> >
>> >> >>
>> >> >> É perfeitamente possível realizar uma implementação do link que
>> mandei
>> >> >> acima... ou então tentar utilizar algum módulo pronto:
>> >> >
>> >> >
>> >> > Implementar o sort externo pode ser feito em qualquer linguagem, e
>> como
>> >> > você
>> >> > demonstrou já existe em Perl.
>> >> > Porém, acredito que linguagens de mais baixo nivel, C por exemplo,
>> são
>> >> > melhores quando você quer realizar uma tarefa específica que exige
>> >> > processamento intesivo.
>> >> >
>> >> > Por exemplo, estou utilizando o nsort que é feito em C e utiliza
>> threads
>> >> > para o sorting. Ele ordena 1TB em 33 minutos em um PC comum com
>> >> > multicore.
>> >> >
>> >> >>
>> >> >> Creio que você queria dizer, processamento distribuído... pois
>> paralelo
>> >> >> você já está fazendo ao utilizar os 32 cores do seu servidor :)
>> >> >
>> >> > Ops, erro meu, quis dizer processamento distribuido utilizando MPI
>> >> >
>> >> > =begin disclaimer
>> >> >   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>> >> >  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>> >> >  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> >> > =end disclaimer
>> >> >
>> >> >
>> >> =begin disclaimer
>> >>   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>> >>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>> >>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> >> =end disclaimer
>> >
>> >
>> >
>> > --
>> > André Garcia Carneiro
>> > Analista/Desenvolvedor Perl
>> > (11)82907780
>> >
>> > =begin disclaimer
>> >   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>> >  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>> >  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> > =end disclaimer
>> >
>> >
>> =begin disclaimer
>>   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> =end disclaimer
>>
>
>
>
> --
> André Garcia Carneiro
> Analista/Desenvolvedor Perl
> (11)82907780
>



-- 
André Garcia Carneiro
Analista/Desenvolvedor Perl
(11)82907780
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20110726/1ca15ff3/attachment-0001.html>