> Implementar o sort externo pode ser feito em qualquer linguagem, e como você > demonstrou já existe em Perl. > Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são > melhores quando você quer realizar uma tarefa específica que exige > processamento intesivo.
Sort::External é XS, next desculpa esfarrapada :) : http://api.metacpan.org/source/CREAMYG/Sort-External-0.18/External.xs Mais que isso acho que só se for feito em assembly 2011/7/26 Thiago Yukio Kikuchi Oliveira <[email protected]>: > > 2011/7/26 Bruno Buss <[email protected]> >> >> 2011/7/26 Thiago Yukio Kikuchi Oliveira <[email protected]> >>> >>> Fazer o 'sort' de arquivos gigantes está sendo o problema da >>> bioinformática ultimamente >>> (cada sequencia que eu recebo é um arquivo texto com 15GB de informação >>> cada). >>> >>> Perl não dá conta de fazer o sort pois faz tudo em memória. >> >> Errado, não é o "Perl que faz tudo em memória". É a função se sort nativa >> do Perl que faz tudo em memória. > > Se a função nativa não é o "Perl" então eu não sei o que é. > >> >> É perfeitamente possível realizar uma implementação do link que mandei >> acima... ou então tentar utilizar algum módulo pronto: > > > Implementar o sort externo pode ser feito em qualquer linguagem, e como você > demonstrou já existe em Perl. > Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são > melhores quando você quer realizar uma tarefa específica que exige > processamento intesivo. > > Por exemplo, estou utilizando o nsort que é feito em C e utiliza threads > para o sorting. Ele ordena 1TB em 33 minutos em um PC comum com multicore. > >> >> Creio que você queria dizer, processamento distribuído... pois paralelo >> você já está fazendo ao utilizar os 32 cores do seu servidor :) > > Ops, erro meu, quis dizer processamento distribuido utilizando MPI > > =begin disclaimer > Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ > SaoPaulo-pm mailing list: [email protected] > L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> > =end disclaimer > > =begin disclaimer Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ SaoPaulo-pm mailing list: [email protected] L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> =end disclaimer
