2011/7/26 Bruno Buss <[email protected]> > 2011/7/26 Thiago Yukio Kikuchi Oliveira <[email protected]> > >> Fazer o 'sort' de arquivos gigantes está sendo o problema da >> bioinformática ultimamente >> (cada sequencia que eu recebo é um arquivo texto com 15GB de informação >> cada). >> >> Perl não dá conta de fazer o sort pois faz tudo em memória. >> > > Errado, não é o "Perl que faz tudo em memória". É a função se sort nativa > do Perl que faz tudo em memória. >
Se a função nativa não é o "Perl" então eu não sei o que é. > > É perfeitamente possível realizar uma implementação do link que mandei > acima... ou então tentar utilizar algum módulo pronto: > Implementar o sort externo pode ser feito em qualquer linguagem, e como você demonstrou já existe em Perl. Porém, acredito que linguagens de mais baixo nivel, C por exemplo, são melhores quando você quer realizar uma tarefa específica que exige processamento intesivo. Por exemplo, estou utilizando o nsort que é feito em C e utiliza threads para o sorting. Ele ordena 1TB em 33 minutos em um PC comum com multicore. Creio que você queria dizer, processamento distribuído... pois paralelo você > já está fazendo ao utilizar os 32 cores do seu servidor :) > Ops, erro meu, quis dizer processamento distribuido utilizando MPI
=begin disclaimer Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ SaoPaulo-pm mailing list: [email protected] L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> =end disclaimer
