2011/1/12 Douglas Campos <[email protected]> > > Acho que não. > > Logo, é algo que serve muito bem para quem tem esse filesystem. > Linux-only, > > provavelmente. Em 2011? Sorry, não vai decolar... > > Alexei, desliga o preconceito e dá uma olhada. O hadoop é bem legal > (apesar de ser complicado pra caramba): >
Não entendi. Qual preconceito? > TL;DR > ? > O hadoop é uma plataforma de processamento distribuído, com um fs > replicado distribuido tolerante à falhas (HDFS), implementado em > userpace (o hdfs está em nível de aplicação, então funciona onde o > java funcionar) > Ok, pode me chamar de velho, old-school, o que for. Mas na minha época, file-system era algo que tinha alguma coisa a ver com o kernel do sistema operacional. Mesmo com o uso cada vez menos incomum de "user space" file systems hoje, sempre há um gancho no kernel. Por exemplo, sou um feliz usuário de sshfs [1], mas ele precisa que o fuse [2] faça o gancho dentro do kernel do Linux. Dei uma lida rápida no começo da documentação do HDFS. Ok, entendi (em linahs gerais) o que o cara quis fazer. Eu mudaria o nome de "filesystem" para algo como "JVM-based filesystem" ou algo assim, para evitar ambiguidades. But hey, that's just me. Pessoalmente eu não sei se usaria algo em Java (+ pesado) para lidar com algo que pode ter requerimentos de performance como I/O de dados. Algo em Java dificilmente irá se aproveitar de coisas como tamanho do bloco no disco físico para melhorar o desempenho. Em escala menor, isso não importa, mas se falarmos de massas de dados gigantes, esse tipo de detalhe pode fazer diferença. O HDFS será tão bom com os arquivos quanto for a implementação de Java utilizada para rodá-lo. Espero *muito* que estejam usando java.nio.* - não faria sentido se não usassem. Eu pensaria em algo feito em C/C++ para implementar esse "file system", e que provesse essa funcionalidade "genérica" em todas as plataformas onde fosse compilado, mas que pudesse se proveitar de coisas como o FUSE no Linux para ser acessado diretamente como um "real file system" (mesmo que em user-space), sem que isso tenha um custo de performance tão alto. yet another $0.02 > Usei ele pra IA, funciona que é uma beleza pra processar massas de > dados estúpidas. > > >>> a mesma coisa alguns séculos atrás: dividir e conquistar. > exatamente! > > []'z > =begin disclaimer > Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ > SaoPaulo-pm mailing list: [email protected] > L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> > =end disclaimer > -- Alexei Znamensky [russoz_gmail_com] [russoz.wordpress.com] [ www.flickr.com/photos/alexeiz] «Only love / Can bring the rain / That makes you yearn to the sky»
=begin disclaimer Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ SaoPaulo-pm mailing list: [email protected] L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> =end disclaimer
