Re: OFF - melhor midia e drives para backup
OK, Felipe, muito obrigado pelas dicas detalhadas! Meu caso é uma demanda de 300GB/mes NOVOS. São informações a serem processadas, enviadas para o cliente, e guardadas para consultas futuras. Estes 300GB devem permanecer no servidor não mais que 2 meses. Então a cópia é mandatória, e deve ser confiável, pois os dados terão que ser excluídos, ou não haverá espaço no servidor que baste. Dimensionei 1.5TB, imaginando não mais que 5 meses de armazenamento. É uma demanda estimada para o futuro próximo, hoje não chega a metade disto. Para realizar consultas não é necessário que os dados voltem ao servidor, pois o sistema permite uma consulta utilizando qualquer máquina stand-alone, desde que os dados sejam recuperáveis e montados read-only. Quanto a criptografia, não será necessário, pois os dados já são armazenados criptografados, na origem. obrigado Vinicius Felipe Augusto van de Wiel (faw) escreveu: -BEGIN PGP SIGNED MESSAGE- Hash: SHA1 On 07-06-2008 11:48, Vinicius De Mario wrote: Montei um servidor Debian, que será utilizado prioritariamente para armazenamento de dados (arquivos de diversos tipos), com capacidade de aprox. 1.5TB (são 4 HDs de 750GB, configurados como RAID 10). Estima-se uma demanda futura de cerca de 300GB/mes. Os dados não necessitam ficar permanentemente armazenados neste servidor, pois após processados serão utilizados apenas para consultas esporádicas. Você pode utilizar a técnico do [1]Mike Rubel para fazer snapshots de backup com rsync, o mesmo princÃpio foi automatizado e é fácil de implementar usando o pacote rsnapshot. 1. http://www.mikerubel.org/computers/rsync_snapshots/ Se a massa de dados _muda_, isso quer dizer, 300GB/mês *totalmente* novos, o rsnapshot não vai ajudá-lo, mas se a maioria do ambiente é repetida com poucas mudanças, o rsnapshot tem a grande vantagem de só consumir o delta além do backup base inicial e ainda manter uma visão completa do sistema de arquivos. Se 300GB/mês for o inicial e 30GB/mês o delta, então você teria praticamente 5 anos de backup em 1.5TB. Como o volume de dados é relativamente alto, imagino que seria mais prático, e confiável, utilizar fita magnética. Mais prático é utilizar sistemas de snapshot pra disco, os backups são mais fáceis de manusear, manipular e restaurar, você precisa ter mais cuidado com a segurança e, preferencialmente, ter a máquina de backup em outro local fÃsico. MÃdias removÃveis, quaisquer que seja, tem outra logÃstica, você precisa assegurar o dados (criptografia), embora na primeira opção você também deva fazer isso, nesta isto é quase que obrigatório. Também será necessário um sistema de catálogo para facilitar as buscas e restaurações e um controle de indexação das mÃdias. As mÃdias são mais fáceis de remover e levar para um cofre ou para outro local fÃsico, mas seu tempo de operação não é igual ao tempo de operação de discos rÃgidos ou unidades de armazenamento (storage). Se há dinheiro para investir, uma solução de backup talvez seja o mais interessante, incluindo um robô. Fiz uma pesquisa básica na Internet, mas sinceramente não consegui me certificar de quais drives e tecnologias seriam mais adequados e totalmente compatÃveis com Linux/Debian, e, de preferência, disponÃveis no Brasil. Sony e IBM costumam oferecer suporte para AIT e DLT em GNU/Linux, embora eles recomendem ferramentas especializadas como Tivoli. Nos dois casos, não é difÃcil ligar para o representante e pedir para ver os equipamentos ou realizar testes. Tecnologicamente a AIT é melhor, gravação helicoidal, seria a evolução da DAT, mas não sei se a Sony abriu pra outros além deles fabricarem. A DLT é mais popular e tem alternativas (IBM, HP). Ambas tem altas capacidades de armazenamento e velocidade de gravação/leitura. Como os arquivos deverão ficar armazenados por longo tempo (circa de 5 anos), talvez fitas WROM sejam um boa solução em termos de custo/benefÃcio. Depende do cenário, você vai precisar de um local apropriado pra armazenar isso, algo como cofre anti-chama ou sala-cofre (esse é o caso para as mÃdias removÃveis). Como não tenho experiência prática no assunto, venho apelar aos colegas uma orientação a respeito, de quem já convive(eu) com situação semelhante. Dei uma espiada nos sites da Quantum e Sony, mas não consegui chegar a nenhuma conclusão. Vá para o telefone e marque visitas, o pessoal está acostumado a levar folhetos, dar explicações técnica e até mesmo providenciar equipamentos para testes e demonstrações. Sua demanda parece ser no sentido de ter uma empresa ou um datacenter que forneça o apoio à solução de backup, você pode usar ferramentas como duplicity para criptografar os dados e armazená-los em um local remoto como um
OFF - melhor midia e drives para backup
Montei um servidor Debian, que será utilizado prioritariamente para armazenamento de dados (arquivos de diversos tipos), com capacidade de aprox. 1.5TB (são 4 HDs de 750GB, configurados como RAID 10). Estima-se uma demanda futura de cerca de 300GB/mes. Os dados não necessitam ficar permanentemente armazenados neste servidor, pois após processados serão utilizados apenas para consultas esporádicas. Como o volume de dados é relativamente alto, imagino que seria mais prático, e confiável, utilizar fita magnética. Fiz uma pesquisa básica na Internet, mas sinceramente não consegui me certificar de quais drives e tecnologias seriam mais adequados e totalmente compatíveis com Linux/Debian, e, de preferência, disponíveis no Brasil. Como os arquivos deverão ficar armazenados por longo tempo (circa de 5 anos), talvez fitas WROM sejam um boa solução em termos de custo/benefício. Como não tenho experiência prática no assunto, venho apelar aos colegas uma orientação a respeito, de quem já convive(eu) com situação semelhante. Dei uma espiada nos sites da Quantum e Sony, mas não consegui chegar a nenhuma conclusão. saudações -- Vinicius -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: OFF - melhor midia e drives para backup
-BEGIN PGP SIGNED MESSAGE- Hash: SHA1 On 07-06-2008 11:48, Vinicius De Mario wrote: Montei um servidor Debian, que será utilizado prioritariamente para armazenamento de dados (arquivos de diversos tipos), com capacidade de aprox. 1.5TB (são 4 HDs de 750GB, configurados como RAID 10). Estima-se uma demanda futura de cerca de 300GB/mes. Os dados não necessitam ficar permanentemente armazenados neste servidor, pois após processados serão utilizados apenas para consultas esporádicas. Você pode utilizar a técnico do [1]Mike Rubel para fazer snapshots de backup com rsync, o mesmo princípio foi automatizado e é fácil de implementar usando o pacote rsnapshot. 1. http://www.mikerubel.org/computers/rsync_snapshots/ Se a massa de dados _muda_, isso quer dizer, 300GB/mês *totalmente* novos, o rsnapshot não vai ajudá-lo, mas se a maioria do ambiente é repetida com poucas mudanças, o rsnapshot tem a grande vantagem de só consumir o delta além do backup base inicial e ainda manter uma visão completa do sistema de arquivos. Se 300GB/mês for o inicial e 30GB/mês o delta, então você teria praticamente 5 anos de backup em 1.5TB. Como o volume de dados é relativamente alto, imagino que seria mais prático, e confiável, utilizar fita magnética. Mais prático é utilizar sistemas de snapshot pra disco, os backups são mais fáceis de manusear, manipular e restaurar, você precisa ter mais cuidado com a segurança e, preferencialmente, ter a máquina de backup em outro local físico. Mídias removíveis, quaisquer que seja, tem outra logística, você precisa assegurar o dados (criptografia), embora na primeira opção você também deva fazer isso, nesta isto é quase que obrigatório. Também será necessário um sistema de catálogo para facilitar as buscas e restaurações e um controle de indexação das mídias. As mídias são mais fáceis de remover e levar para um cofre ou para outro local físico, mas seu tempo de operação não é igual ao tempo de operação de discos rígidos ou unidades de armazenamento (storage). Se há dinheiro para investir, uma solução de backup talvez seja o mais interessante, incluindo um robô. Fiz uma pesquisa básica na Internet, mas sinceramente não consegui me certificar de quais drives e tecnologias seriam mais adequados e totalmente compatíveis com Linux/Debian, e, de preferência, disponíveis no Brasil. Sony e IBM costumam oferecer suporte para AIT e DLT em GNU/Linux, embora eles recomendem ferramentas especializadas como Tivoli. Nos dois casos, não é difícil ligar para o representante e pedir para ver os equipamentos ou realizar testes. Tecnologicamente a AIT é melhor, gravação helicoidal, seria a evolução da DAT, mas não sei se a Sony abriu pra outros além deles fabricarem. A DLT é mais popular e tem alternativas (IBM, HP). Ambas tem altas capacidades de armazenamento e velocidade de gravação/leitura. Como os arquivos deverão ficar armazenados por longo tempo (circa de 5 anos), talvez fitas WROM sejam um boa solução em termos de custo/benefício. Depende do cenário, você vai precisar de um local apropriado pra armazenar isso, algo como cofre anti-chama ou sala-cofre (esse é o caso para as mídias removíveis). Como não tenho experiência prática no assunto, venho apelar aos colegas uma orientação a respeito, de quem já convive(eu) com situação semelhante. Dei uma espiada nos sites da Quantum e Sony, mas não consegui chegar a nenhuma conclusão. Vá para o telefone e marque visitas, o pessoal está acostumado a levar folhetos, dar explicações técnica e até mesmo providenciar equipamentos para testes e demonstrações. Sua demanda parece ser no sentido de ter uma empresa ou um datacenter que forneça o apoio à solução de backup, você pode usar ferramentas como duplicity para criptografar os dados e armazená-los em um local remoto como um datacenter contratado e pagando por espaço usado. Abraço, - -- Felipe Augusto van de Wiel (faw) Debian. Freedom to code. Code to freedom! -BEGIN PGP SIGNATURE- Version: GnuPG v1.4.6 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org iD8DBQFISuACCjAO0JDlykYRArh2AKCVA9+fr3bYYwdGBiEOf74PVJUhUQCg1ZjG 1iNoFvOU1sGCC0F6VumKnLU= =hkhu -END PGP SIGNATURE- -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
