OK, Felipe, muito obrigado pelas dicas detalhadas!
Meu caso é uma demanda de 300GB/mes NOVOS. São informações a serem
processadas, enviadas para o cliente, e guardadas para consultas
futuras. Estes 300GB devem permanecer no servidor não mais que 2 meses.
Então a cópia é mandatória, e deve ser confiável, pois os dados terão
que ser excluídos, ou não haverá espaço no servidor que baste.
Dimensionei 1.5TB, imaginando não mais que 5 meses de armazenamento. É
uma demanda estimada para o futuro próximo, hoje não chega a metade
disto. Para realizar consultas não é necessário que os dados voltem ao
servidor, pois o sistema permite uma consulta utilizando qualquer
máquina stand-alone, desde que os dados sejam recuperáveis e montados
read-only. Quanto a criptografia, não será necessário, pois os dados já
são armazenados criptografados, na origem.
obrigado
Vinicius
Felipe Augusto van de Wiel (faw) escreveu:
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA1
On 07-06-2008 11:48, Vinicius De Mario wrote:
Montei um servidor Debian, que será utilizado prioritariamente para
armazenamento de dados (arquivos de diversos tipos), com capacidade de
aprox. 1.5TB (são 4 HDs de 750GB, configurados como RAID 10).
Estima-se uma demanda futura de cerca de 300GB/mes. Os dados não
necessitam ficar permanentemente armazenados neste servidor, pois após
processados serão utilizados apenas para consultas esporádicas.
Você pode utilizar a técnico do [1]Mike Rubel para fazer
snapshots de backup com rsync, o mesmo princÃpio foi automatizado
e é fácil de implementar usando o pacote rsnapshot.
1. http://www.mikerubel.org/computers/rsync_snapshots/
Se a massa de dados _muda_, isso quer dizer, 300GB/mês
*totalmente* novos, o rsnapshot não vai ajudá-lo, mas se a
maioria do ambiente é repetida com poucas mudanças, o rsnapshot
tem a grande vantagem de só consumir o "delta" além do backup
base inicial e ainda manter uma "visão completa" do sistema de
arquivos. Se 300GB/mês for o inicial e 30GB/mês o delta, então
você teria praticamente 5 anos de backup em 1.5TB.
Como o volume de dados é relativamente alto, imagino que seria
mais prático, e confiável, utilizar fita magnética.
Mais prático é utilizar sistemas de snapshot pra disco,
os backups são mais fáceis de manusear, manipular e restaurar,
você precisa ter mais cuidado com a segurança e,
preferencialmente, ter a máquina de backup em outro local
fÃsico.
MÃdias removÃveis, quaisquer que seja, tem outra
logÃstica, você precisa assegurar o dados ("criptografia"),
embora na primeira opção você também deva fazer isso, nesta
isto é quase que obrigatório. Também será necessário um
sistema de catálogo para facilitar as buscas e restaurações
e um controle de indexação das mÃdias.
As mÃdias são mais fáceis de remover e levar para
um cofre ou para outro local fÃsico, mas seu tempo de
operação não é igual ao tempo de operação de discos rÃgidos
ou unidades de armazenamento ("storage"). Se há dinheiro
para investir, uma solução de backup talvez seja o mais
interessante, incluindo um robô.
Fiz uma pesquisa básica
na Internet, mas sinceramente não consegui me certificar
de quais drives e tecnologias seriam mais adequados e
totalmente compatÃveis com Linux/Debian, e, de preferência,
disponÃveis no Brasil.
Sony e IBM costumam oferecer suporte para AIT e DLT
em GNU/Linux, embora eles recomendem ferramentas
especializadas como Tivoli. Nos dois casos, não é difÃcil
ligar para o representante e pedir para ver os equipamentos
ou realizar testes.
Tecnologicamente a AIT é melhor, gravação helicoidal,
seria a evolução da DAT, mas não sei se a Sony abriu pra
outros além deles fabricarem. A DLT é mais popular e tem
alternativas (IBM, HP). Ambas tem altas capacidades de
armazenamento e velocidade de gravação/leitura.
Como os arquivos deverão ficar armazenados por longo tempo
(circa de 5 anos), talvez fitas WROM sejam um boa solução
em termos de custo/benefÃcio.
Depende do cenário, você vai precisar de um local
apropriado pra armazenar isso, algo como cofre anti-chama
ou sala-cofre (esse é o caso para as mÃdias removÃveis).
Como não tenho experiência prática no assunto, venho apelar
aos colegas uma orientação a respeito, de quem já convive(eu)
com situação semelhante. Dei uma espiada nos sites da Quantum
e Sony, mas não consegui chegar a nenhuma conclusão.
Vá para o telefone e marque visitas, o pessoal está
acostumado a levar folhetos, dar explicações técnica e até
mesmo providenciar equipamentos para testes e demonstrações.
Sua demanda parece ser no sentido de ter uma
empresa ou um "datacenter" que forneça o apoio à solução
de backup, você pode usar ferramentas como duplicity para
criptografar os dados e armazená-los em um local remoto
como um
