Re: [FUG-BR] Hardware para cache

2015-01-13 Por tôpico Joao Rocha Braga Filho
On Wed, Jan 14, 2015 at 12:24 AM, Nilton Jose Rizzo ri...@i805.com.br
wrote:

 Em Tue, 13 Jan 2015 23:16:39 -0200, Joao Rocha Braga Filho escreveu
  2015-01-13 14:39 GMT-02:00 Gustavo Freitas gst.frei...@gmail.com:
 
 Achei o tema muito bom!

Que tal alguém fazer uma compilação e gerar uma palestra
 para o BSD DAY??  o site está quase pronto


Ideia doida, mas talvez legal. Uma palestra em grupo, onde cada um fala um
pouco
da sua experiência e ideias por alguns minutos, inclusive colocando as
opiniões
diferentes, e depois abre-se para perguntas e debates.


João Rocha.



 ---
 /*
 **Nilton José RizzoUFRRJ
 **http://www.rizzo.eng.br  http://www.ufrrj.br
 **http://lattes.cnpq.br/0079460703536198
 **/

 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd




-- 
Sempre se apanha mais com as menores besteiras. Experiência própria.

http://jgoffredo.blogspot.com
goffr...@gmail.com
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Hardware para cache

2015-01-13 Por tôpico Paulo Henrique - BSDs


On 13/01/2015 14:39, Gustavo Freitas wrote:

Galera,

Estou querendo montar um servidor cache com FreeBSD ou então usar
Thunder cache que é freebsd.. alguem recomenda ? tipo de Hard disk por
exemplo.. é para 400 usuarios.


Se não quiser investir em SSD ( muito caro ) recomendo um raid10 usando 
discos Western Digital Serie RED NAS ou ENTERPRISE.


Quanto a processador esse aqui vai te atender bem.

http://www.sinco.net/equipamentos/servidores_xeon_E3-1200V3_rack.asp

A sinco permite você abrir o servidor, e vende sem os discos.

Att. Paulo  Henrique.

--
Paulo Henrique.
Grupo de Usuários de Sistemas BSDs no Brasil.
Fone: +55 21 96713-5042

Não importa o que faça, sempre haverá alguém em algum lugar do mundo que será 
sempre melhor do que você.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Hardware para cache

2015-01-13 Por tôpico Joao Rocha Braga Filho
2015-01-13 14:39 GMT-02:00 Gustavo Freitas gst.frei...@gmail.com:

 Galera,

 Estou querendo montar um servidor cache com FreeBSD ou então usar
 Thunder cache que é freebsd.. alguem recomenda ? tipo de Hard disk por
 exemplo.. é para 400 usuarios.


Estou desatualizado, mas já fiz squid para mais do que isto de usuários.

Muita memória ajuda, pois pode configurar para usar uma parte como cache
em memória, o que agiliza (acredito que muito), pois não vai acessar os
discos
para pegar coisas muito comuns. Tendo muita memória também pode ajudar
no cache que o sistema operacional faz do disco.

RAID 1, i.e., espelhamento, pode ser útil, pois o sistema pode dividir a
leitura entre os dois discos. O problema é a escrita, que terá que ser feita
nos dois e pode aumentar um pouco a latência. Se os discos fizerem fila
de leitura e escrita, como NCQ, acho que melhora o caso. Outra vantagem
é o sistema não parar se o disco der pane.

Tome MUITO cuidado, pois o squid NÃO pode fazer swap de forma alguma.
Tem que ter memória de sobra. Ele pode massacrar o disco se isto
acontecer, além de dar um desempenho MUITO ruim.

Discos separados para sistema/swap e cache pode ser muito bom. As
operações de manutenção, você administrando o sistema etc, não disputam
acesso aos discos de cache.

Colocar em máquina virtual é cometer uma chacina. Aliás, parece mais
com um homem bomba em um mercado cheio, ou ônibus cheio. Ele se
mata e leva todas as outras máquinas virtuais junto. E quanto mais cheia
estiver esta máquina virtual maior será a matança.

Use máquina com vários núcleos, assim o sistema operacional poderá
fazer muitas coisas eficientemente.

Eu gosto de colocar o squid junto do firewall, na mesma máquina, e não
em uma máquina em separado. Assim não tenho latências e desperdício
de processamento com a comunicação entre máquinas. Com vários
núcleos de processadores isto deve funcionar melhor ainda.

Outra dica. Não coloque logo de início para o squid usar muita memória,
pois pode começar mal. Coloque para usar no cache em memória no máximo
uns 20% de memória total da máquina, e suba aos poucos, mas deixe
no final uma boa sobra na memória principal para poder fazer outras coisas
sem ter que usar swap. Lembre-se também, o squid NÃO pode sofrer swap.


Espero que tenha ajudado.

João Rocha.




 --
 Gustavo Freitas
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd




-- 
Sempre se apanha mais com as menores besteiras. Experiência própria.

http://jgoffredo.blogspot.com
goffr...@gmail.com
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Hardware para cache

2015-01-13 Por tôpico Nilton Jose Rizzo
Em Tue, 13 Jan 2015 23:16:39 -0200, Joao Rocha Braga Filho escreveu
 2015-01-13 14:39 GMT-02:00 Gustavo Freitas gst.frei...@gmail.com:
 
Achei o tema muito bom!

   Que tal alguém fazer uma compilação e gerar uma palestra
para o BSD DAY??  o site está quase pronto

---
/*
**Nilton José RizzoUFRRJ
**http://www.rizzo.eng.br  http://www.ufrrj.br
**http://lattes.cnpq.br/0079460703536198
**/

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


[FUG-BR] Hardware para cache

2015-01-13 Por tôpico Gustavo Freitas
Galera,

Estou querendo montar um servidor cache com FreeBSD ou então usar
Thunder cache que é freebsd.. alguem recomenda ? tipo de Hard disk por
exemplo.. é para 400 usuarios.


-- 
Gustavo Freitas
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Hardware para cache

2015-01-13 Por tôpico Fabricio Lima
e seguindo na linha do Frederick, nao há necessidade de discos RED.
Ou vai pra disco budget, ou parte pra algo Black, SAS, Near Line SATA, etc..

mas RED eh pra storage! retensao de dados a longo prazo com maior
confiabilidade q um sata... suporte a vibraçao etc.

Sobre o RAID, use o RAID 1 (espelhamento) no sistema
e o cache em RAID 0 pra velocidade. (ou monta algo equivalente ao raid0
usando multiplos discos)

mas raid 10 é pra banco... tiro de canhão.

tb acho q cache perde um pouco o sentido hj, link é barato, conteudo é
dinamico. Talvez um bom filtro de ads e conteudo seja mais economia!

Um usuario acessando indevidamente youtube vai gastar mais banda q a falta
de um cache.

[ ]'s
Fabricio Lima
When your hammer is C++, everything begins to look like a thumb.

Em 13 de janeiro de 2015 20:19, Renato Frederick ren...@frederick.eti.br
escreveu:

 Eu não vejo necessidade de RAID em um pool de discos para cache:

 Você pode mandar o thunder, ou o squid, ou seja lá o que for usar, gravar
 em vários discos isolados paralelamente. Se puder usar raw device, melhor
 ainda.

 Qual a vantagem em ter redundância e ocupar um canal da controladora
 SATA/SAS para fazer RAID? Explico abaixo:

 Imagina o cache do youtube: hoje o video top é o escândalo da petrobrás.
 daqui a 10 dias o video top vai ser a conta de luz aumentou. é Muito
 dinâmico o cache de web, de torrent, etc

 Então, em um caso de catástrofe, trocar o(s) disco(s) que queimaram e
 deixar o próprio ecosistema da internet repopular o cache **em minha
 opiniao** é melhor do que trocar o disco e ocupar a máquina para dar
 rebuild no cache.
 Imagina lá que você tenha, sei lá, 2TB de dados em 5 discos. Se um
 queimar, esta pequena parcela que perdeu em sei lá, 1 ou 2 dias de
 navegação já completou. E a máquina ficou 'rápida o suficiente para atender
 os outros usuários.

 Claro que o disco de instalação do sistema deve ter um RAID.

 Se o orçamento permitir, olha a linha low end de storages da Dell, você
 pode fazer uma mescla de alguns discos SSD e o resto SATA ou SAS. O storage
 é inteligente para jogar no SSD dados mais acessados. E você ainda pode
 compartilhar este storage para vmware.

 Não é tão caro como um EMC e nem tão ruim como um IBM(opinião particular)
 e você ainda fica preparado para o futuro.

 Abraços


  Paulo Henrique - BSDs mailto:paulo.rd...@bsd.com.br
 13 de janeiro de 2015 15:30


 Se não quiser investir em SSD ( muito caro ) recomendo um raid10 usando
 discos Western Digital Serie RED NAS ou ENTERPRISE.

 Quanto a processador esse aqui vai te atender bem.

 http://www.sinco.net/equipamentos/servidores_xeon_E3-1200V3_rack.asp

 A sinco permite você abrir o servidor, e vende sem os discos.

 Att. Paulo  Henrique.

 Gustavo Freitas mailto:gst.frei...@gmail.com
 13 de janeiro de 2015 14:39
 Galera,

 Estou querendo montar um servidor cache com FreeBSD ou então usar
 Thunder cache que é freebsd.. alguem recomenda ? tipo de Hard disk por
 exemplo.. é para 400 usuarios.


  -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Hardware para cache

2015-01-13 Por tôpico Renato Frederick

Eu não vejo necessidade de RAID em um pool de discos para cache:

Você pode mandar o thunder, ou o squid, ou seja lá o que for usar, 
gravar em vários discos isolados paralelamente. Se puder usar raw 
device, melhor ainda.


Qual a vantagem em ter redundância e ocupar um canal da controladora 
SATA/SAS para fazer RAID? Explico abaixo:


Imagina o cache do youtube: hoje o video top é o escândalo da 
petrobrás. daqui a 10 dias o video top vai ser a conta de luz 
aumentou. é Muito dinâmico o cache de web, de torrent, etc


Então, em um caso de catástrofe, trocar o(s) disco(s) que queimaram e 
deixar o próprio ecosistema da internet repopular o cache **em minha 
opiniao** é melhor do que trocar o disco e ocupar a máquina para dar 
rebuild no cache.
Imagina lá que você tenha, sei lá, 2TB de dados em 5 discos. Se um 
queimar, esta pequena parcela que perdeu em sei lá, 1 ou 2 dias de 
navegação já completou. E a máquina ficou 'rápida o suficiente para 
atender os outros usuários.


Claro que o disco de instalação do sistema deve ter um RAID.

Se o orçamento permitir, olha a linha low end de storages da Dell, você 
pode fazer uma mescla de alguns discos SSD e o resto SATA ou SAS. O 
storage é inteligente para jogar no SSD dados mais acessados. E você 
ainda pode compartilhar este storage para vmware.


Não é tão caro como um EMC e nem tão ruim como um IBM(opinião 
particular) e você ainda fica preparado para o futuro.


Abraços



Paulo Henrique - BSDs mailto:paulo.rd...@bsd.com.br
13 de janeiro de 2015 15:30


Se não quiser investir em SSD ( muito caro ) recomendo um raid10 
usando discos Western Digital Serie RED NAS ou ENTERPRISE.


Quanto a processador esse aqui vai te atender bem.

http://www.sinco.net/equipamentos/servidores_xeon_E3-1200V3_rack.asp

A sinco permite você abrir o servidor, e vende sem os discos.

Att. Paulo  Henrique.

Gustavo Freitas mailto:gst.frei...@gmail.com
13 de janeiro de 2015 14:39
Galera,

Estou querendo montar um servidor cache com FreeBSD ou então usar
Thunder cache que é freebsd.. alguem recomenda ? tipo de Hard disk por
exemplo.. é para 400 usuarios.



-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Hardware para cache

2015-01-13 Por tôpico Paulo Henrique - BSDs Brasil


Enviado do meu smartphone Sony Xperia™

 Renato Frederick escreveu 

 Eu não vejo necessidade de RAID em um pool de discos para cache:
 

Na economia compra uma placa de rede dual que permita repassar o tráfego que 
antes era para o cache para o seu roteador, pois de nada adianta um OS rodando 
e o serviço fora, vai ser um monte de erros.

 Você pode mandar o thunder, ou o squid, ou seja lá o que for usar, 
 gravar em vários discos isolados paralelamente. Se puder usar raw 
 device, melhor ainda.
 

Usar ZFS para ele manter na memória os objectos mais usados ao invés de 
complexiar ainda mais as configs dos serviços. 

 Qual a vantagem em ter redundância e ocupar um canal da controladora 
 SATA/SAS para fazer RAID? Explico abaixo:
 
 Imagina o cache do youtube: hoje o video top é o escândalo da 
 petrobrás. daqui a 10 dias o video top vai ser a conta de luz 
 aumentou. é Muito dinâmico o cache de web, de torrent, etc
 
 Então, em um caso de catástrofe, trocar o(s) disco(s) que queimaram e 
 deixar o próprio ecosistema da internet repopular o cache **em minha 
 opiniao** é melhor do que trocar o disco e ocupar a máquina para dar 
 rebuild no cache.
 Imagina lá que você tenha, sei lá, 2TB de dados em 5 discos. Se um 
 queimar, esta pequena parcela que perdeu em sei lá, 1 ou 2 dias de 
 navegação já completou. E a máquina ficou 'rápida o suficiente para 
 atender os outros usuários.
 
 Claro que o disco de instalação do sistema deve ter um RAID.

Discordo em partes,  primeiro a internet é dinâmica? , sim, mais somente na 
excessão de poucos usuários,  a maioria da reload a cada 2 ou 3 minutos na 
página de feeds de notícias do Facebook e de outras redes sociais e muitas 
informações expostas na referida página não se altera entre navegação. 

A reconstrução em caso de pane é levado em consideração apenas quando o 
provedor ( considerando que o companheiro seja um provedor)  esteja bem 
conectado, e a lentidão só é sentido nas primeira ou segunda hora, depois a 
maioria dos objetos já estão na memória. 
 
 Se o orçamento permitir, olha a linha low end de storages da Dell, você 
 pode fazer uma mescla de alguns discos SSD e o resto SATA ou SAS. O 
 storage é inteligente para jogar no SSD dados mais acessados. E você 
 ainda pode compartilhar este storage para vmware.
 

Não recomendo virtualização para infraestrutura de interconexão,  há mais 
gargalos no acesso a memória e nas interrupções do processador além de aumento 
de latência no todo.

Mais um storage com freenas sobre ZFS e trim deve ser algo muito 
interessante!!! 

 Não é tão caro como um EMC e nem tão ruim como um IBM(opinião 
 particular) e você ainda fica preparado para o futuro.
 
 Abraços
 
 
  Paulo Henrique - BSDs mailto:paulo.rd...@bsd.com.br
  13 de janeiro de 2015 15:30
 
 
  Se não quiser investir em SSD ( muito caro ) recomendo um raid10 
  usando discos Western Digital Serie RED NAS ou ENTERPRISE.
 
  Quanto a processador esse aqui vai te atender bem.
 
  http://www.sinco.net/equipamentos/servidores_xeon_E3-1200V3_rack.asp
 
  A sinco permite você abrir o servidor, e vende sem os discos.
 
  Att. Paulo  Henrique.
 
  Gustavo Freitas mailto:gst.frei...@gmail.com
  13 de janeiro de 2015 14:39
  Galera,
 
  Estou querendo montar um servidor cache com FreeBSD ou então usar
  Thunder cache que é freebsd.. alguem recomenda ? tipo de Hard disk por
  exemplo.. é para 400 usuarios.
 
 
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Hardware para cache

2015-01-13 Por tôpico Paulo Henrique - BSDs Brasil


Enviado do meu smartphone Sony Xperia™

 Fabricio Lima escreveu 

 e seguindo na linha do Frederick, nao há necessidade de discos RED.
 Ou vai pra disco budget, ou parte pra algo Black, SAS, Near Line SATA, etc..
 
 mas RED eh pra storage! retensao de dados a longo prazo com maior
 confiabilidade q um sata... suporte a vibraçao etc.
 
 Sobre o RAID, use o RAID 1 (espelhamento) no sistema
 e o cache em RAID 0 pra velocidade. (ou monta algo equivalente ao raid0
 usando multiplos discos)
 
 mas raid 10 é pra banco... tiro de canhão.

E para sistemas com muito I/O, que no caso do cache também se enquadra.
Além é claro da Segurança quanto a não ter que correr para o provedor por que 
um disco de problema.

 
 tb acho q cache perde um pouco o sentido hj, link é barato, conteudo é
 dinamico. Talvez um bom filtro de ads e conteudo seja mais economia!
 
 Um usuario acessando indevidamente youtube vai gastar mais banda q a falta
 de um cache.

Link é barato em regiões metropolitanas com PTT, do contrário os três ou quatro 
megas a mais que teria que pagar todo mes, depois de algum tempo terá pago o 
custo do servidor e o cache passa a ser um ativo que estará ajudando a pagar a 
conta de luz, que convenhamos em um provedor com um IDC pequeno o valor de link 
que deixou de pagar é suficiente para pagar toda o consumo ou uma boa fatia 
desse consumo energético. 



Considerando ambiente corporativo,  bloqueia geral e quem quiser acessar 
Facebook ou outra porcaria que contrate um serviço de 3G descente. 

E deixa claro que suporte em telefone celular particular não é permitido pela 
equipe de TI ou é cobrado!!! 

Att.
 
 [ ]'s
 Fabricio Lima
 When your hammer is C++, everything begins to look like a thumb.
 
 Em 13 de janeiro de 2015 20:19, Renato Frederick ren...@frederick.eti.br
 escreveu:
 
  Eu não vejo necessidade de RAID em um pool de discos para cache:
 
  Você pode mandar o thunder, ou o squid, ou seja lá o que for usar, gravar
  em vários discos isolados paralelamente. Se puder usar raw device, melhor
  ainda.
 
  Qual a vantagem em ter redundância e ocupar um canal da controladora
  SATA/SAS para fazer RAID? Explico abaixo:
 
  Imagina o cache do youtube: hoje o video top é o escândalo da petrobrás.
  daqui a 10 dias o video top vai ser a conta de luz aumentou. é Muito
  dinâmico o cache de web, de torrent, etc
 
  Então, em um caso de catástrofe, trocar o(s) disco(s) que queimaram e
  deixar o próprio ecosistema da internet repopular o cache **em minha
  opiniao** é melhor do que trocar o disco e ocupar a máquina para dar
  rebuild no cache.
  Imagina lá que você tenha, sei lá, 2TB de dados em 5 discos. Se um
  queimar, esta pequena parcela que perdeu em sei lá, 1 ou 2 dias de
  navegação já completou. E a máquina ficou 'rápida o suficiente para atender
  os outros usuários.
 
  Claro que o disco de instalação do sistema deve ter um RAID.
 
  Se o orçamento permitir, olha a linha low end de storages da Dell, você
  pode fazer uma mescla de alguns discos SSD e o resto SATA ou SAS. O storage
  é inteligente para jogar no SSD dados mais acessados. E você ainda pode
  compartilhar este storage para vmware.
 
  Não é tão caro como um EMC e nem tão ruim como um IBM(opinião particular)
  e você ainda fica preparado para o futuro.
 
  Abraços
 
 
   Paulo Henrique - BSDs mailto:paulo.rd...@bsd.com.br
  13 de janeiro de 2015 15:30
 
 
  Se não quiser investir em SSD ( muito caro ) recomendo um raid10 usando
  discos Western Digital Serie RED NAS ou ENTERPRISE.
 
  Quanto a processador esse aqui vai te atender bem.
 
  http://www.sinco.net/equipamentos/servidores_xeon_E3-1200V3_rack.asp
 
  A sinco permite você abrir o servidor, e vende sem os discos.
 
  Att. Paulo  Henrique.
 
  Gustavo Freitas mailto:gst.frei...@gmail.com
  13 de janeiro de 2015 14:39
  Galera,
 
  Estou querendo montar um servidor cache com FreeBSD ou então usar
  Thunder cache que é freebsd.. alguem recomenda ? tipo de Hard disk por
  exemplo.. é para 400 usuarios.
 
 
   -
  Histórico: http://www.fug.com.br/historico/html/freebsd/
  Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
 
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd