[FUG-BR] ZFS vs UFS para MySQL
Olá Pessoal. Gostaria da opinião de vocês quanto a performance do ZFS e do UFS para os seguintes cenários. Tenho dois ambientes em H.A. (CARP + HAST) rodando em homologação nos seguintes hardwares: 2x Dell PowerEdge R410: 8Gb RAM; 2x Xeon E5620; Controladora RAID PERC H330 Mini; 1x 300GB 15K RPM SAS 6Gbps; Configurações de Hardware/S.O. dos ambientes: Sistema Operacional: FreeBSD 11.1-RELEASE-p4; Modo de uso da controladora RAID: HBA (http://www.dell.com/support/manuals/us/en/19/poweredge-rc-h730/perc9ugpublication/switching-the-controller-to-hba-mode?guid=guid-1fcc87e1-d534-451a-9947-56f1175886c5=en-us <http://www.dell.com/support/manuals/us/en/19/poweredge-rc-h730/perc9ugpublication/switching-the-controller-to-hba-mode?guid=guid-1fcc87e1-d534-451a-9947-56f1175886c5=en-us>); Driver da controladora utilizado: mrsas (https://www.freebsd.org/releases/11.1R/hardware.html#disk <https://www.freebsd.org/releases/11.1R/hardware.html#disk>); Ambiente/Cenário 1 (ZFS): Opções do Filesystem: noatime, compression=lz4; Configurações do serviço MySQL: my.cnf default da instalação do MySQL no FreeBSD; *Obs. 1: A partição onde há atuação do HAST para replicação dos dados é a partição do MySQL; *Obs. 2: houveram tentativas de tuning no ZFS específico para o MySQL, mas que não mudaram em grandes fatores os resultados dos testes. (https://www.patpro.net/blog/index.php/2014/03/09/2617-mysql-on-zfs-on-freebsd/ <https://www.patpro.net/blog/index.php/2014/03/09/2617-mysql-on-zfs-on-freebsd/>); Ambiente/Cenário 2 (UFS): Opções no Filesystem: noatime; Configurações do serviço MySQL: my.cnf default da instalação do MySQL no FreeBSD; *Obs. 1: A partição onde há atuação do HAST para replicação dos dados é a partição do MySQL; Testes de desempenho cenário 1 (ZFS): Tempo de execução da Query1 pela primeira vez: ~1,99 s Tempo de execução da Query1 pela enésima vez: ~734 ms Tempo de execução da Query2 pela primeira vez: ~3,73 s Tempo de execução da Query2 pela enésima vez: ~1,16 s *Obs. 1: As queries executadas nos testes, serão largamente utilizadas no sistema em produção; *Obs. 2: Foram executadas também lotes de queries (SELECTs/INSERTs/UPDATEs), mas não há diferença significante proporcionalmente se tratando dos tempos de execução. Testes de desempenho cenário 2 (UFS): Tempo de execução da Query1 pela primeira vez: ~560 ms Tempo de execução da Query1 pela enésima vez: ~490 ms Tempo de execução da Query2 pela primeira vez: ~1,16 s Tempo de execução da Query2 pela enésima vez: ~734 ms *Obs. 1: As queries executadas nos testes, serão largamente utilizadas no sistema em produção; *Obs. 2: Foram executadas também lotes de queries (SELECTs/INSERTs/UPDATEs), mas não há diferença significante proporcionalmente se tratando dos tempos de execução. Após muita leitura sobre comparações entre ZFS e UFS, entendo que para a maioria dos casos o UFS parece ser mais rápido, mas é claro, não há todas as features e nem a flexibilidade que há no ZFS. Essas features e flexibilidade são muito importantes neste ambiente, logo, provavelmente eu usarei ZFS em produção. De qualquer forma, entendo que a diferença de perfomance entre ZFS e UFS neste caso foi significativamente grande em comparação com os testes de performance que eu consegui analisar na internet. Por este motivo, gostaria da opinião de vocês sobre o ambiente utilizando cada um desses filesystems, ou até uma possível correção que poderia fazer com que o ZFS chegasse um pouco mais perto do desempenho do UFS. Desculpem pelo textão, mas foi a melhor forma que encontrei de passar todas essas informações. Grato pela atenção, Willy Romão G. França Contatos / Contacts: +55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com <mailto:willyr.goncal...@gmail.com> LinkedIn: https://www.linkedin.com/in/willyrgf/ Twitter: @willyrgf - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
[FUG-BR] [OFF-TOPIC] Vaga Analista de Suporte Junior
Olá pessoal, surgiu uma nova vaga para Analista de Suporte Junior na empresa AVCorp. É uma empresa que atua no ramo da telefonia VoIP e redes com foco em ferramentas open source. Segue abaixo um link com todas as informações e também um formulário para aplicação à vaga. Caso conheça alguém que possa estar interessado ou algum canal de comunicação que possa ter pessoas interessadas, compartilhe a vaga. Obrigado. https://pt.surveymonkey.com/r/avcorp_asj <https://pt.surveymonkey.com/r/avcorp_asj> Willy Romão G. França Contatos / Contacts: +55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com <mailto:willyr.goncal...@gmail.com> Twitter: @willyrgf - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
[FUG-BR] Experiências com bhyve
Olá Pessoal, Recentemente comecei a migrar serviços e novos projetos para FreeBSD, alguns desses projetos preciso de virtualização, hoje em dia utilizo VMWare ESXI e KVM. Naturalmente, com essa migração para ambiente FreeBSD, comecei a pesquisar sobre o bhyve para estes ambientes que necessito e virtualização, e gostaria de saber a experiência de vocês utilizando esse hypervisor em ambiente de produção. Algumas perguntas sobre o bhyve em ambiente de produção: - Existem dificuldade em comparação com outros hypervisors? Se sim, quais as principais? - Como é a relação de consumo de hardware (performance) em comparação com outros hypervisors? - Quais são as principais vantagens no uso do bhyve em comparação outros hypervisors? Caso queiram adicionar alguma questão que não foi levanta aqui, fiquem à vontade. Antes de qualquer coisa, obrigado pelas respostas. Att, Willy Romão G. França Contatos / Contacts: +55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com <mailto:willyr.goncal...@gmail.com> Twitter: @willyrgf - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Ajuda com ZFS [RESOLVIDO]
Pessoal, Só pra dar um feedback, o problema era o tamanho dos setores dos 16 HD's, que estavam formatados para 520. Problema: #diskinfo -v /dev/da0 /dev/da0 520 # sectorsize Solução: #camcontrol cmd da0 -v -c 15 10 0 0 v:i1 0 12 -o 12 0 0 0 8 0 0:i3 0 v:i3 512 #camcontrol format da0 -q -y #diskinfo -v /dev/da0 /dev/da0 512 # sectorsize Depois foi só refazer a partição GPT, e fazer o zpool. Att, -- *Willy Romão G. França* Contatos / Contacts:+55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com Twitter: @willyrgf On 07/31/15 16:21, Willy Romão wrote: Foi justamente por causa dessa recomendação que eu coloquei de 0 a 8. Ai no caso eu faria um segundo raidz de 9 a 15. Segue a saida do comando, desculpe pelo tamanho. # gpart show = 34 142081981 mfid0 GPT (68G) 34 1024 1 freebsd-boot (512K) 10588388608 2 freebsd-swap (4.0G) 8389666 133692349 3 freebsd-zfs (64G) = 34 140174165 da0 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da1 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da2 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da3 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da4 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da5 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da6 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ22B2Q9819EJCB GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da7 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da8 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da9 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da10 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da11 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da12 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da13 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da14 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da15 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25RKB9819C15J GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25PXR9820F4YR GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25QW49820F5WB GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25ZMS98201PGM GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3KP494649727AKWP GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ263M69820KDUC GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ0VV3V9739G895 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25SH19820F4QJ GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25PZB9819UUWJ GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ22H769820F59G GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25TR79820FQHR GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ31QB69839P8US GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ314YE9839KY58 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ26TEQ9820KQ8J GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25ZG29820F739 GPT (68G) 34 140174165 1 freebsd-zfs (68G) Att, -- *Willy Romão G. França* Contatos / Contacts:+55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com Twitter: @willyrgf On 07/31/15 16:11, Ricardo
[FUG-BR] Ajuda com ZFS
Boa tarde pessoal, Estou tendo um problema em montar um zpool. O ambiente é o seguinte, to rodando um FreeBSD 10.1 amd64, tenho um storage de rede (fibra) que sobe 16 HD's SCSI como /dev/da*, montei as gpt's desses HD's (gpt destroy, gpt create, gpt add), depois disso quando fui fazer o zpool, ele me retorna este erro: # zpool create storage00 raidz da0p1 da1p1 da2p1 da3p1 da4p1 da5p1 da6p1 da7p1 da8p1 cannot create 'storage00': invalid argument for this pool operation Já usei tanto as partições, quanto os /dev/gpt/disk[0-15]. Alguém aqui já passou por problema parecido? Sou novato no FreeBSD, pode ser noobada minha. Obrigado, -- *Willy Romão G. França* Contatos / Contacts:+55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com Twitter: @willyrgf - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Ajuda com ZFS
Olá Ricardo, Criei assim todos assim: foreach x ( `seq 0 15`) gpart destroy -F /dev/da$x gpart create -s gpt /dev/da$x gpart add -t freebsd-zfs -l disk$x /dev/da$x end O comando zpool eu já rodei ele das seguintes maneiras: # zpool create storage00 raidz da0p1 da1p1 da2p1 da3p1 da4p1 da5p1 da6p1 da7p1 da8p1 # zpool create storage00 raidz da0 da1 da2 da3 da4 da5 da6 da7 da8 # zpool create storage00 raidz /dev/gpt/disk0 /dev/gpt/disk1 /dev/gpt/disk2 /dev/gpt/disk3 /dev/gpt/disk4 /dev/gpt/disk5 /dev/gpt/disk6 /dev/gpt/disk7 /dev/gpt/disk8 Att, -- *Willy Romão G. França* Contatos / Contacts:+55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com Twitter: @willyrgf On 07/31/15 15:41, Ricardo Campos Passanezi wrote: On Fri, Jul 31, 2015 at 03:32:20PM -0300, Willy Romão wrote: Fala Saul. Pelo que eu entendi ele fala que não foi possível criar o 'storage00', porque tem argumento inválido, não que 'storage00' seja o argumento inválido. Segue exatamente zpool[1]: *zpool* *create* [*-fnd*] [*-o* /property/=/value/]/.../ [*-O* /file-system-property/=/value/]/.../ [*-m* /mountpoint/] [*-R* /root/]/pool/ /vdev/ /.../ Minha linha: # zpool create storage00 raidz da0p1 da1p1 da2p1 da3p1 da4p1 da5p1 da6p1 da7p1 da8p1 Como você criou os da*p1? Manda o gpart show da0p1, como exemplo. Salvo engano, se não for usar o disco todo (aí usaria da0, da1, ...), creio que ao rodar o gpart tem de criar com 'gpart add -t freebsd-zfs ' - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Ajuda com ZFS
Fala Saul. Pelo que eu entendi ele fala que não foi possível criar o 'storage00', porque tem argumento inválido, não que 'storage00' seja o argumento inválido. Segue exatamente zpool[1]: *zpool* *create* [*-fnd*] [*-o* /property/=/value/]/.../ [*-O* /file-system-property/=/value/]/.../ [*-m* /mountpoint/] [*-R* /root/]/pool/ /vdev/ /.../ Minha linha: # zpool create storage00 raidz da0p1 da1p1 da2p1 da3p1 da4p1 da5p1 da6p1 da7p1 da8p1 Não setei nenhuma opção, no lugar do pool é o nome que eu quiser, no meu caso 'storage00', o vdev 'raidz' e os HD's e/ou partições. Segue exemplo do zfs quickstart da página do FreeBSD (https://www.freebsd.org/doc/handbook/zfs-quickstart.html) mostrando exemplos: |#| *|zpool create storage raidz da0 da1 da2|* Att, -- *Willy Romão G. França* Contatos / Contacts:+55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com Twitter: @willyrgf On 07/31/15 15:16, Saul Figueiredo wrote: Fala Willy, Olha no man do zpool[1] aqui, você precisa passar o argumento correto; da forma que você está fazendo ele está entendendo que o argumento é/seria storage00 enquanto que esse é o nome do seu pool. Entendeu? Abaixo a referencia 1 http://www.freebsd.org/cgi/man.cgi?zpool(8) Saul Figueiredo saulfelip...@gmail.com Enviada do meu iPhone Em 31/07/2015, às 12:25, Willy Romão willyr.goncal...@gmail.com escreveu: Boa tarde pessoal, Estou tendo um problema em montar um zpool. O ambiente é o seguinte, to rodando um FreeBSD 10.1 amd64, tenho um storage de rede (fibra) que sobe 16 HD's SCSI como /dev/da*, montei as gpt's desses HD's (gpt destroy, gpt create, gpt add), depois disso quando fui fazer o zpool, ele me retorna este erro: # zpool create storage00 raidz da0p1 da1p1 da2p1 da3p1 da4p1 da5p1 da6p1 da7p1 da8p1 cannot create 'storage00': invalid argument for this pool operation Já usei tanto as partições, quanto os /dev/gpt/disk[0-15]. Alguém aqui já passou por problema parecido? Sou novato no FreeBSD, pode ser noobada minha. Obrigado, -- *Willy Romão G. França* Contatos / Contacts:+55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com Twitter: @willyrgf - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Ajuda com ZFS
Foi justamente por causa dessa recomendação que eu coloquei de 0 a 8. Ai no caso eu faria um segundo raidz de 9 a 15. Segue a saida do comando, desculpe pelo tamanho. # gpart show = 34 142081981 mfid0 GPT (68G) 34 1024 1 freebsd-boot (512K) 10588388608 2 freebsd-swap (4.0G) 8389666 133692349 3 freebsd-zfs (64G) = 34 140174165 da0 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da1 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da2 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da3 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da4 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da5 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da6 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ22B2Q9819EJCB GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da7 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da8 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da9 GPT (68G) 34 1401741651 freebsd-zfs (68G) = 34 140174165 da10 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da11 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da12 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da13 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da14 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 da15 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25RKB9819C15J GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25PXR9820F4YR GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25QW49820F5WB GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25ZMS98201PGM GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3KP494649727AKWP GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ263M69820KDUC GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ0VV3V9739G895 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25SH19820F4QJ GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25PZB9819UUWJ GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ22H769820F59G GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25TR79820FQHR GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ31QB69839P8US GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ314YE9839KY58 GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ26TEQ9820KQ8J GPT (68G) 34 140174165 1 freebsd-zfs (68G) = 34 140174165 diskid/DISK-3LQ25ZG29820F739 GPT (68G) 34 140174165 1 freebsd-zfs (68G) Att, -- *Willy Romão G. França* Contatos / Contacts:+55 (31) 3069-8109 +55 3003-5410 - Ramal / Extension: 7090 E-mail / Hangout: willyr.goncal...@gmail.com Twitter: @willyrgf On 07/31/15 16:11, Ricardo Campos Passanezi wrote: On Fri, Jul 31, 2015 at 03:51:55PM -0300, Willy Romão wrote: Olá Ricardo, Criei assim todos assim: foreach x ( `seq 0 15`) gpart destroy -F /dev/da$x gpart create -s gpt /dev/da$x gpart add -t freebsd-zfs -l disk$x /dev/da$x end O comando zpool eu já rodei ele das seguintes maneiras: # zpool create storage00 raidz da0p1 da1p1 da2p1 da3p1 da4p1 da5p1 da6p1 da7p1 da8p1 # zpool create storage00 raidz da0 da1 da2 da3 da4 da5 da6 da7 da8 # zpool create storage00 raidz /dev/gpt/disk0 /dev/gpt/disk1 /dev/gpt/disk2 /dev/gpt/disk3 /dev/gpt/disk4 /dev/gpt/disk5 /dev/gpt/disk6 /dev/gpt/disk7 /dev/gpt/disk8 Notei agora que no seu foreach
