Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Edson Brandi
Em 12 de julho de 2012 01:40, Marcelo Gondim gon...@bsdinfo.com.br escreveu:
 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs

Tranquilo :)
Ainda bem que esclarecemos o mistério rs

[ ]'s Brandi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Leonardo Augusto
bah pega a 12 e faz o cla-cla bum que nem eu disse, 

afee maria que coisa hein.

ainda bem que foi problema de BIOS (bixo idiota operando o sistema) k

bah marcelo, isso acontece, mas ajuda a pessoa a ter mais atencao nos
detalhes, daqui pra frente
tenho certeza que vais ficar mais atento nos copy/paste da vida

se vc tunar o freebsd, vai por o linSux debaixo do chinelo

pra vc ter ideia, tenho uns amigos que tem um site de lista de email,
um dos maiores se nao o, do brasil,
eles comecaram com linux... chegou uma hora que nem ssh vc conseguia
fazer... nao respondia, altissimo load,
iam trocar de hardware... aí migraram pro freebsd e nem precisaram
mudar de hardware... mesmo com 200% de load
conseguiam fazer ssh normal e tudo funcionava, nada travava

a vm e a pilha tcp do freebsd sao imbativeis, com alto load de
verdade( swap sei la em 60¨% ) o freebsd continua respondendo
e o linux faz igual o pinguim, congela... kkk

sempre li e vi casos relatando isso... em alta carga o linux se perde todo,
o windows 2008 se nao me engano copiou o esquema da pilha tcp do
freebsd, por isso que funciona um pouco melhor
que os antecessores..

na ultima copa da alemanha,TODA infra de rede da copa la, foi baseada
em freebsd... pq sera ?

olha o uptime dessa minha maquina:

9:07AM  up 1268 days, 17:28, 1 user, load averages: 0.13, 0.13, 0.08

e tem acesso pra cararmba, em media 18G por mes de trafego, tudo mysql

AGORA ARRANCA LOGO ESSE LINUX E VOLTA PRO FREEBSD, EHEHE

quem bom que foi constatado o problema, agora volta pro freebsd para
poder dormir tranquilo, tirar
ferias, ir pra balada, e esquecer que tem um server pra cuidar, ehe

seria interessante vc enviar um email finalizando o problema com todos
detalhes que testou
e as configuracoes finais que funcionaram. resgatar todas as partes da
thread fica meio complicado,
amanha aparece outro com o mesmo problema.

abraco

p.s
e viu como o Brandi é o cara, eheh
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Luiz Gustavo
Pegando carona na thread,

alguém já usando o mariadb ? alguma diferença ?

vale a pena migrar para a dona Maria ?

Pra quem não conhece:
[lgcosta@desktop] ~ cat /usr/ports/databases/mariadb-server/pkg-descr 
MariaDB is a database server that offers drop-in replacement
functionality for
MySQL1. MariaDB is built by some of the original authors of MySQL, with
assistance from the broader community of Free and open source software
developers. In addition to the core functionality of MySQL, MariaDB
offers a
rich set of feature enhancements including alternate storage engines,
server
optimizations, and patches.

MariaDB is primarily driven by developers at Monty Program, a company
founded by
Michael Monty Widenius, the original author of MySQL, but this is not
the
whole story about MariaDB. On the About MariaDB page you will find
more
information about all participants in the MariaDB community, including
storage
engines XtraDB and PBXT.

WWW: http://mariadb.org/


-- 
Luiz Gustavo Costa (Powered by BSD)
*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+
mundoUnix - Consultoria em Software Livre
http://www.mundounix.com.br
ICQ: 2890831 / MSN: cont...@mundounix.com.br
Tel: 55 (21) 4063-7110 / 8194-1905 / (11) 4063-0407
Blog: http://www.luizgustavo.pro.br

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Paulo Olivier Cavalcanti
Em Thu, 12 Jul 2012 01:40:30 -0300, Marcelo Gondim gon...@bsdinfo.com.br  
escreveu:


 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs


Desculpe a minha ignorância, mas não entendi. Esse read_rnd_buffer_size  
fica dentro das confs do mysql ou do freebsd? Você agora consegue setar as  
conexões para 4000 sem matar o servidor?

Estou acompanhando essa thread com grande interesse e ansioso para uma  
solução.


-- 
http://about.me/paulocavalcanti
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Otavio Augusto
Em 12 de julho de 2012 01:40, Marcelo Gondim gon...@bsdinfo.com.br escreveu:
 Em 12/07/2012 00:24, Edson Brandi escreveu:
 Marcelo,

 O problema está nessa configuração ai do mysql que vc esta usando...

 Refiz um teste aqui com o FreeBSD 64 bits...

 Se eu uso o /usr/local/share/mysql/my-huge.cnf  como sendo o meu
 /var/db/mysql/my.cnf e seto o max_connections=4000 , o output do
 tunning primer é o que vc está obtendo:

 MEMORY USAGE
 Max Memory Ever Allocated : 572 M
 Configured Max Per-thread Buffers : 48.21 G
 Configured Max Global Buffers : 560 M
 Configured Max Memory Limit : 48.76 G
 Physical Memory : 3.74 G

 Max memory limit exceeds 90% of physical memory

 

 Se eu uso o mysqld com a configuração default (default = não existe o
 my.cnf), e adiciono apenas o parâmetro para 4.000 conexões (o arquivo
 vai ficar com apenas 2 linhas):

 [mysqld]
 max_connections=4000

 O output do tuning-primer.sh é o que eu tinha enviado antes (muito
 semelhante no linux e no FreeBSD):

 MEMORY USAGE
 Max Memory Ever Allocated : 154 M
 Configured Max Per-thread Buffers : 10.49 G
 Configured Max Global Buffers : 152 M
 Configured Max Memory Limit : 10.64 G
 Physical Memory : 3.74G

 Max memory limit exceeds 90% of physical memory

 

 Se eu uso o mesmo arquivo de configuração
 (/usr/local/share/mysql/my-huge.cnf ) no servidor Linux, fazendo os
 ajustes necessários para que o mysqld rode, visto que aqui no meu lab
 o daemon no linux nem sobe com este arquivo de configuração copiado do
 FreeBSD se vc não adicionar as linhas abaixo na sessão [mysqld]:

 datadir=/var/lib/mysql
 socket=/var/lib/mysql/mysql.sock
 user=mysql

 O resultado é o mesmo que no FreeBSD:

 MEMORY USAGE
 Max Memory Ever Allocated : 584 M
 Configured Max Per-thread Buffers : 48.46 G
 Configured Max Global Buffers : 560 M
 Configured Max Memory Limit : 49.00 G
 Physical Memory : 3.74 G

 Max memory limit exceeds 90% of physical memory

 

 Ou seja, acho pouco provável que o seu servidor Linux e o seu servidor
 FreeBSD estejam rodando exatamente com a mesma configuração no MySQL
 (este my-huge.cnf)...

 Edson
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Já fiz algo parecido as 2 da madrugada depois de mais de 20 horas
trabalhando direto.
Só descobri la para as 6 da matina quando nao tinha mas esperança e o
café tinha acabado.



-- 
Otavio Augusto
-
Consultor de TI
Citius Tecnologia
31 37761866
31 88651242
http://www.citiustecnologia.com.br
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Marcelo Gondim
Em 12/07/2012 09:21, Leonardo Augusto escreveu:
 bah pega a 12 e faz o cla-cla bum que nem eu disse, 

 afee maria que coisa hein.
Pois é rsrsrs

 ainda bem que foi problema de BIOS (bixo idiota operando o sistema) k

Põe bios nisso fdp de um k que virou m ahahahahahah


 bah marcelo, isso acontece, mas ajuda a pessoa a ter mais atencao nos
 detalhes, daqui pra frente
 tenho certeza que vais ficar mais atento nos copy/paste da vida

 se vc tunar o freebsd, vai por o linSux debaixo do chinelo

Eu acredito nisso ehehehh já fiz isso com todos os servidores Linux que 
eu tinha. Esse servidor já estava um tempo tentando fazer isso, mas o 
antigo sysadmin estava sem tempo e queria acompanhar isso. Como ele saiu 
da equipe por causa da faculdade acabei que fiquei de frente no core 
team rsrsr
Como tínhamos que mudar de Datacenter por causa dos processos por sermos 
um Servidor de Torrents, aproveitei para tentar migrar para o FreeBSD.

 pra vc ter ideia, tenho uns amigos que tem um site de lista de email,
 um dos maiores se nao o, do brasil,
 eles comecaram com linux... chegou uma hora que nem ssh vc conseguia
 fazer... nao respondia, altissimo load,
 iam trocar de hardware... aí migraram pro freebsd e nem precisaram
 mudar de hardware... mesmo com 200% de load
 conseguiam fazer ssh normal e tudo funcionava, nada travava

Isso é vero mesmo. No provedor aqui que gerencio a TI e temos link hoje 
de 1Gbps para atender 4 Cidades, tinha Linux uns 2 anos atrás. Quando 
chegava em 200Mbps de tráfego aqui na cidade que eu fico e mais um load 
de 2.0 pra cima começavam os paus e travar o tráfego. Mantive o hardware 
e troquei para FreeBSD e meus problemas acabaram.  :)


 a vm e a pilha tcp do freebsd sao imbativeis, com alto load de
 verdade( swap sei la em 60¨% ) o freebsd continua respondendo
 e o linux faz igual o pinguim, congela... kkk

load alto no Linux fica impraticável qualquer acesso.


 sempre li e vi casos relatando isso... em alta carga o linux se perde todo,
 o windows 2008 se nao me engano copiou o esquema da pilha tcp do
 freebsd, por isso que funciona um pouco melhor
 que os antecessores..

 na ultima copa da alemanha,TODA infra de rede da copa la, foi baseada
 em freebsd... pq sera ?

 olha o uptime dessa minha maquina:

 9:07AM  up 1268 days, 17:28, 1 user, load averages: 0.13, 0.13, 0.08

Lindo de se ver rsrsrsrs pena que devido à razões de segurança nunca vou 
chegar perto disso. ahhahaha


 e tem acesso pra cararmba, em media 18G por mes de trafego, tudo mysql

O tráfego mensal lá nosso é de 5Tb rsrsrsr é muito envio e recebimento 
de dados dos torrents. :)

 AGORA ARRANCA LOGO ESSE LINUX E VOLTA PRO FREEBSD, EHEHE

 quem bom que foi constatado o problema, agora volta pro freebsd para
 poder dormir tranquilo, tirar
 ferias, ir pra balada, e esquecer que tem um server pra cuidar, ehe

Com certeza mas agora vamos ter que esperar antes de mexer novamente. 
respirar um pouco. rsrsrsr
Mas pode ter certeza que farei isso.


 seria interessante vc enviar um email finalizando o problema com todos
 detalhes que testou
 e as configuracoes finais que funcionaram. resgatar todas as partes da
 thread fica meio complicado,
 amanha aparece outro com o mesmo problema.

 abraco

 p.s
 e viu como o Brandi é o cara, eheh
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd



-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Marcelo Gondim
Em 12/07/2012 10:01, Paulo Olivier Cavalcanti escreveu:
 Em Thu, 12 Jul 2012 01:40:30 -0300, Marcelo Gondim gon...@bsdinfo.com.br
 escreveu:

 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs

 Desculpe a minha ignorância, mas não entendi. Esse read_rnd_buffer_size
 fica dentro das confs do mysql ou do freebsd? Você agora consegue setar as
 conexões para 4000 sem matar o servidor?

 Estou acompanhando essa thread com grande interesse e ansioso para uma
 solução.

Sim fica no MySQL. Quando fiz a primeira conf do servidor em produção 
usei o my-huge.cnf e fui mexendo nos parâmetros e ajustando. Sendo que 
em algum momento removi ele. Quando fui jogar para o FreeBSD copiei o 
my-huge e adicionei as minhas outras confs e não reparei que o maldito 
estava lá como default e usando 8M. Sendo que no huge o default de 
conexões são 100 que é o padrão. Aí quando deixei esse cara lá e 
coloquei max_connections em 4000, estourou tudo. O problema foi só esse 
cara.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico NullCk
Bom dia, 

Esse parametro  read_rnd_buffer_size   fica em /etc/my.cnf

Ele é capaz de fazer sim um verdadeiro estrago se não for bem configurado, pois 
ele aloca um valor muito alto de memória, a regra de ouro recomendada é que a 
cada 1MB de memória no servidor nós deixamos 1KB para o read_rnd_buffer_size

Resumindo:
Meu servidor MySQL tem 8GB de Ram logo um valor interessante seria:

read_rnd_buffer_size = 4096KB

O que já é mais do que suficiente para mim, pois minhas aplicações utilizando 
bastante ORDER BY para gerar relatórios, se esse não é o seu caso deixa logo 
1024KB que já esta bom.
 

Thiago Dias aka nullck
Powered By Linux
LPIC 1| Novell CLA | ITILv3
Linux For Servers
Macintosh For Graphics
Windows For Play Solitaire



--- Em qui, 12/7/12, Paulo Olivier Cavalcanti procavalca...@gmail.com 
escreveu:

De: Paulo Olivier Cavalcanti procavalca...@gmail.com
Assunto: Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD 
[RESOLVIDO]
Para: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) 
freebsd@fug.com.br
Data: Quinta-feira, 12 de Julho de 2012, 10:01

Em Thu, 12 Jul 2012 01:40:30 -0300, Marcelo Gondim gon...@bsdinfo.com.br  
escreveu:


 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs


Desculpe a minha ignorância, mas não entendi. Esse read_rnd_buffer_size  
fica dentro das confs do mysql ou do freebsd? Você agora consegue setar as  
conexões para 4000 sem matar o servidor?

Estou acompanhando essa thread com grande interesse e ansioso para uma  
solução.


-- 
http://about.me/paulocavalcanti
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico NullCk
Olá Marcelo, 

Agora estou curioso, porque você utiliza esse valor enorme para max 
connections  ?
sua aplicação exige isso  ? o desenvolvedor pode passar a usar pool de 
conexões, tarefa simples para fazer no PHP.


Thiago Dias aka nullck
Powered By Linux
LPIC 1| Novell CLA | ITILv3
Linux For Servers
Macintosh For Graphics
Windows For Play Solitaire



--- Em qui, 12/7/12, Marcelo Gondim gon...@bsdinfo.com.br escreveu:

De: Marcelo Gondim gon...@bsdinfo.com.br
Assunto: Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD 
[RESOLVIDO]
Para: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) 
freebsd@fug.com.br
Data: Quinta-feira, 12 de Julho de 2012, 10:33

Em 12/07/2012 10:01, Paulo Olivier Cavalcanti escreveu:
 Em Thu, 12 Jul 2012 01:40:30 -0300, Marcelo Gondim gon...@bsdinfo.com.br
 escreveu:

 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs

 Desculpe a minha ignorância, mas não entendi. Esse read_rnd_buffer_size
 fica dentro das confs do mysql ou do freebsd? Você agora consegue setar as
 conexões para 4000 sem matar o servidor?

 Estou acompanhando essa thread com grande interesse e ansioso para uma
 solução.

Sim fica no MySQL. Quando fiz a primeira conf do servidor em produção 
usei o my-huge.cnf e fui mexendo nos parâmetros e ajustando. Sendo que 
em algum momento removi ele. Quando fui jogar para o FreeBSD copiei o 
my-huge e adicionei as minhas outras confs e não reparei que o maldito 
estava lá como default e usando 8M. Sendo que no huge o default de 
conexões são 100 que é o padrão. Aí quando deixei esse cara lá e 
coloquei max_connections em 4000, estourou tudo. O problema foi só esse 
cara.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Marcelo Gondim
Em 12/07/2012 10:34, NullCk escreveu:
 Bom dia,

 Esse parametro  read_rnd_buffer_size   fica em /etc/my.cnf

 Ele é capaz de fazer sim um verdadeiro estrago se não for bem configurado, 
 pois ele aloca um valor muito alto de memória, a regra de ouro recomendada é 
 que a cada 1MB de memória no servidor nós deixamos 1KB para o 
 read_rnd_buffer_size

Pois é e no meu caso piorava mais ainda porque o max_connections que eu 
precisava era de 4000. Nesse caso o consumo sobe mais ainda. :)

 Resumindo:
 Meu servidor MySQL tem 8GB de Ram logo um valor interessante seria:

 read_rnd_buffer_size = 4096KB

Qual o seu max_connections ? Porque mesmo com esse valor aí se eu usasse 
4000 ainda acho que ficaria muito alto.


 O que já é mais do que suficiente para mim, pois minhas aplicações utilizando 
 bastante ORDER BY para gerar relatórios, se esse não é o seu caso deixa logo 
 1024KB que já esta bom.
   

 Thiago Dias aka nullck
 Powered By Linux
 LPIC 1| Novell CLA | ITILv3
 Linux For Servers
 Macintosh For Graphics
 Windows For Play Solitaire



 --- Em qui, 12/7/12, Paulo Olivier Cavalcanti procavalca...@gmail.com 
 escreveu:

 De: Paulo Olivier Cavalcanti procavalca...@gmail.com
 Assunto: Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD 
 [RESOLVIDO]
 Para: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) 
 freebsd@fug.com.br
 Data: Quinta-feira, 12 de Julho de 2012, 10:01

 Em Thu, 12 Jul 2012 01:40:30 -0300, Marcelo Gondim gon...@bsdinfo.com.br
 escreveu:

 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs

 Desculpe a minha ignorância, mas não entendi. Esse read_rnd_buffer_size
 fica dentro das confs do mysql ou do freebsd? Você agora consegue setar as
 conexões para 4000 sem matar o servidor?

 Estou acompanhando essa thread com grande interesse e ansioso para uma
 solução.




-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Marcelo Gondim
Em 12/07/2012 10:38, NullCk escreveu:
 Olá Marcelo,

 Agora estou curioso, porque você utiliza esse valor enorme para max 
 connections  ?
 sua aplicação exige isso  ? o desenvolvedor pode passar a usar pool de 
 conexões, tarefa simples para fazer no PHP.

Pior que exige porque é um site de torrents e são muitas conexões por 
causa do announce de cada cliente torrent de cada user nosso pelo mundão 
à fora.
Mas com o memcache e umas alterações no sistema a gente conseguiu cair 
isso pra menos de 3000.  :)


 Thiago Dias aka nullck
 Powered By Linux
 LPIC 1| Novell CLA | ITILv3
 Linux For Servers
 Macintosh For Graphics
 Windows For Play Solitaire



 --- Em qui, 12/7/12, Marcelo Gondim gon...@bsdinfo.com.br escreveu:

 De: Marcelo Gondim gon...@bsdinfo.com.br
 Assunto: Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD 
 [RESOLVIDO]
 Para: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) 
 freebsd@fug.com.br
 Data: Quinta-feira, 12 de Julho de 2012, 10:33

 Em 12/07/2012 10:01, Paulo Olivier Cavalcanti escreveu:
 Em Thu, 12 Jul 2012 01:40:30 -0300, Marcelo Gondim gon...@bsdinfo.com.br
 escreveu:

 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs
 Desculpe a minha ignorância, mas não entendi. Esse read_rnd_buffer_size
 fica dentro das confs do mysql ou do freebsd? Você agora consegue setar as
 conexões para 4000 sem matar o servidor?

 Estou acompanhando essa thread com grande interesse e ansioso para uma
 solução.

 Sim fica no MySQL. Quando fiz a primeira conf do servidor em produção
 usei o my-huge.cnf e fui mexendo nos parâmetros e ajustando. Sendo que
 em algum momento removi ele. Quando fui jogar para o FreeBSD copiei o
 my-huge e adicionei as minhas outras confs e não reparei que o maldito
 estava lá como default e usando 8M. Sendo que no huge o default de
 conexões são 100 que é o padrão. Aí quando deixei esse cara lá e
 coloquei max_connections em 4000, estourou tudo. O problema foi só esse
 cara.

 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd



-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico William Grzybowski
2012/7/12 Marcelo Gondim gon...@bsdinfo.com.br:
 Em 12/07/2012 10:38, NullCk escreveu:
 Olá Marcelo,

 Agora estou curioso, porque você utiliza esse valor enorme para max 
 connections  ?
 sua aplicação exige isso  ? o desenvolvedor pode passar a usar pool de 
 conexões, tarefa simples para fazer no PHP.

 Pior que exige porque é um site de torrents e são muitas conexões por
 causa do announce de cada cliente torrent de cada user nosso pelo mundão
 à fora.
 Mas com o memcache e umas alterações no sistema a gente conseguiu cair
 isso pra menos de 3000.  :)

Acho que o NullCK tocou em um ponto importante...
Você precisa desse número de conexões porque a tua aplicação está se
conectando direto ao MySQL, sem nenhuma camada adicional.
Isso significa que a cada hit/acesso resultará em acesso ao banco de
dados (não contando com o memcache aqui).

Utilizando um pool the conexoes você pode limitar o número de conexões
simultanes ao teu servidor MySQL, além de reusar conexões.
Digamos 1000, e assim que um cliente libera a conexão ela é entregue
para outro na fila.

Vale lembrar que quanto maior a concorrência, mais demorado é para
atender todos ao mesmo tempo, por causa de compartilhamento de
recursos, locks em threads, table locks etc etc etc...
Então no final pode ser mais vantajoso como resultado utilizar um pool
do que sobrecarregar teu MySQL com tantas conexoes simultaneas
(deixando alguns clientes em hold por alguns instantes)

Posso estar errado, mas enfim, meus 2 cents ;)



-- 
William Grzybowski
--
Agência Livre - www.agencialivre.com.br
Curitiba/PR - Brasil
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Marcelo Gondim
Em 12/07/2012 10:57, William Grzybowski escreveu:
 2012/7/12 Marcelo Gondim gon...@bsdinfo.com.br:
 Em 12/07/2012 10:38, NullCk escreveu:
 Olá Marcelo,

 Agora estou curioso, porque você utiliza esse valor enorme para max 
 connections  ?
 sua aplicação exige isso  ? o desenvolvedor pode passar a usar pool de 
 conexões, tarefa simples para fazer no PHP.
 Pior que exige porque é um site de torrents e são muitas conexões por
 causa do announce de cada cliente torrent de cada user nosso pelo mundão
 à fora.
 Mas com o memcache e umas alterações no sistema a gente conseguiu cair
 isso pra menos de 3000.  :)
 Acho que o NullCK tocou em um ponto importante...
 Você precisa desse número de conexões porque a tua aplicação está se
 conectando direto ao MySQL, sem nenhuma camada adicional.
 Isso significa que a cada hit/acesso resultará em acesso ao banco de
 dados (não contando com o memcache aqui).

 Utilizando um pool the conexoes você pode limitar o número de conexões
 simultanes ao teu servidor MySQL, além de reusar conexões.
 Digamos 1000, e assim que um cliente libera a conexão ela é entregue
 para outro na fila.

Vou zoiar isso então. Pode ser um caminho para melhorar o consumo de 
recursos e não exigir um hardware melhor tão cedo.
Hoje o acesso está excelente mas se for para melhorar com certeza será 
bem vindo.

 Vale lembrar que quanto maior a concorrência, mais demorado é para
 atender todos ao mesmo tempo, por causa de compartilhamento de
 recursos, locks em threads, table locks etc etc etc...
 Então no final pode ser mais vantajoso como resultado utilizar um pool
 do que sobrecarregar teu MySQL com tantas conexoes simultaneas
 (deixando alguns clientes em hold por alguns instantes)

 Posso estar errado, mas enfim, meus 2 cents ;)




-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Marcelo da Silva
Bom dia pessoal...

sou praticamente leigo neste assunto, mas to acompanhando atentamente
a discussao,  e nestes dias tambem estava mexendo com o um servidor 
mysql em um
freebsd9, esta opcao read_rnd_buffer_size=8   é default  no
arquivo  my-huge.cnf,   no medium é 512  e no small 256

eu uso o mysqltunner e usando o arquivo de configuracao my-huge
o comportamento é o mesmo do setup  do Gondim,  setando em 5 mil 
conexoes, ele pedia mais de 64 giga de ram...

Em 12.07.2012 01:40, Marcelo Gondim escreveu:
 Em 12/07/2012 00:24, Edson Brandi escreveu:
 Marcelo,

 O problema está nessa configuração ai do mysql que vc esta usando...

 Refiz um teste aqui com o FreeBSD 64 bits...

 Se eu uso o /usr/local/share/mysql/my-huge.cnf  como sendo o meu
 /var/db/mysql/my.cnf e seto o max_connections=4000 , o output do
 tunning primer é o que vc está obtendo:

 MEMORY USAGE
 Max Memory Ever Allocated : 572 M
 Configured Max Per-thread Buffers : 48.21 G
 Configured Max Global Buffers : 560 M
 Configured Max Memory Limit : 48.76 G
 Physical Memory : 3.74 G

 Max memory limit exceeds 90% of physical memory

 

 Se eu uso o mysqld com a configuração default (default = não existe 
 o
 my.cnf), e adiciono apenas o parâmetro para 4.000 conexões (o 
 arquivo
 vai ficar com apenas 2 linhas):

 [mysqld]
 max_connections=4000

 O output do tuning-primer.sh é o que eu tinha enviado antes (muito
 semelhante no linux e no FreeBSD):

 MEMORY USAGE
 Max Memory Ever Allocated : 154 M
 Configured Max Per-thread Buffers : 10.49 G
 Configured Max Global Buffers : 152 M
 Configured Max Memory Limit : 10.64 G
 Physical Memory : 3.74G

 Max memory limit exceeds 90% of physical memory

 

 Se eu uso o mesmo arquivo de configuração
 (/usr/local/share/mysql/my-huge.cnf ) no servidor Linux, fazendo os
 ajustes necessários para que o mysqld rode, visto que aqui no meu 
 lab
 o daemon no linux nem sobe com este arquivo de configuração copiado 
 do
 FreeBSD se vc não adicionar as linhas abaixo na sessão [mysqld]:

 datadir=/var/lib/mysql
 socket=/var/lib/mysql/mysql.sock
 user=mysql

 O resultado é o mesmo que no FreeBSD:

 MEMORY USAGE
 Max Memory Ever Allocated : 584 M
 Configured Max Per-thread Buffers : 48.46 G
 Configured Max Global Buffers : 560 M
 Configured Max Memory Limit : 49.00 G
 Physical Memory : 3.74 G

 Max memory limit exceeds 90% of physical memory

 

 Ou seja, acho pouco provável que o seu servidor Linux e o seu 
 servidor
 FreeBSD estejam rodando exatamente com a mesma configuração no MySQL
 (este my-huge.cnf)...

 Edson
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

 Achei o maldito. Interessante que na configuração original ele está 
 em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar 
 algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto 
 tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu 
 nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux 
 para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse 
 tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M 
 rsrsrsrs
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Marcelo Gondim
Em 12/07/2012 11:15, Marcelo da Silva escreveu:
 Bom dia pessoal...

 sou praticamente leigo neste assunto, mas to acompanhando atentamente
 a discussao,  e nestes dias tambem estava mexendo com o um servidor
 mysql em um
 freebsd9, esta opcao read_rnd_buffer_size=8   é default  no
 arquivo  my-huge.cnf,   no medium é 512  e no small 256

 eu uso o mysqltunner e usando o arquivo de configuracao my-huge
 o comportamento é o mesmo do setup  do Gondim,  setando em 5 mil
 conexoes, ele pedia mais de 64 giga de ram...
Marcelo comenta o read_rnd_buffer_size que vai resolver seu problema. Aí 
você vai tunando as outras variáveis.  :)
Ele tem esse valor por default porque o max_connections default são 100 
mas daí usar 1000, 2000... aí a coisa muda de figura.  ;)
 Em 12.07.2012 01:40, Marcelo Gondim escreveu:
 Em 12/07/2012 00:24, Edson Brandi escreveu:
 Marcelo,

 O problema está nessa configuração ai do mysql que vc esta usando...

 Refiz um teste aqui com o FreeBSD 64 bits...

 Se eu uso o /usr/local/share/mysql/my-huge.cnf  como sendo o meu
 /var/db/mysql/my.cnf e seto o max_connections=4000 , o output do
 tunning primer é o que vc está obtendo:

 MEMORY USAGE
 Max Memory Ever Allocated : 572 M
 Configured Max Per-thread Buffers : 48.21 G
 Configured Max Global Buffers : 560 M
 Configured Max Memory Limit : 48.76 G
 Physical Memory : 3.74 G

 Max memory limit exceeds 90% of physical memory

 

 Se eu uso o mysqld com a configuração default (default = não existe
 o
 my.cnf), e adiciono apenas o parâmetro para 4.000 conexões (o
 arquivo
 vai ficar com apenas 2 linhas):

 [mysqld]
 max_connections=4000

 O output do tuning-primer.sh é o que eu tinha enviado antes (muito
 semelhante no linux e no FreeBSD):

 MEMORY USAGE
 Max Memory Ever Allocated : 154 M
 Configured Max Per-thread Buffers : 10.49 G
 Configured Max Global Buffers : 152 M
 Configured Max Memory Limit : 10.64 G
 Physical Memory : 3.74G

 Max memory limit exceeds 90% of physical memory

 

 Se eu uso o mesmo arquivo de configuração
 (/usr/local/share/mysql/my-huge.cnf ) no servidor Linux, fazendo os
 ajustes necessários para que o mysqld rode, visto que aqui no meu
 lab
 o daemon no linux nem sobe com este arquivo de configuração copiado
 do
 FreeBSD se vc não adicionar as linhas abaixo na sessão [mysqld]:

 datadir=/var/lib/mysql
 socket=/var/lib/mysql/mysql.sock
 user=mysql

 O resultado é o mesmo que no FreeBSD:

 MEMORY USAGE
 Max Memory Ever Allocated : 584 M
 Configured Max Per-thread Buffers : 48.46 G
 Configured Max Global Buffers : 560 M
 Configured Max Memory Limit : 49.00 G
 Physical Memory : 3.74 G

 Max memory limit exceeds 90% of physical memory

 

 Ou seja, acho pouco provável que o seu servidor Linux e o seu
 servidor
 FreeBSD estejam rodando exatamente com a mesma configuração no MySQL
 (este my-huge.cnf)...

 Edson
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

 Achei o maldito. Interessante que na configuração original ele está
 em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar
 algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto
 tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu
 nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux
 para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse
 tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M
 rsrsrsrs
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd



-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico NullCk
max_connections no meu caso ta em 300 e ainda é muito.


Thiago Dias aka nullck
Powered By Linux
LPIC 1| Novell CLA | ITILv3
Linux For Servers
Macintosh For Graphics
Windows For Play Solitaire



--- Em qui, 12/7/12, Marcelo Gondim gon...@bsdinfo.com.br escreveu:

De: Marcelo Gondim gon...@bsdinfo.com.br
Assunto: Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD 
[RESOLVIDO]
Para: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) 
freebsd@fug.com.br
Data: Quinta-feira, 12 de Julho de 2012, 10:46

Em 12/07/2012 10:34, NullCk escreveu:
 Bom dia,

 Esse parametro  read_rnd_buffer_size   fica em /etc/my.cnf

 Ele é capaz de fazer sim um verdadeiro estrago se não for bem configurado, 
 pois ele aloca um valor muito alto de memória, a regra de ouro recomendada é 
 que a cada 1MB de memória no servidor nós deixamos 1KB para o 
 read_rnd_buffer_size

Pois é e no meu caso piorava mais ainda porque o max_connections que eu 
precisava era de 4000. Nesse caso o consumo sobe mais ainda. :)

 Resumindo:
 Meu servidor MySQL tem 8GB de Ram logo um valor interessante seria:

 read_rnd_buffer_size = 4096KB

Qual o seu max_connections ? Porque mesmo com esse valor aí se eu usasse 
4000 ainda acho que ficaria muito alto.


 O que já é mais do que suficiente para mim, pois minhas aplicações utilizando 
 bastante ORDER BY para gerar relatórios, se esse não é o seu caso deixa logo 
 1024KB que já esta bom.
   

 Thiago Dias aka nullck
 Powered By Linux
 LPIC 1| Novell CLA | ITILv3
 Linux For Servers
 Macintosh For Graphics
 Windows For Play Solitaire



 --- Em qui, 12/7/12, Paulo Olivier Cavalcanti procavalca...@gmail.com 
 escreveu:

 De: Paulo Olivier Cavalcanti procavalca...@gmail.com
 Assunto: Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD 
 [RESOLVIDO]
 Para: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) 
 freebsd@fug.com.br
 Data: Quinta-feira, 12 de Julho de 2012, 10:01

 Em Thu, 12 Jul 2012 01:40:30 -0300, Marcelo Gondim gon...@bsdinfo.com.br
 escreveu:

 Achei o maldito. Interessante que na configuração original ele está em
 K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
 Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
 Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo
 8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
 Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não
 existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos
 testes.
 Agora já estou com esperanças novamente de migrar o servidor Linux para
 FreeBSD rsrsrsrsr

 Galera vou abrir outra thread para discutirmos o tunning para esse tipo
 de servidor com muito acesso.  :)
 Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por
 hoje ahhaahha

 Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs

 Desculpe a minha ignorância, mas não entendi. Esse read_rnd_buffer_size
 fica dentro das confs do mysql ou do freebsd? Você agora consegue setar as
 conexões para 4000 sem matar o servidor?

 Estou acompanhando essa thread com grande interesse e ansioso para uma
 solução.




-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Leonardo Augusto
Me deu vontade de fazer uma coisa agora.
Pelo que vi no codigo do anounce.php a estrutura e bem simples e as
transacoes do update tambem.
Tenho um servidor em java com NIO qie nao usa threads para atender cada
request, igual o select em C.
Da pra montar essa estrutura na ram e atualizar direto na mesma, deixando
as atualizacoes para o db numa fifo monitorada dai sim numa thread. Iria
ficar o cao xupando manga de tao rapido alem do que poderia atender
muuito mais anunces por segundo na mesma maquina, nao teria esse
overhead todo do apache e blablabla.
O dia que tiver tempo e for pra aliviar os ares vou fazer uns testes.
E sim o java roda muito bem no freebsd.

Abs
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-12 Por tôpico Marcelo Gondim
Em 12/07/2012 13:16, Leonardo Augusto escreveu:
 Me deu vontade de fazer uma coisa agora.
 Pelo que vi no codigo do anounce.php a estrutura e bem simples e as
 transacoes do update tambem.
 Tenho um servidor em java com NIO qie nao usa threads para atender cada
 request, igual o select em C.
 Da pra montar essa estrutura na ram e atualizar direto na mesma, deixando
 as atualizacoes para o db numa fifo monitorada dai sim numa thread. Iria
 ficar o cao xupando manga de tao rapido alem do que poderia atender
 muuito mais anunces por segundo na mesma maquina, nao teria esse
 overhead todo do apache e blablabla.
 O dia que tiver tempo e for pra aliviar os ares vou fazer uns testes.
 E sim o java roda muito bem no freebsd.

Opa Leonardo existe um tracker, que na verdade o announce é conhecido 
como tracker, só que feito em C. Só não implementamos ele ainda para testar.
É esse cara aqui: http://www.visigod.com/xbt-tracker/installation
Grande sites de torrent e maiores que o nosso usam esse tracker.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

2012-07-11 Por tôpico Marcelo Gondim
Em 12/07/2012 00:24, Edson Brandi escreveu:
 Marcelo,

 O problema está nessa configuração ai do mysql que vc esta usando...

 Refiz um teste aqui com o FreeBSD 64 bits...

 Se eu uso o /usr/local/share/mysql/my-huge.cnf  como sendo o meu
 /var/db/mysql/my.cnf e seto o max_connections=4000 , o output do
 tunning primer é o que vc está obtendo:

 MEMORY USAGE
 Max Memory Ever Allocated : 572 M
 Configured Max Per-thread Buffers : 48.21 G
 Configured Max Global Buffers : 560 M
 Configured Max Memory Limit : 48.76 G
 Physical Memory : 3.74 G

 Max memory limit exceeds 90% of physical memory

 

 Se eu uso o mysqld com a configuração default (default = não existe o
 my.cnf), e adiciono apenas o parâmetro para 4.000 conexões (o arquivo
 vai ficar com apenas 2 linhas):

 [mysqld]
 max_connections=4000

 O output do tuning-primer.sh é o que eu tinha enviado antes (muito
 semelhante no linux e no FreeBSD):

 MEMORY USAGE
 Max Memory Ever Allocated : 154 M
 Configured Max Per-thread Buffers : 10.49 G
 Configured Max Global Buffers : 152 M
 Configured Max Memory Limit : 10.64 G
 Physical Memory : 3.74G

 Max memory limit exceeds 90% of physical memory

 

 Se eu uso o mesmo arquivo de configuração
 (/usr/local/share/mysql/my-huge.cnf ) no servidor Linux, fazendo os
 ajustes necessários para que o mysqld rode, visto que aqui no meu lab
 o daemon no linux nem sobe com este arquivo de configuração copiado do
 FreeBSD se vc não adicionar as linhas abaixo na sessão [mysqld]:

 datadir=/var/lib/mysql
 socket=/var/lib/mysql/mysql.sock
 user=mysql

 O resultado é o mesmo que no FreeBSD:

 MEMORY USAGE
 Max Memory Ever Allocated : 584 M
 Configured Max Per-thread Buffers : 48.46 G
 Configured Max Global Buffers : 560 M
 Configured Max Memory Limit : 49.00 G
 Physical Memory : 3.74 G

 Max memory limit exceeds 90% of physical memory

 

 Ou seja, acho pouco provável que o seu servidor Linux e o seu servidor
 FreeBSD estejam rodando exatamente com a mesma configuração no MySQL
 (este my-huge.cnf)...

 Edson
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Achei o maldito. Interessante que na configuração original ele está em 
K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo 
8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não 
existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos 
testes.
Agora já estou com esperanças novamente de migrar o servidor Linux para 
FreeBSD rsrsrsrsr

Galera vou abrir outra thread para discutirmos o tunning para esse tipo 
de servidor com muito acesso.  :)
Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por 
hoje ahhaahha

Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd