Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-22 Por tôpico xiru 
Ferramenta de geracao de trafego eu conheco essa (mas ela é chata de
configurar).

http://www.web-polygraph.org/

Alem disso, tem o apache benchmark, que é o que eu uso pq é simples e funciona.

On 9/22/05, Jeronimo Zucco <[EMAIL PROTECTED]> wrote:
> -BEGIN PGP SIGNED MESSAGE-
> Hash: SHA1
>
> O meu colega Fabiano (nao o xiru, o Marcon :-) descobriu final de semana
> passado o jmeter.
>
> Alem de ser gratuito, ele pode ser acionado remotamente, ou seja, de um
> ponto central voce pode disparar varios jmeter para realizar testes e
> coletar os dados de forma centralizada.
>
> Li alguns documentos falando que para cada processador deveria ter um
> Zeo rodando para uso total do hardware. Nao sei se essa informacao é a
> correta, mas descobrirei esse final de semana quando iremos realizar os
> testes com jmeter.
>
> Outros documentos que me mandaram:
>
> http://www.slinkp.com/code/zopestuff
>
> Obrigado a todos que ajudaram.
>
>
> - --
> Jeronimo Zucco
> LPIC-1 Linux Professional Institute Certified
> Núcleo de Processamento de Dados
> Universidade de Caxias do Sul
>
> "May the Source be with you." - An unknown jedi programmer.
>
> http://jczucco.blogspot.com
>
>
> JJ (Arnaldo Janz Júnior) wrote:
> > Eh bastante delicado analisar esse tipo de situacao, a nao ser q vc
> > tenha uma forma de simular a mesma carga dos 1 usuarios *sem*
> > precisar de 1 usuarios.
> >
> > Eu fiquei sabendo que existe uma ferramenta da Rational que faz esse
> > tipo de simulacao, so nao sei o nome dela.
> >
> > O nome é Test Manager, mas ele parece fazer parte de um pacote da
> > Rational, cujos produtos, pelo que sei, estão longe de ser gratuitos ou
> > de funcionar com outro sistema que não seja Window$.
> > A ferramenta é bem interessante e simula mesmo um número de acessos,
> > definido na hora pelo usuário que está realizando os testes, com
> > mecanismo muito semelhante ao feito via browser. Não sei como usá-la mas
> > acompanhei a execução de alguns testes feitos com ela. Ela conta, entre
> > outros detalhes, o tempo de resposta ao se requisitar uma página, que,
> > no final, é exatamente o que interessa: em quanto tempo uma página chega
> > após sua solicitação, independente de quantos objetos ela chame.
> > No entanto, se quiser investir mesmo nisso, prepare o bolso:
> > . (Acho que) Não é gratuito (e ainda pode fazer parte de algum outro
> > pacote Rational);
> > . P/ testes com mais de 100 usuários, é necessário usar um servidor de
> > licenças da Rational (pelo menos, p/ os testes que acompanhei, foram);
> > . Só funciona com Window$;
> > . Não sei se foi só capricho mas os testes que acompanhei eram feitos
> > por uma máquina que gerenciava os testes, que eram executados por mais
> > ... eh ... aproximadamente (não me lembro bem) ... de 5 a 7 máquinas.
> > Acho que o melhor talvez seja esperar a resposta do Senra (|´;¬{)»
> > --
> > JJ (|´:¬{)»
> > -
> > "Deus escreve certo por linhas certas. Nós é que enxergamos torto."
> >
> > Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
> > Para desistir envie uma mensagem em branco para:
> > [EMAIL PROTECTED]
> >
> >
> > *Yahoo! Grupos, um serviço oferecido por:*
> >
> >
> > 
> > *Links do Yahoo! Grupos*
> >
> > * Para visitar o site do seu grupo na web, acesse:
> >   http://br.groups.yahoo.com/group/zope-pt/
> >
> > * Para sair deste grupo, envie um e-mail para:
> >   [EMAIL PROTECTED]
> >   
> >
> > * O uso que você faz do Yahoo! Grupos está sujeito aos Termos do
> >   Serviço do Yahoo! .
> >
> >
>
>
>
> -BEGIN PGP SIGNATURE-
> Version: GnuPG v1.4.1 (GNU/Linux)
>
> iD8DBQFDMuitTCq0VJ4DIPwRAoPqAKCZmMYiLNazDrqHjlN9+wyoo0PGWwCfY2Aw
> 5q2SsyPWlamPhBTGeFR9uGo=
> =0na/
> -END PGP SIGNATURE-
>
>
> Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
> Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED]
> Links do Yahoo! Grupos
>
>
>
>
>
>
>
>


--
Fabiano Weimar dos Santos
Plone Developer and Consultant


Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED] 
Links do Yahoo! Grupos

<*> Para visitar o site do seu grupo na web, acesse:
http://br.groups.yahoo.com/group/zope-pt/

<*> Para sair deste grupo, envie um e-mail para:
[EMAIL PROTECTED]

<*> O uso que você faz do Yahoo! Grupos está sujeito aos:
http://br.yahoo.com/info/utos.html

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-22 Por tôpico Jeronimo Zucco 
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA1

O meu colega Fabiano (nao o xiru, o Marcon :-) descobriu final de semana
passado o jmeter.

Alem de ser gratuito, ele pode ser acionado remotamente, ou seja, de um
ponto central voce pode disparar varios jmeter para realizar testes e
coletar os dados de forma centralizada.

Li alguns documentos falando que para cada processador deveria ter um
Zeo rodando para uso total do hardware. Nao sei se essa informacao é a
correta, mas descobrirei esse final de semana quando iremos realizar os
testes com jmeter.

Outros documentos que me mandaram:

http://www.slinkp.com/code/zopestuff

Obrigado a todos que ajudaram.


- --
Jeronimo Zucco
LPIC-1 Linux Professional Institute Certified
Núcleo de Processamento de Dados
Universidade de Caxias do Sul

"May the Source be with you." - An unknown jedi programmer.

http://jczucco.blogspot.com


JJ (Arnaldo Janz Júnior) wrote:
> Eh bastante delicado analisar esse tipo de situacao, a nao ser q vc
> tenha uma forma de simular a mesma carga dos 1 usuarios *sem*
> precisar de 1 usuarios.
> 
> Eu fiquei sabendo que existe uma ferramenta da Rational que faz esse
> tipo de simulacao, so nao sei o nome dela.
> 
> O nome é Test Manager, mas ele parece fazer parte de um pacote da
> Rational, cujos produtos, pelo que sei, estão longe de ser gratuitos ou
> de funcionar com outro sistema que não seja Window$.
> A ferramenta é bem interessante e simula mesmo um número de acessos,
> definido na hora pelo usuário que está realizando os testes, com
> mecanismo muito semelhante ao feito via browser. Não sei como usá-la mas
> acompanhei a execução de alguns testes feitos com ela. Ela conta, entre
> outros detalhes, o tempo de resposta ao se requisitar uma página, que,
> no final, é exatamente o que interessa: em quanto tempo uma página chega
> após sua solicitação, independente de quantos objetos ela chame.
> No entanto, se quiser investir mesmo nisso, prepare o bolso:
> . (Acho que) Não é gratuito (e ainda pode fazer parte de algum outro
> pacote Rational);
> . P/ testes com mais de 100 usuários, é necessário usar um servidor de
> licenças da Rational (pelo menos, p/ os testes que acompanhei, foram);
> . Só funciona com Window$;
> . Não sei se foi só capricho mas os testes que acompanhei eram feitos
> por uma máquina que gerenciava os testes, que eram executados por mais
> ... eh ... aproximadamente (não me lembro bem) ... de 5 a 7 máquinas.
> Acho que o melhor talvez seja esperar a resposta do Senra (|´;¬{)»
> -- 
> JJ (|´:¬{)»
> -
> "Deus escreve certo por linhas certas. Nós é que enxergamos torto."
> 
> Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
> Para desistir envie uma mensagem em branco para:
> [EMAIL PROTECTED]
> 
> 
> *Yahoo! Grupos, um serviço oferecido por:*
> 
> 
> 
> *Links do Yahoo! Grupos*
> 
> * Para visitar o site do seu grupo na web, acesse:
>   http://br.groups.yahoo.com/group/zope-pt/
>
> * Para sair deste grupo, envie um e-mail para:
>   [EMAIL PROTECTED]
>   
>
> * O uso que você faz do Yahoo! Grupos está sujeito aos Termos do
>   Serviço do Yahoo! . 
> 
> 



-BEGIN PGP SIGNATURE-
Version: GnuPG v1.4.1 (GNU/Linux)

iD8DBQFDMuitTCq0VJ4DIPwRAoPqAKCZmMYiLNazDrqHjlN9+wyoo0PGWwCfY2Aw
5q2SsyPWlamPhBTGeFR9uGo=
=0na/
-END PGP SIGNATURE-


Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED] 
Links do Yahoo! Grupos

<*> Para visitar o site do seu grupo na web, acesse:
http://br.groups.yahoo.com/group/zope-pt/

<*> Para sair deste grupo, envie um e-mail para:
[EMAIL PROTECTED]

<*> O uso que você faz do Yahoo! Grupos está sujeito aos:
http://br.yahoo.com/info/utos.html

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-22 Por tôpico Arnaldo Janz Júnior 



Eh bastante delicado analisar esse tipo de situacao, a nao ser q vc

tenha uma forma de simular a mesma carga dos 1 usuarios *sem*
precisar de 1 usuarios.

Eu fiquei sabendo que existe uma ferramenta da Rational que faz esse
tipo de simulacao, so nao sei o nome dela.
O nome é Test Manager,
mas ele parece fazer parte de um pacote da Rational, cujos produtos,
pelo que sei, estão longe de ser gratuitos ou de funcionar com outro
sistema que não seja Window$.A ferramenta é bem interessante e
simula mesmo um número de acessos, definido na hora pelo usuário que
está realizando os testes, com mecanismo muito semelhante ao feito via
browser. Não sei como usá-la mas acompanhei a execução de alguns testes
feitos com ela. Ela conta, entre outros detalhes, o tempo de resposta
ao se requisitar uma página, que, no final, é exatamente o que
interessa: em quanto tempo uma página chega após sua solicitação,
independente de quantos objetos ela chame.
No entanto, se quiser investir mesmo nisso, prepare o bolso:
. (Acho que) Não é gratuito (e ainda pode fazer parte de algum outro pacote Rational);
. P/ testes com mais de 100 usuários, é necessário usar um servidor de
licenças da Rational (pelo menos, p/ os testes que acompanhei, foram);
. Só funciona com Window$;
. Não sei se foi só capricho mas os testes que acompanhei eram feitos
por uma máquina que gerenciava os testes, que eram executados por mais
... eh ... aproximadamente (não me lembro bem) ... de 5 a 7 máquinas.Acho que o melhor talvez seja esperar a resposta do Senra (|´;¬{)»-- JJ (|´:¬{)»-
"Deus escreve certo por linhas certas. Nós é que enxergamos torto."






Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED]





  




  
Yahoo! Grupos, um serviço oferecido por:
  
  


  
  

  
  



  




  
Links do Yahoo! Grupos

Para visitar o site do seu grupo na web, acesse:http://br.groups.yahoo.com/group/zope-pt/ 
Para sair deste grupo, envie um e-mail para:[EMAIL PROTECTED] 
O uso que você faz do Yahoo! Grupos está sujeito aos Termos do Serviço do Yahoo!.

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-22 Por tôpico Rodrigo Dias Arruda Senra 
On Fri, 16 Sep 2005 16:09:32 -0300
Jeronimo Zucco <[EMAIL PROTECTED]> wrote:

> -BEGIN PGP SIGNED MESSAGE-
> Hash: SHA1
> 
> Sidnei da Silva wrote:
> > Eh bastante delicado analisar esse tipo de situacao, a nao ser q vc
> > tenha uma forma de simular a mesma carga dos 1 usuarios *sem*
> > precisar de 1 usuarios.
> > 
> > Eu fiquei sabendo que existe uma ferramenta da Rational que faz esse
> > tipo de simulacao, so nao sei o nome dela.
> 
> Se alguém tiver alguma dica para testes simulando alto tráfego, por
> favor me fale.
> Eu já tenho como possibilidade usar o JUnit e o ptprofiler para tentar
> medir o uso.

Nós fizemos um gerador de tráfego para uso interno usando a Libnet [1].
Vou levantar com a diretoria da empresa se podemos convertê-lo em um projeto
open-source, infelizmente podem dizer não.

Ainda que um produto possa não ser público, conhecimento é (ou deveria ser).
Portanto, o segredo de um gerador é evitar fazer o tratamento completo do
stack tcp/ip. A idéia é gerar o pacote ethernet com os dados encapsulados na
aplicação e entregar isso direto para a NIC (network interface card) tentando
fazer um by-pass do stack tcp/ip. A Libnet ajuda neste processo.
Usando essa técnica, uma máquina rápida a 100 Mbps consegue simular um
número bem grande de usuários (valores exatos variam com protocolo/CPU/OS).

Abração,
Senra

[1] http://libnet.sourceforge.net/#whatis



 

[1] http://libnet.sourceforge.net/#whatis


Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED] 
Links do Yahoo! Grupos

<*> Para visitar o site do seu grupo na web, acesse:
http://br.groups.yahoo.com/group/zope-pt/

<*> Para sair deste grupo, envie um e-mail para:
[EMAIL PROTECTED]

<*> O uso que você faz do Yahoo! Grupos está sujeito aos:
http://br.yahoo.com/info/utos.html

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-22 Por tôpico Rodrigo Dias Arruda Senra 

> On Fri, Sep 16, 2005 at 03:06:18PM -0300, Jeronimo Zucco wrote:
> | Para resolver o problema momentaneamente, tivemos que disponibilizar os
> | documentos estaticos em PHP. (OLHEM SÓ)

Sendo absolutamente chato, se o seu documento faz expansão de tags ou
código PHP no servidor então ele não é *exatamente* estático.
Para ser **estático** o seu WebServer deveria servir o conteúdo da
página sem realizar **nenhuma** modificação.

;o)

Abração
do Chato 


Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED] 
Links do Yahoo! Grupos

<*> Para visitar o site do seu grupo na web, acesse:
http://br.groups.yahoo.com/group/zope-pt/

<*> Para sair deste grupo, envie um e-mail para:
[EMAIL PROTECTED]

<*> O uso que você faz do Yahoo! Grupos está sujeito aos:
http://br.yahoo.com/info/utos.html

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-16 Por tôpico Jeronimo Zucco 
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA1

Sidnei da Silva wrote:
> On Fri, Sep 16, 2005 at 03:48:16PM -0300, Jeronimo Zucco wrote:
> | > O tempo de resposta do Zope eh a soma dos tempos que cada uma dessas
> | > consultas leva para rodar mais o tempo de processamento da
> | > pagina. Diferente do Apache, o Zope tem um limite baixo do numero de
> | > threads que sao executadas ao mesmo tempo. Logo, se as consultas forem
> | > muito pesadas vao se esgotar os recursos rapidamente.
> | 
> | Sim, esse era um dos problemas. Eu configurei o cache do mysql para
> | tentar minimizar esse problema, porem o mysql fica na mesma maquina do
> | servidor do zope. As consultas são simples, apenas pelo indice, porém o
> | número de registros é grande.
> 
> Para esclarecer, fez alguma diferenca? Houve melhora?

Sim, houve grande diferença em testes que eu fiz em consultas, mas não
era especificamente para resolver esse problema.

> 
> | > | Os processos do python ocuparam 100% dos recursos de hardware (cpu e
> | > | memória), e o load average cresceu rapidamente. Constatamos que os
> | > | problemas ocorreram antes de o usuario se autenticar, acessando somente
> | > | a pagina inicial do portal em Zope.
> | > 
> | > Possivelmente o problem esta restrito ao mysqluserfolder entao. Nunca
> | > usei o dito cujo, mas convem lembrar que cada 'arquivo' que o Zope
> | > serve necessita de verificacao de seguranca. Para se ter uma ideia,
> | > fiz um teste num site Plone ontem mesmo com um servico de autenticacao
> | > remota, e para apresentar uma pagina foram feitas 72 consultas a base
> | > de autenticacao. Se o mysqluserfolder for esperto ele vai armazenar os
> | > resultados da autenticacao temporariamente em cache, se nao for, bem
> | > sao varias consultas :(
> | 
> | Acredito que não seja o mysqluserfolder, pois alguns usuários conseguiam
> | acessar, e quando outros tentavam entrar no site inicial, nem o site
> | inicial era mostrado. Acho que não me expliquei bem no e-mail. O uso de
> | recursos estava tão grande que mais ninguem conseguia acessar o site
> | inicial.
> 
> Isso nao exclui a possibilidade de que seja o mysqluserfolder. O que
> eu quero dizer eh que se o mysqluserfolder demorar a responder o Zope
> pode eventualmente ficar com todas as threads bloqueadas aguardando a
> resposta e outras partes do site ficarao inacessiveis.
> 

Se eu te disser que cheguei ao ponto até de tirar a autenticação,
deixando para que o usuário digita-se seu login e não pedisse senha, mas
mesmo assim não resolveu ?  Ninguém conseguia acessar o portal. Ainda
acho que não é o MySQL.


> | Existe alguma configuração de cache de senhas no mysqlUserFolder ? Mas
> | acredito que não seja esse o problema, pois o cache só será utilizado
> | quando a mesma consulta for feita, e o meu problema se deu em função de
> | acessos únicos.
> 
> Nao conheco o mysqluserfolder muito bem. Alguem que tenha usado pode
> dar uma dica.
> 
> | > | Estimamos que os acessos simultaneos ao nosso portal sejam de
> | > | aproximadamente 1 pessoas em um dado momento, que acabou gerando um
> | > | DoS (Denial of Service) em nosso portal.
> | > 
> | > Digamos que cada acesso corresponde a 72 consultas somente para
> | > autenticacao. Provavelmente eh muito menos que isso, talvez umas 20 no
> | > seu caso. Se esse for o caso, isso geraria 1 * 20 = 20
> | > consultas simultaneas ao mysql. Agora pergunto: O seu mysql suporta
> | > esse numero de consultas?
> | > 
> | > Lembrando que isso eh apenas uma suposicao. O problema pode ser em
> | > outro lugar.
> | > 
> | 
> | Minha configuração do mysql, para tirar dúvidas que seja isso:
> | 
> | query_cache_type = 1
> | query_cache_size = 512M
> | query_cache_limit = 20M
> | max_connections = 300
> | key_buffer = 384M
> | max_allowed_packet = 1M
> | table_cache = 512
> | sort_buffer_size = 2M
> | read_buffer_size = 2M
> | myisam_sort_buffer_size = 64M
> | thread_cache = 8
> | thread_concurrency = 8   # sao duas CPU's com HT
> 
> /me passa a bola pros mysql-istas de plantao.

Toda dica é válida! :-)

> 
> | > | Temos duvida se o que esta gerando o problema eh o ZCoMIX ou o Zope, ou
> | > | até mesmo a configuração do Apache.
> | > 
> | > Eu apostaria no mysqluserfolder, mas ja perdi varias apostas *wink*.
> | > 
> | 
> | Bom, tirando a possibilidade do mysql, existe alguma coisa que eu
> | poderia ver no zope, como número de threads do python, ou configuração
> | de cache de memória de uso do Zope/mysqluserfolder ?
> 
> Eh bastante delicado analisar esse tipo de situacao, a nao ser q vc
> tenha uma forma de simular a mesma carga dos 1 usuarios *sem*
> precisar de 1 usuarios.
> 
> Eu fiquei sabendo que existe uma ferramenta da Rational que faz esse
> tipo de simulacao, so nao sei o nome dela.

Se alguém tiver alguma dica para testes simulando alto tráfego, por
favor me fale.
Eu já tenho como possibilidade usar o JUnit e o ptprofiler para tentar
medir o uso.

> 
> Se o problema for de as threads do zope f

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-16 Por tôpico Sidnei da Silva 
On Fri, Sep 16, 2005 at 03:48:16PM -0300, Jeronimo Zucco wrote:
| > O tempo de resposta do Zope eh a soma dos tempos que cada uma dessas
| > consultas leva para rodar mais o tempo de processamento da
| > pagina. Diferente do Apache, o Zope tem um limite baixo do numero de
| > threads que sao executadas ao mesmo tempo. Logo, se as consultas forem
| > muito pesadas vao se esgotar os recursos rapidamente.
| 
| Sim, esse era um dos problemas. Eu configurei o cache do mysql para
| tentar minimizar esse problema, porem o mysql fica na mesma maquina do
| servidor do zope. As consultas são simples, apenas pelo indice, porém o
| número de registros é grande.

Para esclarecer, fez alguma diferenca? Houve melhora?

| > | Os processos do python ocuparam 100% dos recursos de hardware (cpu e
| > | memória), e o load average cresceu rapidamente. Constatamos que os
| > | problemas ocorreram antes de o usuario se autenticar, acessando somente
| > | a pagina inicial do portal em Zope.
| > 
| > Possivelmente o problem esta restrito ao mysqluserfolder entao. Nunca
| > usei o dito cujo, mas convem lembrar que cada 'arquivo' que o Zope
| > serve necessita de verificacao de seguranca. Para se ter uma ideia,
| > fiz um teste num site Plone ontem mesmo com um servico de autenticacao
| > remota, e para apresentar uma pagina foram feitas 72 consultas a base
| > de autenticacao. Se o mysqluserfolder for esperto ele vai armazenar os
| > resultados da autenticacao temporariamente em cache, se nao for, bem
| > sao varias consultas :(
| 
| Acredito que não seja o mysqluserfolder, pois alguns usuários conseguiam
| acessar, e quando outros tentavam entrar no site inicial, nem o site
| inicial era mostrado. Acho que não me expliquei bem no e-mail. O uso de
| recursos estava tão grande que mais ninguem conseguia acessar o site
| inicial.

Isso nao exclui a possibilidade de que seja o mysqluserfolder. O que
eu quero dizer eh que se o mysqluserfolder demorar a responder o Zope
pode eventualmente ficar com todas as threads bloqueadas aguardando a
resposta e outras partes do site ficarao inacessiveis.

| Existe alguma configuração de cache de senhas no mysqlUserFolder ? Mas
| acredito que não seja esse o problema, pois o cache só será utilizado
| quando a mesma consulta for feita, e o meu problema se deu em função de
| acessos únicos.

Nao conheco o mysqluserfolder muito bem. Alguem que tenha usado pode
dar uma dica.

| > | Estimamos que os acessos simultaneos ao nosso portal sejam de
| > | aproximadamente 1 pessoas em um dado momento, que acabou gerando um
| > | DoS (Denial of Service) em nosso portal.
| > 
| > Digamos que cada acesso corresponde a 72 consultas somente para
| > autenticacao. Provavelmente eh muito menos que isso, talvez umas 20 no
| > seu caso. Se esse for o caso, isso geraria 1 * 20 = 20
| > consultas simultaneas ao mysql. Agora pergunto: O seu mysql suporta
| > esse numero de consultas?
| > 
| > Lembrando que isso eh apenas uma suposicao. O problema pode ser em
| > outro lugar.
| > 
| 
| Minha configuração do mysql, para tirar dúvidas que seja isso:
| 
| query_cache_type = 1
| query_cache_size = 512M
| query_cache_limit = 20M
| max_connections = 300
| key_buffer = 384M
| max_allowed_packet = 1M
| table_cache = 512
| sort_buffer_size = 2M
| read_buffer_size = 2M
| myisam_sort_buffer_size = 64M
| thread_cache = 8
| thread_concurrency = 8   # sao duas CPU's com HT

/me passa a bola pros mysql-istas de plantao.

| > | Temos duvida se o que esta gerando o problema eh o ZCoMIX ou o Zope, ou
| > | até mesmo a configuração do Apache.
| > 
| > Eu apostaria no mysqluserfolder, mas ja perdi varias apostas *wink*.
| > 
| 
| Bom, tirando a possibilidade do mysql, existe alguma coisa que eu
| poderia ver no zope, como número de threads do python, ou configuração
| de cache de memória de uso do Zope/mysqluserfolder ?

Eh bastante delicado analisar esse tipo de situacao, a nao ser q vc
tenha uma forma de simular a mesma carga dos 1 usuarios *sem*
precisar de 1 usuarios.

Eu fiquei sabendo que existe uma ferramenta da Rational que faz esse
tipo de simulacao, so nao sei o nome dela.

Se o problema for de as threads do zope ficarem trancadas esperando
por resposta do mysql, da pra ir no Control Panel -> Debug Information
bem no fim mostra as ultimas requisicoes (url e cabecalhos) ai vc ve
quais as paginas que foram acessadas e a partir dai comeca a examinar
o que esta deixando aquela pagina lenta.

-- 
Sidnei da Silva
Enfold Systems, LLC.
http://enfoldsystems.com


Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED] 
Links do Yahoo! Grupos

<*> Para visitar o site do seu grupo na web, acesse:
http://br.groups.yahoo.com/group/zope-pt/

<*> Para sair deste grupo, envie um e-mail para:
[EMAIL PROTECTED]

<*> O uso que você faz do Yahoo! Grupos está sujeito aos:
http://br.yahoo.com/info/utos.html

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-16 Por tôpico Jeronimo Zucco 
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA1

Sidnei da Silva wrote:
> 
> Bem, ai ja tem dois problemas:
> 
> 1. a autenticacao em mysql
> 2. consulta em mysql
> 
> O tempo de resposta do Zope eh a soma dos tempos que cada uma dessas
> consultas leva para rodar mais o tempo de processamento da
> pagina. Diferente do Apache, o Zope tem um limite baixo do numero de
> threads que sao executadas ao mesmo tempo. Logo, se as consultas forem
> muito pesadas vao se esgotar os recursos rapidamente.

Sim, esse era um dos problemas. Eu configurei o cache do mysql para
tentar minimizar esse problema, porem o mysql fica na mesma maquina do
servidor do zope. As consultas são simples, apenas pelo indice, porém o
número de registros é grande.

> 
> | Os processos do python ocuparam 100% dos recursos de hardware (cpu e
> | memória), e o load average cresceu rapidamente. Constatamos que os
> | problemas ocorreram antes de o usuario se autenticar, acessando somente
> | a pagina inicial do portal em Zope.
> 
> Possivelmente o problem esta restrito ao mysqluserfolder entao. Nunca
> usei o dito cujo, mas convem lembrar que cada 'arquivo' que o Zope
> serve necessita de verificacao de seguranca. Para se ter uma ideia,
> fiz um teste num site Plone ontem mesmo com um servico de autenticacao
> remota, e para apresentar uma pagina foram feitas 72 consultas a base
> de autenticacao. Se o mysqluserfolder for esperto ele vai armazenar os
> resultados da autenticacao temporariamente em cache, se nao for, bem
> sao varias consultas :(

Acredito que não seja o mysqluserfolder, pois alguns usuários conseguiam
acessar, e quando outros tentavam entrar no site inicial, nem o site
inicial era mostrado. Acho que não me expliquei bem no e-mail. O uso de
recursos estava tão grande que mais ninguem conseguia acessar o site
inicial.

Existe alguma configuração de cache de senhas no mysqlUserFolder ? Mas
acredito que não seja esse o problema, pois o cache só será utilizado
quando a mesma consulta for feita, e o meu problema se deu em função de
acessos únicos.

> 
> | Estimamos que os acessos simultaneos ao nosso portal sejam de
> | aproximadamente 1 pessoas em um dado momento, que acabou gerando um
> | DoS (Denial of Service) em nosso portal.
> 
> Digamos que cada acesso corresponde a 72 consultas somente para
> autenticacao. Provavelmente eh muito menos que isso, talvez umas 20 no
> seu caso. Se esse for o caso, isso geraria 1 * 20 = 20
> consultas simultaneas ao mysql. Agora pergunto: O seu mysql suporta
> esse numero de consultas?
> 
> Lembrando que isso eh apenas uma suposicao. O problema pode ser em
> outro lugar.
> 

Minha configuração do mysql, para tirar dúvidas que seja isso:

query_cache_type = 1
query_cache_size = 512M
query_cache_limit = 20M
max_connections = 300
key_buffer = 384M
max_allowed_packet = 1M
table_cache = 512
sort_buffer_size = 2M
read_buffer_size = 2M
myisam_sort_buffer_size = 64M
thread_cache = 8
thread_concurrency = 8   # sao duas CPU's com HT


> | Para resolver o problema momentaneamente, tivemos que disponibilizar os
> | documentos estaticos em PHP. (OLHEM SÓ)
> 
> Nao vejo nada de errado nisso. Ha solucoes que se aplicam melhor a
> determinados problemas.

Concordo.

> 
> | Alguem teve alguma experiência em sites de grande tráfego no Zope, para
> | dar alguma dica de como fazer tunning ou descobrir os pontos de gargalo?
> 
> Em geral, se a pagina eh computada uma vez e nao vai mudar por um
> determinado tempo eh recomendavel setar parametros de cache no
> cabecalho http e fazer o apache ou o squid armazenar a pagina
> computada por um tempo determinado de acordo com certos
> parametros. Assim, o Zope eh apenas requisitado no primeiro acesso.
> 
> | Temos duvida se o que esta gerando o problema eh o ZCoMIX ou o Zope, ou
> | até mesmo a configuração do Apache.
> 
> Eu apostaria no mysqluserfolder, mas ja perdi varias apostas *wink*.
> 

Bom, tirando a possibilidade do mysql, existe alguma coisa que eu
poderia ver no zope, como número de threads do python, ou configuração
de cache de memória de uso do Zope/mysqluserfolder ?


Obrigado!

- --
Jeronimo Zucco
LPIC-1 Linux Professional Institute Certified
Núcleo de Processamento de Dados
Universidade de Caxias do Sul

"May the Source be with you." - An unknown jedi programmer.

http://jczucco.blogspot.com

-BEGIN PGP SIGNATURE-
Version: GnuPG v1.4.1 (GNU/Linux)

iD8DBQFDKxNwTCq0VJ4DIPwRAuesAJ9FJtiZfjmR/eZ31cnU5nHxRU6bzACZAQI6
smxIThZ9hInqwB+FtTFQk3o=
=0eQe
-END PGP SIGNATURE-


Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED] 
Links do Yahoo! Grupos

<*> Para visitar o site do seu grupo na web, acesse:
http://br.groups.yahoo.com/group/zope-pt/

<*> Para sair deste grupo, envie um e-mail para:
[EMAIL PROTECTED]

<*> O uso que você faz do Yahoo! Grupos está sujeito aos:
http://br.yahoo.com/info/utos.html

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-16 Por tôpico Fabiano Marcon 
Sidnei da Silva escreveu:

> On Fri, Sep 16, 2005 at 03:06:18PM -0300, Jeronimo Zucco wrote:
> | -BEGIN PGP SIGNED MESSAGE-
> | Hash: SHA1
> |
> | Olá, lista!
> |
> | Usamos zope conforme o ambiente abaixo:
> | - - Zope 2.7.4-0
> | - - ZCoMIX-1.0.2+ (http://sourceforge.net/projects/zcomix) 
> 
>
> Ae!
>
> | - - mysqlUserFolder 1.0.0
> | - - python 2.3.4
> | - - Red Hat Enterprise Linux ES release 2.1, kernel 2.6.11, ext2 fs
> | - - MySQL-server-4.0.20
> | - - Apache 2.0.50 (with HTTPS) for cache
> |
> | 1 Portal replicado através do Zeo e balanceado com DNS Round Robin.
> |
> | Hardware:
> | 2 Servers HP ML350 G4 with Dual Intel Xeon 2.80GHz, 3Gb of Memory,
> | without RAID, SCSI U320 with 4 disks 120gb.
> |
> | Disponibilizamos um documento dinâmico para os alunos (35.000), que era
> | gerado após a autenticação do usuário através do mysqluserfolder e
> | consultas em base MySQL.
>
> Bem, ai ja tem dois problemas:
>
> 1. a autenticacao em mysql
> 2. consulta em mysql
>
> O tempo de resposta do Zope eh a soma dos tempos que cada uma dessas
> consultas leva para rodar mais o tempo de processamento da
> pagina. Diferente do Apache, o Zope tem um limite baixo do numero de
> threads que sao executadas ao mesmo tempo. Logo, se as consultas forem
> muito pesadas vao se esgotar os recursos rapidamente.
>
> | Os processos do python ocuparam 100% dos recursos de hardware (cpu e
> | memória), e o load average cresceu rapidamente. Constatamos que os
> | problemas ocorreram antes de o usuario se autenticar, acessando somente
> | a pagina inicial do portal em Zope.
>
> Possivelmente o problem esta restrito ao mysqluserfolder entao. Nunca
> usei o dito cujo, mas convem lembrar que cada 'arquivo' que o Zope
> serve necessita de verificacao de seguranca. Para se ter uma ideia,
> fiz um teste num site Plone ontem mesmo com um servico de autenticacao
> remota, e para apresentar uma pagina foram feitas 72 consultas a base
> de autenticacao. Se o mysqluserfolder for esperto ele vai armazenar os
> resultados da autenticacao temporariamente em cache, se nao for, bem
> sao varias consultas :(
>
> | Estimamos que os acessos simultaneos ao nosso portal sejam de
> | aproximadamente 1 pessoas em um dado momento, que acabou gerando um
> | DoS (Denial of Service) em nosso portal.
>
> Digamos que cada acesso corresponde a 72 consultas somente para
> autenticacao. Provavelmente eh muito menos que isso, talvez umas 20 no
> seu caso. Se esse for o caso, isso geraria 1 * 20 = 20
> consultas simultaneas ao mysql. Agora pergunto: O seu mysql suporta
> esse numero de consultas?
>
> Lembrando que isso eh apenas uma suposicao. O problema pode ser em
> outro lugar.
>
> | Para resolver o problema momentaneamente, tivemos que disponibilizar os
> | documentos estaticos em PHP. (OLHEM SÓ)
>
> Nao vejo nada de errado nisso. Ha solucoes que se aplicam melhor a
> determinados problemas.
>
> | Alguem teve alguma experiência em sites de grande tráfego no Zope, para
> | dar alguma dica de como fazer tunning ou descobrir os pontos de gargalo?
>
> Em geral, se a pagina eh computada uma vez e nao vai mudar por um
> determinado tempo eh recomendavel setar parametros de cache no
> cabecalho http e fazer o apache ou o squid armazenar a pagina
> computada por um tempo determinado de acordo com certos
> parametros. Assim, o Zope eh apenas requisitado no primeiro acesso.
>
> | Temos duvida se o que esta gerando o problema eh o ZCoMIX ou o Zope, ou
> | até mesmo a configuração do Apache.
>
> Eu apostaria no mysqluserfolder, mas ja perdi varias apostas *wink*.
>
> -- 
> Sidnei da Silva
> Enfold Systems, LLC.
> http://enfoldsystems.com
>
>
> Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
> Para desistir envie uma mensagem em branco para: 
> [EMAIL PROTECTED]
>
>
> *Yahoo! Grupos, um serviço oferecido por:*
>
>
> 
> *Links do Yahoo! Grupos*
>
> * Para visitar o site do seu grupo na web, acesse:
>   http://br.groups.yahoo.com/group/zope-pt/
>
> * Para sair deste grupo, envie um e-mail para:
>   [EMAIL PROTECTED]
>   
>
> * O uso que você faz do Yahoo! Grupos está sujeito aos Termos do
>   Serviço do Yahoo! .
>
>




Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED] 
Links do Yahoo! Grupos

<*> Para visitar o site do seu grupo na web, acesse:
http://br.groups.yahoo.com/group/zope-pt/

<*> Para sair deste grupo, envie um e-mail para:
[EMAIL PROTECTED]

<*> O uso que você faz do Yahoo! Grupos está sujeito aos:
http://br.yahoo.com/info/utos.html

Re: [Zope-pt] Zope em sites de Alto Tráfego

2005-09-16 Por tôpico Sidnei da Silva 
On Fri, Sep 16, 2005 at 03:06:18PM -0300, Jeronimo Zucco wrote:
| -BEGIN PGP SIGNED MESSAGE-
| Hash: SHA1
| 
| Olá, lista!
| 
| Usamos zope conforme o ambiente abaixo:
| - - Zope 2.7.4-0
| - - ZCoMIX-1.0.2+ (http://sourceforge.net/projects/zcomix)

Ae!

| - - mysqlUserFolder 1.0.0
| - - python 2.3.4
| - - Red Hat Enterprise Linux ES release 2.1, kernel 2.6.11, ext2 fs
| - - MySQL-server-4.0.20
| - - Apache 2.0.50 (with HTTPS) for cache
| 
| 1 Portal replicado através do Zeo e balanceado com DNS Round Robin.
| 
| Hardware:
| 2 Servers HP ML350 G4 with Dual Intel Xeon 2.80GHz, 3Gb of Memory,
| without RAID, SCSI U320 with 4 disks 120gb.
| 
| Disponibilizamos um documento dinâmico para os alunos (35.000), que era
| gerado após a autenticação do usuário através do mysqluserfolder e
| consultas em base MySQL.

Bem, ai ja tem dois problemas:

1. a autenticacao em mysql
2. consulta em mysql

O tempo de resposta do Zope eh a soma dos tempos que cada uma dessas
consultas leva para rodar mais o tempo de processamento da
pagina. Diferente do Apache, o Zope tem um limite baixo do numero de
threads que sao executadas ao mesmo tempo. Logo, se as consultas forem
muito pesadas vao se esgotar os recursos rapidamente.

| Os processos do python ocuparam 100% dos recursos de hardware (cpu e
| memória), e o load average cresceu rapidamente. Constatamos que os
| problemas ocorreram antes de o usuario se autenticar, acessando somente
| a pagina inicial do portal em Zope.

Possivelmente o problem esta restrito ao mysqluserfolder entao. Nunca
usei o dito cujo, mas convem lembrar que cada 'arquivo' que o Zope
serve necessita de verificacao de seguranca. Para se ter uma ideia,
fiz um teste num site Plone ontem mesmo com um servico de autenticacao
remota, e para apresentar uma pagina foram feitas 72 consultas a base
de autenticacao. Se o mysqluserfolder for esperto ele vai armazenar os
resultados da autenticacao temporariamente em cache, se nao for, bem
sao varias consultas :(

| Estimamos que os acessos simultaneos ao nosso portal sejam de
| aproximadamente 1 pessoas em um dado momento, que acabou gerando um
| DoS (Denial of Service) em nosso portal.

Digamos que cada acesso corresponde a 72 consultas somente para
autenticacao. Provavelmente eh muito menos que isso, talvez umas 20 no
seu caso. Se esse for o caso, isso geraria 1 * 20 = 20
consultas simultaneas ao mysql. Agora pergunto: O seu mysql suporta
esse numero de consultas?

Lembrando que isso eh apenas uma suposicao. O problema pode ser em
outro lugar.

| Para resolver o problema momentaneamente, tivemos que disponibilizar os
| documentos estaticos em PHP. (OLHEM SÓ)

Nao vejo nada de errado nisso. Ha solucoes que se aplicam melhor a
determinados problemas.

| Alguem teve alguma experiência em sites de grande tráfego no Zope, para
| dar alguma dica de como fazer tunning ou descobrir os pontos de gargalo?

Em geral, se a pagina eh computada uma vez e nao vai mudar por um
determinado tempo eh recomendavel setar parametros de cache no
cabecalho http e fazer o apache ou o squid armazenar a pagina
computada por um tempo determinado de acordo com certos
parametros. Assim, o Zope eh apenas requisitado no primeiro acesso.

| Temos duvida se o que esta gerando o problema eh o ZCoMIX ou o Zope, ou
| até mesmo a configuração do Apache.

Eu apostaria no mysqluserfolder, mas ja perdi varias apostas *wink*.

-- 
Sidnei da Silva
Enfold Systems, LLC.
http://enfoldsystems.com


Para enviar uma mensagem: zope-pt@yahoogrupos.com.br
Para desistir envie uma mensagem em branco para: [EMAIL PROTECTED] 
Links do Yahoo! Grupos

<*> Para visitar o site do seu grupo na web, acesse:
http://br.groups.yahoo.com/group/zope-pt/

<*> Para sair deste grupo, envie um e-mail para:
[EMAIL PROTECTED]

<*> O uso que você faz do Yahoo! Grupos está sujeito aos:
http://br.yahoo.com/info/utos.html