Re: [zope-pt] Re: Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico Rodrigo Castardo
Opa Rogério.

Realmente alguém tinha perguntando sobre isso, sobre portas de purge e me
escapou, desculpe! Na realidade você pode fazer múltiplos purges, para o
caso de mais de um servidor de cache, e isso foi necessário no nosso
projeto.

Na configuração do VCM no Plone Control Panel você pode jogar ip:porta do
seu cache server, ou vários também. Isso serve não somente para alta
disponibilidade, como também para o caso de precisar distribuir o Varnish
mais para perto do usuário final para evitar problemas de tráfego/banda. No
caso das agências bancárias da Caixa seria uma boa solução e daria pra
manter todos os servidores de cache (distribuídos) atualizados assim, pelo
VCM.

Agora para você habilitar seu Varnish para isso use o argumento -t porta na
inicialização dele.

Um abraço.

2009/12/9 rogeriocdluiz 

>
>
> Instalei e vou começar a fazer alguns testes mas só fiquei na dúvida com
> relação ao telnet.
>
> Na configuração do VCM ele pede os endereços e portas do varnish. No meu
> Varnish eu não configurei aquela porta de gerencia (telnet). Preciso
> configurá-la?
>
> As portas que são pedidas são as portas de escuta do varnish ou do telnet?
>
> Valeu"
>
> --- Em zope-pt@yahoogrupos.com.br , Rodrigo
> Castardo  escreveu
>
> >
> > Fala Rogério!
> >
> > Realmente ainda não disponibilizamos nenhuma solução no pypi, em breve
> vamos
> > mudar isso.
> >
> > Fazendo o download pelo bitbucket você pode utilizar o develop (egg+zcml)
> do
> > buildout.cfg, ou, se você utilizar o eggtractor (extensions
> > = buildout.eggtractor) basta adicionar no eggs, e depois rodar o bdout
> nos
> > dois casos.
> >
> > Abraços.
> >
>
>  
>



-- 



-- 
Rodrigo Castardo
Liberiun
COO
rodrigocasta...@liberiun.com
+55 61 9123-7847
+55 61 3468-2662


[zope-pt] Re: Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico rogeriocdluiz
Instalei e vou começar a fazer alguns testes mas só fiquei na dúvida com 
relação ao telnet. 

Na configuração do VCM ele pede os endereços e portas do varnish. No meu 
Varnish eu não configurei aquela porta de gerencia (telnet). Preciso 
configurá-la? 

As portas que são pedidas são as portas de escuta do varnish ou do telnet?

Valeu"

--- Em zope-pt@yahoogrupos.com.br, Rodrigo Castardo  
escreveu
>
> Fala Rogério!
> 
> Realmente ainda não disponibilizamos nenhuma solução no pypi, em breve vamos
> mudar isso.
> 
> Fazendo o download pelo bitbucket você pode utilizar o develop (egg+zcml) do
> buildout.cfg, ou, se você utilizar o eggtractor (extensions
> = buildout.eggtractor) basta adicionar no eggs, e depois rodar o bdout nos
> dois casos.
> 
> Abraços.
> 



[zope-pt] Re: Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico rogeriocdluiz
Ok. 

Consegui. Obrigado.

--- Em zope-pt@yahoogrupos.com.br, Rodrigo Castardo  
escreveu
>
> Fala Rogério!
> 
> Realmente ainda não disponibilizamos nenhuma solução no pypi, em breve vamos
> mudar isso.
> 
> Fazendo o download pelo bitbucket você pode utilizar o develop (egg+zcml) do
> buildout.cfg, ou, se você utilizar o eggtractor (extensions
> = buildout.eggtractor) basta adicionar no eggs, e depois rodar o bdout nos
> dois casos.
> 
> Abraços.
> 
> 2009/12/9 rogeriocdluiz 
> 
> 




Re: [zope-pt] Re: Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico Rodrigo Castardo
Fala Rogério!

Realmente ainda não disponibilizamos nenhuma solução no pypi, em breve vamos
mudar isso.

Fazendo o download pelo bitbucket você pode utilizar o develop (egg+zcml) do
buildout.cfg, ou, se você utilizar o eggtractor (extensions
= buildout.eggtractor) basta adicionar no eggs, e depois rodar o bdout nos
dois casos.

Abraços.

2009/12/9 rogeriocdluiz 

>
>
> Desculpe a ignorância mas tentei instalar o produto tanto usando o
> Easyinstall quanto via buildout e não consegui. Creio que o produto não
> esteja disponível ainda no pypi.
>
> Baixei do link que vc mandou mas também não consegui instalar. Na
> documentação se fala de um tal pythonproducts. Fiquei meio perdido.
>
> Como faria para instalar em uma instalação que fiz usando o
> Unifiedinstaler?
>
> Obrigado novamente.
>
>  
>



-- 



-- 
Rodrigo Castardo
Liberiun
COO
rodrigocasta...@liberiun.com
+55 61 9123-7847
+55 61 3468-2662


Re: [zope-pt] Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico Rodrigo Castardo
Valeu Cleber!

Vale aproveitar o espaço pra agradecer ao pessoal da empresa que ajudou a
arquitetar a solução, que são o Fernando Correa (fcdoth), Douglas Soares
(dsa, que agora está na DataPrev) e Fábio Rizzo.

Todas as feats foram pensadas e discutidas por todos, assim como aqui na
lista essas idéias/críticas/perguntas fizeram a idéia da solução amadurecer.

Se alguém tiver mais alguma idéia fique a vontade!

Abraços.

2009/12/9 Cleber J Santos 

>
>
> Huum, de fato, bem pensado... Parabéns Castardo, ficou baum mesmo :)
>
> Att,
> --
> Cleber J Santos
> http://www.cleberjsantos.com.br
>
> 2009/12/9 Luciano Pacheco 
>
>
>>
>> Respondendo a mim mesmo...
>>
>> 2009/12/8 Luciano Pacheco 
>>
>>  Grande Castardo!
>>>
>>> 2009/12/8 Rodrigo Castardo 
>>>


 Opa, tudo bom Rogério?

 Nós da Liberiun desenvolvemos uma solução de integração entre o Plone e
 o Varnish.

 Com o Varnish via telnet você pode dar purge em urls, aproveitando isto
 nós fizemos um adapter que a cada edição de um conteúdo, ou alteração de
 estado, avisa o Varnish que determinada url é velha, e assim que a url for
 solicitada o Varnish vai cachear a nossa versão do conteúdo. Dessa forma 
 não
 é preciso esperar o TTL.

>>>
>>> No caso do problema do Rogério, com as enquetes, o adapter faria o purge
>>> do cache da página da enquete, ou faria também das outras páginas onde o
>>> portlet é exibido ?
>>>
>>> Por essa solução a página do enquete parece que vai ficar certa, mas o
>>> problema talvez seja as outras páginas onde o portlet é exibido.
>>>
>>> Eu sinceramente não sei como solucionar esse problema :-(
>>>
>>
>> Fui lá dá uma olhada no código e tem a opção do usuário cadastrar urls
>> para fazer o purge que consegue atender esse caso de uso. :-)
>>
>> Ficou legal o produto! Parabéns.
>>
>> Até mais,
>>
>> --
>> Luciano Pacheco
>> Simples Consultoria
>> www.simplesconsultoria.com.br
>>
>>
>   
>



-- 



-- 
Rodrigo Castardo
Liberiun
COO
rodrigocasta...@liberiun.com
+55 61 9123-7847
+55 61 3468-2662


Re: [zope-pt] Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico Rodrigo Castardo
Fala Pachecão!

A idéia é você poder cruzar purges!

Por padrão quando você salva uma página o purge afeta a ela e ao contexto
(onde ela pode estar sendo listada por exemplo). além disto tem uma
configuração global, que basicamente funciona para quando você quer que ao
alterar qualquer conteúdo a home seja atualizada, por exemplo.

Essa idéia de cadastrar urls está disponível em cada objeto. A necessidade
que originou esta feat é que existe uma notícia, que é listada em uma
editoria, e que é destaque na home do projeto, neste caso são 3 purges. Nós
criamos esta configuração (você edita o objeto no schemata cache, apenas
manager pode acessar, e diz quais são os endereços) que possibilita que isto
aconteça.

Agora um outro detalhe é que em alguns projetos nós fizemos subscribers para
na criação do objeto já setar programaticamente quem deve ser sensível ao
purge deste objeto (normalmente um content type). E isso une as duas coisas,
pois o usuário não vai entender nada disso e você vai precisar fazer esta
definição automaticamente "por ele" na maioria dos casos.

No FISL desse ano quando a globo.com comentou seu uso de Varnish eu
perguntei se eles tinham algo parecido, ou se esperavam o TTL, e eles
esperam por cinco minutos. Então com essa a gente moderniza o uso de cache
servers na nossa plataforma!

Eu estive na Plone Conf em Budapest e falei sobre este projeto, aproveitei e
compartilhei o repositório (onde está o VCM) com a comunidade internacional,
o pessoal gostou e quem sabe já estão usando.

Agora em relação ao CacheFu Vs Varnish Cache Manager (VCM), o CacheFu seta o
cabeçalho HTTP da requisição (nas entranhas do Zope) para orientar o
servidor de cache sobre onde (em que casos) e como fazer cache (por quanto
tempo), e o Varnish Cache Manager avisa o Varnish que aquele objeto em cache
cache é antigo. Uma boa do Varnish é que ele não vai até a aplicação assim
que recebe este aviso, ele espera o endereço ser requisitado novamente.

Valeu pelas idéias Pacheco! Abraços.

2009/12/9 Luciano Pacheco 

>
>
> Respondendo a mim mesmo...
>
> 2009/12/8 Luciano Pacheco 
>
> Grande Castardo!
>>
>> 2009/12/8 Rodrigo Castardo 
>>
>>>
>>>
>>> Opa, tudo bom Rogério?
>>>
>>> Nós da Liberiun desenvolvemos uma solução de integração entre o Plone e o
>>> Varnish.
>>>
>>> Com o Varnish via telnet você pode dar purge em urls, aproveitando isto
>>> nós fizemos um adapter que a cada edição de um conteúdo, ou alteração de
>>> estado, avisa o Varnish que determinada url é velha, e assim que a url for
>>> solicitada o Varnish vai cachear a nossa versão do conteúdo. Dessa forma não
>>> é preciso esperar o TTL.
>>>
>>
>> No caso do problema do Rogério, com as enquetes, o adapter faria o purge
>> do cache da página da enquete, ou faria também das outras páginas onde o
>> portlet é exibido ?
>>
>> Por essa solução a página do enquete parece que vai ficar certa, mas o
>> problema talvez seja as outras páginas onde o portlet é exibido.
>>
>> Eu sinceramente não sei como solucionar esse problema :-(
>>
>
> Fui lá dá uma olhada no código e tem a opção do usuário cadastrar urls para
> fazer o purge que consegue atender esse caso de uso. :-)
>
> Ficou legal o produto! Parabéns.
>
> Até mais,
>
> --
> Luciano Pacheco
> Simples Consultoria
> www.simplesconsultoria.com.br
>
>  
>



-- 



-- 
Rodrigo Castardo
Liberiun
COO
rodrigocasta...@liberiun.com
+55 61 9123-7847
+55 61 3468-2662


Re: [zope-pt] Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico Rodrigo Castardo
Fala PH.

Com relacao ao telnet em si, utilizamos pois precisamos da resposta o mais
rapido possivel e não dá para esperar o varnish responder. Via telnet
(read_until) dá para você passar um timeout, ou seja, você não bloca os
requests.

Um abraço!

2009/12/8 Paulo Henrique 

>
>
> 
> Só não entendi para que usar telnet se o Varnish aceita o HTTP PURGE. Fica
> muito mais simples.
>
> PH
>
>
>
> - Original Message -
> *From:* Rodrigo Castardo 
> *To:* zope-pt@yahoogrupos.com.br
> *Sent:* Tuesday, December 08, 2009 7:54 PM
> *Subject:* Re: [zope-pt] Cachefu + Varnish fazendo cache de Plone Popoll
>
>
>
> Opa, tudo bom Rogério?
>
> Nós da Liberiun desenvolvemos uma solução de integração entre o Plone e o
> Varnish.
>
> Com o Varnish via telnet você pode dar purge em urls, aproveitando isto nós
> fizemos um adapter que a cada edição de um conteúdo, ou alteração de estado,
> avisa o Varnish que determinada url é velha, e assim que a url for
> solicitada o Varnish vai cachear a nossa versão do conteúdo. Dessa forma não
> é preciso esperar o TTL.
>
> O cache é "morto" e gerenciamento de conteúdo significa que o conteúdo é
> constantemente modificado. Sem essa mudança refletindo no portal acessado
> pelo usuário, normalmente em cache, há uma perda deste dinamismo. E
> normalmente o gestor não gosta de esperar pelo TTL.
>
> Então no teu caso você teria que se certificar que o mecanismo de votação
> dispare o mesmo mecanismo que nós utilizamos.
>
> O nosso produto se chama liberiun.portal.varnishcachemanager, é software
> livre e está disponível no bitbucket [1].
>
> O que proporcionou esta evolução foi a Intranet da Caixa, que patrocinou o
> desenvolvimento da solução e autorizou que ela fosse disponibilizada à
> comunidade como software livre.
>
> Fica aqui um pequeno agradecimento à Caixa que investe tanto em SL e sempre
> devolve as soluções melhoradas!
>
> Um abraço.
>
> [1] http://bitbucket.org/liberiun/liberiunportalvarnishcachemanager/
>
> 2009/12/4 rogeriocdluiz 
>
>>
>>
>> Pessoal colocamos no ar esta semana o novo site de intranet daqui do
>> trabalho.
>>
>> Ficou bem legal e com a configuração de apache + varnish + pound + cachefu
>> o site ficou bem rápido.
>>
>> Acontece que existe uma enquete no site e o portlet desta enquete está
>> sendo cacheado.
>>
>> O problema é que dependendo do local do site o portlet mostra resultados
>> diferentes.
>>
>> Tem uma forma de fazer este portlet especificamente não passar pelo cache,
>> para sempre mostrar os resultados atuais?
>>
>> De antemão já agradeço.
>>
>>
>
>
> --
>
>
>
> --
> Rodrigo Castardo
> Liberiun
> COO
> rodrigocasta...@liberiun.com
> +55 61 9123-7847
> +55 61 3468-2662
>
>  
>



-- 



-- 
Rodrigo Castardo
Liberiun
COO
rodrigocasta...@liberiun.com
+55 61 9123-7847
+55 61 3468-2662


[zope-pt] Re: Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico rogeriocdluiz
Desculpe a ignorância mas tentei instalar o produto tanto usando o Easyinstall 
quanto via buildout e não consegui. Creio que o produto não esteja disponível 
ainda no pypi.

Baixei do link que vc mandou mas também não consegui instalar. Na documentação 
se fala de um tal pythonproducts. Fiquei meio perdido.

Como faria para instalar em uma instalação que fiz usando o Unifiedinstaler?

Obrigado novamente.




[zope-pt] Re: Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico rogeriocdluiz
Mais uma dúvida.

Não instalei o produto ainda mas nele existe algum lugar onde configuro a porto 
do telnet do varnish? 



--- Em zope-pt@yahoogrupos.com.br, Rodrigo Castardo  
escreveu
>
> Opa, tudo bom Rogério?
> 
> Nós da Liberiun desenvolvemos uma solução de integração entre o Plone e o
> Varnish.
> 
> Com o Varnish via telnet você pode dar purge em urls, aproveitando isto nós
> fizemos um adapter que a cada edição de um conteúdo, ou alteração de estado,
> avisa o Varnish que determinada url é velha, e assim que a url for
> solicitada o Varnish vai cachear a nossa versão do conteúdo. Dessa forma não
> é preciso esperar o TTL.
> 
> O cache é "morto" e gerenciamento de conteúdo significa que o conteúdo é
> constantemente modificado. Sem essa mudança refletindo no portal acessado
> pelo usuário, normalmente em cache, há uma perda deste dinamismo. E
> normalmente o gestor não gosta de esperar pelo TTL.
> 
> Então no teu caso você teria que se certificar que o mecanismo de votação
> dispare o mesmo mecanismo que nós utilizamos.
> 
> O nosso produto se chama liberiun.portal.varnishcachemanager, é software
> livre e está disponível no bitbucket [1].
> 
> O que proporcionou esta evolução foi a Intranet da Caixa, que patrocinou o
> desenvolvimento da solução e autorizou que ela fosse disponibilizada à
> comunidade como software livre.
> 
> Fica aqui um pequeno agradecimento à Caixa que investe tanto em SL e sempre
> devolve as soluções melhoradas!
> 
> Um abraço.
> 
> [1] http://bitbucket.org/liberiun/liberiunportalvarnishcachemanager/
> 
> 2009/12/4 rogeriocdluiz 
> 
> >
> >
> > Pessoal colocamos no ar esta semana o novo site de intranet daqui do
> > trabalho.
> >
> > Ficou bem legal e com a configuração de apache + varnish + pound + cachefu
> > o site ficou bem rápido.
> >
> > Acontece que existe uma enquete no site e o portlet desta enquete está
> > sendo cacheado.
> >
> > O problema é que dependendo do local do site o portlet mostra resultados
> > diferentes.
> >
> > Tem uma forma de fazer este portlet especificamente não passar pelo cache,
> > para sempre mostrar os resultados atuais?
> >
> > De antemão já agradeço.
> >
> >  
> >
> 
> 
> 
> -- 
> 
> 
> 
> -- 
> Rodrigo Castardo
> Liberiun
> COO
> rodrigocasta...@...
> +55 61 9123-7847
> +55 61 3468-2662
>




[zope-pt] Re: Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico rogeriocdluiz
Obrigado Castardo.

Fiz um curso com vc aqui na PRDF e à uma semana fizemos outro com o Rafael Ruiz 
sobre infraestrutura.

Valeu a dica. Vou testar.



--- Em zope-pt@yahoogrupos.com.br, Rodrigo Castardo  
escreveu
>
> Opa, tudo bom Rogério?
> 
> Nós da Liberiun desenvolvemos uma solução de integração entre o Plone e o
> Varnish.
> 
> Com o Varnish via telnet você pode dar purge em urls, aproveitando isto nós
> fizemos um adapter que a cada edição de um conteúdo, ou alteração de estado,
> avisa o Varnish que determinada url é velha, e assim que a url for
> solicitada o Varnish vai cachear a nossa versão do conteúdo. Dessa forma não
> é preciso esperar o TTL.
> 
> O cache é "morto" e gerenciamento de conteúdo significa que o conteúdo é
> constantemente modificado. Sem essa mudança refletindo no portal acessado
> pelo usuário, normalmente em cache, há uma perda deste dinamismo. E
> normalmente o gestor não gosta de esperar pelo TTL.
> 
> Então no teu caso você teria que se certificar que o mecanismo de votação
> dispare o mesmo mecanismo que nós utilizamos.
> 
> O nosso produto se chama liberiun.portal.varnishcachemanager, é software
> livre e está disponível no bitbucket [1].
> 
> O que proporcionou esta evolução foi a Intranet da Caixa, que patrocinou o
> desenvolvimento da solução e autorizou que ela fosse disponibilizada à
> comunidade como software livre.
> 
> Fica aqui um pequeno agradecimento à Caixa que investe tanto em SL e sempre
> devolve as soluções melhoradas!
> 
> Um abraço.
> 
> [1] http://bitbucket.org/liberiun/liberiunportalvarnishcachemanager/
> 
> 2009/12/4 rogeriocdluiz 
> 
> >
> >
> > Pessoal colocamos no ar esta semana o novo site de intranet daqui do
> > trabalho.
> >
> > Ficou bem legal e com a configuração de apache + varnish + pound + cachefu
> > o site ficou bem rápido.
> >
> > Acontece que existe uma enquete no site e o portlet desta enquete está
> > sendo cacheado.
> >
> > O problema é que dependendo do local do site o portlet mostra resultados
> > diferentes.
> >
> > Tem uma forma de fazer este portlet especificamente não passar pelo cache,
> > para sempre mostrar os resultados atuais?
> >
> > De antemão já agradeço.
> >
> >  
> >
> 
> 
> 
> -- 
> 
> 
> 
> -- 
> Rodrigo Castardo
> Liberiun
> COO
> rodrigocasta...@...
> +55 61 9123-7847
> +55 61 3468-2662
>




Re: [zope-pt] Cachefu + Varnish fazendo cache de Plone Popoll

2009-12-09 Por tôpico Cleber J Santos
Huum, de fato, bem pensado... Parabéns Castardo, ficou baum mesmo :)

Att,
-- 
Cleber J Santos
http://www.cleberjsantos.com.br

2009/12/9 Luciano Pacheco 

>
>
> Respondendo a mim mesmo...
>
> 2009/12/8 Luciano Pacheco 
>
>  Grande Castardo!
>>
>> 2009/12/8 Rodrigo Castardo 
>>
>>>
>>>
>>> Opa, tudo bom Rogério?
>>>
>>> Nós da Liberiun desenvolvemos uma solução de integração entre o Plone e o
>>> Varnish.
>>>
>>> Com o Varnish via telnet você pode dar purge em urls, aproveitando isto
>>> nós fizemos um adapter que a cada edição de um conteúdo, ou alteração de
>>> estado, avisa o Varnish que determinada url é velha, e assim que a url for
>>> solicitada o Varnish vai cachear a nossa versão do conteúdo. Dessa forma não
>>> é preciso esperar o TTL.
>>>
>>
>> No caso do problema do Rogério, com as enquetes, o adapter faria o purge
>> do cache da página da enquete, ou faria também das outras páginas onde o
>> portlet é exibido ?
>>
>> Por essa solução a página do enquete parece que vai ficar certa, mas o
>> problema talvez seja as outras páginas onde o portlet é exibido.
>>
>> Eu sinceramente não sei como solucionar esse problema :-(
>>
>
> Fui lá dá uma olhada no código e tem a opção do usuário cadastrar urls para
> fazer o purge que consegue atender esse caso de uso. :-)
>
> Ficou legal o produto! Parabéns.
>
> Até mais,
>
> --
> Luciano Pacheco
> Simples Consultoria
> www.simplesconsultoria.com.br
>
>  
>