Re: [pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-12-05 Por tôpico Fernando Franquini 'capin' 
Em 29 de novembro de 2016 11:20, Guimarães Faria Corcete DUTRA, Leandro <
l...@dutras.org> escreveu:

> 2016-11-29 8:36 GMT-02:00 Fernando Franquini 'capin'
> :
> >
> > talvez o cenário, são milhares de deletes e inserts diários, pode ser por
> > isso.
>
> Nah, isso aí não é nada.  A menos que sejam INSERTs & DELETEs
> extraordinariamente pesados, acontecendo muito concentradamente, e em
> momento crítico.  Probablilidade praticamente zero.
>

Certo.


>
>
> > E sim, vinham de uma versão antiguíssima (8.4) do PostgreSQL.
>
> Antiga, mas quando VACCUUM já não devia ser mais problema.  O mais
> provável é que na época leram coisas mais antigas ainda, e (como é
> extremamente comum) aplicaram sem fundamento.
>

Blz.


>
>
> > Mas sim, farei meu teste, só tenho que planejar bem, pois será direto em
> > produção.
>
> Não tens um paralelo?
>
>  Não.


-- 
Capin
Graduado: Bacharel em Ciências da Computação - UFSC
Analista de Sistemas e de Banco de Dados / DBA
48.9924.8212 Vivo - Florianópolis - SC - Brasil

http://certificacaobd.com.br/
http://br.linkedin.com/in/capin
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-12-05 Por tôpico Fernando Franquini 'capin' 
Em 29 de novembro de 2016 12:11, Fabrízio de Royes Mello <
fabri...@timbira.com.br> escreveu:

> On 28-11-2016 09:16, Fernando Franquini 'capin' wrote:
> >
> > O autovacuum deveria fazer isso pra você. VACUUM FULL é uma operação
> > custosa para tabelas grandes e a tabela fica bloqueada durante toda
> > a execução.
> > Seu autovacuum está ligado ?
> > Faça :
> > SHOW autovaccum;
> > Pode ser que seu dba anterior tenha deixado desligado por algum
> motivo.
> >
> >
> > Sim, está desligado por opção, pois chegaram a conclusão que o
> > AUTOVACUUM durante o dia atrapalha (devido o tamanho das tabelas - Mas
> > ainda quero realizar uma alteração a acompanhar isso um dia), por isso é
> > feito VACUUM em algumas tabelas principais durante a noite (porque é
> > mais rápido) e VACUUM FULL no final de semana, sim, temos essa janela.
> >
>
> Esse é um equivoco comum... desligar o autovacuum é, na maioria dos
> cenários, pior do que manter ligado. Dê uma lida nesse post da CitusData
> que nosso colega Sebastian gentilmente traduziu para pt-br [1].
>
> Vc precisa entender que tabelas que geram muitas tuplas mortas (por
> DELETE/UPDATE ou INSERT cancelado) o autovacuum deve ser mais agressivo,
> ou seja, executar com mais frequencia... a idéia é que ele fique "sempre
> rodando rapidamente" na tabela... e não o contrário.
>

Fabrizio, obrigado. Foi exatamente por ler ele que comecei a olhar mais a
fundo.
Abraços.


>
>
> >
> > <..corte..>
> >
> > Isso não é um problema, é apenas uma estatística sobre como seu
> > banco usa uma tabela.
> >
> >
> > Opa, blz então. Se fica somente na estatística, pode prejudicar a
> > utilização dos índices, certo?
> >
>
> Essa estatística que o Flávio mencionou não influencia diretamente nos
> planos de execução, se esse é seu receio. Que usa essa informação é o
> próprio "launcher" do autovacuum, mas também pode ser usada por sua
> ferramenta de monitoramento preferida para acompanhar os picos de mais
> "lixo" deixado pra trás em determinados objetos... uso muito essa
> informação para auxiliar no tuning do autovacuum.
>
> Att,
>
>
> [1] http://swebber.me/blog/2016/11/14/autovacuum-nao-e-o-inimigo/
>
> --
>Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/
>PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>



-- 
Capin
Graduado: Bacharel em Ciências da Computação - UFSC
Analista de Sistemas e de Banco de Dados / DBA
48.9924.8212 Vivo - Florianópolis - SC - Brasil

http://certificacaobd.com.br/
http://br.linkedin.com/in/capin
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-11-29 Por tôpico Fabrízio de Royes Mello 
On 28-11-2016 09:16, Fernando Franquini 'capin' wrote:
> 
> O autovacuum deveria fazer isso pra você. VACUUM FULL é uma operação
> custosa para tabelas grandes e a tabela fica bloqueada durante toda
> a execução.
> Seu autovacuum está ligado ?
> Faça :
> SHOW autovaccum;
> Pode ser que seu dba anterior tenha deixado desligado por algum motivo.
> 
> 
> Sim, está desligado por opção, pois chegaram a conclusão que o
> AUTOVACUUM durante o dia atrapalha (devido o tamanho das tabelas - Mas
> ainda quero realizar uma alteração a acompanhar isso um dia), por isso é
> feito VACUUM em algumas tabelas principais durante a noite (porque é
> mais rápido) e VACUUM FULL no final de semana, sim, temos essa janela.
> 

Esse é um equivoco comum... desligar o autovacuum é, na maioria dos
cenários, pior do que manter ligado. Dê uma lida nesse post da CitusData
que nosso colega Sebastian gentilmente traduziu para pt-br [1].

Vc precisa entender que tabelas que geram muitas tuplas mortas (por
DELETE/UPDATE ou INSERT cancelado) o autovacuum deve ser mais agressivo,
ou seja, executar com mais frequencia... a idéia é que ele fique "sempre
rodando rapidamente" na tabela... e não o contrário.


>
> <..corte..> 
> 
> Isso não é um problema, é apenas uma estatística sobre como seu
> banco usa uma tabela.
> 
> 
> Opa, blz então. Se fica somente na estatística, pode prejudicar a
> utilização dos índices, certo? 
> 

Essa estatística que o Flávio mencionou não influencia diretamente nos
planos de execução, se esse é seu receio. Que usa essa informação é o
próprio "launcher" do autovacuum, mas também pode ser usada por sua
ferramenta de monitoramento preferida para acompanhar os picos de mais
"lixo" deixado pra trás em determinados objetos... uso muito essa
informação para auxiliar no tuning do autovacuum.

Att,


[1] http://swebber.me/blog/2016/11/14/autovacuum-nao-e-o-inimigo/

-- 
   Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-11-29 Por tôpico Guimarães Faria Corcete DUTRA , Leandro 
2016-11-29 8:36 GMT-02:00 Fernando Franquini 'capin'
:
>
> talvez o cenário, são milhares de deletes e inserts diários, pode ser por
> isso.

Nah, isso aí não é nada.  A menos que sejam INSERTs & DELETEs
extraordinariamente pesados, acontecendo muito concentradamente, e em
momento crítico.  Probablilidade praticamente zero.


> E sim, vinham de uma versão antiguíssima (8.4) do PostgreSQL.

Antiga, mas quando VACCUUM já não devia ser mais problema.  O mais
provável é que na época leram coisas mais antigas ainda, e (como é
extremamente comum) aplicaram sem fundamento.


> Mas sim, farei meu teste, só tenho que planejar bem, pois será direto em
> produção.

Não tens um paralelo?


-- 
skype:leandro.gfc.dutra?chat  Yahoo!: ymsgr:sendIM?lgcdutra
+55 (61) 3546 7191  gTalk: xmpp:leand...@jabber.org
+55 (61) 9302 2691ICQ/AIM: aim:GoIM?screenname=61287803
BRAZIL GMT−3  MSN: msnim:chat?contact=lean...@dutra.fastmail.fm
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-11-29 Por tôpico Fernando Franquini 'capin' 
Dutra,

talvez o cenário, são milhares de deletes e inserts diários, pode ser por
isso. E sim, vinham de uma versão antiguíssima (8.4) do PostgreSQL.

Eu vou estudar a documentação e conhecer melhor o ambiente/problema para
poder tirar as minhas conclusões, claro, com algumas ajudas! ehehhe

Mas sim, farei meu teste, só tenho que planejar bem, pois será direto em
produção.

Obrigado.
Capin

Em 28 de novembro de 2016 15:12, Guimarães Faria Corcete DUTRA, Leandro <
l...@dutras.org> escreveu:

> 2016-11-28 9:16 GMT-02:00 Fernando Franquini 'capin'
> :
> >
> > Sim, está desligado por opção, pois chegaram a conclusão que o AUTOVACUUM
> > durante o dia atrapalha (devido o tamanho das tabelas - Mas ainda quero
> > realizar uma alteração a acompanhar isso um dia), por isso é feito
> VACUUM em
> > algumas tabelas principais durante a noite (porque é mais rápido) e
> VACUUM
> > FULL no final de semana, sim, temos essa janela.
>
> Geralmente esse tipo de conclusão se baseia nalguma observação falha,
> por exemplo, de versão muito antiga, talvez bugada, ou de diagnóstico
> incorreto ou incompleto de um problema.  Faça teu teste.
>
>
> --
> skype:leandro.gfc.dutra?chat  Yahoo!: ymsgr:sendIM?lgcdutra
> +55 (61) 3546 7191  gTalk: xmpp:leand...@jabber.org
> +55 (61) 9302 2691ICQ/AIM: aim:GoIM?screenname=61287803
> BRAZIL GMT−3  MSN: msnim:chat?contact=lean...@dutra.fastmail.fm
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral




-- 
Capin
Graduado: Bacharel em Ciências da Computação - UFSC
Analista de Sistemas e de Banco de Dados / DBA
48.9924.8212 Vivo - Florianópolis - SC - Brasil

http://certificacaobd.com.br/
http://br.linkedin.com/in/capin
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-11-28 Por tôpico Guimarães Faria Corcete DUTRA , Leandro 
2016-11-28 9:16 GMT-02:00 Fernando Franquini 'capin'
:
>
> Sim, está desligado por opção, pois chegaram a conclusão que o AUTOVACUUM
> durante o dia atrapalha (devido o tamanho das tabelas - Mas ainda quero
> realizar uma alteração a acompanhar isso um dia), por isso é feito VACUUM em
> algumas tabelas principais durante a noite (porque é mais rápido) e VACUUM
> FULL no final de semana, sim, temos essa janela.

Geralmente esse tipo de conclusão se baseia nalguma observação falha,
por exemplo, de versão muito antiga, talvez bugada, ou de diagnóstico
incorreto ou incompleto de um problema.  Faça teu teste.


-- 
skype:leandro.gfc.dutra?chat  Yahoo!: ymsgr:sendIM?lgcdutra
+55 (61) 3546 7191  gTalk: xmpp:leand...@jabber.org
+55 (61) 9302 2691ICQ/AIM: aim:GoIM?screenname=61287803
BRAZIL GMT−3  MSN: msnim:chat?contact=lean...@dutra.fastmail.fm
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-11-28 Por tôpico Fernando Franquini 'capin' 
Flávio, bom dia e obrigado pela atenção.


Em 24 de novembro de 2016 11:30, Flavio Henrique Araque Gurgel <
fha...@gmail.com> escreveu:
>
> Em qui, 24 de nov de 2016 às 13:34, Fernando Franquini 'capin' <
> fernando.franqu...@gmail.com> escreveu:
>
>> Bom dia,
>>
>> sou novo como DBA PostgreSQL, então desculpe a ignorância.
>>
>
> Não há problemas em ser novato aqui. Bem vindo.
> Basta seguir as regras da lista.
>

:D


>
>> Utilizamos a versão 9.4, temos algumas tabelas que sofrem DELETE e INSERT
>> o tempo todo e algumas muitos UPDATE.
>>
>> Tenho uma query que foi passada pelo antigo DBA para analise de linhas
>> mortas e deletadas:
>> SELECT schemaname, relname, n_live_tup, n_tup_del, n_dead_tup, CASE WHEN
>>   last_analyze > last_autoanalyze THEN last_analyze ELSE last_autoanalyze
>> --
>> end   AS data_analyze, CASE WHEN last_vacuum > last_autovacuum THEN
>>   last_vacuum ELSE last_autovacuum --
>>end
>>AS data_vacuum, round ((n_dead_tup / n_live_tup::NUMERIC) * 100,
>> 2) AS
>>  perc_dead, round ((n_tup_del / n_live_tup::NUMERIC) * 100, 2) AS
>>  perc_del
>> FROM pg_stat_user_tables
>> WHERE n_live_tup > 100
>> ORDER BY perc_del DESC;
>>
>> Baseado nessa consulta eu tenho alguns números elevados nas colunas
>> *perc_dead* e *perc_del*, porém ao realizar manutenções com VACUUM FULL
>> eu resolvo os problemas das linhas mortas.
>>
>
> O autovacuum deveria fazer isso pra você. VACUUM FULL é uma operação
> custosa para tabelas grandes e a tabela fica bloqueada durante toda a
> execução.
> Seu autovacuum está ligado ?
> Faça :
> SHOW autovaccum;
> Pode ser que seu dba anterior tenha deixado desligado por algum motivo.
>

Sim, está desligado por opção, pois chegaram a conclusão que o AUTOVACUUM
durante o dia atrapalha (devido o tamanho das tabelas - Mas ainda quero
realizar uma alteração a acompanhar isso um dia), por isso é feito VACUUM
em algumas tabelas principais durante a noite (porque é mais rápido) e
VACUUM FULL no final de semana, sim, temos essa janela.

Dúvidas:
>>
>> - Qual o percentual considerado algo para as linhas excluídas?
>>
>
> Não existe. A quantidade de linhas excluídas só depende de quanto DELETE
> foi feito numa tabela. Logo, cada aplicação faz o que precisa fazer.
>

Obrigado.


>
>
>> - Qual o percentual considerado algo para as linhas mortas?
>>
>
> Na configuração padrão do autovacuum, ele vai entrar quando esse
> percentual atinge 20%.
> Essa configuração pode ser alterada. Faça:
> SHOW autovacuum_vacuum_scale_factor;
> Logo, no seu caso, se o valor está abaixo de 20%, você pode simplesmente
> esperar o autovacuum entrar sozinho.
> Se o valor está acima, veja a minha pergunta mais acima se seu autovacuum
> está ligado.
> Se você quiser que isso seja controlado com mais frequência, reduza o
> valor na configuração autovacuum_vacuum_scale_factor.
>

Blz, isso li na documentação, vi que posso alterar por tabela caso
necessário, caso 20% seja muita informação alterada. Mas de qualquer forma
obrigado :)


> - Como posso resolver problema das linhas excluídas?
>>
>
> Isso não é um problema, é apenas uma estatística sobre como seu banco usa
> uma tabela.
>

Opa, blz então. Se fica somente na estatística, pode prejudicar a
utilização dos índices, certo?
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-11-24 Por tôpico Flavio Henrique Araque Gurgel 
Em qui, 24 de nov de 2016 às 13:34, Fernando Franquini 'capin' <
fernando.franqu...@gmail.com> escreveu:

> Bom dia,
>
> sou novo como DBA PostgreSQL, então desculpe a ignorância.
>

Não há problemas em ser novato aqui. Bem vindo.
Basta seguir as regras da lista.



>
> Utilizamos a versão 9.4, temos algumas tabelas que sofrem DELETE e INSERT
> o tempo todo e algumas muitos UPDATE.
>
> Tenho uma query que foi passada pelo antigo DBA para analise de linhas
> mortas e deletadas:
> SELECT schemaname, relname, n_live_tup, n_tup_del, n_dead_tup, CASE WHEN
>   last_analyze > last_autoanalyze THEN last_analyze ELSE last_autoanalyze
> --
> end   AS data_analyze, CASE WHEN last_vacuum > last_autovacuum THEN
>   last_vacuum ELSE last_autovacuum --
>end
>AS data_vacuum, round ((n_dead_tup / n_live_tup::NUMERIC) * 100, 2)
> AS
>  perc_dead, round ((n_tup_del / n_live_tup::NUMERIC) * 100, 2) AS
>  perc_del
> FROM pg_stat_user_tables
> WHERE n_live_tup > 100
> ORDER BY perc_del DESC;
>
> Baseado nessa consulta eu tenho alguns números elevados nas colunas
> *perc_dead* e *perc_del*, porém ao realizar manutenções com VACUUM FULL
> eu resolvo os problemas das linhas mortas.
>

O autovacuum deveria fazer isso pra você. VACUUM FULL é uma operação
custosa para tabelas grandes e a tabela fica bloqueada durante toda a
execução.
Seu autovacuum está ligado ?
Faça :
SHOW autovaccum;
Pode ser que seu dba anterior tenha deixado desligado por algum motivo.


>
> Dúvidas:
>
> - Qual o percentual considerado algo para as linhas excluídas?
>

Não existe. A quantidade de linhas excluídas só depende de quanto DELETE
foi feito numa tabela. Logo, cada aplicação faz o que precisa fazer.


> - Qual o percentual considerado algo para as linhas mortas?
>

Na configuração padrão do autovacuum, ele vai entrar quando esse percentual
atinge 20%.
Essa configuração pode ser alterada. Faça:
SHOW autovacuum_vacuum_scale_factor;
Logo, no seu caso, se o valor está abaixo de 20%, você pode simplesmente
esperar o autovacuum entrar sozinho.
Se o valor está acima, veja a minha pergunta mais acima se seu autovacuum
está ligado.
Se você quiser que isso seja controlado com mais frequência, reduza o valor
na configuração autovacuum_vacuum_scale_factor.


> - Como posso resolver problema das linhas excluídas?
>

Isso não é um problema, é apenas uma estatística sobre como seu banco usa
uma tabela.

[]s
Flavio Gurgel
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] Tabela Percentual alto de Tuplas marcadas como Delete

2016-11-24 Por tôpico Fernando Franquini 'capin' 
Bom dia,

sou novo como DBA PostgreSQL, então desculpe a ignorância.

Utilizamos a versão 9.4, temos algumas tabelas que sofrem DELETE e INSERT o
tempo todo e algumas muitos UPDATE.

Tenho uma query que foi passada pelo antigo DBA para analise de linhas
mortas e deletadas:
SELECT schemaname, relname, n_live_tup, n_tup_del, n_dead_tup, CASE WHEN
  last_analyze > last_autoanalyze THEN last_analyze ELSE last_autoanalyze --
end   AS data_analyze, CASE WHEN last_vacuum > last_autovacuum THEN
  last_vacuum ELSE last_autovacuum --
   end
   AS data_vacuum, round ((n_dead_tup / n_live_tup::NUMERIC) * 100, 2)
AS
 perc_dead, round ((n_tup_del / n_live_tup::NUMERIC) * 100, 2) AS
 perc_del
FROM pg_stat_user_tables
WHERE n_live_tup > 100
ORDER BY perc_del DESC;

Baseado nessa consulta eu tenho alguns números elevados nas colunas
*perc_dead* e *perc_del*, porém ao realizar manutenções com VACUUM FULL eu
resolvo os problemas das linhas mortas.

Dúvidas:

- Qual o percentual considerado algo para as linhas excluídas?
- Qual o percentual considerado algo para as linhas mortas?
- Como posso resolver problema das linhas excluídas?

Agradeço a atenção de todos.

-- 
Capin
Graduado: Bacharel em Ciências da Computação - UFSC
Analista de Sistemas e de Banco de Dados / DBA
48.9924.8212 Vivo - Florianópolis - SC - Brasil

http://certificacaobd.com.br/
http://br.linkedin.com/in/capin
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral