Re: [pgbr-geral] Vacuum full não reduz espaço/linhas removidas
2015-03-02 21:38 GMT-03:00 Fábio Gibon gi...@comexsystem.com.br: tenho uma tabela com 184MB, porém consultando o inchaço dela me mostra que a mesma deveria ter menos de 7MB. Nas estatísticas atualizadas mostra 6300 n_live_tup e 168000 n_dead_tup. Fiz um create table as select e a nova tabela ficou com 7MB (e com 6300 linhas, obviamente). Por que o vacuum full não recupera este espaço em disco para esta tabela? Alguma dica? Pode ser que tenha alguma transação muito antiga ainda aberta que esteja impossibilitando o VACUUM de eliminar algumas tuplas. Verifique a view pg_stat_activity (coluna xact_start) e a view pg_prepared_xact (coluna prepared) e veja se não há transações antigas no seu banco. Atenciosamente, -- Matheus de Oliveira Analista de Banco de Dados Dextra Sistemas - MPS.Br nível F! www.dextra.com.br/postgres ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] OFF - Eventos sobre banco de dados
2015-03-02 17:06 GMT-03:00 Cleiton Luiz Domazak cleitondoma...@gmail.com: Boa tarde pessoal. Olá Cleiton, tudo bem? Quais os principais eventos de banco de dados hoje no Brasil ou fora, focados em PostgreSQL ou genéricos? Tirando os obvios pgCon etc. Aqui em São Paulo(no interior) temos o PgDay Campinas [ http://pgdaycampinas.com.br/ ] que tem, ano após ano, superado as espectativas. Pra quem não sabe o PgDay é um evento de um dia dedicado a palestras sobre o PG. Att., -- Vinícius Abrahão Bazana Schmidt Desenvolvimento Consultoria Dextra Sistemas www.dextra.com.br +55 19 3256-6722 Ramal 266 Este email é confidencial. This message is confidential. -- vi[nnix]™ aka: Vinícius Abrahão Bazana Schmidt vischmidt.wordpress.com twitter.com/vischmidt ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Tempo de backup
On 03-03-2015 11:47, Danilo Silva wrote: Em 3 de março de 2015 11:00, Euler Taveira eu...@timbira.com.br escreveu: Existem métodos onde podemos acelerar o tempo para execução? No pg_basebackup somente a opção --checkpoint=fast. Se você optar por não compactar (opção --gzip) também vai levar menos tempo, porém, vai ocupar mais espaço. Certo, fiz um teste em uma base com 16GB (base + tablespaces): com a opção -Z 9 levou 38 minutos e no final o diretorio ficou com 1,8GB sem a opção -Z9 levou 8 minutos e no final o diretorio ficou com 13GB. Neste caso, onde está os outros 3GB? Pergunto isso para tentar saber se irá reduzir os 300GB que estão em produção. Como você não mostrou o comando utilizado fica difícil saber porque a diferença foi tão grande. Baseado no que você descreveu, com mais compressão (9) leva mais tempo para produzir um arquivo menor. Vale ressaltar que o percentual de compressão tem relação direta com os tipos de dados utilizados (por exemplo, se você armazena imagens ou arquivos a compactação vai ser menor do que se você usar tipos textuais) e a manutenção (tabelas inchadas irão consumir mais tempo e espaço do backup físico). -- Euler Taveira Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] OFF - Eventos sobre banco de dados
Em 2 de março de 2015 17:48, Euler Taveira eu...@timbira.com.br escreveu: On 02-03-2015 17:06, Cleiton Luiz Domazak wrote: Quais os principais eventos de banco de dados hoje no Brasil ou fora, focados em PostgreSQL ou genéricos? Tirando os obvios pgCon etc. Falando do Postgres, geralmente os eventos brasileiros são divulgados aqui. A lista completa geralmente fica em [1]. Semanalmente na lista -announce [2] divulgam eventos também. Quanto aos eventos acadêmicos de banco de dados, eles geralmente são listados em [3]. Quanto aos outros bancos, eu não posso dizer muita coisa. [1] https://wiki.postgresql.org/wiki/Events [2] http://www.postgresql.org/list/pgsql-announce/ [3] http://homepages.dcc.ufmg.br/~mirella/doku.php?id=cfps Muito obrigado pelas dicas Euler, os 2 primeiros eu conhecia, mas esse terceiro link é muito bacana, vou caçar uns eventos pra este ano. -- Euler Taveira Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Tempo de backup
Em 3 de março de 2015 12:07, Euler Taveira eu...@timbira.com.br escreveu: On 03-03-2015 11:47, Danilo Silva wrote: Em 3 de março de 2015 11:00, Euler Taveira eu...@timbira.com.br escreveu: Existem métodos onde podemos acelerar o tempo para execução? No pg_basebackup somente a opção --checkpoint=fast. Se você optar por não compactar (opção --gzip) também vai levar menos tempo, porém, vai ocupar mais espaço. Certo, fiz um teste em uma base com 16GB (base + tablespaces): com a opção -Z 9 levou 38 minutos e no final o diretorio ficou com 1,8GB sem a opção -Z9 levou 8 minutos e no final o diretorio ficou com 13GB. Neste caso, onde está os outros 3GB? Pergunto isso para tentar saber se irá reduzir os 300GB que estão em produção. Como você não mostrou o comando utilizado fica difícil saber porque a diferença foi tão grande. Baseado no que você descreveu, com mais compressão (9) leva mais tempo para produzir um arquivo menor. 38 minutos = pg_basebackup -U replicador -P -c fast -v -D /backup/database/ -Ft -Z 9 08 minutos = pg_basebackup -U replicador -P -c fast -v -D /backup/database/ -Ft []s Danilo ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Tempo de backup
Em 3 de março de 2015 13:26, Danilo Silva danilo.dsg.go...@gmail.com escreveu: 08 minutos = pg_basebackup -U replicador -P -c fast -v -D /backup/database/ -Ft Tente retirar a opção de formato (-Ft), para realizar o backup no modo default (plain), e verifique se o tamanho se manteve igual ao original. []'s ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Tempo de backup
Em 3 de março de 2015 13:34, Rafael Fialho rafafial...@gmail.com escreveu: Em 3 de março de 2015 13:26, Danilo Silva danilo.dsg.go...@gmail.com escreveu: 08 minutos = pg_basebackup -U replicador -P -c fast -v -D /backup/database/ -Ft Tente retirar a opção de formato (-Ft), para realizar o backup no modo default (plain), e verifique se o tamanho se manteve igual ao original. []'s Outra coisa, a comparação (16GB) contém a pasta pg_xlog? Não cheguei a ver nenhum exemplo prático que contenha divergências como esta, mas, se for o caso, podem estar faltando os logs de transação junto ao seu backup, e estes podem representar a diferença em tamanho. ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] duvida com campo que deferia ser FK
Pessoal, preciso tirar uma duvida com voces. tenho uma tabela chamada empresa, que seria a identificação de quem fez determinado cadastro ou operação no sistema. O campo idempresa é alimentado em 50% de 700 tabelas. logo eu deveria de criar esse campo como FK nas 350 tabelas? ou crio somente o campo idempresa (int) para armazenar tal informação? -- Douglas Fabiano Specht ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] duvida com campo que deferia ser FK
2015-03-03 13:48 GMT-03:00 Douglas Fabiano Specht douglasfabi...@gmail.com: O campo idempresa é alimentado em 50% de 700 tabelas. logo eu deveria de criar esse campo como FK nas 350 tabelas? Por que não? ou crio somente o campo idempresa (int) para armazenar tal informação? O ideal seria uma chave natural, como por exemplo CNPJ. -- skype:leandro.gfc.dutra?chat Yahoo!: ymsgr:sendIM?lgcdutra +55 (61) 3546 7191 gTalk: xmpp:leand...@jabber.org +55 (61) 9302 2691ICQ/AIM: aim:GoIM?screenname=61287803 BRAZIL GMT−3 MSN: msnim:chat?contact=lean...@dutra.fastmail.fm ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Vacuum full não reduz espaço/linhas removidas
On 02-03-2015 21:38, Fábio Gibon wrote: Pessoal, tenho uma tabela com 184MB, porém consultando o inchaço dela me mostra que a mesma deveria ter menos de 7MB. Nas estatísticas atualizadas mostra 6300 n_live_tup e 168000 n_dead_tup. Fiz um create table as select e a nova tabela ficou com 7MB (e com 6300 linhas, obviamente). Por que o vacuum full não recupera este espaço em disco para esta tabela? Alguma dica? Qual a versão do PostgreSQL? -- Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] Tempo de backup
Pessoal, Considerando que o diretório $PGDATA está com 300GB, utilizando o método de backup físico com o pg_basebackup: O hardware influencia consideravelmente? o que mais impacta, cpu, disco ou memória? Existem métodos onde podemos acelerar o tempo para execução? É possível estimarmos quanto tempo levará para efetuar o backup? []s Danilo ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] Estatística - Tempo médio total de queries
Boa tarde pessoal. Estou precisando monitorar o tempo médio total em queries no banco, para assim poder monitorar se algumas ações que são feitas para melhorar as queries e tuning estão surtindo algum efeito de modo global, pois algumas ações são feitas para surtir efeito em vários pontos do banco, porém não consigo validar a eficiência da alteração de forma fácil. O mais simples seria ativar a pg_stat_statements e fazer um relatório de alguns períodos, somando o tempo total gasto em query divido pelo total de queries? Eu vi que o PoWA tem essa estilística por padrão, porém meu banco ainda está na 9.1 e não irei atualizar nos próximos meses. Ou se tiver alguma outra ferramenta que me de esse tipo de informação sem que seja por LOG seria perfeito, pois hoje o log está configurado para logar apenas queries acima de 100ms, o que invalida a minha estatística via LOG. ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Estatística - Tempo médio total de queries
PgBadger faz exatamente isso. É ótimo e uso sempre. Em ter, 3 de mar de 2015 21:15, Cleiton Luiz Domazak cleitondoma...@gmail.com escreveu: Boa tarde pessoal. Estou precisando monitorar o tempo médio total em queries no banco, para assim poder monitorar se algumas ações que são feitas para melhorar as queries e tuning estão surtindo algum efeito de modo global, pois algumas ações são feitas para surtir efeito em vários pontos do banco, porém não consigo validar a eficiência da alteração de forma fácil. O mais simples seria ativar a pg_stat_statements e fazer um relatório de alguns períodos, somando o tempo total gasto em query divido pelo total de queries? Eu vi que o PoWA tem essa estilística por padrão, porém meu banco ainda está na 9.1 e não irei atualizar nos próximos meses. Ou se tiver alguma outra ferramenta que me de esse tipo de informação sem que seja por LOG seria perfeito, pois hoje o log está configurado para logar apenas queries acima de 100ms, o que invalida a minha estatística via LOG. ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Estatística - Tempo médio total de queries
PgBadger faz exatamente isso. É ótimo e uso sempre. Desculpem o top post, foi sem querer. []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Tempo de backup
On 03-03-2015 10:35, Danilo Silva wrote: Considerando que o diretório $PGDATA está com 300GB, utilizando o método de backup físico com o pg_basebackup: O hardware influencia consideravelmente? o que mais impacta, cpu, disco ou memória? Sim. Disco. Existem métodos onde podemos acelerar o tempo para execução? No pg_basebackup somente a opção --checkpoint=fast. Se você optar por não compactar (opção --gzip) também vai levar menos tempo, porém, vai ocupar mais espaço. É possível estimarmos quanto tempo levará para efetuar o backup? Sim. Vide opção --progress. -- Euler Taveira Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Tempo de backup
Em 3 de março de 2015 11:00, Euler Taveira eu...@timbira.com.br escreveu: Existem métodos onde podemos acelerar o tempo para execução? No pg_basebackup somente a opção --checkpoint=fast. Se você optar por não compactar (opção --gzip) também vai levar menos tempo, porém, vai ocupar mais espaço. Certo, fiz um teste em uma base com 16GB (base + tablespaces): com a opção -Z 9 levou 38 minutos e no final o diretorio ficou com 1,8GB sem a opção -Z9 levou 8 minutos e no final o diretorio ficou com 13GB. Neste caso, onde está os outros 3GB? Pergunto isso para tentar saber se irá reduzir os 300GB que estão em produção. []s Danilo ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
