Re: [pgbr-geral] Database ocupando muito espaço no H D
Ola
Ja tive este problema tbm, pois minha base enxuta tem 80gb e faco 4mil
inserts por minuto.
O que eu faco para manter a base enxuta e nao precisar ficar deletando a
base e restaurando backup.
1o. Rodo 3x por dia vacuum analyze;
2o. Cada 48hrs vacuum full, apos vacuum full reindex.
Numca mais precisei deletar minha base. Antes disso deletava a base a
cada 60 dias pois de 80gb ela ficava com 200gb
Hikari wrote:
| Você olhou qual subdiretório do data está ocupando muito espaço ?
| Pode ser as logs, o WAL , e não os dados do banco em si.
|
| Leandro Henrique Pereira Neto
| Administração de bancos de dados - DBA/OC
| SUPCD/CDSUT/CDSBB
| 61 21059359
Opa muito boa a dica!!
Esses arquivos ficam dentro do diretório \data\base\17863 :
17896.1exatamente 1GB 1,00 GB (1.073.741.824 bytes)
17896mesmo tamanho do 17896.1 (1.073.741.824 bytes)
17917119 MB (125.468.672 bytes)
17896.229,5 MB (31.031.296 bytes)
Agora oq esses arquivos significam?...
| O Vacuum não vai ajudar muito a diminuir espaço, apenas vai marcar os
| blocos excluídos para que o banco possa reutilizá-los. O ideal é vc
| rodar Vacuums regulares, junto com o Analyze (VACCUM ANALYZE), para que
| as estatísticas sejam atualizadas também.
|
| André Volpato
| Ecom Tecnologia LTDA - Análise e Desenvolvimento
| [EMAIL PROTECTED]
O comando q eu uso é esse a seguir, faz alguns meses q li sobre ele e não
lembro mais os detalhes. Ele inclui o Analyze? Eu sei q
ele roda sobre todos os databases existentes (-all)
\bin\vacuumdb.exe --all --full --analyze --verbose
| - Alterar a aplicação para trocar os Deletes por Create table - Insert -
| Drop table [1]
|
| [1] http://www.midstorm.org/~telles/2007/11/29/nao-use-delete-use-insert/
Eu vou acabar de ler os emails e responder e em seguida vou ler o artigo,
obrigado :)
| - Se por acaso tua aplicação puder parar para balanço, tem um jeito
| infalível:
| pg_dump base -f base.sql - drop database - create database - psql
| base -f base.sql
| Faça isso regularmente, quando a base começar a crescer demais... não é
| necessário resinstalar o banco.
Vc quer dizer fazer backup, apagar o database, recriar e restaurar o database?
| Pra ver o tamanho do BD
| select pg_size_pretty(pg_database_size('nome-da-base'));
deu 15MB
| Pra ver o tamanho de uma tabela
| select pg_size_pretty(pg_relation_size('nome-da-tabela'));
a maior deu 120KB :)
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
--
Vinicius D. Barba
Totalsat - Departamento TI
(41) 2109-7716
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Database ocupando muito espaço no H D
Hikari escreveu:
17896.1exatamente 1GB 1,00 GB (1.073.741.824 bytes)
17896mesmo tamanho do 17896.1 (1.073.741.824 bytes)
17917119 MB (125.468.672 bytes)
17896.229,5 MB (31.031.296 bytes)
Agora oq esses arquivos significam?...
Cada arquivo representa uma tabela ou índice, e o número é o OID deles
no banco.
| O Vacuum não vai ajudar muito a diminuir espaço, apenas vai marcar os
| blocos excluídos para que o banco possa reutilizá-los. O ideal é vc
| rodar Vacuums regulares, junto com o Analyze (VACCUM ANALYZE), para que
| as estatísticas sejam atualizadas também.
|
| André Volpato
| Ecom Tecnologia LTDA - Análise e Desenvolvimento
| [EMAIL PROTECTED]
O comando q eu uso é esse a seguir, faz alguns meses q li sobre ele e não
lembro mais os detalhes. Ele inclui o Analyze? Eu sei q
ele roda sobre todos os databases existentes (-all)
\bin\vacuumdb.exe --all --full --analyze --verbose
Rodando o vacuum assim vc já está executando o analyze. E com a opção
full o banco vai liberar espaço sim, marcando blocos deletados e
depois movendo blocos usados no lugar deles. Dá uma procurada nas docs
sobre isso...
Evite usar vacuum full regularmente, rode apenas vacuum analyze
sempre que fizer um delete na aplicação, ou então agende no servidor
para rodar todas as noites.
| - Alterar a aplicação para trocar os Deletes por Create table - Insert -
| Drop table [1]
|
| [1] http://www.midstorm.org/~telles/2007/11/29/nao-use-delete-use-insert/
Eu vou acabar de ler os emails e responder e em seguida vou ler o artigo,
obrigado :)
| - Se por acaso tua aplicação puder parar para balanço, tem um jeito
| infalível:
| pg_dump base -f base.sql - drop database - create database - psql
| base -f base.sql
| Faça isso regularmente, quando a base começar a crescer demais... não é
| necessário resinstalar o banco.
Vc quer dizer fazer backup, apagar o database, recriar e restaurar o database?
Aham.
| Pra ver o tamanho do BD
| select pg_size_pretty(pg_database_size('nome-da-base'));
deu 15MB
| Pra ver o tamanho de uma tabela
| select pg_size_pretty(pg_relation_size('nome-da-tabela'));
a maior deu 120KB :)
Muito estranho... vc não tem nenhuma outra base de dados neste servidor?
Rode isso aqui:
SELECT d.oid, d.datname, pg_size_pretty(pg_database_size(d.oid)) FROM
pg_database d ORDER BY d.datname;
O oid vai ser o número de identificação da base, em $PGDATA/base/oid
--
[]´s,
André Volpato
Ecom Tecnologia LTDA - Análise e Desenvolvimento
[EMAIL PROTECTED]
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Database ocupando muito espaço no H D
| O que eu faco para manter a base enxuta e nao precisar ficar deletando a | base e restaurando backup. | | 1o. Rodo 3x por dia vacuum analyze; | 2o. Cada 48hrs vacuum full, apos vacuum full reindex. | | Numca mais precisei deletar minha base. Antes disso deletava a base a | cada 60 dias pois de 80gb ela ficava com 200gb | | Vinicius D. Barba | Totalsat - Departamento TI | (41) 2109-7716 Me passa qual é exatamente os parâmetros q vc usa? --- Hikari http://hikarinet.info ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Database ocupando muito espaço no H D
Dica: elimine sua base e restaure backup, apos isso agende os processos abaixo, assim vc comeca com a base totalmente enxuta. vacuumdb --verbose --analyze suaBae (3x dia) vacuumdb -f --verbose --analyze suaBase (cada 48hrs) reindexdb -d suaBase (apos vacuum full) Hikari wrote: | O que eu faco para manter a base enxuta e nao precisar ficar deletando a | base e restaurando backup. | | 1o. Rodo 3x por dia vacuum analyze; | 2o. Cada 48hrs vacuum full, apos vacuum full reindex. | | Numca mais precisei deletar minha base. Antes disso deletava a base a | cada 60 dias pois de 80gb ela ficava com 200gb | | Vinicius D. Barba | Totalsat - Departamento TI | (41) 2109-7716 Me passa qual é exatamente os parâmetros q vc usa? --- Hikari http://hikarinet.info ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral -- Vinicius D. Barba Totalsat - Departamento TI (41) 2109-7716 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Database ocupando muito espaço no H D
| 17896.1exatamente 1GB 1,00 GB (1.073.741.824 bytes)
| 17896mesmo tamanho do 17896.1 (1.073.741.824 bytes)
| 17917119 MB (125.468.672 bytes)
| 17896.229,5 MB (31.031.296 bytes)
|
| Agora oq esses arquivos significam?...
|
| Cada arquivo representa uma tabela ou índice, e o número é o OID deles
| no banco.
E naum tem como descobrir por aí qual a causa do problema?
| Muito estranho... vc não tem nenhuma outra base de dados neste servidor?
| Rode isso aqui:
| SELECT d.oid, d.datname, pg_size_pretty(pg_database_size(d.oid)) FROM
| pg_database d ORDER BY d.datname;
|
| O oid vai ser o número de identificação da base, em $PGDATA/base/oid
Caso resolvido, o culpado era o database de desenvolvimento, naum sei pq ele
inchou tanto..
Tão estranho q qd rodei o select
pg_size_pretty(pg_database_size('nome-da-base')); nem preocupei em testar com
ele.
Foi só apagar ele q o \data caiu pra 149MB :)
| Dica: elimine sua base e restaure backup, apos isso agende os processos
| abaixo, assim vc comeca com a base totalmente enxuta.
|
| vacuumdb --verbose --analyze suaBae (3x dia)
|
| vacuumdb -f --verbose --analyze suaBase (cada 48hrs)
| reindexdb -d suaBase (apos vacuum full)
|
| --
| Vinicius D. Barba
| Totalsat - Departamento TI
| (41) 2109-7716
ok vou fazer isso
só uma dúvida, qd eu executo o VACUUM ele pede senha do user do Windows, qd uso
--full ele pede a mesma senha pra cada database q
ele vai rodar (postgres e template_postgris)
tem como evitar q ele fique pedindo senha, pra poder agendar isso pra rodar
automático?
Valeu pessoal vcs me ajudaram muito!!!
---
Hikari
http://hikarinet.info
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Database ocupando muito espaço no H D
Você olhou qual subdiretório do data está ocupando muito espaço ? Pode ser as logs, o WAL , e não os dados do banco em si. Leandro Henrique Pereira Neto Administração de bancos de dados - DBA/OC SUPCD/CDSUT/CDSBB 61 21059359 Hikari escreveu: Eu estou com uma situação estranha aqui, talvez alguém saiba como resolver. Eu rodo o Postgres 8.2.4 no Windows, ele tem 2 databases sendo 1 pra testes bem pequeno e outro q quando faço backup o arquivo fica com 200KB. Acontece q o diretório \data tava ocupando 20.7GB!! Ele já tinha mais de 1 ano, quando eu reinstalei o Postgres eu só mandei ele usar esse diretório. Há uns meses, pesquisando sobre isso que eu fui descobrir o VACUUM, só q ele não ajudou muito. Então eu fiz backup, reinstalei o Postgres completo e restaurei o backup, daí o \data ficou com uns 60MB... E agora tá acontecendo de novo, ele tá com 2.24GB já... eu rodo o VACUUM e nada do espaço diminuir. Vcs sabem oq pode estar causando isso e se tem alguma outra alternativa além de desinstalar e reinstalar? --- Hikari http://hikarinet.info ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral Esta mensagem do SERVIÇO FEDERAL DE PROCESSAMENTO DE DADOS (SERPRO), empresa pública federal regida pelo disposto na Lei Federal nº 5.615, é enviada exclusivamente a seu destinatário e pode conter informações confidenciais, protegidas por sigilo profissional. Sua utilização desautorizada é ilegal e sujeita o infrator às penas da lei. Se você a recebeu indevidamente, queira, por gentileza, reenviá-la ao emitente, esclarecendo o equívoco. This message from SERVIÇO FEDERAL DE PROCESSAMENTO DE DADOS (SERPRO) -- a government company established under Brazilian law (5.615/70) -- is directed exclusively to its addressee and may contain confidential data, protected under professional secrecy rules. Its unauthorized use is illegal and may subject the transgressor to the law's penalties. If you're not the addressee, please send it back, elucidating the failure. ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Database ocupando muito espaço no H D
Hikari escreveu: Acontece q o diretório \data tava ocupando 20.7GB!! Ele já tinha mais de 1 ano, quando eu reinstalei o Postgres eu só mandei ele usar esse diretório. Há uns meses, pesquisando sobre isso que eu fui descobrir o VACUUM, só q ele não ajudou muito. Então eu fiz backup, reinstalei o Postgres completo e restaurei o backup, daí o \data ficou com uns 60MB... E agora tá acontecendo de novo, ele tá com 2.24GB já... eu rodo o VACUUM e nada do espaço diminuir. Vcs sabem oq pode estar causando isso e se tem alguma outra alternativa além de desinstalar e reinstalar? O Vacuum não vai ajudar muito a diminuir espaço, apenas vai marcar os blocos excluídos para que o banco possa reutilizá-los. O ideal é vc rodar Vacuums regulares, junto com o Analyze (VACCUM ANALYZE), para que as estatísticas sejam atualizadas também. Mas teu problema parece ser a aplicação, que está fazendo Deletes demais. Tente o seguinte: - Alterar a aplicação para trocar os Deletes por Create table - Insert - Drop table [1] - Se por acaso tua aplicação puder parar para balanço, tem um jeito infalível: pg_dump base -f base.sql - drop database - create database - psql base -f base.sql Faça isso regularmente, quando a base começar a crescer demais... não é necessário resinstalar o banco. [1] http://www.midstorm.org/~telles/2007/11/29/nao-use-delete-use-insert/ -- []´s, André Volpato Ecom Tecnologia LTDA - Análise e Desenvolvimento [EMAIL PROTECTED] ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Database ocupando muito espaço no H D
Pra ver o tamanho do BD
select pg_size_pretty(pg_database_size('nome-da-base'));
Pra ver o tamanho de uma tabela
select pg_size_pretty(pg_relation_size('nome-da-tabela'));
Em 14/02/08, Hikari [EMAIL PROTECTED] escreveu:
Eu estou com uma situação estranha aqui, talvez alguém saiba como
resolver.
Eu rodo o Postgres 8.2.4 no Windows, ele tem 2 databases sendo 1 pra
testes bem pequeno e outro q quando faço backup o arquivo fica
com 200KB.
Acontece q o diretório \data tava ocupando 20.7GB!! Ele já tinha mais de 1
ano, quando eu reinstalei o Postgres eu só mandei ele
usar esse diretório. Há uns meses, pesquisando sobre isso que eu fui
descobrir o VACUUM, só q ele não ajudou muito. Então eu fiz
backup, reinstalei o Postgres completo e restaurei o backup, daí o \data
ficou com uns 60MB...
E agora tá acontecendo de novo, ele tá com 2.24GB já... eu rodo o VACUUM e
nada do espaço diminuir.
Vcs sabem oq pode estar causando isso e se tem alguma outra alternativa
além de desinstalar e reinstalar?
---
Hikari
http://hikarinet.info
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
--
Atenciosamente,
Alexsander da Rosa
Linux User #113925
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Database ocupando muito espaço no H D
| Você olhou qual subdiretório do data está ocupando muito espaço ?
| Pode ser as logs, o WAL , e não os dados do banco em si.
|
| Leandro Henrique Pereira Neto
| Administração de bancos de dados - DBA/OC
| SUPCD/CDSUT/CDSBB
| 61 21059359
Opa muito boa a dica!!
Esses arquivos ficam dentro do diretório \data\base\17863 :
17896.1exatamente 1GB 1,00 GB (1.073.741.824 bytes)
17896mesmo tamanho do 17896.1 (1.073.741.824 bytes)
17917119 MB (125.468.672 bytes)
17896.229,5 MB (31.031.296 bytes)
Agora oq esses arquivos significam?...
| O Vacuum não vai ajudar muito a diminuir espaço, apenas vai marcar os
| blocos excluídos para que o banco possa reutilizá-los. O ideal é vc
| rodar Vacuums regulares, junto com o Analyze (VACCUM ANALYZE), para que
| as estatísticas sejam atualizadas também.
|
| André Volpato
| Ecom Tecnologia LTDA - Análise e Desenvolvimento
| [EMAIL PROTECTED]
O comando q eu uso é esse a seguir, faz alguns meses q li sobre ele e não
lembro mais os detalhes. Ele inclui o Analyze? Eu sei q
ele roda sobre todos os databases existentes (-all)
\bin\vacuumdb.exe --all --full --analyze --verbose
| - Alterar a aplicação para trocar os Deletes por Create table - Insert -
| Drop table [1]
|
| [1] http://www.midstorm.org/~telles/2007/11/29/nao-use-delete-use-insert/
Eu vou acabar de ler os emails e responder e em seguida vou ler o artigo,
obrigado :)
| - Se por acaso tua aplicação puder parar para balanço, tem um jeito
| infalível:
| pg_dump base -f base.sql - drop database - create database - psql
| base -f base.sql
| Faça isso regularmente, quando a base começar a crescer demais... não é
| necessário resinstalar o banco.
Vc quer dizer fazer backup, apagar o database, recriar e restaurar o database?
| Pra ver o tamanho do BD
| select pg_size_pretty(pg_database_size('nome-da-base'));
deu 15MB
| Pra ver o tamanho de uma tabela
| select pg_size_pretty(pg_relation_size('nome-da-tabela'));
a maior deu 120KB :)
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
