Re: [pgbr-geral] Diretorio /base ocupando muito espaço
A outra consegui rodar o vacuumdb mais ainda acho que a pasta esta ocupando muito espaço. Esse esta ocupando 11Gb mas a base deve ter uns 4Gb Como você tem essa certeza de que deveria ser 4GB? De onde vem esse número? O vacuumdb foi com FULL e ele não esta como AUTO. Com opção full deveria ter limpado tudo o que precisa. Você deveria estar com o autovacuum ligado para manter as coisas em ordem. Sim tenho BLOBs e ja rodei o vacuumlo Ok O melhor jeito de limpar tudo tudo tudo de um banco de dados (inclusive arquivos perdidos causados por algum erro passado) é fazer um dump, remover o banco todo e restaurar. Assim não ficam dúvidas. Nota: o tamanho do arquivo dump sempre é menor (às vezes muito menor) do que a ocupação do banco em disco. O dump não possui vários metadados do banco em disco e os índices são apenas comandos de criação, enquanto em disco os índices ocupam bastante espaço. []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
Opa minha resposta foi, tava dando erro de envio. Bom Flavio a base dever ter uns 4Gb pois ela tinha bem menos antes de acabar com o espaço. Por mais que tenha crescido duvido que esse valor chegue a 11Gb. O Ultimo dump da maquina tinha 1Gb. Bom Rodei tudo isso ai e continua ocupando 11Gb At Cesar Moraes 2012/3/16 Flavio Henrique Araque Gurgel fha...@gmail.com A outra consegui rodar o vacuumdb mais ainda acho que a pasta esta ocupando muito espaço. Esse esta ocupando 11Gb mas a base deve ter uns 4Gb Como você tem essa certeza de que deveria ser 4GB? De onde vem esse número? O vacuumdb foi com FULL e ele não esta como AUTO. Com opção full deveria ter limpado tudo o que precisa. Você deveria estar com o autovacuum ligado para manter as coisas em ordem. Sim tenho BLOBs e ja rodei o vacuumlo Ok O melhor jeito de limpar tudo tudo tudo de um banco de dados (inclusive arquivos perdidos causados por algum erro passado) é fazer um dump, remover o banco todo e restaurar. Assim não ficam dúvidas. Nota: o tamanho do arquivo dump sempre é menor (às vezes muito menor) do que a ocupação do banco em disco. O dump não possui vários metadados do banco em disco e os índices são apenas comandos de criação, enquanto em disco os índices ocupam bastante espaço. []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
Opa minha resposta foi, tava dando erro de envio. Bom Flavio a base dever ter uns 4Gb pois ela tinha bem menos antes de acabar com o espaço. Por mais que tenha crescido duvido que esse valor chegue a 11Gb. Bom, então você não tem certeza disso. Note que crescimento não é so feito de inserts. Um mesmo registro atualizado milhares de vezes com updates também faz o banco de dados crescer. Se o campo envolvido compõe um índice, a tabela e o índice crescerão. O Ultimo dump da maquina tinha 1Gb. Isso não diz nada. Dumps podem ser tão pequenos quanto 10% do tamanho em disco ou tão grandes quanto 50%. Tudo depende do inchaço do banco em disco, bem como da quantidade de índices envolvidos, já que o dump tem poucos bytes sobre a definição do índice versus mega ou giga bytes do índice em disco. Bom Rodei tudo isso ai e continua ocupando 11Gb Fez o dump/restore que citei? Sinceramente, meu veredicto é que seu banco de dados está ocupando o espaço... normal! Dá mais uns GiB de disco aí vai! []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
Concordo plenamente com Flávio.A prova dos 9 é você fazer um dump/restore.. Emerson Martins DBA Itec/AL 82 9123-5504 82 9668-1283 Em 16 de março de 2012 09:12, Flavio Henrique Araque Gurgel fha...@gmail.com escreveu: Opa minha resposta foi, tava dando erro de envio. Bom Flavio a base dever ter uns 4Gb pois ela tinha bem menos antes de acabar com o espaço. Por mais que tenha crescido duvido que esse valor chegue a 11Gb. Bom, então você não tem certeza disso. Note que crescimento não é so feito de inserts. Um mesmo registro atualizado milhares de vezes com updates também faz o banco de dados crescer. Se o campo envolvido compõe um índice, a tabela e o índice crescerão. O Ultimo dump da maquina tinha 1Gb. Isso não diz nada. Dumps podem ser tão pequenos quanto 10% do tamanho em disco ou tão grandes quanto 50%. Tudo depende do inchaço do banco em disco, bem como da quantidade de índices envolvidos, já que o dump tem poucos bytes sobre a definição do índice versus mega ou giga bytes do índice em disco. Bom Rodei tudo isso ai e continua ocupando 11Gb Fez o dump/restore que citei? Sinceramente, meu veredicto é que seu banco de dados está ocupando o espaço... normal! Dá mais uns GiB de disco aí vai! []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
Opa Srs me desculpem pela demora acabei me complicando com outra demanda. Bom vamos as respostas. A priore são duas bases: Uma nem sobe mais o banco por falta de espaço. Essa esta ocupando 130Gb tenho bases maisores que não ocupam isso. A outra consegui rodar o vacuumdb mais ainda acho que a pasta esta ocupando muito espaço. Esse esta ocupando 11Gb mas a base deve ter uns 4Gb O vacuumdb foi com FULL e ele não esta como AUTO. Sim tenho BLOBs e ja rodei o vacuumlo Jota vc comentou se minha bases esta ordenando em disco, não sei te responder isso. Pelo que tinha entendido era o tamanho do WORK_MEM que definia a ordenação em disco. Talvez tenha que perder essa base que esta sem espaço. Mas a outra me preocupa tb. Gostaria de endender melhor como funciona. Para estar melhor prepara para outras ocasiões. Muito obrigado pela ajuda de todos At Cesar Moraes 2012/3/7 Fernando Brombatti bromba...@gmail.com Já tive uma situação em que limpei uma tabela de umas 100.000.000 de tuplas e o espaço não diminuiu. Rodei um vacuum full (infelizmente o banco é 8.2) e o espaço não diminuiu. Rodei um reindex e nada do espaço diminuir. Aí, rodei um analyze, e o espaço foi liberado. Achei mto estranho, mas tem chance. No teu caso, talvez um reindex e analyze já resolvam o problema. 2012/3/6 Flavio Henrique Araque Gurgel fha...@gmail.com [1] http://www.postgresql.org/docs/9.1/static/vacuumlo.html Além do que já foi falado, você verificou se você não está ordenando muita coisa em disco, se isso estiver acontecendo o tempo todo automaticamente o tamanho do seu base/ pode estar aumentando e ai está o problema. Mais umas perguntas... - De quanto estamos falando de tamanho? Quanto você acha que deveria ser e quanto é? - Autovacuum está ligado? - Que tipo de carga tem seu banco? - Usa muitos índices? Verificou se os índices são úteis? []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral -- Fernando Brombatti email-msn-gtalk: bromba...@gmail.com skype: fernandobrombatti work: +55 54 3218-6060 home: +55 54 3028-7217 mobile: +55 54 9189-7970 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
Já tive uma situação em que limpei uma tabela de umas 100.000.000 de tuplas e o espaço não diminuiu. Rodei um vacuum full (infelizmente o banco é 8.2) e o espaço não diminuiu. Rodei um reindex e nada do espaço diminuir. Aí, rodei um analyze, e o espaço foi liberado. Achei mto estranho, mas tem chance. No teu caso, talvez um reindex e analyze já resolvam o problema. 2012/3/6 Flavio Henrique Araque Gurgel fha...@gmail.com [1] http://www.postgresql.org/docs/9.1/static/vacuumlo.html Além do que já foi falado, você verificou se você não está ordenando muita coisa em disco, se isso estiver acontecendo o tempo todo automaticamente o tamanho do seu base/ pode estar aumentando e ai está o problema. Mais umas perguntas... - De quanto estamos falando de tamanho? Quanto você acha que deveria ser e quanto é? - Autovacuum está ligado? - Que tipo de carga tem seu banco? - Usa muitos índices? Verificou se os índices são úteis? []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral -- Fernando Brombatti email-msn-gtalk: bromba...@gmail.com skype: fernandobrombatti work: +55 54 3218-6060 home: +55 54 3028-7217 mobile: +55 54 9189-7970 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
Em 5 de março de 2012 20:48, Cesar Moraes cesar.cs...@gmail.com escreveu: Ola a todos, Estou com problema de espaço em um dos servidores e percebi que o diretório /var/lib/pgsql/data/base esta ocupando muito espaço para o tamanho da base. Rodei o vacuumdb e diminuiu muito pouco. Você possui colunas em tabelas do tipo LO (Large Object) ? Tive um problema no passado com blobs órfãos. Se possuir, experimente o comando vacuumlo [1]. Se nada resolver e o banco não for tão grande assim, você pode até tentar um dump/restore, mas terá que rodar um VACUUM ANALYZE em todas as tabelas após fazer isso para atualizar as estatísticas. Esta solução não é muito elegante (e não resolve se o problema for os blobs órfãos e você não rodar o vacuumlo), mas já consegui reduzir tamanho extra que o vacuum full não conseguiu. [1] http://www.postgresql.org/docs/9.1/static/vacuumlo.html -- TIAGO J. ADAMI http://www.adamiworks.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
Opa, Em 6 de março de 2012 08:54, Tiago Adami adam...@gmail.com escreveu: Em 5 de março de 2012 20:48, Cesar Moraes cesar.cs...@gmail.com escreveu: Ola a todos, Estou com problema de espaço em um dos servidores e percebi que o diretório /var/lib/pgsql/data/base esta ocupando muito espaço para o tamanho da base. Rodei o vacuumdb e diminuiu muito pouco. Você possui colunas em tabelas do tipo LO (Large Object) ? Tive um problema no passado com blobs órfãos. Se possuir, experimente o comando vacuumlo [1]. Se nada resolver e o banco não for tão grande assim, você pode até tentar um dump/restore, mas terá que rodar um VACUUM ANALYZE em todas as tabelas após fazer isso para atualizar as estatísticas. Esta solução não é muito elegante (e não resolve se o problema for os blobs órfãos e você não rodar o vacuumlo), mas já consegui reduzir tamanho extra que o vacuum full não conseguiu. [1] http://www.postgresql.org/docs/9.1/static/vacuumlo.html Além do que já foi falado, você verificou se você não está ordenando muita coisa em disco, se isso estiver acontecendo o tempo todo automaticamente o tamanho do seu base/ pode estar aumentando e ai está o problema. -- TIAGO J. ADAMI http://www.adamiworks.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral Abraços -- JotaComm http://jotacomm.wordpress.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
[1] http://www.postgresql.org/docs/9.1/static/vacuumlo.html Além do que já foi falado, você verificou se você não está ordenando muita coisa em disco, se isso estiver acontecendo o tempo todo automaticamente o tamanho do seu base/ pode estar aumentando e ai está o problema. Mais umas perguntas... - De quanto estamos falando de tamanho? Quanto você acha que deveria ser e quanto é? - Autovacuum está ligado? - Que tipo de carga tem seu banco? - Usa muitos índices? Verificou se os índices são úteis? []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] Diretorio /base ocupando muito espaço
Ola a todos, Estou com problema de espaço em um dos servidores e percebi que o diretório /var/lib/pgsql/data/base esta ocupando muito espaço para o tamanho da base. Rodei o vacuumdb e diminuiu muito pouco. Alguem pode me dizer como posso reduzir esse espaço utilizado. Vi em um forum que aumentando o parâmetro Work_mem talvez resolva. Obrigado At Cesar Moraes ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Diretorio /base ocupando muito espaço
Em 5 de março de 2012 20:48, Cesar Moraes cesar.cs...@gmail.com escreveu: Estou com problema de espaço em um dos servidores e percebi que o diretório /var/lib/pgsql/data/base esta ocupando muito espaço para o tamanho da base. Cada diretório dentro do $PGDATA/base (no seu caso PGDATA=/var/lib/pgsql/data) é referente a uma base de dados do seu cluster. Verifique o tamanho de cada um deles pelo sistema operacional: $ cd /var/lib/pgsql/data $ du -hs Para saber qual base de dados é o diretório basta rodar: $ psql -U postgres -c SELECT datname FROM pg_database WHERE oid = 9 Onde 9 é o identificador (OID) da base de dados o qual tem o mesmo nome do diretório dentro de $PGDATA. Não sei se pode ser o seu caso, mas já vi instâncias do PostgreSQL ocupando espaço demasiado e havia um OID perdido dentro de PGDATA... não sei se por um DROP DATABASE interrompido antes do fim... Rodei o vacuumdb e diminuiu muito pouco. Vc usou com a opção -f (FULL) ?? Alguem pode me dizer como posso reduzir esse espaço utilizado. Faça as verificações que recomendei. Vi em um forum que aumentando o parâmetro Work_mem talvez resolva. Infelizmente essa informação está equivocada... o parâmetro work_mem nada tem a ver com espaço em disco ocupado por qualquer objeto do seu banco de dados, veja documentação [1]. [1] http://www.postgresql.org/docs/9.1/static/runtime-config-resource.html#GUC-WORK-MEM -- Fabrízio de Royes Mello Consultoria/Coaching PostgreSQL Blog sobre TI: http://fabriziomello.blogspot.com Perfil Linkedin: http://br.linkedin.com/in/fabriziomello Twitter: http://twitter.com/fabriziomello ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
