Re: [pgbr-geral] PG Restore demorando muito

2016-11-22 Por tôpico Marcell Ribeiro 
Consegui só com base_backup mesmo. Por aqui também estamos alterando tudo
pra filesystem, por que os arquivos em banco atrapalham todo o meio de
campo. Também já começamos a preparação pra um novo servidor com o Pgsql
9.5.

Em 22 de novembro de 2016 10:05, Luiz Carlos L. Nogueira Jr. <
lcnogueir...@gmail.com> escreveu:

> Matheus,
>
> Tem sim. Já estamos assim, com o "banco de binários" em filesystem, só que
> algumas tabelas que ainda tem binários ainda permanecem no banco e ocupam
> uns 70% dele.
>
>
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>



-- 


[image: --]

Marcell Ribeiro
[image: https://]about.me/marcellribeiro

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-22 Por tôpico Luiz Carlos L. Nogueira Jr. 
Matheus,

Tem sim. Já estamos assim, com o "banco de binários" em filesystem, só que
algumas tabelas que ainda tem binários ainda permanecem no banco e ocupam
uns 70% dele.
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-22 Por tôpico Matheus de Oliveira 
2016-11-22 9:09 GMT-02:00 Luiz Carlos L. Nogueira Jr. <
lcnogueir...@gmail.com>:

> Mas com o PJE o -J não adianta muito, de 2 pra cima fica tudo igual por
> causa das tabelas de binários que são bem maiores que as outras.
> Nossa base está em 400GB e tivemos essa característica.
>

Só por curiosidade, empre que ouço do PJE vejo que salvar dados binários em
banco é a maior reclamação e o que gera mais trabalho na administração
dessa aplicação (nunca usei, então pode ser só impressão minha). Eles não
têm nenhum plano pra eliminar isso e salvar arquivos binários num
filesystem?

Atenciosamente,
-- 
Matheus de Oliveira
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-22 Por tôpico Luiz Carlos L. Nogueira Jr. 
Marcell,

Tenta recriar a view materializada e fazer de novo o dump/restore.
Mas com o PJE o -J não adianta muito, de 2 pra cima fica tudo igual por
causa das tabelas de binários que são bem maiores que as outras.
Nossa base está em 400GB e tivemos essa característica.
Nós estamos na Versão 9.3.12, migrando pra 9.5. (sugestão pra vc fazer isso
tb)
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-21 Por tôpico Fabrízio de Royes Mello 
On 19-11-2016 14:05, Matheus de Oliveira wrote:
> 
> <..corte..>
> 
> [1]
> https://www.postgresql.org/docs/current/static/populate.html#POPULATE-PG-DUMP
> 

Interessante que na documentação ainda recomendam apenas um ANALYZE após
o restore, sendo que somente ele não cria os FSM então não seremos
beneficiados de imediado pelo IndexOnlyScan.

Att,

-- 
   Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-19 Por tôpico Matheus de Oliveira 
2016-11-18 9:45 GMT-02:00 Marcell Ribeiro :

> /usr/local/bin/pg_restore -U usuario -d banco -v
> /disco1/backup_andamento.tar
>
> Já testei com -j e sem, não vi diferença nenhuma. Não uso compressão
> durante o dump por que li que algumas vezes pode dar problema.
>

Que problema? Compressão é bem tranquilo pra dump.

Uma coisa que eu recomendo mudar é o formato, usar custom (ou directory) ao
invés de tar. O formato tar na minha opinião é bem ruim e devia ser
removido.

Quanto à configurações, veja [1]. Tente identificar também em que ponto é
mais lento, se no COPY vai rápido mas na criação de índices e constraints é
lento, então aumentar o maintenance_work_mem vai ajudar bastante, tunning
de CHECKPOINT/WAL ajuda bastante também.

Se estiver engargalando no processo de checkpoint, por exemplo, aumentar o
número de jobs pode mesmo piorar.

[1]
https://www.postgresql.org/docs/current/static/populate.html#POPULATE-PG-DUMP

Atenciosamente,
-- 
Matheus de Oliveira
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Euler Taveira 
On 18-11-2016 19:57, Marcell Ribeiro wrote:
> Percebi que os restores estão "travando" quando surge uma msg dizendo
> que não pôde criar uma view materializada por que "relation "TABELA"
> does not exist", sendo que a tabela existe sim. Não tô entendendo mais nada.
> 
Você não informou a versão exata do Postgres mas isso está parecendo um
bug que foi corrigido recentemente (Do not run the planner on the query
contained in CREATE MATERIALIZED VIEW or CREATE TABLE AS when WITH NO
DATA is specified). Se você estiver executando versões inferiores a
9.3.13, 9.4.9 ou 9.5.4, essa pode ser a causa. Atualize para última
versão corretiva e teste novamente.

Se o problema não for esse, deve ter algum outro bug aí. Neste caso,
seria interessante montar um teste (mínimo) para facilitar a reprodução
do problema em outro ambiente e reportá-lo a lista [1].


[1] https://www.postgresql.org/support/


-- 
   Euler Taveira   Timbira - http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Marcell Ribeiro 
Percebi que os restores estão "travando" quando surge uma msg dizendo que
não pôde criar uma view materializada por que "relation "TABELA" does not
exist", sendo que a tabela existe sim. Não tô entendendo mais nada.

Erro:

pg_restore: creating MATERIALIZED VIEW DATA vwm_x
pg_restore: [archiver (db)] Error from TOC entry 7641; 0 66538050
MATERIALIZED VIEW DATA vwm_x BANCO
pg_restore: [archiver (db)] could not execute query: ERROR:  relation
"TABELA" does not exist


Em 18 de novembro de 2016 19:54, Marcell Ribeiro 
escreveu:

> Testei com -j 4. É PJE sim. FreeBSD 9.3, 16GB de RAM, Intel(R) Xeon(R) CPU
> E5-2665 0 @ 2.40GHz com 8 núcleos.
>
> Em 18 de novembro de 2016 09:55, Luiz Carlos L. Nogueira Jr. <
> lcnogueir...@gmail.com> escreveu:
>
>> O aplicativo não seria o PJE, né?
>> Coloca tua configuração de máquina, pf (CPU, memória, SO, etc)
>>
>> ___
>> pgbr-geral mailing list
>> pgbr-geral@listas.postgresql.org.br
>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>
>
>
>
> --
>
>
> [image: --]
>
> Marcell Ribeiro
> [image: https://]about.me/marcellribeiro
>
> 
>



-- 


[image: --]

Marcell Ribeiro
[image: https://]about.me/marcellribeiro

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Marcell Ribeiro 
Testei com -j 4. É PJE sim. FreeBSD 9.3, 16GB de RAM, Intel(R) Xeon(R) CPU
E5-2665 0 @ 2.40GHz com 8 núcleos.

Em 18 de novembro de 2016 09:55, Luiz Carlos L. Nogueira Jr. <
lcnogueir...@gmail.com> escreveu:

> O aplicativo não seria o PJE, né?
> Coloca tua configuração de máquina, pf (CPU, memória, SO, etc)
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>



-- 


[image: --]

Marcell Ribeiro
[image: https://]about.me/marcellribeiro

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Danilo Silva 
Em 18 de novembro de 2016 09:08, Marcell Ribeiro 
escreveu:

> Bom dia galera, estou fazendo um pg restore mas está demorando cerca de 7
> horas pra restaurar apenas um tar de 60gb,
>
> Que parâmetros eu poderia mudar no postgresql.conf pra melhorar isso? Já
> pesquisei no google e alterei alguns mas ainda não deu certo não sei por
> que.
>

​Dê uma olhada em [1] e veja se ajuda.

[]s
Danilo

[1]
https://savepoint.blog.br/2012/10/22/acelerando-a-importacao-de-dados-no-postgresql/
​
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Luiz Carlos L. Nogueira Jr. 
O aplicativo não seria o PJE, né?
Coloca tua configuração de máquina, pf (CPU, memória, SO, etc)
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Sebastian Webber 
Em 18 de novembro de 2016 09:45, Marcell Ribeiro 
escreveu:

> /usr/local/bin/pg_restore -U usuario -d banco -v
> /disco1/backup_andamento.tar
>
> Já testei com -j e sem, não vi diferença nenhuma. Não uso compressão
> durante o dump por que li que algumas vezes pode dar problema.
>

E quantos jobs tu colocou? talvez um número pra começar seja de 4 a 8.
Depende mesmo do teu ambiente e das tuas tabelas.




-- 
Sebastian Webber
http://swebber.me
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Sebastian Webber 
Em 18 de novembro de 2016 10:25, Cleiton Luiz Domazak <
cleitondoma...@gmail.com> escreveu:


> Numa situação de restore esse tuning é recomendado. após o restore não faz
>> sentido deixar essas configurações.
>>
>
> Mas a minha colocação é justamente durante o processo. Durante esse
> processo pode ocorrer algum problema com as outras databases, dependendo do
> caso, não sei se vale a pena correr o risco.
>

Sem dúvida é algo a se considerar. O ambiente do colega vai sugerir se isso
é ou ideal.

No fim, não dá pra fugir daquela velha regra de ouro: "pra aumentar o
desempenho, em algum momento, vamos diminuir a segurança".


-- 
Sebastian Webber
http://swebber.me
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Cleiton Luiz Domazak 
2016-11-18 10:08 GMT-02:00 Sebastian Webber :

>
>
> Em 18 de novembro de 2016 09:42, Cleiton Luiz Domazak <
> cleitondoma...@gmail.com> escreveu:
>
>>
>>
>> 2016-11-18 9:35 GMT-02:00 Sebastian Webber :
>>
>>>
>>>
>>> Em 18 de novembro de 2016 09:08, Marcell Ribeiro <
>>> marcell.ribe...@gmail.com> escreveu:
>>>
 Bom dia galera, estou fazendo um pg restore mas está demorando cerca de
 7 horas pra restaurar apenas um tar de 60gb,

>>>
>>>
>>> Quais parametros tu usou na chamada do pg_restore?
>>>
>>>

 Que parâmetros eu poderia mudar no postgresql.conf pra melhorar isso?
 Já pesquisei no google e alterei alguns mas ainda não deu certo não sei por
 que.

>>>
>>>
>>> Dá uma olhada nisso[1].
>>>
>>> [1] https://gist.github.com/fabriziomello/dd0ad27fc66ea34474dfdb
>>> f918d6d230
>>>
>>
>> Só fique atento, caso você tenha outras bases nesse servidor os
>> parâmetros abaixo podem deixar as outras bases vulneráveis a corrompimento.
>>
>> fsync = off synchronous_commit = off
>>
>>
> Numa situação de restore esse tuning é recomendado. após o restore não faz
> sentido deixar essas configurações.
>

Mas a minha colocação é justamente durante o processo. Durante esse
processo pode ocorrer algum problema com as outras databases, dependendo do
caso, não sei se vale a pena correr o risco.

>
>
>
> --
> Sebastian Webber
> http://swebber.me
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Sebastian Webber 
Em 18 de novembro de 2016 09:42, Cleiton Luiz Domazak <
cleitondoma...@gmail.com> escreveu:

>
>
> 2016-11-18 9:35 GMT-02:00 Sebastian Webber :
>
>>
>>
>> Em 18 de novembro de 2016 09:08, Marcell Ribeiro <
>> marcell.ribe...@gmail.com> escreveu:
>>
>>> Bom dia galera, estou fazendo um pg restore mas está demorando cerca de
>>> 7 horas pra restaurar apenas um tar de 60gb,
>>>
>>
>>
>> Quais parametros tu usou na chamada do pg_restore?
>>
>>
>>>
>>> Que parâmetros eu poderia mudar no postgresql.conf pra melhorar isso? Já
>>> pesquisei no google e alterei alguns mas ainda não deu certo não sei por
>>> que.
>>>
>>
>>
>> Dá uma olhada nisso[1].
>>
>> [1] https://gist.github.com/fabriziomello/dd0ad27fc66ea34474dfdb
>> f918d6d230
>>
>
> Só fique atento, caso você tenha outras bases nesse servidor os parâmetros
> abaixo podem deixar as outras bases vulneráveis a corrompimento.
>
> fsync = off synchronous_commit = off
>
>
Numa situação de restore esse tuning é recomendado. após o restore não faz
sentido deixar essas configurações.



-- 
Sebastian Webber
http://swebber.me
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Luiz Carlos L. Nogueira Jr. 
Tive esse mesmo problema e vi que tinha uma tabela que o tamanho era bem
maior que a média de outras tabelas, aí o -j não ajudou, pois tudo acabava
e só ficava no restore dela.
Mas o que demora mais no meu restore é a criação dos índices, que se
coincidirem serem muitos nessa tabela grande. Não tem o que fazer, o
negócio é esperar mesmo.
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Marcell Ribeiro 
/usr/local/bin/pg_restore -U usuario -d banco -v
/disco1/backup_andamento.tar

Já testei com -j e sem, não vi diferença nenhuma. Não uso compressão
durante o dump por que li que algumas vezes pode dar problema.

Em 18 de novembro de 2016 08:35, Sebastian Webber 
escreveu:

>
>
> Em 18 de novembro de 2016 09:08, Marcell Ribeiro <
> marcell.ribe...@gmail.com> escreveu:
>
>> Bom dia galera, estou fazendo um pg restore mas está demorando cerca de 7
>> horas pra restaurar apenas um tar de 60gb,
>>
>
>
> Quais parametros tu usou na chamada do pg_restore?
>
>
>>
>> Que parâmetros eu poderia mudar no postgresql.conf pra melhorar isso? Já
>> pesquisei no google e alterei alguns mas ainda não deu certo não sei por
>> que.
>>
>
>
> Dá uma olhada nisso[1].
>
> [1] https://gist.github.com/fabriziomello/dd0ad27fc66ea34474dfdbf918d6d230
>
> --
> Sebastian Webber
> http://swebber.me
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>



-- 


[image: --]

Marcell Ribeiro
[image: https://]about.me/marcellribeiro

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Cleiton Luiz Domazak 
2016-11-18 9:35 GMT-02:00 Sebastian Webber :

>
>
> Em 18 de novembro de 2016 09:08, Marcell Ribeiro <
> marcell.ribe...@gmail.com> escreveu:
>
>> Bom dia galera, estou fazendo um pg restore mas está demorando cerca de 7
>> horas pra restaurar apenas um tar de 60gb,
>>
>
>
> Quais parametros tu usou na chamada do pg_restore?
>
>
>>
>> Que parâmetros eu poderia mudar no postgresql.conf pra melhorar isso? Já
>> pesquisei no google e alterei alguns mas ainda não deu certo não sei por
>> que.
>>
>
>
> Dá uma olhada nisso[1].
>
> [1] https://gist.github.com/fabriziomello/dd0ad27fc66ea34474dfdbf918d6d230
>

Só fique atento, caso você tenha outras bases nesse servidor os parâmetros
abaixo podem deixar as outras bases vulneráveis a corrompimento.

fsync = off synchronous_commit = off




>
>
> --
> Sebastian Webber
> http://swebber.me
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Sebastian Webber 
Em 18 de novembro de 2016 09:08, Marcell Ribeiro 
escreveu:

> Bom dia galera, estou fazendo um pg restore mas está demorando cerca de 7
> horas pra restaurar apenas um tar de 60gb,
>


Quais parametros tu usou na chamada do pg_restore?


>
> Que parâmetros eu poderia mudar no postgresql.conf pra melhorar isso? Já
> pesquisei no google e alterei alguns mas ainda não deu certo não sei por
> que.
>


Dá uma olhada nisso[1].

[1] https://gist.github.com/fabriziomello/dd0ad27fc66ea34474dfdbf918d6d230

-- 
Sebastian Webber
http://swebber.me
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Thiago H. Barreto 
Em 18 de novembro de 2016 09:08, Marcell Ribeiro 
escreveu:

> Bom dia galera, estou fazendo um pg restore mas está demorando cerca de 7
> horas pra restaurar apenas um tar de 60gb,
>

   Seria interessante, colocar as configurações do servidor, visto que cada
configuração pode estabelecer um tempo de restore.


>
> Que parâmetros eu poderia mudar no postgresql.conf pra melhorar isso? Já
> pesquisei no google e alterei alguns mas ainda não deu certo não sei por
> que.
>
>
>
> --
>
>
> [image: --]
>
> Marcell Ribeiro
> [image: https://]about.me/marcellribeiro
>
> 
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>




*Lembre-se de que ao evitar o desperdício, além de economizar dinheiro com
papel e tinta, você também ajuda o nosso planeta. Bom para seu bolso,
melhor para o mundo!*
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] PG Restore demorando muito

2016-11-18 Por tôpico Marcell Ribeiro 
Bom dia galera, estou fazendo um pg restore mas está demorando cerca de 7
horas pra restaurar apenas um tar de 60gb,

Que parâmetros eu poderia mudar no postgresql.conf pra melhorar isso? Já
pesquisei no google e alterei alguns mas ainda não deu certo não sei por
que.



-- 


[image: --]

Marcell Ribeiro
[image: https://]about.me/marcellribeiro

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral