Re: [pgbr-geral] pg_basebackup - 9.3

[Matheus de Oliveira]

2016-07-06 18:07 GMT-03:00 Patrick B :

> Então a ideia é realizar o pg_basebackup ao mesmo tempo com o SPLIT.
> Criando assim vários arquivos de 50GB, por exemplo. E depois enviar estes
> arquivos para o novo servidor via rsync.
>
>

Entendi. Faz sentido pra mim. Até porque já dá pra ir mandando os primeiros
antes de gerar todos.


> [...]
>>
>
> Putz Sério que é só da 9.4??? Eu estou usando o 9.2 (Sim, iremos
> atualizar mas vai demorar um pouco :P)
>
> Então o archive vai ter que ser do master?
>
>
Sim, ou pg_receivexlog (esse já funciona na 9.2, se não me engano). Eu
pegaria do master mesmo, por facilidade.


> Mas eu consigo fazer replicação cascade né? Fazer um servidor slave
> replicar de outro slave? Só o archive que não?
>
>

Sim. Sim. E sim.

Atenciosamente,
-- 
Matheus de Oliveira
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - 9.3

[Patrick B]

opa.. é possível sim!

https://www.postgresql.org/docs/9.2/static/warm-standby.html#CASCADING-REPLICATION

Patrick
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - 9.3

[Patrick B]

>
> Qual versão você está usando? Apenas a partir da 9.4 é possível fazer
> archive de um slave.
>

Putz Sério que é só da 9.4??? Eu estou usando o 9.2 (Sim, iremos
> atualizar mas vai demorar um pouco :P)



não encontrei nada disso na doc.. tem certeza que só a partir da 9.4?

obrigado!
Patrick
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - 9.3

[Patrick B]

>
> Eu não usuária o -h, melhor ir via Unix domain sockets (não deve ter
> *grandes* ganhos, mas creio que seja um pouquinho melhor).
>
> O seu split seria pra poder fazer o upload em paralelo, certo? Tem uma
> ferramenta que promete fazer um basebackup em paralelo e super eficiente,
> se chama pgBackRest [1]. Eu particularmente (ainda) não usei, mas ouvi
> falar muito bem (de pessoas bem "fodas" no PG, no caso o principal foi o
> Stephen Frost, um commiter do PG).
>
>
Não na verdade, como o meu atual servidor se encontra na Austrália, e o
servidor da AMAZON ficará nos EUA, irei rodar o pg_basebackup junto com o
SPLIT, para que eu tenha vários arquivos de tantos GB. Facilitando assim o
envio depois.

Pois se eu realizar o pg_basebackup do novo servidor, como a DB é grande,
pode haver problemas de rede e eu perder tudo.. tendo que começar tudo
novamente.

Então a ideia é realizar o pg_basebackup ao mesmo tempo com o SPLIT.
Criando assim vários arquivos de 50GB, por exemplo. E depois enviar estes
arquivos para o novo servidor via rsync.


> Outra opção que tem, se tiver uma conexão confiável entre esses servidores
> (creio que tenha, já que quer fazer replicação), seria usar o pg_basebackup
> direto do novo servidor (da AWS) com o parâmetro --xlog-method=stream.
> Talvez criar um túnel pra comprimir os pacotes.
>
>
>> Os passos seriam:
>>
>>> 1 - Configurar o arquivamento dos wal_files dentro do servidor novo
>>> (archive_command no slave)
>>>
>>
> Qual versão você está usando? Apenas a partir da 9.4 é possível fazer
> archive de um slave.
>

Putz Sério que é só da 9.4??? Eu estou usando o 9.2 (Sim, iremos
atualizar mas vai demorar um pouco :P)

Então o archive vai ter que ser do master?

Mas eu consigo fazer replicação cascade né? Fazer um servidor slave
replicar de outro slave? Só o archive que não?


>
> Veja o pg_receivexlog também, pode ser mais fácil já deixar coletando.
>
>
>> 2 - rodar o pg_basebackup no slave
>>> 3 - Uma vez que o passo 2 terminar, copiar os arquivos que foram
>>> divididos para dentro do servidor novo
>>> 4 - juntar os arquivos com o comando JOIN
>>>
>>
> OK.
>
>
>> 5 - Restaurar a DB (pg_restore)
>>>
>>
> Não é via pg_restore, esse só é usado para backups feitos via pg_dump,
> você teria que usar o tar mesmo. Eu nem faria o join num arquivo, dá pra ir
> direto:
>
> $ join arquivo1 arquivo2 ... | tar xvfz - -C /path/to/pgdata/
>

Sim.. exatamente! Após eu ter mandado este e-mail eu fiz testes aqui, e é
isso aí.. na verdade sobrescreve toda a pasta /data no novo servidor, e
depois disso recuperar com o wal_file


>
>
>
>
>> 6 - Configurar o restore_command para restaurar a DB usando os wal_files
>>> que foram configurados ainda no passo 1
>>>
>>
> Lembre-se de já configurar o standby_mode=on, se não vai se tornar
> primário ao finalizar de pegar os xlogs.
>

pode deixar!


>
>
>> 7 - Habilitar a streaming replication.
>>
>>
> OK.
>
> Dá pra juntar o passo 6 e 7 numa configuração só, colocando tanto
> restore_command quanto primary_conninfo no recovery.conf, quando ele não
> tem mais arquivos pra restaurar via restore_command irá conectar via
> primary_conninfo sozinho.
>
> Bem. Está algumas opções pra você, qualquer dúvida avisa aí.
>
> [1] https://github.com/pgbackrest/pgbackrest
>
>


obrigado!
Patrick
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - 9.3

[Matheus de Oliveira]

2016-07-06 0:17 GMT-03:00 Patrick B :

> pg_basebackup -Ft -D - -P -v -U replicator -h 127.0.0.1 | split -b 10G
>
>
>
Eu não usuária o -h, melhor ir via Unix domain sockets (não deve ter
*grandes* ganhos, mas creio que seja um pouquinho melhor).

O seu split seria pra poder fazer o upload em paralelo, certo? Tem uma
ferramenta que promete fazer um basebackup em paralelo e super eficiente,
se chama pgBackRest [1]. Eu particularmente (ainda) não usei, mas ouvi
falar muito bem (de pessoas bem "fodas" no PG, no caso o principal foi o
Stephen Frost, um commiter do PG).

Outra opção que tem, se tiver uma conexão confiável entre esses servidores
(creio que tenha, já que quer fazer replicação), seria usar o pg_basebackup
direto do novo servidor (da AWS) com o parâmetro --xlog-method=stream.
Talvez criar um túnel pra comprimir os pacotes.


> Os passos seriam:
>
>> 1 - Configurar o arquivamento dos wal_files dentro do servidor novo
>> (archive_command no slave)
>>
>
Qual versão você está usando? Apenas a partir da 9.4 é possível fazer
archive de um slave.

Veja o pg_receivexlog também, pode ser mais fácil já deixar coletando.


> 2 - rodar o pg_basebackup no slave
>> 3 - Uma vez que o passo 2 terminar, copiar os arquivos que foram
>> divididos para dentro do servidor novo
>> 4 - juntar os arquivos com o comando JOIN
>>
>
OK.


> 5 - Restaurar a DB (pg_restore)
>>
>
Não é via pg_restore, esse só é usado para backups feitos via pg_dump, você
teria que usar o tar mesmo. Eu nem faria o join num arquivo, dá pra ir
direto:

$ join arquivo1 arquivo2 ... | tar xvfz - -C /path/to/pgdata/



> 6 - Configurar o restore_command para restaurar a DB usando os wal_files
>> que foram configurados ainda no passo 1
>>
>
Lembre-se de já configurar o standby_mode=on, se não vai se tornar primário
ao finalizar de pegar os xlogs.


> 7 - Habilitar a streaming replication.
>
>
OK.

Dá pra juntar o passo 6 e 7 numa configuração só, colocando tanto
restore_command quanto primary_conninfo no recovery.conf, quando ele não
tem mais arquivos pra restaurar via restore_command irá conectar via
primary_conninfo sozinho.

Bem. Está algumas opções pra você, qualquer dúvida avisa aí.

[1] https://github.com/pgbackrest/pgbackrest

Atenciosamente,
-- 
Matheus de Oliveira
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - 9.3

[Daniel Luiz da Silva]

De: "Patrick B" <patrickbake...@gmail.com> 
Para: "Comunidade PostgreSQL Brasileira" <pgbr-geral@listas.postgresql.org.br> 
Enviadas: Quarta-feira, 6 de julho de 2016 0:17:32 
Assunto: Re: [pgbr-geral] pg_basebackup - 9.3 



Em 6 de julho de 2016 15:08, Matheus de Oliveira < matioli.math...@gmail.com > 
escreveu: 




2016-07-05 22:46 GMT-03:00 Patrick B < patrickbake...@gmail.com > : 

BQ_BEGIN
o pg_basebackup pode ser usado para gerar uma cópia local da DB? 



Sim. O pg_basebackup faz uma cópia física do banco. Para gerar um backup 
"standalone" (sem necessidade de usar WALs arquivados), você precisa da opção 
--xlog do pg_basebackup (ou `-X fetch`). 

BQ_END


BQ_BEGIN



Mas cuidado, o backup feito pelo pg_basebackup não possui compatibilidade entre 
diferentes plataformas (Windows, Linux, etc.) ou versões do PostgreSQL. Ou 
seja, um backup feito no Linux não poderá ser restaurado no Windows, nem 
vice-versa (por exemplo). 

Explique mais a sua necessidade que podemos dar mais recomendações. 


BQ_END



Certo! 

A minha DB tem 2TB, e estaremos realizando uma cópia dela para a Amazon. 
A ideia, é rodar o pg_basebackup no meu slave e ao mesmo tempo com o comando 
Split. 

O split dividiria tudo em arquivos de 10G, por exemplo. Para que depois seja 
copiado separadamente para o novo servidor. 


BQ_BEGIN
pg_basebackup -Ft -D - -P -v -U replicator -h 127.0.0.1 | split -b 10G 
BQ_END





Os passos seriam: 
BQ_BEGIN
1 - Configurar o arquivamento dos wal_files dentro do servidor novo 
(archive_command no slave) 
2 - rodar o pg_basebackup no slave 
3 - Uma vez que o passo 2 terminar, copiar os arquivos que foram divididos para 
dentro do servidor novo 
4 - juntar os arquivos com o comando JOIN 
5 - Restaurar a DB (pg_restore) 
6 - Configurar o restore_command para restaurar a DB usando os wal_files que 
foram configurados ainda no passo 1 
7 - Habilitar a streaming replication. 
BQ_END





O que você acha? 




Bom dia, 

Patrick, 

mas qual sua necessidade de enviar para Amazon? É um simples backup, ou será 
uma migração de servidor? 


Caso seja um simples backup, sua solução atende a necessidade. Caso seja uma 
migração eu sugiro utilizar a ferramenta bucardo[1], é bem eficiente, só 
necessita instalar alguns pré requisitos, Postgres está copilado com Perl, 
instalar perl-ExUtils-embed, DBI, DBD, TestSimple e Boolean. 

Caso tenha alguma dúvida sobre como funciona o bucardo, existe um tutorial que 
exemplifica de um modo fácil [2] 


Obrigado! 
[1] http://www.bucardo.org 
[2] http://blog.endpoint.com/2009/09/migrating-postgres-with-bucardo-4.html 
___ 
pgbr-geral mailing list 
pgbr-geral@listas.postgresql.org.br 
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral 
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - 9.3

[Patrick B]

Em 6 de julho de 2016 15:08, Matheus de Oliveira 
escreveu:

>
> 2016-07-05 22:46 GMT-03:00 Patrick B :
>
>> o pg_basebackup pode ser usado para gerar uma cópia local da DB?
>
>
> Sim. O pg_basebackup faz uma cópia física do banco. Para gerar um backup
> "standalone" (sem necessidade de usar WALs arquivados), você precisa da
> opção --xlog do pg_basebackup (ou `-X fetch`).
>


>
> Mas cuidado, o backup feito pelo pg_basebackup não possui compatibilidade
> entre diferentes plataformas (Windows, Linux, etc.) ou versões do
> PostgreSQL. Ou seja, um backup feito no Linux não poderá ser restaurado no
> Windows, nem vice-versa (por exemplo).
>
> Explique mais a sua necessidade que podemos dar mais recomendações.
>


Certo!

A minha DB tem 2TB, e estaremos realizando uma cópia dela para a Amazon.
A ideia, é rodar o pg_basebackup no meu slave e ao mesmo tempo com o
comando Split.

O split dividiria tudo em arquivos de 10G, por exemplo. Para que depois
seja copiado separadamente para o novo servidor.

pg_basebackup -Ft -D - -P -v -U replicator -h 127.0.0.1 | split -b 10G


Os passos seriam:

> 1 - Configurar o arquivamento dos wal_files dentro do servidor novo
> (archive_command no slave)
> 2 - rodar o pg_basebackup no slave
> 3 - Uma vez que o passo 2 terminar, copiar os arquivos que foram divididos
> para dentro do servidor novo
> 4 - juntar os arquivos com o comando JOIN
> 5 - Restaurar a DB (pg_restore)
> 6 - Configurar o restore_command para restaurar a DB usando os wal_files
> que foram configurados ainda no passo 1
> 7 - Habilitar a streaming replication.


O que você acha?


Obrigado!
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - 9.3

[Matheus de Oliveira]

2016-07-05 22:46 GMT-03:00 Patrick B :

> o pg_basebackup pode ser usado para gerar uma cópia local da DB?


Sim. O pg_basebackup faz uma cópia física do banco. Para gerar um backup
"standalone" (sem necessidade de usar WALs arquivados), você precisa da
opção --xlog do pg_basebackup (ou `-X fetch`).

Mas cuidado, o backup feito pelo pg_basebackup não possui compatibilidade
entre diferentes plataformas (Windows, Linux, etc.) ou versões do
PostgreSQL. Ou seja, um backup feito no Linux não poderá ser restaurado no
Windows, nem vice-versa (por exemplo).

Explique mais a sua necessidade que podemos dar mais recomendações.

Atenciosamente,
-- 
Matheus de Oliveira
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] pg_basebackup - 9.3

[Patrick B]

Olá pessoal.

o pg_basebackup pode ser usado para gerar uma cópia local da DB?

A ideia é utilizar a opção -Ft e dividir o dump entre arquivos de 50GB, por
exemplo.

É possível com o basebackup?

Patrick
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - PostgreSQL 9.2

[Patrick B]

https://www.postgresql.org/docs/9.2/static/app-pgbasebackup.html
"
-D directory
--pgdata=directory

Directory to write the output to. pg_basebackup will create the
directory and any parent directories if necessary. The directory may
already exist, but it is an error if the directory already exists and is
not empty.

When the backup is in tar mode, and the directory is specified as -
(dash), the tar file will be written to stdout.

This option is required.


Acabei de achar a informação...

Obrigado
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] pg_basebackup - PostgreSQL 9.2

[Patrick B]

Olá pessoal,

Tenho um servidor slave que deu problema nos discos, estou agora realizando
a cópia da DB novamente, utilizando o pg_basebackup.


Pergunta:
Eu ainda tenho a base velha no servidor, e estou executando o comando para
re-sincronizar. Vai ocupar espaço novo? Ou irá reescrever os dados sem
aumentar o espaço em disco?

Obrigado
Patrick
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - Não completa

[drum.lu...@gmail.com]

Link com todos os passos que segui:
http://superuser.com/questions/1023770/new-postgresql-slave-server-error-timeline

recovery.conf:

restore_command = 'exec nice -n 19 ionice -c 2 -n 7
../../bin/restore_wal_segment.bash "../wal_archive/%f" "%p"'
archive_cleanup_command = 'exec nice -n 19 ionice -c 2 -n 7
../../bin/pg_archivecleaup_mv.bash -d "../wal_archive" "%r"'
recovery_target_timeline = 'latest'
standby_mode = on
primary_conninfo = 'host=192.168.100.XX port=5432 user=replicator
application_name=replication_new_slave'




Lucas Possamai

kinghost.co.nz


2016-01-09 13:22 GMT+13:00 drum.lu...@gmail.com :

> Pessoal... o pg_bassebackup completou com sucesso...
>
> Fiz o restore pelo wal archive...
> Mas agora, quando voltei a replication no recovery.conf pro master, tenho
> o seguinte erro:
>
> ../wal_archive/00040C6800C8` not found
> ../wal_archive/0005.history` not found
>
> FATAL:  timeline 2 of the primary does not match recovery target timeline 1
>
> Sabem o que pode ser?
> Obrigado
>
>
>
>
> Lucas Possamai
>
> kinghost.co.nz
> 
>
> 2016-01-07 14:45 GMT+13:00 drum.lu...@gmail.com :
>
>> *FRANKLIN:*
>>
>> Fala cara! beleza?
>> Olha.. pode até ser sim.
>>
>> Mas, eu ja tinha rodado este comando com sucesso uma vez (Tive que
>> refazer o processo.) e tinha funcionado o mesmo comando.. e detalhe...
>> já reiniciei o servidor antes de rodar o comando novamente...
>> Além do que não tenho nada nos logs como TIMEOUT
>>
>> *SEBASTIAN:*
>>
>> Fala cara! Tudo certo?
>>
>> Nada de erros nem no message/syslog/sshd.log etc
>>
>> Pode ser tanto do master quanto dos slaves.. no meu caso, para não
>> sobrecarregar o master eu puxo do slave... já fiz uma vez e deu certo hehehe
>>
>> Sobre o comando:
>> Como eu disse à cima, já usei antes e funcionou (Tive que repetir o
>> processo agora, por isso que estou fazendo novamente)...
>>
>> *O QUE ESTOU FAZENDO AGORA:*
>> Rodei o comando novamente pessoal... antes disso reiniciei o servidor
>> slave02 para "limpar" memória e tudo mais...
>>
>> Está indo.. já passou dos 64GB que antes parava.. Vamos aguardar para ver
>> se não vai dar problema novamente. SE der, vou testar o comando do FRANKLIN:
>>
>> ssh -o connecttimeout=172800 postg...@prod-db-01.geoop.com
>> 'pg_basebackup --pgdata=- --format=tar --label=bb_master --progress
>> --host=localhost --port=5432 --username=replicator --xlog | pv --quiet
>> --rate-limit 100M' | tar -x --no-same-owner
>>
>> Obrigado pela rápida resposta!
>> Lucas
>>
>>
>>
>> Lucas Possamai
>>
>> kinghost.co.nz
>> 
>>
>> 2016-01-07 14:35 GMT+13:00 Sebastian Webber :
>>
>>>
>>>
>>> Em 6 de janeiro de 2016 23:01, drum.lu...@gmail.com <
>>> drum.lu...@gmail.com> escreveu:
>>>
 Olá pessoal...

>>>
>>> Boa noite!
>>>
>>>
>>>
 Rodando o comando (pg_basebackup) para poder ativar um novo slave,
 posso ver que ele executa o comando até certo ponto. Quando chega em 68 GB
 (deveria copiar /base que tem 1.7TB ) ele simplesmente para...

>>>
>>>
>>> Algum erro no log do servidor remoto? que quando falo log quero dizer:
>>> arquivos no pg_log, syslog (/var/log/messages), dmesg.
>>>
>>>

 Seguinte cenário:

 masterdb1 - Servidor Master
 slave01 - Servidor slave WARM (Estou realizando o pg_basebackup por
 este)
 slave02 - Novo servidor slave WARM (neste é que rodo o comando.

 não aparece nada nos logs do slave01 pois o postgreSQL não está rodando
 mas também não há nada nos logs do slave02 e do master

 nada mesmo

 Comando rodado:

 

 *# (as root)*
 screen -t basebackup
 su - postgres
 cd ~/9.2/data/

 *# (as postgres)*
 ssh postgres@slave01 'pg_basebackup --pgdata=- --format=tar
 --label=bb_slave01 --progress --host=localhost --port=5432 --username=rep
 --xlog | pv --quiet --rate-limit 100M' | tar -x --no-same-owner

>>>
>>> o host não seria masterdb1? afinal, é dele que vc está fazendo o backup.
>>>
>>> Sem usar o formato tar, ocorre o mesmo problema? Outra coisa: por que
>>> não rodar o comando diretamente pelo servidor remoto?
>>>
>>> Pra testar, eu faria:
>>>
>>> ssh postgres@slave01
>>>
>>> screen -x
>>>
>>> pg_basebackup -h masterdb1 -U rep --xlog -P -v -Fp -D
>>> /caminho/para/o/pgdata
>>>
>>>
>>> Tenta aí e me avisa como fica.
>>>
>>> --
>>> Sebastian Webber
>>> http://swebber.me
>>>
>>> ___
>>> pgbr-geral mailing list
>>> pgbr-geral@listas.postgresql.org.br
>>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>>
>>
>>
>
___

Re: [pgbr-geral] pg_basebackup - Não completa

[drum.lu...@gmail.com]

Pessoal... o pg_bassebackup completou com sucesso...

Fiz o restore pelo wal archive...
Mas agora, quando voltei a replication no recovery.conf pro master, tenho o
seguinte erro:

../wal_archive/00040C6800C8` not found
../wal_archive/0005.history` not found

FATAL:  timeline 2 of the primary does not match recovery target timeline 1

Sabem o que pode ser?
Obrigado




Lucas Possamai

kinghost.co.nz


2016-01-07 14:45 GMT+13:00 drum.lu...@gmail.com :

> *FRANKLIN:*
>
> Fala cara! beleza?
> Olha.. pode até ser sim.
>
> Mas, eu ja tinha rodado este comando com sucesso uma vez (Tive que refazer
> o processo.) e tinha funcionado o mesmo comando.. e detalhe... já
> reiniciei o servidor antes de rodar o comando novamente...
> Além do que não tenho nada nos logs como TIMEOUT
>
> *SEBASTIAN:*
>
> Fala cara! Tudo certo?
>
> Nada de erros nem no message/syslog/sshd.log etc
>
> Pode ser tanto do master quanto dos slaves.. no meu caso, para não
> sobrecarregar o master eu puxo do slave... já fiz uma vez e deu certo hehehe
>
> Sobre o comando:
> Como eu disse à cima, já usei antes e funcionou (Tive que repetir o
> processo agora, por isso que estou fazendo novamente)...
>
> *O QUE ESTOU FAZENDO AGORA:*
> Rodei o comando novamente pessoal... antes disso reiniciei o servidor
> slave02 para "limpar" memória e tudo mais...
>
> Está indo.. já passou dos 64GB que antes parava.. Vamos aguardar para ver
> se não vai dar problema novamente. SE der, vou testar o comando do FRANKLIN:
>
> ssh -o connecttimeout=172800 postg...@prod-db-01.geoop.com 'pg_basebackup
> --pgdata=- --format=tar --label=bb_master --progress --host=localhost
> --port=5432 --username=replicator --xlog | pv --quiet --rate-limit 100M' |
> tar -x --no-same-owner
>
> Obrigado pela rápida resposta!
> Lucas
>
>
>
> Lucas Possamai
>
> kinghost.co.nz
> 
>
> 2016-01-07 14:35 GMT+13:00 Sebastian Webber :
>
>>
>>
>> Em 6 de janeiro de 2016 23:01, drum.lu...@gmail.com > > escreveu:
>>
>>> Olá pessoal...
>>>
>>
>> Boa noite!
>>
>>
>>
>>> Rodando o comando (pg_basebackup) para poder ativar um novo slave, posso
>>> ver que ele executa o comando até certo ponto. Quando chega em 68 GB
>>> (deveria copiar /base que tem 1.7TB ) ele simplesmente para...
>>>
>>
>>
>> Algum erro no log do servidor remoto? que quando falo log quero dizer:
>> arquivos no pg_log, syslog (/var/log/messages), dmesg.
>>
>>
>>>
>>> Seguinte cenário:
>>>
>>> masterdb1 - Servidor Master
>>> slave01 - Servidor slave WARM (Estou realizando o pg_basebackup por este)
>>> slave02 - Novo servidor slave WARM (neste é que rodo o comando.
>>>
>>> não aparece nada nos logs do slave01 pois o postgreSQL não está rodando
>>> mas também não há nada nos logs do slave02 e do master
>>>
>>> nada mesmo
>>>
>>> Comando rodado:
>>>
>>> 
>>>
>>> *# (as root)*
>>> screen -t basebackup
>>> su - postgres
>>> cd ~/9.2/data/
>>>
>>> *# (as postgres)*
>>> ssh postgres@slave01 'pg_basebackup --pgdata=- --format=tar
>>> --label=bb_slave01 --progress --host=localhost --port=5432 --username=rep
>>> --xlog | pv --quiet --rate-limit 100M' | tar -x --no-same-owner
>>>
>>
>> o host não seria masterdb1? afinal, é dele que vc está fazendo o backup.
>>
>> Sem usar o formato tar, ocorre o mesmo problema? Outra coisa: por que não
>> rodar o comando diretamente pelo servidor remoto?
>>
>> Pra testar, eu faria:
>>
>> ssh postgres@slave01
>>
>> screen -x
>>
>> pg_basebackup -h masterdb1 -U rep --xlog -P -v -Fp -D
>> /caminho/para/o/pgdata
>>
>>
>> Tenta aí e me avisa como fica.
>>
>> --
>> Sebastian Webber
>> http://swebber.me
>>
>> ___
>> pgbr-geral mailing list
>> pgbr-geral@listas.postgresql.org.br
>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>
>
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] pg_basebackup - Não completa

[drum.lu...@gmail.com]

Olá pessoal...

Rodando o comando (pg_basebackup) para poder ativar um novo slave, posso
ver que ele executa o comando até certo ponto. Quando chega em 68 GB
(deveria copiar /base que tem 1.7TB ) ele simplesmente para...

Seguinte cenário:

masterdb1 - Servidor Master
slave01 - Servidor slave WARM (Estou realizando o pg_basebackup por este)
slave02 - Novo servidor slave WARM (neste é que rodo o comando.

não aparece nada nos logs do slave01 pois o postgreSQL não está rodando
mas também não há nada nos logs do slave02 e do master

nada mesmo

Comando rodado:



*# (as root)*
screen -t basebackup
su - postgres
cd ~/9.2/data/

*# (as postgres)*
ssh postgres@slave01 'pg_basebackup --pgdata=- --format=tar
--label=bb_slave01 --progress --host=localhost --port=5432 --username=rep
--xlog | pv --quiet --rate-limit 100M' | tar -x --no-same-owner

-

PostgreSQL 9.2

Alguém já passou por isso?
Obrigado!


Lucas Possamai

kinghost.co.nz

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - Não completa

[drum.lu...@gmail.com]

Só corrigindo:

não aparece nada nos logs do *slave02* pois o postgreSQL não está rodando
mas também não há nada nos logs do *slave01* e do master



Lucas Possamai

kinghost.co.nz


2016-01-07 14:01 GMT+13:00 drum.lu...@gmail.com :

> Olá pessoal...
>
> Rodando o comando (pg_basebackup) para poder ativar um novo slave, posso
> ver que ele executa o comando até certo ponto. Quando chega em 68 GB
> (deveria copiar /base que tem 1.7TB ) ele simplesmente para...
>
> Seguinte cenário:
>
> masterdb1 - Servidor Master
> slave01 - Servidor slave WARM (Estou realizando o pg_basebackup por este)
> slave02 - Novo servidor slave WARM (neste é que rodo o comando.
>
> não aparece nada nos logs do slave01 pois o postgreSQL não está rodando
> mas também não há nada nos logs do slave02 e do master
>
> nada mesmo
>
> Comando rodado:
>
> 
>
> *# (as root)*
> screen -t basebackup
> su - postgres
> cd ~/9.2/data/
>
> *# (as postgres)*
> ssh postgres@slave01 'pg_basebackup --pgdata=- --format=tar
> --label=bb_slave01 --progress --host=localhost --port=5432 --username=rep
> --xlog | pv --quiet --rate-limit 100M' | tar -x --no-same-owner
>
> -
>
> PostgreSQL 9.2
>
> Alguém já passou por isso?
> Obrigado!
>
>
> Lucas Possamai
>
> kinghost.co.nz
> 
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - Não completa

[Sebastian Webber]

Em 6 de janeiro de 2016 23:01, drum.lu...@gmail.com 
escreveu:

> Olá pessoal...
>

Boa noite!



> Rodando o comando (pg_basebackup) para poder ativar um novo slave, posso
> ver que ele executa o comando até certo ponto. Quando chega em 68 GB
> (deveria copiar /base que tem 1.7TB ) ele simplesmente para...
>


Algum erro no log do servidor remoto? que quando falo log quero dizer:
arquivos no pg_log, syslog (/var/log/messages), dmesg.


>
> Seguinte cenário:
>
> masterdb1 - Servidor Master
> slave01 - Servidor slave WARM (Estou realizando o pg_basebackup por este)
> slave02 - Novo servidor slave WARM (neste é que rodo o comando.
>
> não aparece nada nos logs do slave01 pois o postgreSQL não está rodando
> mas também não há nada nos logs do slave02 e do master
>
> nada mesmo
>
> Comando rodado:
>
> 
>
> *# (as root)*
> screen -t basebackup
> su - postgres
> cd ~/9.2/data/
>
> *# (as postgres)*
> ssh postgres@slave01 'pg_basebackup --pgdata=- --format=tar
> --label=bb_slave01 --progress --host=localhost --port=5432 --username=rep
> --xlog | pv --quiet --rate-limit 100M' | tar -x --no-same-owner
>

o host não seria masterdb1? afinal, é dele que vc está fazendo o backup.

Sem usar o formato tar, ocorre o mesmo problema? Outra coisa: por que não
rodar o comando diretamente pelo servidor remoto?

Pra testar, eu faria:

ssh postgres@slave01

screen -x

pg_basebackup -h masterdb1 -U rep --xlog -P -v -Fp -D /caminho/para/o/pgdata


Tenta aí e me avisa como fica.

-- 
Sebastian Webber
http://swebber.me
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - Não completa

[Franklin Anderson de Oliveira Souza]

Rapaz ! Apenas uma dica, sera que seu ssh com esse command line não está
dando timeout depois de um tempo em execução !? Experimenta roda o ssh com
o parametro

-o ConnectTimeout=86400



Em quarta-feira, 6 de janeiro de 2016, drum.lu...@gmail.com <
drum.lu...@gmail.com> escreveu:

> Só corrigindo:
>
> não aparece nada nos logs do *slave02* pois o postgreSQL não está rodando
> mas também não há nada nos logs do *slave01* e do master
>
>
>
> Lucas Possamai
>
> kinghost.co.nz
> 
>
> 2016-01-07 14:01 GMT+13:00 drum.lu...@gmail.com
>  <
> drum.lu...@gmail.com
> >:
>
>> Olá pessoal...
>>
>> Rodando o comando (pg_basebackup) para poder ativar um novo slave, posso
>> ver que ele executa o comando até certo ponto. Quando chega em 68 GB
>> (deveria copiar /base que tem 1.7TB ) ele simplesmente para...
>>
>> Seguinte cenário:
>>
>> masterdb1 - Servidor Master
>> slave01 - Servidor slave WARM (Estou realizando o pg_basebackup por este)
>> slave02 - Novo servidor slave WARM (neste é que rodo o comando.
>>
>> não aparece nada nos logs do slave01 pois o postgreSQL não está rodando
>> mas também não há nada nos logs do slave02 e do master
>>
>> nada mesmo
>>
>> Comando rodado:
>>
>> 
>>
>> *# (as root)*
>> screen -t basebackup
>> su - postgres
>> cd ~/9.2/data/
>>
>> *# (as postgres)*
>> ssh postgres@slave01 'pg_basebackup --pgdata=- --format=tar
>> --label=bb_slave01 --progress --host=localhost --port=5432 --username=rep
>> --xlog | pv --quiet --rate-limit 100M' | tar -x --no-same-owner
>>
>> -
>>
>> PostgreSQL 9.2
>>
>> Alguém já passou por isso?
>> Obrigado!
>>
>>
>> Lucas Possamai
>>
>> kinghost.co.nz
>> 
>>
>
>

-- 
Enviado do Gmail para celular
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup - Não completa

[drum.lu...@gmail.com]

*FRANKLIN:*

Fala cara! beleza?
Olha.. pode até ser sim.

Mas, eu ja tinha rodado este comando com sucesso uma vez (Tive que refazer
o processo.) e tinha funcionado o mesmo comando.. e detalhe... já
reiniciei o servidor antes de rodar o comando novamente...
Além do que não tenho nada nos logs como TIMEOUT

*SEBASTIAN:*

Fala cara! Tudo certo?

Nada de erros nem no message/syslog/sshd.log etc

Pode ser tanto do master quanto dos slaves.. no meu caso, para não
sobrecarregar o master eu puxo do slave... já fiz uma vez e deu certo hehehe

Sobre o comando:
Como eu disse à cima, já usei antes e funcionou (Tive que repetir o
processo agora, por isso que estou fazendo novamente)...

*O QUE ESTOU FAZENDO AGORA:*
Rodei o comando novamente pessoal... antes disso reiniciei o servidor
slave02 para "limpar" memória e tudo mais...

Está indo.. já passou dos 64GB que antes parava.. Vamos aguardar para ver
se não vai dar problema novamente. SE der, vou testar o comando do FRANKLIN:

ssh -o connecttimeout=172800 postg...@prod-db-01.geoop.com 'pg_basebackup
--pgdata=- --format=tar --label=bb_master --progress --host=localhost
--port=5432 --username=replicator --xlog | pv --quiet --rate-limit 100M' |
tar -x --no-same-owner

Obrigado pela rápida resposta!
Lucas



Lucas Possamai

kinghost.co.nz


2016-01-07 14:35 GMT+13:00 Sebastian Webber :

>
>
> Em 6 de janeiro de 2016 23:01, drum.lu...@gmail.com 
> escreveu:
>
>> Olá pessoal...
>>
>
> Boa noite!
>
>
>
>> Rodando o comando (pg_basebackup) para poder ativar um novo slave, posso
>> ver que ele executa o comando até certo ponto. Quando chega em 68 GB
>> (deveria copiar /base que tem 1.7TB ) ele simplesmente para...
>>
>
>
> Algum erro no log do servidor remoto? que quando falo log quero dizer:
> arquivos no pg_log, syslog (/var/log/messages), dmesg.
>
>
>>
>> Seguinte cenário:
>>
>> masterdb1 - Servidor Master
>> slave01 - Servidor slave WARM (Estou realizando o pg_basebackup por este)
>> slave02 - Novo servidor slave WARM (neste é que rodo o comando.
>>
>> não aparece nada nos logs do slave01 pois o postgreSQL não está rodando
>> mas também não há nada nos logs do slave02 e do master
>>
>> nada mesmo
>>
>> Comando rodado:
>>
>> 
>>
>> *# (as root)*
>> screen -t basebackup
>> su - postgres
>> cd ~/9.2/data/
>>
>> *# (as postgres)*
>> ssh postgres@slave01 'pg_basebackup --pgdata=- --format=tar
>> --label=bb_slave01 --progress --host=localhost --port=5432 --username=rep
>> --xlog | pv --quiet --rate-limit 100M' | tar -x --no-same-owner
>>
>
> o host não seria masterdb1? afinal, é dele que vc está fazendo o backup.
>
> Sem usar o formato tar, ocorre o mesmo problema? Outra coisa: por que não
> rodar o comando diretamente pelo servidor remoto?
>
> Pra testar, eu faria:
>
> ssh postgres@slave01
>
> screen -x
>
> pg_basebackup -h masterdb1 -U rep --xlog -P -v -Fp -D
> /caminho/para/o/pgdata
>
>
> Tenta aí e me avisa como fica.
>
> --
> Sebastian Webber
> http://swebber.me
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup

[Gerdan Rezende dos Santos]

Monta como NFS!
Até onde sei não é

T.'.A.'.F.'.,
 *Gerdan Rezende dos Santos *
*Po*stgreSQL  EnterpriseDB Specialist, Support, Training  Services
+55 (61) 9645-1525

2015-07-27 10:29 GMT-03:00 Danilo Silva danilo.dsg.go...@gmail.com:

 Pessoal,

 É possível executar o pg_basebackup com a opção -D apontando para um
 servidor de backups?

 algo como: pg_basebackup -D ip_servidor_backup

 []s
 Danilo

 ___
 pgbr-geral mailing list
 pgbr-geral@listas.postgresql.org.br
 https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral


___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] pg_basebackup

[Danilo Silva]

Pessoal,

É possível executar o pg_basebackup com a opção -D apontando para um
servidor de backups?

algo como: pg_basebackup -D ip_servidor_backup

[]s
Danilo
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup

[Fábio Telles Rodriguez]

2015-07-28 11:27 GMT-03:00 Euler Taveira eu...@timbira.com.br:

 On 27-07-2015 10:29, Danilo Silva wrote:

 É possível executar o pg_basebackup com a opção -D apontando para um
 servidor de backups?

 algo como: pg_basebackup -D ip_servidor_backup

  Não. Execute o pg_basebackup no servidor de backups.

+1

NFS é do mal!
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup

[Euler Taveira]

On 27-07-2015 10:29, Danilo Silva wrote:

É possível executar o pg_basebackup com a opção -D apontando para um
servidor de backups?

algo como: pg_basebackup -D ip_servidor_backup


Não. Execute o pg_basebackup no servidor de backups.


--
   Euler Taveira   Timbira - http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup

[Danilo Silva]

2015-07-28 11:27 GMT-03:00 Euler Taveira eu...@timbira.com.br:

 On 27-07-2015 10:29, Danilo Silva wrote:

 É possível executar o pg_basebackup com a opção -D apontando para um
 servidor de backups?

 algo como: pg_basebackup -D ip_servidor_backup

  Não. Execute o pg_basebackup no servidor de backups.

 ​Não me recordo, mas para ter somente o pg_basebackup instalado no
servidor, preciso apenas instalar a contrib? ou terei que efetuar uma
instalação padrão (completa) do postgres?

[]s
Danilo​
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup

[Matheus de Oliveira]

2015-07-28 15:25 GMT-03:00 Danilo Silva danilo.dsg.go...@gmail.com:

 ​Não me recordo, mas para ter somente o pg_basebackup instalado no
 servidor, preciso apenas instalar a contrib? ou terei que efetuar uma
 instalação padrão (completa) do postgres?


Apenas o pacote -client (se não me engano nos Debian-based somente
postgresql-client-common já resolve). O pg_basebackup não está nas
contribs.

Atenciosamente,
-- 
Matheus de Oliveira
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG_Basebackup não gera timeline history

[Matheus de Oliveira]

2015-05-06 15:56 GMT-03:00 André Ormenese aormen...@gmail.com:

 gerei o pg_upgrade a partir do master da versão 9.3.4.

 Subi o banco na versão 9.4.1 como master.

 A partir deste banco (master) na versão 9.4.1, estou gerando o
 pg_basebackup e tentando subir um slave.


Me parece que existe um bug no pg_basebackup que este não copia os arquivos
.history, assumindo não ser necessário. Ajudei a resolver um caso
exatamente igual ao seu esses dias no IRC. Não sei se foi reportado à -bugs
ainda, mas provavelmente terá de ser, vou pesquisar isso.

A solução no caso foi simplesmente executar o touch do arquivo .history na
pg_xlog do primário. Irá resolver o problema de sincronização entre o
primário e secundário, mas ficou uma dúvida se isso tem implicações futuras
negativas (fiquei de analisar o código pra ver, mas não tive tempo ainda).

Atenciosamente,
-- 
Matheus de Oliveira
Analista de Banco de Dados
Dextra Sistemas - MPS.Br nível F!
www.dextra.com.br/postgres
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG_Basebackup não gera timeline history

[André Ormenese]

Li, ontem, numa outra discussão (
http://postgresql.nabble.com/Missing-timeline-history-file-after-execution-of-pg-upgrade-td5826326.html
)que
a solução seria essa mesmo. Acabei gerando o arquivo .history no pg_xlog do
master e o problema sumiu.

Só para constar... todo o problema surgiu pq eu estava tentando gerar meu
slave através do backup feito no master.

Agora mudei a forma de fazer isso. Estou gerando o pg_basebackup direto na
máquina slave, apontando o host do master, e gerando como plain, não mais
como tar. Depois e só copiar os arquivos de configuração e recovery, e o
slave sobe, como read only, sem problema algum.

O tempo para recriar meu slave diminuiu consideravelmente.

Obrigado Matheus.






Em 7 de maio de 2015 09:44, Matheus de Oliveira matioli.math...@gmail.com
escreveu:


 2015-05-06 15:56 GMT-03:00 André Ormenese aormen...@gmail.com:

 gerei o pg_upgrade a partir do master da versão 9.3.4.

 Subi o banco na versão 9.4.1 como master.

 A partir deste banco (master) na versão 9.4.1, estou gerando o
 pg_basebackup e tentando subir um slave.


 Me parece que existe um bug no pg_basebackup que este não copia os
 arquivos .history, assumindo não ser necessário. Ajudei a resolver um caso
 exatamente igual ao seu esses dias no IRC. Não sei se foi reportado à -bugs
 ainda, mas provavelmente terá de ser, vou pesquisar isso.

 A solução no caso foi simplesmente executar o touch do arquivo .history na
 pg_xlog do primário. Irá resolver o problema de sincronização entre o
 primário e secundário, mas ficou uma dúvida se isso tem implicações futuras
 negativas (fiquei de analisar o código pra ver, mas não tive tempo ainda).

 Atenciosamente,
 --
 Matheus de Oliveira
 Analista de Banco de Dados
 Dextra Sistemas - MPS.Br nível F!
 www.dextra.com.br/postgres


 ___
 pgbr-geral mailing list
 pgbr-geral@listas.postgresql.org.br
 https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral


___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] PG_Basebackup não gera timeline history

[André Ormenese]

Bom dia pessoal.

Estou tentando usar o pg_basebackup, da versão 9.4.1 do Postgres, para
restore do banco em outra máquina.

Segue comando utilizado : $PATH_BANCO/pg_basebackup --pgdata=$DIR_BASE/back
--format=tar --xlog-method=fetch --progress --verbose --host=$PGHOST
--label=$NOMESIS --port=$PGPORT

Quando tento subir o banco em outro servidor, com a mesma versão do banco,
recebo a seguinte mensagem no log :
2015-05-05 09:36:56 BRT [60357]: [24-1] user=,db= LOG:  restored log file
0002005F001A from archive
2015-05-05 09:36:56 BRT [60357]: [25-1] user=,db= LOG:  record with zero
length at 5F/1A005190
2015-05-05 09:36:56 BRT [60425]: [1-1] user=,db= LOG:  fetching timeline
history file for timeline 2 from primary server
2015-05-05 09:36:56 BRT [60425]: [2-1] user=,db= FATAL:  could not receive
timeline history file from the primary server: ERROR:  could not open file
pg_xlog/0002.history: No such file or directory


Percebi que no pg_xlog de origem do backup é gerado o
arquivo 0002005F0019.0028.backup, mas o 0002.history
não.

O backup_label está assim :
START WAL LOCATION: 5F/1928 (file 0002005F0019)
CHECKPOINT LOCATION: 5F/1960
BACKUP METHOD: streamed
BACKUP FROM: master
START TIME: 2015-05-05 01:35:01 BRT
LABEL: HEMOCENTRO

Alguma dica de onde estou cometendo erro ??

Att,
André
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] PG_Basebackup não gera timeline

[André Ormenese]

Bom dia pessoal.

Estou tentando usar o pg_basebackup, da versão 9.4.1 do Postgres, para
restore do banco em outra máquina.

Segue comando utilizado : $PATH_BANCO/pg_basebackup --pgdata=$DIR_BASE/back
--format=tar --xlog-method=fetch --progress --verbose --host=$PGHOST
--label=$NOMESIS --port=$PGPORT

Quando tento subir o banco em outro servidor, com a mesma versão do banco,
recebo a seguinte mensagem no log :
2015-05-05 09:36:56 BRT [60357]: [24-1] user=,db= LOG:  restored log file
0002005F001A from archive
2015-05-05 09:36:56 BRT [60357]: [25-1] user=,db= LOG:  record with zero
length at 5F/1A005190
2015-05-05 09:36:56 BRT [60425]: [1-1] user=,db= LOG:  fetching timeline
history file for timeline 2 from primary server
2015-05-05 09:36:56 BRT [60425]: [2-1] user=,db= FATAL:  could not receive
timeline history file from the primary server: ERROR:  could not open file
pg_xlog/0002.history: No such file or directory


Percebi que no pg_xlog de origem do backup é gerado o
arquivo 0002005F0019.0028.backup, mas o 0002.history
não.

O backup_label está assim :
START WAL LOCATION: 5F/1928 (file 0002005F0019)
CHECKPOINT LOCATION: 5F/1960
BACKUP METHOD: streamed
BACKUP FROM: master
START TIME: 2015-05-05 01:35:01 BRT
LABEL: HEMOCENTRO

Alguma dica de onde estou cometendo erro ??

Att,
André
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG_Basebackup não gera timeline history

[Matheus de Oliveira]

On Tue, May 5, 2015 at 9:52 AM, André Ormenese aormen...@gmail.com wrote:


 Estou tentando usar o pg_basebackup, da versão 9.4.1 do Postgres, para
 restore do banco em outra máquina.

 Segue comando utilizado : $PATH_BANCO/pg_basebackup
 --pgdata=$DIR_BASE/back --format=tar --xlog-method=fetch --progress
 --verbose --host=$PGHOST --label=$NOMESIS --port=$PGPORT

 Quando tento subir o banco em outro servidor, com a mesma versão do banco,
 recebo a seguinte mensagem no log :
 2015-05-05 09:36:56 BRT [60357]: [24-1] user=,db= LOG:  restored log file
 0002005F001A from archive
 2015-05-05 09:36:56 BRT [60357]: [25-1] user=,db= LOG:  record with zero
 length at 5F/1A005190
 2015-05-05 09:36:56 BRT [60425]: [1-1] user=,db= LOG:  fetching timeline
 history file for timeline 2 from primary server
 2015-05-05 09:36:56 BRT [60425]: [2-1] user=,db= FATAL:  could not receive
 timeline history file from the primary server: ERROR:  could not open file
 pg_xlog/0002.history: No such file or directory


 Percebi que no pg_xlog de origem do backup é gerado o
 arquivo 0002005F0019.0028.backup, mas o 0002.history
 não.


Não é o pg_basebackup que gera esse arquivo. Ele é gerado ao executar um
promote. Por acaso este era um servidor slave em outra versão que foi
atualizado usando o pg_upgrade?

Atenciosamente,
-- 
Matheus de Oliveira
Analista de Banco de Dados
Dextra Sistemas - MPS.Br nível F!
www.dextra.com.br/postgres
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG_Basebackup não gera timeline history

[Guimarães Faria Corcete DUTRA , Leandro]

2015-05-05 9:52 GMT-03:00 André Ormenese aormen...@gmail.com:

 Quando tento subir o banco em outro servidor

Exatamente como?


-- 
skype:leandro.gfc.dutra?chat  Yahoo!: ymsgr:sendIM?lgcdutra
+55 (61) 3546 7191  gTalk: xmpp:leand...@jabber.org
+55 (61) 9302 2691ICQ/AIM: aim:GoIM?screenname=61287803
BRAZIL GMT−3  MSN: msnim:chat?contact=lean...@dutra.fastmail.fm
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG_Basebackup não gera timeline history

[André Ormenese]

2015-05-06 11:14 GMT-03:00 Matheus de Oliveira matioli.math...@gmail.com:


 On Tue, May 5, 2015 at 9:52 AM, André Ormenese aormen...@gmail.com
 wrote:


 Estou tentando usar o pg_basebackup, da versão 9.4.1 do Postgres, para
 restore do banco em outra máquina.

 Segue comando utilizado : $PATH_BANCO/pg_basebackup
 --pgdata=$DIR_BASE/back --format=tar --xlog-method=fetch --progress
 --verbose --host=$PGHOST --label=$NOMESIS --port=$PGPORT

 Quando tento subir o banco em outro servidor, com a mesma versão do
 banco, recebo a seguinte mensagem no log :
 2015-05-05 09:36:56 BRT [60357]: [24-1] user=,db= LOG:  restored log file
 0002005F001A from archive
 2015-05-05 09:36:56 BRT [60357]: [25-1] user=,db= LOG:  record with zero
 length at 5F/1A005190
 2015-05-05 09:36:56 BRT [60425]: [1-1] user=,db= LOG:  fetching timeline
 history file for timeline 2 from primary server
 2015-05-05 09:36:56 BRT [60425]: [2-1] user=,db= FATAL:  could not
 receive timeline history file from the primary server: ERROR:  could not
 open file pg_xlog/0002.history: No such file or directory


 Percebi que no pg_xlog de origem do backup é gerado o
 arquivo 0002005F0019.0028.backup, mas o 0002.history
 não.


 Não é o pg_basebackup que gera esse arquivo. Ele é gerado ao executar um
 promote. Por acaso este era um servidor slave em outra versão que foi
 atualizado usando o pg_upgrade?


 Matheus,

gerei o pg_upgrade a partir do master da versão 9.3.4.

Subi o banco na versão 9.4.1 como master.

A partir deste banco (master) na versão 9.4.1, estou gerando o
pg_basebackup e tentando subir um slave.

Para isso, descompacto o tar e copio os arquivos de configuração para o
slave (postgresql.conf, pg_hba.conf e recovery.conf).
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] PG_Basebackup não gera timeline history

[André Ormenese]

Em 6 de maio de 2015 11:14, Guimarães Faria Corcete DUTRA, Leandro 
l...@dutras.org escreveu:

 2015-05-05 9:52 GMT-03:00 André Ormenese aormen...@gmail.com:
 
  Quando tento subir o banco em outro servidor

 Exatamente como?


Copio o tar gerado pelo pg_basebackup no servidor, descompacto, copio os
arquivos de configuração para subir um slave, e executo o pg_ctl start.
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] pg_basebackup lento

[Eduardo Rodrigues]

Boa tarde a todos, 

estou implementando o backup com o pg_basebackup, mas esta muito lento.
utlizei os comandos a seguir:

1 - pg_basebackup -h 127.0.0.1 -U bkp_user -D /home/bkp -Ft -z

2 - pg_basebackup -h 127.0.0.1 -U bkp_user -D /home/bkp 

O database ocupa em média 377GB, executando o backup compactado através
do comando (1) leva em média 12 horas para finalizar o mesmo, e o
comando(2) leva quase o mesmo tempo. Utilizo um servidor com dois
processadores Intel(R) Xeon(R) CPU E5-2630 0 @ 2.30GHz que emulam 24
processadores e 64 GB de memória RAM. O Load da máquina esta baixo em
média fica com 0.43 0.54 0.60. O arquivo de backup esta sendo armazenado
um array de discos diferente de onde esta alocado o cluster do
Postgresql, onde não a escrita de disco não esta sendo o gargalo.

Não há um modo de adicionar mais jobs no comando pg_basebackup?

Atenciosamente
Eduardo Rodrigues
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup lento

[Eduardo Rodrigues]

Realmente o problema é IO, vou analisar o que esta ocorrendo para poder
identificar o que esta causando esse gargalo de disco.

Obrigado pela ajuda

Em Qui, 2015-03-05 às 14:17 -0300, Euler Taveira escreveu:

 On 04-03-2015 15:26, Eduardo Rodrigues wrote:
  estou implementando o backup com o pg_basebackup, mas esta muito lento.
  utlizei os comandos a seguir:
  
 Você falou em 'load' mas o que interessa é IO. Qual é a saída do vmstat
 ou iostat ao executar o pg_basebackup?
 
  Não há um modo de adicionar mais jobs no comando pg_basebackup?
  
 Não. E também não adiantaria pois o gargalo durante a operação não é CPU
 e sim IO.
 
 


___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup lento

[Euler Taveira]

On 04-03-2015 15:26, Eduardo Rodrigues wrote:
 estou implementando o backup com o pg_basebackup, mas esta muito lento.
 utlizei os comandos a seguir:
 
Você falou em 'load' mas o que interessa é IO. Qual é a saída do vmstat
ou iostat ao executar o pg_basebackup?

 Não há um modo de adicionar mais jobs no comando pg_basebackup?
 
Não. E também não adiantaria pois o gargalo durante a operação não é CPU
e sim IO.


-- 
   Euler Taveira   Timbira - http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup lento

[Flavio Henrique Araque Gurgel]

Evite o top-post


Realmente o problema é IO, vou analisar o que esta ocorrendo para poder
identificar o que esta causando esse gargalo de disco.


Ou rede.

[]s
Flavio Gurgel
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup para fita

[Jean Pereira]

On 02/05/2014 04:28 PM, Flavio Henrique Araque Gurgel wrote:



 Gostaria de saber se é viável e se tem como eu rodar um 
pg_basebackup e mandar direto para a fita (/dev/st0)?


Sim sem problemas.
O único inconveniente que vejo é que isso demora dependendo do 
tamanho, mas aí é caso a caso.



Legal.. é somente 120 Gb, pequeno ainda.
Hoje efetuo o backup e depois mando para a fita.
Posso estar enganado, mais acho que mandar direto fica mais rápido. É LTO-3

Flavio, eu não sei exatamente o comando, e também não achei tal exemplo 
na internet, poderia me ajudar com o mesmo?


Obrigado.


[] s



___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral


___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup para fita

[Jean Pereira]

On 02/05/2014 04:52 PM, Douglas Fabiano Specht wrote:




Em 5 de fevereiro de 2014 16:28, Flavio Henrique Araque Gurgel 
fha...@gmail.com mailto:fha...@gmail.com escreveu:



 Gostaria de saber se é viável e se tem como eu rodar um
pg_basebackup e mandar direto para a fita (/dev/st0)?

Sim sem problemas.
O único inconveniente que vejo é que isso demora dependendo do
tamanho, mas aí é caso a caso.

[] s


___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
mailto:pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral


nao seria melhor vc colocar para fazer o bckup um uma partição do 
disco, e ter um shell script que copie ele para a fita?

Praticamente faço isso hoje.


--

Douglas Fabiano Specht


___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral


___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] pg_basebackup para fita

[Jean Pereira]

Boa tarde,

Gostaria de saber se é viável e se tem como eu rodar um pg_basebackup e 
mandar direto para a fita (/dev/st0)?


Abraço!
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup para fita

[Flavio Henrique Araque Gurgel]

 Gostaria de saber se é viável e se tem como eu rodar um pg_basebackup e
mandar direto para a fita (/dev/st0)?

Sim sem problemas.
O único inconveniente que vejo é que isso demora dependendo do tamanho, mas
aí é caso a caso.

[] s
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup para fita

[Douglas Fabiano Specht]

Em 5 de fevereiro de 2014 16:28, Flavio Henrique Araque Gurgel 
fha...@gmail.com escreveu:


  Gostaria de saber se é viável e se tem como eu rodar um pg_basebackup e
 mandar direto para a fita (/dev/st0)?

 Sim sem problemas.
 O único inconveniente que vejo é que isso demora dependendo do tamanho,
 mas aí é caso a caso.

 [] s

 ___
 pgbr-geral mailing list
 pgbr-geral@listas.postgresql.org.br
 https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral


nao seria melhor vc colocar para fazer o bckup um uma partição do disco, e
ter um shell script que copie ele para a fita?

-- 

Douglas Fabiano Specht
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] pg_basebackup

[Jean Domingues]

Pessoal,

estou com duvida sobre o que informar no parametro -X de pg_basebackup. Qual o 
valor correto para que, ao final do backup, eu tenha o log gerado durante o 
backup, e nao corra o risco de ter erro ao restaurar?

Jean Domingues.___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup

[Euler Taveira]

On 08-10-2012 08:53, Jean Domingues wrote:
 estou com duvida sobre o que informar no parametro -X de pg_basebackup. Qual o
 valor correto para que, ao final do backup, eu tenha o log gerado durante o
 backup, e nao corra o risco de ter erro ao restaurar?
 
Você não informou a versão mas o parâmetro -X só está disponível na 9.2
então... Com a opção -X você tem duas escolhas:

(i) fazer a cópia ao final da cópia de segurança física (-X f): para isso é
necessário ter wal_keep_segments com um valor alto o suficiente para o
postgres não reciclar os arquivos do WAL até o fim da cópia física;
(ii) fazer o envio em paralelo com a cópia de segurança física (-X s): ele
estabelece uma segunda conexão (além da que já faz a cópia física) para
transferir os arquivos do WAL ao mesmo tempo que a outra conexão transmite a
cópia física.

Eu prefiro a segunda opção já que ela não precisa que eu adivinhe um valor
para wal_keep_segments. No entanto, ela utiliza uma conexão a mais (lembrar de
adicionar 1 a max_wal_senders no servidor primário -- alteração deste
parâmetro precisa de reinício do serviço) e você utilizará mais banda durante
a execução do pg_basebackup mas, em compensação, você agilizará a cópia e
*não* corre o risco de perder arquivos do WAL durante a cópia.

Na versão 9.1, a opção (i) é a única possível.


-- 
   Euler Taveira de Oliveira - Timbira   http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup

[Jean Domingues]

Valeu Euler.


 estou com duvida sobre o que informar no parametro -X de pg_basebackup. Qual 
 o
 valor correto para que, ao final do backup, eu tenha o log gerado durante o
 backup, e nao corra o risco de ter erro ao restaurar?
 
Você não informou a versão mas o parâmetro -X só está disponível na 9.2
então... Com a opção -X você tem duas escolhas:

(i) fazer a cópia ao final da cópia de segurança física (-X f): para isso é
necessário ter wal_keep_segments com um valor alto o suficiente para o
postgres não reciclar os arquivos do WAL até o fim da cópia física;
(ii) fazer o envio em paralelo com a cópia de segurança física (-X s): ele
estabelece uma segunda conexão (além da que já faz a cópia física) para
transferir os arquivos do WAL ao mesmo tempo que a outra conexão transmite a
cópia física.

Eu prefiro a segunda opção já que ela não precisa que eu adivinhe um valor
para wal_keep_segments. No entanto, ela utiliza uma conexão a mais (lembrar de
adicionar 1 a max_wal_senders no servidor primário -- alteração deste
parâmetro precisa de reinício do serviço) e você utilizará mais banda durante
a execução do pg_basebackup mas, em compensação, você agilizará a cópia e
*não* corre o risco de perder arquivos do WAL durante a cópia.

Na versão 9.1, a opção (i) é a única possível.


-- 
   Euler Taveira de Oliveira - Timbira      http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] pg_basebackup não funciona

[Eric Patrick]

Olá pessoal,

Estou tentando usar o pg_basebackup do PostgreSQL 9.0 mas por algum motivo
não estou conseguindo. Toda vez que tento usar aparece a seguinte mensagem:

Error: pg_wrapper: invalid command name

Estou usando o pg_basebackup com os seguintes parâmetros:

pg_basebackup -x -P -D postgres/ -h ip_master

Eu até pensei que poderia ser erro meu ao usar o pg_baseckup, mas
usando dessa forma no PostgreSQL 9.1, ele funciona. Vocês tem ideia do
que pode estar acontecendo?

Desde já agradeço,
Eric.
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup não funciona

[Euler Taveira]

On 18-04-2012 09:46, Eric Patrick wrote:
 Eu até pensei que poderia ser erro meu ao usar o pg_baseckup, mas usando 
 dessa forma no PostgreSQL 9.1, ele funciona. Vocês tem ideia do que pode 
 estar acontecendo?
 
Ué, simplesmente porque pg_basebackup *não* existe no 9.0.


-- 
   Euler Taveira de Oliveira - Timbira   http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] pg_basebackup não funciona

[Euler Taveira]

On 18-04-2012 11:34, Eric Patrick wrote:
 Entendi. Então qual outro recurso eu poderia usar para sincronizar as bases de
 dados entre os bancos? Eu já tentei o rsync mas estou tendo problemas de
 permissão aqui que são inviáveis de resolver no momento. Então seria
 interessante uma outra abordagem que não seja o rsync.
 
Qualquer aplicativo que faça cópia? scp, ftp, smbclient, cp (NFS), ...


-- 
   Euler Taveira de Oliveira - Timbira   http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral