Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Leandro,

Em Bucardo?! Já ouvi por alto.

Depois do discutido aqui, eu estou olhando para o PgLogical.

@ivanelson
[]s

Em 23 de junho de 2017 12:03, Leandro Guimarães Faria Corcete DUTRA <
l...@dutras.org> escreveu:

> Le vendredi 23 juin 2017 à 11:48 -0300, Ivanelson Nunes a écrit :
> >
> > Meus bandos são todos na versão 9.4, então o que tenho hoje de opção
> > para replicação lógica que suporte a versão 9.4?
>
> Já te falamos do Bucardo, não?  E creio que há outros que agora me
> fogem à memória.
>
>
> --
> skype:leandro.gfc.dutra?chat  Yahoo!: ymsgr:sendIM?lgcdutra
> +55 (61) 3546 7191  gTalk: xmpp:leand...@jabber.org
> +55 (61) 9302 2691ICQ/AIM: aim:GoIM?screenname=61287803
> BRAZIL GMT−3  MSN: msnim:chat?contact=lean...@dutra.fastmail.fm
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Leandro Guimarães Faria Corcete DUTRA]

Le vendredi 23 juin 2017 à 11:48 -0300, Ivanelson Nunes a écrit :
> 
> Meus bandos são todos na versão 9.4, então o que tenho hoje de opção
> para replicação lógica que suporte a versão 9.4?

Já te falamos do Bucardo, não?  E creio que há outros que agora me
fogem à memória.


-- 
skype:leandro.gfc.dutra?chat  Yahoo!: ymsgr:sendIM?lgcdutra
+55 (61) 3546 7191  gTalk: xmpp:leand...@jabber.org
+55 (61) 9302 2691ICQ/AIM: aim:GoIM?screenname=61287803
BRAZIL GMT−3  MSN: msnim:chat?contact=lean...@dutra.fastmail.fm
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Bom dia
Euler

Meus bandos são todos na versão 9.4, então o que tenho hoje de opção para
replicação lógica que suporte a versão 9.4?

@ivanelson
[]s

Em 22 de junho de 2017 19:48, Euler Taveira  escreveu:

> Em 22 de junho de 2017 10:47, Ivanelson Nunes 
> escreveu:
>
>>
>> Supondo que eu siga esse modelo e como hoje eu já replico via Streaming
>> replication e cada banco tem sua instância(sua porta) separada, então será
>> que o Streaming replication atender a replicação usando esse modelo de
>> distinção por esquema?
>>
>
> Não. Você não entendeu a arquitetura da replicação física (via streaming).
> Você só consegue replicar o cluster (instância) inteiro. No seu caso,
> replicar para uma única instância só usando replicação lógica.
>
>
> --
>Euler Taveira   Timbira -
> http://www.timbira.com.br/
>PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
> 
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Euler Taveira]

Em 22 de junho de 2017 10:47, Ivanelson Nunes 
escreveu:

>
> Supondo que eu siga esse modelo e como hoje eu já replico via Streaming
> replication e cada banco tem sua instância(sua porta) separada, então será
> que o Streaming replication atender a replicação usando esse modelo de
> distinção por esquema?
>

Não. Você não entendeu a arquitetura da replicação física (via streaming).
Você só consegue replicar o cluster (instância) inteiro. No seu caso,
replicar para uma única instância só usando replicação lógica.


-- 
   Euler Taveira   Timbira -
http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Arthur,

A intenção desse "juntar" é tornar os dados mais acessíveis  para fazer
relatórios, analises, etc...  Como tudo hoje está em instâncias separadas,
então fica difícil e custoso para apena a nível de aplicação obter esses
dados.

Por exemplo se quero os "CONTRATOS" abertos de todas as "N" Lojas., eu não
posso simplesmente, fazer select * from contrato , Eu tenho de conectar
em cada instância fazer o SELECT e depois ainda usar uma segunda estrutura
que agregue isso

@ivanelson
[]s

Em 22 de junho de 2017 09:22, Arthur Nascimento  escreveu:

> On Tue, Jun 20, 2017 at 7:26 PM Ivanelson Nunes 
> wrote:
> > Então como juntar esses bancos num único banco? E claro mantendo a
> consistência e o dado sempre atualizado.
>
> Qual a sua intenção por trás desse "juntar"? Se quiser que os dados
> estejam replicados em um local só, os outros ramos desta thread já falam de
> opções boas sobre replicação lógica.
>
> Mas também tem a chance de você só estar querendo que eles estejam
> *acessíveis* através de um banco único. Se for só isso, fica até mais
> simples: faça um banco novo, um schema para cada loja, sendo que cada um
> contém foreign tables para as respectivas tabelas dessas suas replicações
> locais.
>
> Assim você consegue consultar em um banco só loja1.tabela1, loja1.tabela2,
> ... loja2.tabela1, loja2, tabela2
> Em cima disso eu criaria visões com union all para ajudar as suas
> consultas, assim as tuplas ficam todas "juntas" e marcadas com as suas
> respectivas procedências:
> create view public.tabela1 as
>   select 'loja1', tabela1.* from loja1.tabela1
> union all
>   select 'loja2', tabela1.* from loja2.tabela1
> union all
>   
>
> Ajuste os nomes dos schemas adequadamente se tiver mais de um sendo usado
> nas lojas e/ou se não estiver usando o public. E visões materializadas
> podem ser úteis também.
>
> Boa sorte
> --
>
> Arthur Nascimento - tureba
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Fabrízio,

Sim a coluna empresa faz parte da PK, talvez eu tenha algumas poucas
tabelas sem essa coluna "empresa", porém não é difícil contornar isso.




@ivanelson
[]s

Em 22 de junho de 2017 09:16, Fabrízio de Royes Mello <
fabri...@timbira.com.br> escreveu:

>
> Em 22 de junho de 2017 02:18, Ivanelson Nunes 
> escreveu:
> >
> > Eu tenho no modelo uma coluna empresa em todas as tabelas. Então qual
> caminho seguir pglogical?
> > Bucardo?
> > BDR?
> >
>
> Vc não respondeu a pergunta do Euler, sua chave primária é única em cada
> base de dados? Essa coluna empresa faz parte da sua PK... se não nos
> mostrar um pouco mais do modelo fica dificil entender. Vide meu outro email
> com outra alternativa caso vc não tenha PK única.
>
> Att,
>
> --
>Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/
>PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Fabrizio
Bom dia

Minha aplicação não referencia o nome do esquema e renomear os esquemas e
alterar search_path para o padrão mencionado parece bem tranquilo.

A ideia de agregar por Herança parece boa.

Supondo que eu siga esse modelo e como hoje eu já replico via Streaming
replication e cada banco tem sua instância(sua porta) separada, então será
que o Streaming replication atender a replicação usando esse modelo de
distinção por esquema?

@ivanelson
[]s

Em 22 de junho de 2017 09:14, Fabrízio de Royes Mello <
fabri...@timbira.com.br> escreveu:

>
>
> Em 21 de junho de 2017 19:35, Euler Taveira 
> escreveu:
> >
> > Em 21 de junho de 2017 18:37, Ivanelson Nunes 
> escreveu:
> >>
> >>
> >> São todos iguais... Em todos os BD's de origem é o mesmo nome de
> esquema, mesmas tabelas, mesmas colunas, etc
> >
> >
> > Você só vai conseguir agregar dados de diferentes origens se a
> identificação da tupla (geralmente a chave) for única para todas as lojas.
> Isso quer dizer que você terá que (i) ter id único para registro na tabela
> contrato de todas as lojas ou (ii) ter uma coluna adicional "loja" em cada
> tabela a ser replicada para permitir uma identificação única dos registros.
> Tudo isso quer dizer que o seu modelo de dados deve estar preparado para
> essa agregação de múltiplas fontes de dados.
> >
> >
>
> Outra alternativa seria cada loja ter o "seu" schema, tipo "loja1",
> "loja2", "loja3", ..., "loja200"... assim os objetos seriam diferentes, e
> na "matriz" outro schema também... isso é fácil ajustando adequadamente o
> "search_path" em cada instância para deixar transparente para a aplicação
> pois provavelmente ela não qualifica o schema... ou qualifica ao usar em
> SQL Ivanelson??
>
> Nesta base central em um outro esquema especial, tipo "agregador" poderia
> criar toda a estrutura e por herança cada tabela de cada esquema herdar
> teste, algo do tipo:
>
>
> CREATE SCHEMA agregador;
> CREATE SCHEMA matriz;
> CREATE SCHEMA loja1;
> CREATE SCHEMA loja2;
>
> CREATE TABLE agregador.contrato(...);
> CREATE TABLE matriz.contrato(..) INHERITS (agregador.contrato);
> CREATE TABLE loja1.contrato(..) INHERITS (agregador.contrato);
> CREATE TABLE loja2.contrato(..) INHERITS (agregador.contrato);
>
>
> Desta forma temos os dados isolados por esquema e, caso necessário, também
> todos dados em um único ponto no esquema "agregador".
>
> Meus 0.01 centavos!
>
> Att,
>
> --
>Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/
>PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Arthur Nascimento]

On Tue, Jun 20, 2017 at 7:26 PM Ivanelson Nunes 
wrote:
> Então como juntar esses bancos num único banco? E claro mantendo a
consistência e o dado sempre atualizado.

Qual a sua intenção por trás desse "juntar"? Se quiser que os dados estejam
replicados em um local só, os outros ramos desta thread já falam de opções
boas sobre replicação lógica.

Mas também tem a chance de você só estar querendo que eles estejam
*acessíveis* através de um banco único. Se for só isso, fica até mais
simples: faça um banco novo, um schema para cada loja, sendo que cada um
contém foreign tables para as respectivas tabelas dessas suas replicações
locais.

Assim você consegue consultar em um banco só loja1.tabela1, loja1.tabela2,
... loja2.tabela1, loja2, tabela2
Em cima disso eu criaria visões com union all para ajudar as suas
consultas, assim as tuplas ficam todas "juntas" e marcadas com as suas
respectivas procedências:
create view public.tabela1 as
  select 'loja1', tabela1.* from loja1.tabela1
union all
  select 'loja2', tabela1.* from loja2.tabela1
union all
  

Ajuste os nomes dos schemas adequadamente se tiver mais de um sendo usado
nas lojas e/ou se não estiver usando o public. E visões materializadas
podem ser úteis também.

Boa sorte
-- 

Arthur Nascimento - tureba
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Fabrízio de Royes Mello]

Em 22 de junho de 2017 02:18, Ivanelson Nunes 
escreveu:
>
> Eu tenho no modelo uma coluna empresa em todas as tabelas. Então qual
caminho seguir pglogical?
> Bucardo?
> BDR?
>

Vc não respondeu a pergunta do Euler, sua chave primária é única em cada
base de dados? Essa coluna empresa faz parte da sua PK... se não nos
mostrar um pouco mais do modelo fica dificil entender. Vide meu outro email
com outra alternativa caso vc não tenha PK única.

Att,

--
   Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Fabrízio de Royes Mello]

Em 21 de junho de 2017 19:35, Euler Taveira  escreveu:
>
> Em 21 de junho de 2017 18:37, Ivanelson Nunes 
escreveu:
>>
>>
>> São todos iguais... Em todos os BD's de origem é o mesmo nome de
esquema, mesmas tabelas, mesmas colunas, etc
>
>
> Você só vai conseguir agregar dados de diferentes origens se a
identificação da tupla (geralmente a chave) for única para todas as lojas.
Isso quer dizer que você terá que (i) ter id único para registro na tabela
contrato de todas as lojas ou (ii) ter uma coluna adicional "loja" em cada
tabela a ser replicada para permitir uma identificação única dos registros.
Tudo isso quer dizer que o seu modelo de dados deve estar preparado para
essa agregação de múltiplas fontes de dados.
>
>

Outra alternativa seria cada loja ter o "seu" schema, tipo "loja1",
"loja2", "loja3", ..., "loja200"... assim os objetos seriam diferentes, e
na "matriz" outro schema também... isso é fácil ajustando adequadamente o
"search_path" em cada instância para deixar transparente para a aplicação
pois provavelmente ela não qualifica o schema... ou qualifica ao usar em
SQL Ivanelson??

Nesta base central em um outro esquema especial, tipo "agregador" poderia
criar toda a estrutura e por herança cada tabela de cada esquema herdar
teste, algo do tipo:


CREATE SCHEMA agregador;
CREATE SCHEMA matriz;
CREATE SCHEMA loja1;
CREATE SCHEMA loja2;

CREATE TABLE agregador.contrato(...);
CREATE TABLE matriz.contrato(..) INHERITS (agregador.contrato);
CREATE TABLE loja1.contrato(..) INHERITS (agregador.contrato);
CREATE TABLE loja2.contrato(..) INHERITS (agregador.contrato);


Desta forma temos os dados isolados por esquema e, caso necessário, também
todos dados em um único ponto no esquema "agregador".

Meus 0.01 centavos!

Att,

--
   Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Eu tenho no modelo uma coluna empresa em todas as tabelas. Então qual
caminho seguir pglogical?
Bucardo?
BDR?

Em qua, 21 de jun de 2017 às 19:35, Euler Taveira 
escreveu:

> Em 21 de junho de 2017 18:37, Ivanelson Nunes 
> escreveu:
>
>>
>> São todos iguais... Em todos os BD's de origem é o mesmo nome de esquema,
>> mesmas tabelas, mesmas colunas, etc
>>
>
> Você só vai conseguir agregar dados de diferentes origens se a
> identificação da tupla (geralmente a chave) for única para todas as lojas.
> Isso quer dizer que você terá que (i) ter id único para registro na tabela
> contrato de todas as lojas ou (ii) ter uma coluna adicional "loja" em cada
> tabela a ser replicada para permitir uma identificação única dos registros.
> Tudo isso quer dizer que o seu modelo de dados deve estar preparado para
> essa agregação de múltiplas fontes de dados.
>
>
> --
>Euler Taveira   Timbira -
> http://www.timbira.com.br/
>
>PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
> 
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

-- 
@ivanelson
[]s
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Euler Taveira]

Em 21 de junho de 2017 18:37, Ivanelson Nunes 
escreveu:

>
> São todos iguais... Em todos os BD's de origem é o mesmo nome de esquema,
> mesmas tabelas, mesmas colunas, etc
>

Você só vai conseguir agregar dados de diferentes origens se a
identificação da tupla (geralmente a chave) for única para todas as lojas.
Isso quer dizer que você terá que (i) ter id único para registro na tabela
contrato de todas as lojas ou (ii) ter uma coluna adicional "loja" em cada
tabela a ser replicada para permitir uma identificação única dos registros.
Tudo isso quer dizer que o seu modelo de dados deve estar preparado para
essa agregação de múltiplas fontes de dados.


-- 
   Euler Taveira   Timbira -
http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Guimarães Faria Corcete DUTRA , Leandro]

2017-06-21 18:37 GMT-03:00 Ivanelson Nunes :
>
> São todos iguais... Em todos os BD's de origem é o mesmo nome de esquema,
> mesmas tabelas, mesmas colunas, etc

Então o pgLogical não deve funcionar, a menos que se mude isso.
Talvez olhar o Bucardo ou algo semelhante?


-- 
skype:leandro.gfc.dutra?chat  Yahoo!: ymsgr:sendIM?lgcdutra
+55 (61) 3546 7191  gTalk: xmpp:leand...@jabber.org
+55 (61) 9302 2691ICQ/AIM: aim:GoIM?screenname=61287803
BRAZIL GMT−3  MSN: msnim:chat?contact=lean...@dutra.fastmail.fm
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Em 21 de junho de 2017 18:21, Fabrízio de Royes Mello <
fabri...@timbira.com.br> escreveu:

> Qual a confusão? O Euler falou exatamente a restrição de que o
> "esquema"."tabela" de cada database precisa ser IGUAL na ORIGEM e DESTINO...

Fabrizio,

São todos iguais... Em todos os BD's de origem é o mesmo nome de esquema,
mesmas tabelas, mesmas colunas, etc
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Fabrízio de Royes Mello]

Em 21 de junho de 2017 18:11, Ivanelson Nunes 
escreveu:
>
>
> Em 21 de junho de 2017 18:01, Euler Taveira 
escreveu:
>>
>> A consolidação em um mesmo banco de dados só vai funcionar se na origem
houver nomes de esquemas distintos (geralmente as aplicações usam o mesmo
nome).
>
>
> Euler,
>
> Fiquei confuso nessa parte! Tipo eu então minha Loja1, Loja2, ...Loja200
e nessas lojas tenho meu BD com seu esquema, etc... Então quero trazer
esses dados para um "BD-GERAL" remoto que fica no meu datacenter, porem
nesse "BD-GERAL" deve possibilitar a junção de todos esses dados.
>
> Por exemplo, eu tenho a tabela "CONTRATO", então nesse BD-GERAL eu quero
enxergar/selecionar num select os CONTRATOS da Loja1, Loja2,...Loja200 e
assim seria com as demais tabelas.
>

Qual a confusão? O Euler falou exatamente a restrição de que o
"esquema"."tabela" de cada database precisa ser IGUAL na ORIGEM e
DESTINO... vc tem em cada database "esquemas" distintos para poder
distinguir, por exemplo, a tabela "contrato" de cada Loja??

Att,

--
   Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Em 21 de junho de 2017 18:01, Euler Taveira  escreveu:

> A consolidação em um mesmo banco de dados só vai funcionar se na origem
> houver nomes de esquemas distintos (geralmente as aplicações usam o mesmo
> nome).


Euler,

Fiquei confuso nessa parte! Tipo eu então minha Loja1, Loja2, ...Loja200 e
nessas lojas tenho meu BD com seu esquema, etc... Então quero trazer esses
dados para um "BD-GERAL" remoto que fica no meu datacenter, porem nesse
"BD-GERAL" deve possibilitar a junção de todos esses dados.

Por exemplo, eu tenho a tabela "CONTRATO", então nesse BD-GERAL eu quero
enxergar/selecionar num select os CONTRATOS da Loja1, Loja2,...Loja200 e
assim seria com as demais tabelas.

Grato.

@ivanelson
[]s
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Euler Taveira]

Em 21 de junho de 2017 07:47, William Ivanski 
escreveu:

> Já a replicação lógica permite que você tenha todos os +200 bancos de
> dados (sabendo que eles terão nomes diferentes, por exemplo) em uma mesma
> instância no servidor de backup. Ou, em um mesmo banco de dados mas em
> schemas diferentes.


pglogical ou replicação lógica (versão 10) não permitem replicar objetos
cujos nomes (esquema e/ou tabela) na origem e no destino sejam diferentes.
A consolidação em um mesmo banco de dados só vai funcionar se na origem
houver nomes de esquemas distintos (geralmente as aplicações usam o mesmo
nome).


-- 
   Euler Taveira   Timbira -
http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Bom dia.

E Obrigado William.

@ivanelson
[]s

Em 21 de junho de 2017 07:47, William Ivanski 
escreveu:

> O problema de replicar a instância inteira, é que cada réplica de cada
> +200 instâncias ficarão em portas separadas no teu servidor de backup. Cada
> instância roda em uma porta específica.
>
> A vantagem disso é que, se caso dê algum problema em alguma das cidades e
> você perca esse banco, você pode simplesmente copiar todos os dados da
> pasta pgdata da porta específica do teu servidor de backup para a cidade
> que deu problema.
>
> Já a replicação lógica permite que você tenha todos os +200 bancos de
> dados (sabendo que eles terão nomes diferentes, por exemplo) em uma mesma
> instância no servidor de backup. Ou, em um mesmo banco de dados mas em
> schemas diferentes. Isso seria muito útil porque você poderia fazer
> consultas entre os dados replicados para extrair relatórios facilmente, por
> exemplo. Replicação lógica é muito usada em data warehousing.
>
> Mas qual seria a desvantagem disso? Não seria tão fácil recuperar um banco
> de dados de uma cidade, caso dê problema. Replicação lógica não é a melhor
> forma de backup, replicação física (streaming replication) sim. Mas
> replicação lógica é a única forma que permite "misturar" os dados da forma
> como você quer.
>
> Na minha opinião, a melhor abordagem são as duas ao mesmo tempo. Mantenha
> uma instância em cada porta, com replicação física, da forma como você já
> faz. Então crie uma nova instância vazia em outra porta, e use replicação
> lógica para replicar os dados seletivamente para dentro dessa instância.
> Dessa forma, você estará seguro para recuperação de desastres (como você já
> está), e ainda terá uma instância extra para agrupar os bancos, como você
> quer fazer.
>
> Mais sobre pglogical: https://www.2ndquadrant.com/en/resources/pglogical/
>
> William Ivanski
>
> 2017-06-20 21:36 GMT-03:00 Ivanelson Nunes :
>
>> Obrigado pela rápida resposta.
>>
>> Poderia me falar mais sobre replicação lógica?
>>
>> Nesse cenário qual o problema de replicar a instância inteira?
>>
>> Se eu usar pglogical meu problema inicial que é agrupar os todos os
>> bancos num único será resolvido!
>>
>> Enfim gostaria de ouvir um pouco mais.
>>
>> Grato.
>>
>> Em ter, 20 de jun de 2017 às 20:38, William Ivanski <
>> william.ivan...@gmail.com> escreveu:
>>
>>> Olá,
>>>
>>> Nesse cenário, vc não pode usar streaming replication, pois essa
>>> tecnologia replica a instância inteira. No seu caso, sugiro utilizar
>>> replicação lógica, por exemplo pglogical.
>>>
>>> Em 20/06/2017 19:26, "Ivanelson Nunes" 
>>> escreveu:
>>>
 Olá,

 Eu tenho um cenário onde tenho +200 bancos em cidades espalhadas pelo
 Brasil e hoje esses seus já replicam para meu datacenter via Streaming
 Replication.

 Só que no Datacenter esses bancos continuam separados, onde cada Banco
 fica numa porta(5433, 5434,5435 e etc.) distinta.

 Então como juntar esses bancos num único banco? E claro mantendo a
 consistência e o dado sempre atualizado.



 ___
 pgbr-geral mailing list
 pgbr-geral@listas.postgresql.org.br
 https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

>>> ___
>>> pgbr-geral mailing list
>>> pgbr-geral@listas.postgresql.org.br
>>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>
>> --
>> @ivanelson
>> []s
>>
>> ___
>> pgbr-geral mailing list
>> pgbr-geral@listas.postgresql.org.br
>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>
>
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[William Ivanski]

O problema de replicar a instância inteira, é que cada réplica de cada +200
instâncias ficarão em portas separadas no teu servidor de backup. Cada
instância roda em uma porta específica.

A vantagem disso é que, se caso dê algum problema em alguma das cidades e
você perca esse banco, você pode simplesmente copiar todos os dados da
pasta pgdata da porta específica do teu servidor de backup para a cidade
que deu problema.

Já a replicação lógica permite que você tenha todos os +200 bancos de dados
(sabendo que eles terão nomes diferentes, por exemplo) em uma mesma
instância no servidor de backup. Ou, em um mesmo banco de dados mas em
schemas diferentes. Isso seria muito útil porque você poderia fazer
consultas entre os dados replicados para extrair relatórios facilmente, por
exemplo. Replicação lógica é muito usada em data warehousing.

Mas qual seria a desvantagem disso? Não seria tão fácil recuperar um banco
de dados de uma cidade, caso dê problema. Replicação lógica não é a melhor
forma de backup, replicação física (streaming replication) sim. Mas
replicação lógica é a única forma que permite "misturar" os dados da forma
como você quer.

Na minha opinião, a melhor abordagem são as duas ao mesmo tempo. Mantenha
uma instância em cada porta, com replicação física, da forma como você já
faz. Então crie uma nova instância vazia em outra porta, e use replicação
lógica para replicar os dados seletivamente para dentro dessa instância.
Dessa forma, você estará seguro para recuperação de desastres (como você já
está), e ainda terá uma instância extra para agrupar os bancos, como você
quer fazer.

Mais sobre pglogical: https://www.2ndquadrant.com/en/resources/pglogical/

William Ivanski

2017-06-20 21:36 GMT-03:00 Ivanelson Nunes :

> Obrigado pela rápida resposta.
>
> Poderia me falar mais sobre replicação lógica?
>
> Nesse cenário qual o problema de replicar a instância inteira?
>
> Se eu usar pglogical meu problema inicial que é agrupar os todos os bancos
> num único será resolvido!
>
> Enfim gostaria de ouvir um pouco mais.
>
> Grato.
>
> Em ter, 20 de jun de 2017 às 20:38, William Ivanski <
> william.ivan...@gmail.com> escreveu:
>
>> Olá,
>>
>> Nesse cenário, vc não pode usar streaming replication, pois essa
>> tecnologia replica a instância inteira. No seu caso, sugiro utilizar
>> replicação lógica, por exemplo pglogical.
>>
>> Em 20/06/2017 19:26, "Ivanelson Nunes" 
>> escreveu:
>>
>>> Olá,
>>>
>>> Eu tenho um cenário onde tenho +200 bancos em cidades espalhadas pelo
>>> Brasil e hoje esses seus já replicam para meu datacenter via Streaming
>>> Replication.
>>>
>>> Só que no Datacenter esses bancos continuam separados, onde cada Banco
>>> fica numa porta(5433, 5434,5435 e etc.) distinta.
>>>
>>> Então como juntar esses bancos num único banco? E claro mantendo a
>>> consistência e o dado sempre atualizado.
>>>
>>>
>>>
>>> ___
>>> pgbr-geral mailing list
>>> pgbr-geral@listas.postgresql.org.br
>>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>>
>> ___
>> pgbr-geral mailing list
>> pgbr-geral@listas.postgresql.org.br
>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
> --
> @ivanelson
> []s
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[Ivanelson Nunes]

Obrigado pela rápida resposta.

Poderia me falar mais sobre replicação lógica?

Nesse cenário qual o problema de replicar a instância inteira?

Se eu usar pglogical meu problema inicial que é agrupar os todos os bancos
num único será resolvido!

Enfim gostaria de ouvir um pouco mais.

Grato.

Em ter, 20 de jun de 2017 às 20:38, William Ivanski <
william.ivan...@gmail.com> escreveu:

> Olá,
>
> Nesse cenário, vc não pode usar streaming replication, pois essa
> tecnologia replica a instância inteira. No seu caso, sugiro utilizar
> replicação lógica, por exemplo pglogical.
>
> Em 20/06/2017 19:26, "Ivanelson Nunes" 
> escreveu:
>
>> Olá,
>>
>> Eu tenho um cenário onde tenho +200 bancos em cidades espalhadas pelo
>> Brasil e hoje esses seus já replicam para meu datacenter via Streaming
>> Replication.
>>
>> Só que no Datacenter esses bancos continuam separados, onde cada Banco
>> fica numa porta(5433, 5434,5435 e etc.) distinta.
>>
>> Então como juntar esses bancos num único banco? E claro mantendo a
>> consistência e o dado sempre atualizado.
>>
>>
>>
>> ___
>> pgbr-geral mailing list
>> pgbr-geral@listas.postgresql.org.br
>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

-- 
@ivanelson
[]s
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Agrupar bancos de dados replicado num único Banco

[William Ivanski]

Olá,

Nesse cenário, vc não pode usar streaming replication, pois essa tecnologia
replica a instância inteira. No seu caso, sugiro utilizar replicação
lógica, por exemplo pglogical.

Em 20/06/2017 19:26, "Ivanelson Nunes"  escreveu:

> Olá,
>
> Eu tenho um cenário onde tenho +200 bancos em cidades espalhadas pelo
> Brasil e hoje esses seus já replicam para meu datacenter via Streaming
> Replication.
>
> Só que no Datacenter esses bancos continuam separados, onde cada Banco
> fica numa porta(5433, 5434,5435 e etc.) distinta.
>
> Então como juntar esses bancos num único banco? E claro mantendo a
> consistência e o dado sempre atualizado.
>
>
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral