Re: [pgbr-geral] Distribuição de Carga de Dados.
Luciano, É viavel a idéia de separar os índices dos dados, aonde parte fica no storage1 e o restante no storage2? Ou isso, ou você pode separar as tabelas entre os storages através de tablespaces. Normalmente eu não preciso mais que isso. Passa mais detalhes do ambiente pra tentar te ajudar. Um abraço 2011/9/15 Luciano Schardosim schar...@gmail.com Alguma outr sugestão alem do PLProxy? Alguma que não seja baseada em Stored Prodedure (plpgsql)? Gurizada, isso tá sendo importante pra mim pois irá definir eu continuar ou não com Postgres. Então quem puder me ajudar nesse questão, fico grato!!! []'s Em 15 de setembro de 2011 11:36, JotaComm jota.c...@gmail.com escreveu: Olá, Itamar Em 15 de setembro de 2011 11:21, Itamar Reis Peixoto ita...@ispbrasil.com.br escreveu: On Sep 15, 2011 10:53 AM, Luciano Schardosim schar...@gmail.com wrote: Pessoal, Vamos imaginar o seguinte cenário: tenho uma instancia de postgres e dentro dessa instância tenho um schema chamado base_principal. Depois de muito insert, o volume da base esta ocupando quase todo meu storage (não importa qual o tipo de storage). O que importa é que agora eu quero poder alocar uma nova área de armazenamento e quero que os dados da minha instancia sejam distribuidos entre esse dois ambientes de armazenamento automaticamente, ou seja, a cada nova área de armazenamento que eu adicionar, o postgres faz a distribuição dos dados entre eles. Essa distribuição eu quero que seja controlada pelo SGBD e não pelo sistema operacional. Se tiverem alguma dica, pois pelo que entendi a tablespace do Postgres não trabalha com o conceito de container e preciso de uma solução similar, seja por tablespace, seja por múltiplas instancias Enfim... Mais uma vez, valeu gurizada!!! :D Luciano Schardosim use lvm, quando seu hd enxer adicione mais discos. Mas esperar o problema acontecer para depois tomar uma providência não é a maneira mais correta, devemos é evitar que isso aconteça, assim estamos sendo pró-ativos e não reativos. ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral Abraços -- JotaComm http://jotacomm.wordpress.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral Luciano Schardosim ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral -- Atenciosamente, Sebastian Selau Webber Colombo ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Em 16 de setembro de 2011 10:42, JotaComm jota.c...@gmail.com escreveu: Em 15 de setembro de 2011 18:10, Hugo Bastos Bucker hbbuc...@gmail.comescreveu: Bom... pelo menos eu não tenho visto muitas tabelas particionadas rodando Eu tenho um sistema que faz uso intenso de tabelas particionadas. Se quiser mais pode conversar comigo. Minha maior dúvida sobre o particionamento é quanto ao processo de manutenção ao longo dos anos. A única maneira é usar scripts rodando no CRON para criar novas tabelas e atualizar os triggers? Ou existe algum jeito mais limpo, usando alguma feature do próprio banco ou algo assim? -- Atenciosamente, Alexsander da Rosa http://rednaxel.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
On 19-09-2011 13:12, Alexsander Rosa wrote: Minha maior dúvida sobre o particionamento é quanto ao processo de manutenção ao longo dos anos. A única maneira é usar scripts rodando no CRON para criar novas tabelas e atualizar os triggers? Sim. Ou existe algum jeito mais limpo, usando alguma feature do próprio banco ou algo assim? Ainda não. A discussão sobre o assunto [1] já está avançada incluindo alguns patches quase prontos postados (isso foi no ano passado) mas durante este novo ciclo de desenvolvimento não vi ninguém tocando no assunto ainda. [1] wiki.postgresql.org/wiki/Table_partitioning -- Euler Taveira de Oliveira - Timbira http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Em 19 de setembro de 2011 13:23, Euler Taveira de Oliveira eu...@timbira.com escreveu: On 19-09-2011 13:12, Alexsander Rosa wrote: Minha maior dúvida sobre o particionamento é quanto ao processo de manutenção ao longo dos anos. A única maneira é usar scripts rodando no CRON para criar novas tabelas e atualizar os triggers? Sim. corte Creio que essa não seja a *única* forma de fazer isso... você pode muito bem decidir em qual partição irá inserir os dados de forma dinâmica com uma trigger no *insert* de sua tabela principal (eu faço isso e funciona bem)... utilizo SQLs dinâmicos [1] em conjunto com 'CREATE TABLE foo(LIKE bar INCLUDING DEFAULTS INCLUDING CONSTRAINTS INCLUDING INDEXES) CHECK (...) INHERITs (bar)' [2] e coisas do gênero... [1] http://www.postgresql.org/docs/current/interactive/plpgsql-statements.html#PLPGSQL-STATEMENTS-EXECUTING-DYN [2] http://www.postgresql.org/docs/current/interactive/sql-createtable.html -- Fabrízio de Royes Mello Consultoria/Coaching PostgreSQL Blog sobre TI: http://fabriziomello.blogspot.com Perfil Linkedin: http://br.linkedin.com/in/fabriziomello Twitter: http://twitter.com/fabriziomello ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
On 19-09-2011 13:42, Fabrízio de Royes Mello wrote: Creio que essa não seja a *única* forma de fazer isso... você pode muito bem decidir em qual partição irá inserir os dados de forma dinâmica com uma trigger no *insert* de sua tabela principal (eu faço isso e funciona bem)... utilizo SQLs dinâmicos [1] em conjunto com 'CREATE TABLE foo(LIKE bar INCLUDING DEFAULTS INCLUDING CONSTRAINTS INCLUDING INDEXES) CHECK (...) INHERITs (bar)' [2] e coisas do gênero... Acho que a penalidade não compensa o esforço pois tabelas que precisam de particionamento são aquelas que crescem rapidamente, ou seja, quantidade INSERTs é considerável e o tempo de execução do gatilho impactará na performance das inserções. A menos que você tenha que criar partições baseadas na quantidade de tuplas ou mesmo se uma nova partição deve ser criada a uma fração de tempo pequena (minutos, segundos, ...). -- Euler Taveira de Oliveira - Timbira http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Em 19 de setembro de 2011 15:45, Euler Taveira de Oliveira eu...@timbira.com escreveu: Acho que a penalidade não compensa o esforço pois tabelas que precisam de particionamento são aquelas que crescem rapidamente, ou seja, quantidade INSERTs é considerável e o tempo de execução do gatilho impactará na performance das inserções. Com particionamento um *custo* a mais nas inserções sempre existirá... pode ser que seja menor pelo fato da trigger ter *fixo* os IFs necessários para decidir qual partição utilizar... mas creio que o impacto maior será somente quando a trigger verificar a necessidade de criar uma nova partição, ou não?!? A menos que você tenha que criar partições baseadas na quantidade de tuplas ou mesmo se uma nova partição deve ser criada a uma fração de tempo pequena (minutos, segundos, ...). No meu caso específico preciso criar 1 (uma) partição por mês... -- Fabrízio de Royes Mello Consultoria/Coaching PostgreSQL Blog sobre TI: http://fabriziomello.blogspot.com Perfil Linkedin: http://br.linkedin.com/in/fabriziomello Twitter: http://twitter.com/fabriziomello ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] Distribuição de Carga de Dados.
Pessoal, Vamos imaginar o seguinte cenário: tenho uma instancia de postgres e dentro dessa instância tenho um schema chamado base_principal. Depois de muito insert, o volume da base esta ocupando quase todo meu storage (não importa qual o tipo de storage). O que importa é que agora eu quero poder alocar uma nova área de armazenamento e quero que os dados da minha instancia sejam distribuidos entre esse dois ambientes de armazenamento automaticamente, ou seja, a cada nova área de armazenamento que eu adicionar, o postgres faz a distribuição dos dados entre eles. Essa distribuição eu quero que seja controlada pelo SGBD e não pelo sistema operacional. Se tiverem alguma dica, pois pelo que entendi a tablespace do Postgres não trabalha com o conceito de container e preciso de uma solução similar, seja por tablespace, seja por múltiplas instancias Enfim... Mais uma vez, valeu gurizada!!! :D Luciano Schardosim ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Olá, Em 15 de setembro de 2011 10:52, Luciano Schardosim schar...@gmail.comescreveu: Pessoal, Vamos imaginar o seguinte cenário: tenho uma instancia de postgres e dentro dessa instância tenho um schema chamado base_principal. Depois de muito insert, o volume da base esta ocupando quase todo meu storage (não importa qual o tipo de storage). O que importa é que agora eu quero poder alocar uma nova área de armazenamento e quero que os dados da minha instancia sejam distribuidos entre esse dois ambientes de armazenamento automaticamente, ou seja, a cada nova área de armazenamento que eu adicionar, o postgres faz a distribuição dos dados entre eles. Essa distribuição eu quero que seja controlada pelo SGBD e não pelo sistema operacional. Se tiverem alguma dica, pois pelo que entendi a tablespace do Postgres não trabalha com o conceito de container e preciso de uma solução similar, seja por tablespace, seja por múltiplas instancias Enfim... Talvez o que você precise é fazer particionamento. Você poderia dar uma olhada no PL/Proxy [1] [1] http://pgfoundry.org/projects/plproxy Mais uma vez, valeu gurizada!!! :D Luciano Schardosim ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral Abraços -- JotaComm http://jotacomm.wordpress.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
On Sep 15, 2011 10:53 AM, Luciano Schardosim schar...@gmail.com wrote: Pessoal, Vamos imaginar o seguinte cenário: tenho uma instancia de postgres e dentro dessa instância tenho um schema chamado base_principal. Depois de muito insert, o volume da base esta ocupando quase todo meu storage (não importa qual o tipo de storage). O que importa é que agora eu quero poder alocar uma nova área de armazenamento e quero que os dados da minha instancia sejam distribuidos entre esse dois ambientes de armazenamento automaticamente, ou seja, a cada nova área de armazenamento que eu adicionar, o postgres faz a distribuição dos dados entre eles. Essa distribuição eu quero que seja controlada pelo SGBD e não pelo sistema operacional. Se tiverem alguma dica, pois pelo que entendi a tablespace do Postgres não trabalha com o conceito de container e preciso de uma solução similar, seja por tablespace, seja por múltiplas instancias Enfim... Mais uma vez, valeu gurizada!!! :D Luciano Schardosim use lvm, quando seu hd enxer adicione mais discos. ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Olá, Itamar Em 15 de setembro de 2011 11:21, Itamar Reis Peixoto ita...@ispbrasil.com.br escreveu: On Sep 15, 2011 10:53 AM, Luciano Schardosim schar...@gmail.com wrote: Pessoal, Vamos imaginar o seguinte cenário: tenho uma instancia de postgres e dentro dessa instância tenho um schema chamado base_principal. Depois de muito insert, o volume da base esta ocupando quase todo meu storage (não importa qual o tipo de storage). O que importa é que agora eu quero poder alocar uma nova área de armazenamento e quero que os dados da minha instancia sejam distribuidos entre esse dois ambientes de armazenamento automaticamente, ou seja, a cada nova área de armazenamento que eu adicionar, o postgres faz a distribuição dos dados entre eles. Essa distribuição eu quero que seja controlada pelo SGBD e não pelo sistema operacional. Se tiverem alguma dica, pois pelo que entendi a tablespace do Postgres não trabalha com o conceito de container e preciso de uma solução similar, seja por tablespace, seja por múltiplas instancias Enfim... Mais uma vez, valeu gurizada!!! :D Luciano Schardosim use lvm, quando seu hd enxer adicione mais discos. Mas esperar o problema acontecer para depois tomar uma providência não é a maneira mais correta, devemos é evitar que isso aconteça, assim estamos sendo pró-ativos e não reativos. ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral Abraços -- JotaComm http://jotacomm.wordpress.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Alguma outr sugestão alem do PLProxy? Alguma que não seja baseada em Stored Prodedure (plpgsql)? Gurizada, isso tá sendo importante pra mim pois irá definir eu continuar ou não com Postgres. Então quem puder me ajudar nesse questão, fico grato!!! []'s Em 15 de setembro de 2011 11:36, JotaComm jota.c...@gmail.com escreveu: Olá, Itamar Em 15 de setembro de 2011 11:21, Itamar Reis Peixoto ita...@ispbrasil.com.br escreveu: On Sep 15, 2011 10:53 AM, Luciano Schardosim schar...@gmail.com wrote: Pessoal, Vamos imaginar o seguinte cenário: tenho uma instancia de postgres e dentro dessa instância tenho um schema chamado base_principal. Depois de muito insert, o volume da base esta ocupando quase todo meu storage (não importa qual o tipo de storage). O que importa é que agora eu quero poder alocar uma nova área de armazenamento e quero que os dados da minha instancia sejam distribuidos entre esse dois ambientes de armazenamento automaticamente, ou seja, a cada nova área de armazenamento que eu adicionar, o postgres faz a distribuição dos dados entre eles. Essa distribuição eu quero que seja controlada pelo SGBD e não pelo sistema operacional. Se tiverem alguma dica, pois pelo que entendi a tablespace do Postgres não trabalha com o conceito de container e preciso de uma solução similar, seja por tablespace, seja por múltiplas instancias Enfim... Mais uma vez, valeu gurizada!!! :D Luciano Schardosim use lvm, quando seu hd enxer adicione mais discos. Mas esperar o problema acontecer para depois tomar uma providência não é a maneira mais correta, devemos é evitar que isso aconteça, assim estamos sendo pró-ativos e não reativos. ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral Abraços -- JotaComm http://jotacomm.wordpress.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral Luciano Schardosim ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Olá Luciano Em 15 de setembro de 2011 09:52, Luciano Schardosim schar...@gmail.comescreveu: Pessoal, Vamos imaginar o seguinte cenário: tenho uma instancia de postgres e dentro dessa instância tenho um schema chamado base_principal. Depois de muito insert, o volume da base esta ocupando quase todo meu storage (não importa qual o tipo de storage). O que importa é que agora eu quero poder alocar uma nova área de armazenamento e quero que os dados da minha instancia sejam distribuidos entre esse dois ambientes de armazenamento automaticamente, ou seja, a cada nova área de armazenamento que eu adicionar, o postgres faz a distribuição dos dados entre eles. Essa distribuição eu quero que seja controlada pelo SGBD e não pelo sistema operacional. Se tiverem alguma dica, pois pelo que entendi a tablespace do Postgres não trabalha com o conceito de container e preciso de uma solução similar, seja por tablespace, seja por múltiplas instancias Enfim... Mais uma vez, valeu gurizada!!! :D Está é minha primeira participação espero poder contribuir de alguma forma, acredito que vc está querendo é fazer um particionamento de tabelas [1], mas não é uma solução muito convencional. [1] http://www.postgresql.org/docs/current/static/ddl-partitioning.html Luciano Schardosim ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral []'s Hugo B. Bucker ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
2011/9/15 Hugo Bastos Bucker hbbuc...@gmail.com: acredito que vc está querendo é fazer um particionamento de tabelas [1], mas não é uma solução muito convencional. O que há de não convencional em particionamento de tabelas? -- Skype:leandro.gfc.dutra?chat Yahoo!: ymsgr:sendIM?lgcdutra +55 (61) 3546 7191 Google Talk: xmpp:leand...@jabber.org +55 (11) 9406 7191 MSNIM:chat?contact=lean...@dutra.fastmail.fm sip:leand...@iptel.org ICQ: AIM:GoIM?screenname=61287803 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Em 15 de setembro de 2011 17:05, Guimarães Faria Corcete DUTRA, Leandro lean...@dutras.org escreveu: 2011/9/15 Hugo Bastos Bucker hbbuc...@gmail.com: acredito que vc está querendo é fazer um particionamento de tabelas [1], mas não é uma solução muito convencional. O que há de não convencional em particionamento de tabelas? Bom... pelo menos eu não tenho visto muitas tabelas particionadas rodando -- Skype:leandro.gfc.dutra?chat Yahoo!: ymsgr:sendIM?lgcdutra +55 (61) 3546 7191 Google Talk: xmpp:leand...@jabber.org +55 (11) 9406 7191 MSNIM:chat?contact=lean...@dutra.fastmail.fm sip:leand...@iptel.org ICQ: AIM:GoIM?screenname=61287803 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral []'s Hugo B. Bucker ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Distribuição de Carga de Dados.
Em 15 de setembro de 2011 15:26, Luciano Schardosim schar...@gmail.com escreveu: Alguma outr sugestão alem do PLProxy? Alguma que não seja baseada em Stored Prodedure (plpgsql)? Gurizada, isso tá sendo importante pra mim pois irá definir eu continuar ou não com Postgres. Então quem puder me ajudar nesse questão, fico grato!!! Rapaz, como o Jota mesmo disse, a chave do negócio é ser proativo e não reativo. Se você procura uma solução mágica para adicionar containers em outros SGBDs, tenha em mente que alguns exigem a licença mais top (i.e. a mais cara) para habilitar esta função. Dica: faça um estudo para conhecer o crescimento médio do seu banco e defina um requisito de espaço adequado. Na pior das hipóteses você poderá fazer um DUMP/RESTORE ou um mirror copy para uma storage maior no futuro... -- TIAGO J. ADAMI http://www.adamiworks.com ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
