Re: [pgbr-geral] Importação CSV
On Tue, Jan 09, 2018 at 09:23:45AM -0200, Izaque Maciel wrote: > Pessoal, bom dia! > > Há alguma maneira nativa no PostgreSQL, de importar o csv ignorando uma > certa quantidade de linhas? > Não tem haver com duplicidade de registros, mas sim porque o csv que > obtenho do iTunes Connect, vem com um cabeçalho não muito normal, como > segue abaixo: > > Nome,CTPS Digital > Data de início,28/09/17 > Data final,26/12/17 > > Data,Instalações,Falhas > 28/09/17,0.0,0.0 > 29/09/17,0.0,0.0 > 30/09/17,0.0,0.0 > 01/10/17,0.0,0.0 > 02/10/17,0.0,0.0 > 03/10/17,0.0,0.0 > 04/10/17,0.0,0.0 > 05/10/17,0.0,0.0 > > pelo copy só há como informar HEADER para que seja ignorada somente a > primeira linha, que neste caso não é o cabeçalho, que só está na quinta > linha. Se for unix, poderia usar um "grep -E -v '(Data|Nome|^$)'" e importar a saída disso. Claro, se o arquivo vier sempre com esses cabeçalhos fixos. Mas você poderia ajustar a expressão do grep de acordo com sua necessidade. E, evidente, se houver uma alternativa direto no banco e alguém conhecer, melhor. > ___ > pgbr-geral mailing list > pgbr-geral@listas.postgresql.org.br > https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral -- Ricardo Campos Passanezi - Diretor de TIC Instituto de Geociências - http://portal.ige.unicamp.br - UNICAMP Tel: +55 19 3521-4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] PostgreSQL + ZFS
On Fri, Jun 23, 2017 at 11:06:19AM -0300, Leonardo Ferreira Guimarães wrote: > > > No linux o pessoal do desenvolvimento está dando prioridade a > estabilidade, a performance ainda é ruim. > > > Eu não apostaria nenhuma ficha no ZFS para Linux. > No FreeBSD, sim! > Acredito muito no futuro do BTRFS. Eu não tenho como dizer muito sobre linuxes e prefiro nem apostar ;-) Mas é bom saber das alternativas. Novas tecnologias são (quase) sempre benvvindas. []'s -- Ricardo Campos Passanezi - Supervisor de Seção Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] PostgreSQL + ZFS
On Thu, Jun 22, 2017 at 11:15:40AM -0300, alfredo júnior wrote: > Em 22-06-2017 11:00, Ricardo Campos Passanezi escreveu: > > Pessoal, estava assistindo ontem um vídeo do pessoal da BSDNow.tv > > (https://www.bsdnow.tv/). Específicamente era o vídeo: > > https://www.youtube.com/watch?v=zEMTfjzzP0s > > > > Achei muito interessante e resolvi compartilhar aqui. > > > > Não sou administrador de banco de dados, mas utilizamos aqui para alguns > > poucos e pequenos projetos, além de usar para os sites também. > > > > Como utilizo muito FreeBSD (e agora sempre com o ZFS), tenho acompanhado > > esse pessoal aí. E nesse episódio eles fizeram uma abordagem excelente > > sobre o uso do PostgreSQL em máquinas com ZFS (já tem alguns linuxes que > > implementam, mas não sei qual a estabilidade/maturidade/etc; ou seja, as > > considerações podem ser aplicadas também, creio). > No linux o pessoal do desenvolvimento está dando prioridade a > estabilidade, a performance ainda é ruim. > > > > Dá para ver a descrição em > > https://www.bsdnow.tv/episodes/2017_05_31-postgrezfs > > > > E o link para o PDF que eles apresentam está em: > > https://people.freebsd.org/~seanc/postgresql/scale15x-2017-postgresql_zfs_best_practices.pdf > > > > É interessante, pelo menos do ponto de vista de aprendizado de > > tecnologias. > > > > []'s > > > > (1) https://github.com/zfsonlinux/zfs/wiki/FAQ#performance-considerations Legal, de todo modo, está no horizonte. -- Ricardo Campos Passanezi - Supervisor de Seção Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] PostgreSQL + ZFS
Pessoal, estava assistindo ontem um vídeo do pessoal da BSDNow.tv (https://www.bsdnow.tv/). Específicamente era o vídeo: https://www.youtube.com/watch?v=zEMTfjzzP0s Achei muito interessante e resolvi compartilhar aqui. Não sou administrador de banco de dados, mas utilizamos aqui para alguns poucos e pequenos projetos, além de usar para os sites também. Como utilizo muito FreeBSD (e agora sempre com o ZFS), tenho acompanhado esse pessoal aí. E nesse episódio eles fizeram uma abordagem excelente sobre o uso do PostgreSQL em máquinas com ZFS (já tem alguns linuxes que implementam, mas não sei qual a estabilidade/maturidade/etc; ou seja, as considerações podem ser aplicadas também, creio). Dá para ver a descrição em https://www.bsdnow.tv/episodes/2017_05_31-postgrezfs E o link para o PDF que eles apresentam está em: https://people.freebsd.org/~seanc/postgresql/scale15x-2017-postgresql_zfs_best_practices.pdf É interessante, pelo menos do ponto de vista de aprendizado de tecnologias. []'s -- Ricardo Campos Passanezi - Supervisor de Seção Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] Artigo sobre desempenho do PostgreSQL no FreeBSD
Como vez ou outra surge o assunto performance por aqui, segue uma mensagem enviada para listas do freebsd a respeito do desempenho do PostgreSQL. Boa leitura... - Forwarded message from Konstantin Belousov kostik...@gmail.com - Date: Wed, 16 Jul 2014 16:29:38 +0300 From: Konstantin Belousov kostik...@gmail.com To: performa...@freebsd.org, curr...@freebsd.org Subject: Re: PostgreSQL performance on FreeBSD On Fri, Jun 27, 2014 at 03:56:13PM +0300, Konstantin Belousov wrote: Hi, I did some measurements and hacks to see about the performance and scalability of PostgreSQL 9.3 on FreeBSD, sponsored by The FreeBSD Foundation. The results are described in https://kib.kiev.ua/kib/pgsql_perf.pdf. The uncommitted patches, referenced in the article, are available as https://kib.kiev.ua/kib/pig1.patch.txt https://kib.kiev.ua/kib/patch-2 A followup to the original paper. Most importantly, I identified the cause for the drop on the graph after the 30 clients, which appeared to be the debugging version of malloc(3) in libc. Also there are some updates on the patches. New version of the paper is available at https://www.kib.kiev.ua/kib/pgsql_perf_v2.0.pdf The changes are marked as 'update for version 2.0'. - End forwarded message - -- Ricardo Campos Passanezi - Supervisor de Seção Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Monitoramento do PostgreSQL com Zabbix
On Fri, May 09, 2014 at 03:12:01PM -0300, Emerson Martins wrote: Boa tarde pessoal? Alguém aqui utiliza  o zabbix para monitorar o PostgreSQL? Fizemos a etapa de monitoramento dos hosts, ip, rede,etc. Estamos agora na etapa de inclusão dos serviços de banco de dados. Caso alguém posso nos auxiliar com informações sobre como proceder. Quais templates são mais confiáveis. Att, Emerson Martins Ainda não estou usando, mas você pode usar http://pg-monz.github.io/pg_monz/index-en.html Eu tenho umas definições via UserParameters, como (no zabbix_agentd.conf do servidor do banco): ... UserParameter=psql.version,psql --version|head -n1 UserParameter=psql.db_totalsize,psql -Atc select sum(pg_database_size(datid)) as total_size from pg_stat_database -U pgsql -h localhost template1 ... Ainda vou testar essa opção do pg-monz, mas deve te ajudar... -- Ricardo Campos Passanezi - Supervisor de Seção Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Sair da lista.. - impossível
On Wed, Oct 31, 2012 at 11:38:50PM -0200, Euler Taveira wrote: On 31-10-2012 21:54, Ana Silva wrote: Infelizmente creio que isso não é possível. Já tentei fazer o meu desligamento da lista várias vezes sem sucesso, através do link que vem no final das mensagens de correio eletrônico enviadas pela lista [pgbr-geral]. Uma solução paliativa é adicionar os remetentes na lista de SPAM da sua conta, porém sempre alguma mensagem vaza pelo servidores de e-mail. Qual a dificuldade em descadastrar da lista? Basta acessar o link no rodapé e seguir as instruções. Se mesmo assim você não conseguir envie um email para pgbr-geral-ow...@listas.postgresql.org.br fazendo a solicitação. Ainda, nos cabeçalhos das mensagens temos: List-Unsubscribe: https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral, mailto:pgbr-geral-requ...@listas.postgresql.org.br?subject=unsubscribe -- Ricardo Campos Passanezi - Supervisor de Seção Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] REMOVER DA LISTA
On Mon, Oct 22, 2012 at 03:00:35PM -0300, fabio.nu...@alunos.fasb.edu.br wrote: Desejo que meu e-mail seja removido da lista. Grato. Está no cabeçalho do email: List-Unsubscribe: https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral, mailto:pgbr-geral-requ...@listas.postgresql.org.br?subject=unsubscribe -- Ricardo Campos Passanezi - Supervisor de Seção Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Monitorar postgres usando Zabbix
On Mon, Jul 30, 2012 at 01:14:11PM -0700, Tulio Santos wrote: Boa tarde pessoal, -- Sei que minha duvida nao cabe diretamente ao postgres.. mas considerando a possibilidade de algum dos amigos ter passado alguma experiencia como essa.. achei interessante tentar.. -- Estou tentando utilizar o Zabbix para monitorar o servidor do Postgres.. consegui instalar, configurar os hosts e receber informac,oes do sistema sobre memoria, espac,o em disco e tudo mais com os templates padroes.. porem.. para obter dados sobre o postgres em si.. preciso importar um template e script (em perl) eu os encontrei na web.. [1] o template foi importado sem problemas.. mas nao sei como ou onde devo importar o arquivo do script em perl.. No seu servidor de banco de dados deve ter o zabbix_agentd instalado e rodando. Então, você altera o zabbix_agentd.conf, colocando as entradas dos UserParameter, como descrito no site: You just need to put the script: 'db-pgstat.pl' on the databases servers in a executable search path and add 'UserParamenter' in zabbix_agentd.conf: Aqui uso o freebsd e o zabbix foi instalado do ports, asssim altero o arquivo /usr/local/etc/zabbix/zabbix_agentd.conf. Usando o UserParameter é possível gerenciar bastante coisa, mas aí já é assunto para lista de zabbix. Usando algum Unix, basta ter o postgres-client instalado e usar o comando psql para monitorar. Exemplos: UserParameter=psql.version,psql --version|head -n1 UserParameter=psql.db_totalsize,psql -Atc select sum(pg_database_size(datid)) as total_size from pg_stat_database UserParameter=psql.server_processes,psql -t -c select sum(numbackends) from pg_stat_database Depois é só alterar as configurações do host, criando os itens de acordo com o que colocou no zabbix_agentd.conf. Se tiver muitos servidores, pode copiar para um template e aplicar para todos os servidores. olhei na web mas nao to achando nada q va de encontro a isso.. se alguem puder me dar uma dica ou tiver um link que possa me ajudar.. -- [1] - http://www.zabbix.com/forum/showthread.php?t=25895 -- Obrigado -- Debian 6 Zabbix 1.8.14 Postgres 9.1.3 PS: enviei essa duvida na lista do Zabbix tb.. caso obtenha algum retorno deles.. posto aqui para futuras consultas.. -- Att, Tulio ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral -- Ricardo Campos Passanezi - Supervisor de Seção Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Como criar backup automatico no postgres?
On Fri, Nov 04, 2011 at 06:20:19AM -0200, Marcelo Silva (IG) wrote: Pessoal... no MySQL tem o MySQLAdmin com uma opção de agendar varios backups, dando assim flexibilidade de agendar varios horarios... Hoje para gerenciar o Postgres eu uso o PGAdmin3 e pra fazer backup agendado o Webmin que tem essa opção, mas essa ferramenta do Webmin é meio limitada, pois só deixa agendar um backup por vez. Existe alguma ferramenta que eu possa agendar varios backups? Por exemplo, quero agendar backup a cada 4 horas pelo menos para que numa perda eu não perda muito trabalho. Qualquer dica é bem vinda... Bom, fazer dump do banco não é fazer backup (vide as palestras do Telles http://www.midstorm.org/~telles/). De qualquer modo, fazer um dump já te ajuda em várias situações. Neste caso, você pode usar a crontab e fazer o dump. Note que é interessante você fazer o dump a partir de outra máquina que não o servidor do banco, já que um problema com o disco pode te fazer perder o dump propriamente dito (você vai precisar acertar o pg_hba.conf, mas isso é o de menos). Falou... -- Ricardo Campos Passanezi - Administrador de Rede Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP Tel: (19) 3521 4560 ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Erro na instalação do PostGreSQL 8.2 - FreeBSD 7 - 64 bits
On Mon, Jun 22, 2009 at 03:50:10PM -0300, Raphael Garcia wrote: Boa tarde a todos, A versão do PostgreSQL 8.3.7 estava perfeitamente instalada no FreeBSD 7.0 - 64 bits, mas eu precisava usar o dblink e não encontrei o contrib/dblink para o 8.3.7. Eu até postei para a lista, mas infelizmente ninguém respondeu. Então, a solução foi desinstalar o 8.3.7 e instalar o 8.2.13. Mas quando tento instalar o 8.2.13, pelo ports do FreeBSD, emite a mensagem abaixo. Alguém tem a gentileza de apresentar a solução. Agradeço! Bom, não uso o dblink, mas: # uname -m amd64 # pwd /usr/ports/databases/postgresql-contrib # pg_config --version | sed -n # 's/PostgreSQL[^0-9]*\([0-9][0-9]*\)\.\([0-9][0-9]*\)[^0-9].*/\1\2/p' 83 # make install clean # pkg_info -L postgresql-contrib-8.3.7_1 | grep dblink /usr/local/lib/postgresql/dblink.so /usr/local/share/postgresql/contrib/dblink.sql /usr/local/share/postgresql/contrib/uninstall_dblink.sql Certifique-se de que o ports esteja atualizado (veja o comando 'portsnap'). -- Ricardo Campos Passanezi - Administrador de Rede Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] RES: backup POSTGRES 8.3
On Tue, Nov 11, 2008 at 11:49:45AM -0200, Jota wrote: Olá, Gostaria de compartilhar a minha opinião sobre o assunto. Acho que não podemos ser radicais e dizer que o backup físico é uma furada. Trabalho com alguns clientes e um deles tem um banco de aproximandamente 80GB. Como eu deveria proceder? Fazer um pg_dump e importar o meu backup? Creio que não seja a forma por ser extremamente lento. Outro problema. Se eu faço um pg_dump do meu banco e quero subir em um outro servidor é necessário que eu tenha todos os usuários previamente cadastrados no outro banco (teria que fazer um pg_dumpall -g para gerar os objetos globais (usuários)), já com o backup físico eu elimino essa possibilidade. Porém, existe uma restrição no backup físico pois eu não consigo fazer backup de apenas algumas tabela por exemplo, faço backup completo de todo o meu diretório de dados. Aí você pode usar o conceito de tablespaces¹ e fazer o backup de algumas tabelas apenas. Ou de todas, mas em dispositivos diferentes, de acordo com a necessidade, ou de qualquer outro modo que queira dividir. [1] http://www.postgresql.org/docs/8.3/interactive/manage-ag-tablespaces.html -- Ricardo Campos Passanezi - Administrador de Rede Chave PGP e GPG Pública em: http://www.ige.unicamp.br/~riccp Instituto de Geociências - http://www.ige.unicamp.br - UNICAMP ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
