Re: [pgbr-geral] Monitoramente IO
Em 21/08/2015 14:12, Matheus de Oliveira matioli.math...@gmail.com escreveu: 2015-08-21 12:58 GMT-03:00 Raphael Coutinho raphael.couti...@dbmax.com.br : Existe alguma ferramenta que eu consiga identificar os processos do postgres que estão demandando mais escrita em disco. Utilizo as ferramentas de sistema do Linux, iostat, vmstat, iotop. porém queria identificar os processos a nível do banco de dados. Situação: Vários processos rodam em paralelo no servidor, eu quero conseguir identificar a carga de IO que o INSERT. Existe algo nesse sentido ? Usando o iotop, por exemplo, você pode identificar o pid do processo que está rodando e consultar a view pg_stat_activity para identificar o que o backend está fazendo. Se não me engano o pg_activity [1] dá visão de uso de I/O também. [1] https://github.com/julmon/pg_activity Atenciosamente, -- Matheus de Oliveira Valeu pessoal! Vou ver o que consigo montar aqui e tentar unificar essas informações do iotop com as views do pgsql. abraço ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Monitoramente IO
pg_stat_statements [1]. [1] http://www.postgresql.org/docs/current/static/pgstatstatements.html Que leva a PoWA [2] [2] http://dalibo.github.io/powa/ []s Flavio Gurgel ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Monitoramente IO
2015-08-21 19:43 GMT-03:00 Cleiton Luiz Domazak cleitondoma...@gmail.com: Isso se torna um problema pois em casos como o meu, em que o log está configurado para pegar queries acima de 100ms apenas, essas queries individualmente não aparecem. Existe alguma ferramenta ou técnica para eu identificar essas queries? pg_stat_statements [1]. [1] http://www.postgresql.org/docs/current/static/pgstatstatements.html At. -- Matheus de Oliveira ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Monitoramente IO
2015-08-21 12:58 GMT-03:00 Raphael Coutinho raphael.couti...@dbmax.com.br: Existe alguma ferramenta que eu consiga identificar os processos do postgres que estão demandando mais escrita em disco. Utilizo as ferramentas de sistema do Linux, iostat, vmstat, iotop. porém queria identificar os processos a nível do banco de dados. Situação: Vários processos rodam em paralelo no servidor, eu quero conseguir identificar a carga de IO que o INSERT. Existe algo nesse sentido ? Usando o iotop, por exemplo, você pode identificar o pid do processo que está rodando e consultar a view pg_stat_activity para identificar o que o backend está fazendo. Se não me engano o pg_activity [1] dá visão de uso de I/O também. [1] https://github.com/julmon/pg_activity Atenciosamente, -- Matheus de Oliveira ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Monitoramente IO
On 21-08-2015 14:11, Matheus de Oliveira wrote: 2015-08-21 12:58 GMT-03:00 Raphael Coutinho raphael.couti...@dbmax.com.br mailto:raphael.couti...@dbmax.com.br: Existe alguma ferramenta que eu consiga identificar os processos do postgres que estão demandando mais escrita em disco. Utilizo as ferramentas de sistema do Linux, iostat, vmstat, iotop. porém queria identificar os processos a nível do banco de dados. Situação: Vários processos rodam em paralelo no servidor, eu quero conseguir identificar a carga de IO que o INSERT. Existe algo nesse sentido ? Usando o iotop, por exemplo, você pode identificar o pid do processo que está rodando e consultar a view pg_stat_activity para identificar o que o backend está fazendo. Se não me engano o pg_activity [1] dá visão de uso de I/O também. Isso mesmo... ele faz sim... também utilizo muito o pg_view [1] que além dos backends mostra informações sobre os 'system processes' do postgres (autovacuum, checkpointer, archvier, wal writer, writer, stats collector, wal sender, ...). Att, [1] https://github.com/zalando/pg_view -- Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento signature.asc Description: OpenPGP digital signature ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Monitoramente IO
Em 21 de agosto de 2015 14:39, Fabrízio de Royes Mello fabri...@timbira.com.br escreveu: On 21-08-2015 14:11, Matheus de Oliveira wrote: 2015-08-21 12:58 GMT-03:00 Raphael Coutinho raphael.couti...@dbmax.com.br mailto:raphael.couti...@dbmax.com.br: Existe alguma ferramenta que eu consiga identificar os processos do postgres que estão demandando mais escrita em disco. Utilizo as ferramentas de sistema do Linux, iostat, vmstat, iotop. porém queria identificar os processos a nível do banco de dados. Situação: Vários processos rodam em paralelo no servidor, eu quero conseguir identificar a carga de IO que o INSERT. Existe algo nesse sentido ? Usando o iotop, por exemplo, você pode identificar o pid do processo que está rodando e consultar a view pg_stat_activity para identificar o que o backend está fazendo. Se não me engano o pg_activity [1] dá visão de uso de I/O também. Isso mesmo... ele faz sim... também utilizo muito o pg_view [1] que além dos backends mostra informações sobre os 'system processes' do postgres (autovacuum, checkpointer, archvier, wal writer, writer, stats collector, wal sender, ...). Att, [1] https://github.com/zalando/pg_view Muito bacana o pg_view. Mas em casos por exemplo que eu queira monitorar várias queries pequenas, que juntas estão consumindo IO, por exemplo em uma rotina de importação em que é feita importação linha a linha. Isso se torna um problema pois em casos como o meu, em que o log está configurado para pegar queries acima de 100ms apenas, essas queries individualmente não aparecem. Existe alguma ferramenta ou técnica para eu identificar essas queries? Testei já a ferramenta Vivid Cortex, porém como as queries são transacionadas ele agrega todas as queries qeu -- Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Monitoramente IO
Em 21 de agosto de 2015 19:43, Cleiton Luiz Domazak cleitondoma...@gmail.com escreveu: Em 21 de agosto de 2015 14:39, Fabrízio de Royes Mello fabri...@timbira.com.br escreveu: On 21-08-2015 14:11, Matheus de Oliveira wrote: 2015-08-21 12:58 GMT-03:00 Raphael Coutinho raphael.couti...@dbmax.com.br mailto:raphael.couti...@dbmax.com.br: Existe alguma ferramenta que eu consiga identificar os processos do postgres que estão demandando mais escrita em disco. Utilizo as ferramentas de sistema do Linux, iostat, vmstat, iotop. porém queria identificar os processos a nível do banco de dados. Situação: Vários processos rodam em paralelo no servidor, eu quero conseguir identificar a carga de IO que o INSERT. Existe algo nesse sentido ? Usando o iotop, por exemplo, você pode identificar o pid do processo que está rodando e consultar a view pg_stat_activity para identificar o que o backend está fazendo. Se não me engano o pg_activity [1] dá visão de uso de I/O também. Isso mesmo... ele faz sim... também utilizo muito o pg_view [1] que além dos backends mostra informações sobre os 'system processes' do postgres (autovacuum, checkpointer, archvier, wal writer, writer, stats collector, wal sender, ...). Att, [1] https://github.com/zalando/pg_view Muito bacana o pg_view. Mas em casos por exemplo que eu queira monitorar várias queries pequenas, que juntas estão consumindo IO, por exemplo em uma rotina de importação em que é feita importação linha a linha. Isso se torna um problema pois em casos como o meu, em que o log está configurado para pegar queries acima de 100ms apenas, essas queries individualmente não aparecem. Existe alguma ferramenta ou técnica para eu identificar essas queries? Testei já a ferramenta Vivid Cortex, porém como as queries são transacionadas ele agrega todas as queries como apenas BEGIN;, e o custo da ferramenta só para identificar carga de IO não se justifica, já que o restante do banco tenho monitorado pelo Librato. -- Fabrízio de Royes Mello Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
