Re: [pgbr-geral] Lentidao em consulta usando Between com datas iguais

[Cleiton Luiz Domazak]

2016-12-12 14:04 GMT-02:00 Tiago José Adami :

> Em 12 de dezembro de 2016 11:45, Cleiton Luiz Domazak
>  escreveu:
> > (corte)
> > Alguém já passou por essa situação?
>


> Eu já: com o PostgreSQL 9.4 (não lembro se era 9.4.2 ou 9.4.3). Nas
> últimas releases, por exemplo a 9.4.8 que uso no ambiente de testes
> (com mesmo SO), o problema não ocorre.
>
> No meu caso havia uma tabela PUBLIC.RESERVA com um atributo chamado
> "DATA" tipo DATE.
>

Meu caso é mais misterioso, pq se eu aumento o meu range de data, funciona
super rapido, quando deveria ser ao contrário :)

>
> Como o servidor (hardware) é fraquinho eu me antecipei e criei vários
> índices parciais por ano contendo a cláusula "WHERE DATA BETWEEN
> '-01-01' AND '-12-31'" (substituindo  pelos anos de 2014
> até 2020). A cláusula between do ano era usada em todas as consultas
> envolvendo o atributo DATA.
>
> Adicionalmente a estes índices anuais ainda existia um índice composto
> com o atributo DATA, sendo ele o primeiro da lista de atributos do
> índice.
>
> Sofri um tempão para descobrir o problema. Como é utilizado um
> servidor Debian e o PostgreSQL dos repositórios oficiais a atualização
> dos binários demorou um pouco para sair, então tive que encontrar a
> solução "na mão", que foi excluir os índices parciais deixando apenas
> um índice "normal" utilizando o atributo "DATA".
>
> Sendo assim:
>
> 1) Certifique-se de estar utilizando a última release da versão 9.4;
>

Vou atualizar para a ultima release.

>
> 2) Verifique se existem índices parciais sobre este atributo de data;
>
> 3) Teste em outro ambiente com o mesmo SO se o problema ocorre após
> importar um arquivo de DUMP;
>
> 3.1) Caso no ambiente de testes funcione, você pode cogitar a
> possibilidade de fazer um DUMP completo, apagar o banco de dados,
> criar um novo e reimportar o DUMP no mesmo servidor. Se houver algo
> corrompido isto deve resolver;
>

Já pedi para o cliente um dump para eu fazer um teste de restore, pq estou
achando que seja realmente alguma coisa que possa ser resolvida com um
dump/restore

>
>
> Adami
>

Vlw Adami, muito obrigado. Vou realizar esses testes e volto a compartilhar
com vocês o que tive que resultados.

> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Lentidao em consulta usando Between com datas iguais

[Tiago José Adami]

Em 12 de dezembro de 2016 11:45, Cleiton Luiz Domazak
 escreveu:
> (corte)
> Alguém já passou por essa situação?

Eu já: com o PostgreSQL 9.4 (não lembro se era 9.4.2 ou 9.4.3). Nas
últimas releases, por exemplo a 9.4.8 que uso no ambiente de testes
(com mesmo SO), o problema não ocorre.

No meu caso havia uma tabela PUBLIC.RESERVA com um atributo chamado
"DATA" tipo DATE.

Como o servidor (hardware) é fraquinho eu me antecipei e criei vários
índices parciais por ano contendo a cláusula "WHERE DATA BETWEEN
'-01-01' AND '-12-31'" (substituindo  pelos anos de 2014
até 2020). A cláusula between do ano era usada em todas as consultas
envolvendo o atributo DATA.

Adicionalmente a estes índices anuais ainda existia um índice composto
com o atributo DATA, sendo ele o primeiro da lista de atributos do
índice.

Sofri um tempão para descobrir o problema. Como é utilizado um
servidor Debian e o PostgreSQL dos repositórios oficiais a atualização
dos binários demorou um pouco para sair, então tive que encontrar a
solução "na mão", que foi excluir os índices parciais deixando apenas
um índice "normal" utilizando o atributo "DATA".

Sendo assim:

1) Certifique-se de estar utilizando a última release da versão 9.4;

2) Verifique se existem índices parciais sobre este atributo de data;

3) Teste em outro ambiente com o mesmo SO se o problema ocorre após
importar um arquivo de DUMP;

3.1) Caso no ambiente de testes funcione, você pode cogitar a
possibilidade de fazer um DUMP completo, apagar o banco de dados,
criar um novo e reimportar o DUMP no mesmo servidor. Se houver algo
corrompido isto deve resolver;


Adami
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] Lentidao em consulta usando Between com datas iguais

[Cleiton Luiz Domazak]

Bom dia pessoal.

Estou ressuscitando um tópico que já foi levantado, mas a pessoa que pediu
ajuda sumiu e não retornou os questionamento de quem tentou lhe ajudar.

Vou reproduzir na integra a ultima interação:

">* gostaria de comentar uma situacao, aqui na empresa tem um relatorio que*

>* o usuario fornece as datas inicial e final para gerar os dados, quando
*>* as datas sao iguais a consulta no banco de dados demora mais tempo que o
*>* normal, entre datas diferentes a consulta é feita rapidamente.
*>>* No teste que fiz percebi o seguinte:
*>* Se eu coloco "campo = data" a consulta executa normalmente, mas se eu
*>* coloco "campo BETWEEN data  AND  mesmadata" a consulta demora muito mais
*>* tempo.
*
Mande-nos o EXPLAIN ANALYZE da consulta, por favor.

>* Utilizamos a versao 9.1 com Linux CentOS.
*
Qual o último número da versão?
Qual a versãso do CentOS? Qual a arquitetura (32 ou 64bit) ?

>* Se alguem tiver alguma dica, agradeco.
*
Após suas respostas deveremos ter...

[]s

Flavio Gurgel"


No meu caso, é um PostgreSQL 9.4, e infelizmente eu não consegui gerar o
EXPLAIN ANALYZE neste caso, simplesmente a query não termina de executar
NUNCA.

E se eu usar a mesma data de inicio e aumentar em 1 dia a final, funciona
muito bem.

Já fiz um REINDEX, por pensar ser algum index corrompido ou algo do tipo,
mas nada resolveu.

Alguém já passou por essa situação?
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Análise de imagens

[Ivo Sestren Junior]

Bom dia.

Não sei se chegasse a ver, da uma pesquisada por OpenCV.
É uma api para reconhecimento de imagens/faces, da para tratar
reconhecimento de tudo que possas querer nela.

Em 12 de dezembro de 2016 09:23, Giovani Rodrigues 
escreveu:

> Bom dia pessoal.
>
> Eu venho há algum tempo estudando uma forma de melhorar alguns processos
> na empresa onde trabalho. Temos um cenário industrial e não serial, onde
> uma ordem de produção pode ser a construção de um item totalmente novo, ou
> um conserto de uma peça que nunca produzimos. Mas acontece de termos itens
> repetidos, tanto construção quanto conserto. E muitas vezes o cliente não
> manda a infomação, no caso o desenho técnico do serviço, cabendo a nós
> localizarmos os itens semelhantes para estudarmos os custos.
> Baseado nisso, eu venho tentando desenvolver um programa que ao inserir
> uma imagem, ele calcule o grau de similaridade entre esse desenho e nosso
> diretório de imagens. O vídeo do link, mostra o meu resultado atual,
> utilizando um componente open source descontinuado.
>
> https://youtu.be/HSdWwxrYXAw
>
> O resultado, embora bem simplório, já nos ajuda a termos uma noção de
> quais serviços foram parecidos.
>
> Em conversa com um amigo de faculdade no linkedin, ele sugeriu procurar a
> comunidade postgresql, pois ele disse-me o Postgre possui uma parte que
> trabalha com imagens.
>
> vocês poderiam indicar-me material de estudo, independente de linguagem de
> desenvolvimento, para eu aprofundar-me no assunto?
>
> Att.
>
> --
> Giovani Rodrigues
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] Análise de imagens

[Giovani Rodrigues]

Bom dia pessoal.

Eu venho há algum tempo estudando uma forma de melhorar alguns processos na
empresa onde trabalho. Temos um cenário industrial e não serial, onde uma
ordem de produção pode ser a construção de um item totalmente novo, ou um
conserto de uma peça que nunca produzimos. Mas acontece de termos itens
repetidos, tanto construção quanto conserto. E muitas vezes o cliente não
manda a infomação, no caso o desenho técnico do serviço, cabendo a nós
localizarmos os itens semelhantes para estudarmos os custos.
Baseado nisso, eu venho tentando desenvolver um programa que ao inserir uma
imagem, ele calcule o grau de similaridade entre esse desenho e nosso
diretório de imagens. O vídeo do link, mostra o meu resultado atual,
utilizando um componente open source descontinuado.

https://youtu.be/HSdWwxrYXAw

O resultado, embora bem simplório, já nos ajuda a termos uma noção de quais
serviços foram parecidos.

Em conversa com um amigo de faculdade no linkedin, ele sugeriu procurar a
comunidade postgresql, pois ele disse-me o Postgre possui uma parte que
trabalha com imagens.

vocês poderiam indicar-me material de estudo, independente de linguagem de
desenvolvimento, para eu aprofundar-me no assunto?

Att.

-- 
Giovani Rodrigues
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral