Boa Tarde, Utilizamos o Pentaho (ETL) para integração de dados de dois sistemas processuais (Oracle e Mysql) para um banco de dados (PostgreSQL) que serve de base, entre outras coisas, para emissão de relatórios. Esta transformação envolve a remoção e posterior inserção de mais 20 milhões de registros.
Recentemente fizemos a atualização deste servidor PostgreSQL da 9.0 para 9.1. Para a migração preparamos um outro servidor (com exatamente a mesma configuração do antigo - ambos virtuais) e migramos os dados utilizando um dump. Tudo ocorreu conforme planejado, no entanto o tempo de execução das transformações subiu assustadoramente. Transformações cujo tempo de execução oscilava entre 1h e 30min e 2h e 50min passaram a levar até 8h para concluir sua execução. Depois de muito procurar o motivo desta lentidão, verificamos que diferente do servidor anterior que utilizava XFS na partição do pg_data (/var/lib/postgresql) o novo servidor havia sido montado (por descuido) com EXT3. Para solucionar o problema, criamos outra partição XFS, copiamos o conteúdo e substituímos a anterior. O tempo de execução das transformações voltou imediatamente ao valor esperado. Toda a evolução do caso pode ser observado no seguinte trecho de registros da tabela a seguir. As transformações iniciam 01:00 da madrugada e "htdttransform" é o horário do fim da execução. htsistema htcodcomr htdttransform htstatus 0 10 2012-08-02 03:32:31.75216 0 // servidor antigo - pg_data em partição XFS 0 10 2012-08-03 03:50:18.631488 0 0 10 2012-08-04 03:19:44.092407 0 0 10 2012-08-05 03:07:08.835721 0 0 10 2012-08-08 03:26:55.376261 0 0 10 2012-08-10 07:08:48.400099 0 // servidor novo - pg_data em partição EXT3 0 10 2012-08-11 07:18:54.679319 0 0 10 2012-08-12 07:18:36.584389 0 0 10 2012-08-13 06:58:08.197259 0 0 10 2012-08-14 07:03:36.882299 0 0 10 2012-08-15 07:36:56.543526 0 0 10 2012-08-16 08:02:01.913972 0 0 10 2012-08-17 09:12:10.961894 0 0 10 2012-08-18 02:39:33.658399 0 // servidor novo - pg_data em partição XFS 0 10 2012-08-19 02:43:02.152673 0 0 10 2012-08-20 02:32:59.618294 0 0 10 2012-08-22 03:23:42.080862 0 0 10 2012-08-23 03:20:09.444308 0 0 10 2012-08-24 03:26:35.428384 0 0 10 2012-08-25 02:33:50.022321 0 Vale observar que o tempo de execução de consultas não foi afetado pela alteração do sistema de arquivos. Espero que a experiencia aqui relatada ajude a comprovar a importância da escolha do sistema de arquivos para um servidor de banco de dados. -- Marco Aurélio Carvalho Feitosa Analista de Sistemas Tribunal de Justiça do Estado de Roraima (95) 3198-2834/2837 _______________________________________________ pgbr-geral mailing list [email protected] https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
