Re: [pgsql-es-ayuda] tamano del blocksize
At 04:46 15/02/2012, Jaime Casanova wrote: 2012/2/14 Hellmuth Vargas hiv...@gmail.com: Hoy el tema de desempeno estaba muy penalizado y me dio por revisar el I/O y probar con tamano de bloque mas grande para postgres (16Kb) claro hubo necesidad de compilar y migrar y oh sorpresa: mejoro muchisimo!!! bueno la pregunta es: el tema de los 8Kb es un limite por compatibilidad? seria conveniente considerarlo siempre al realizar una instalacion en servidores relativamente nuevos? muchas gracias lista Honestamente nunca se me hubiera ocurrido esa solucion... en cuanto a tu pregunta, quiza solo es inercia y falta las pruebas de rendimiento apropiadas. sin embargo, aun si fuera asi supongo que solo se recomendaria para que el que quiera lo haga. PostgreSQL soporta sistemas muy viejos y probablemente en algunos de ellos sea contraproducente hacer eso... pero como no tengo datos en los cuales basarme solo estoy asumiendo Ten cuidado al hacer eso. Para empezar si quieres usar wal archive o pitr o similares, ambos postgres deben tener el mismo tamaño de bloque, si no, puede desde indicarte que no funciona a corromper los datos en el postgres de destino. Si intentas actualizar el postgres debes recompilarlo con esta opcion antes de lanzarlo, si no puede corromper los datos que tengas. Por supuesto, el puede corromper puede fallar y demas es un casi seguro que lo va a hacer. HTH - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org) Para cambiar tu suscripción: http://www.postgresql.org/mailpref/pgsql-es-ayuda
Re: [pgsql-es-ayuda] tamano del blocksize
Hola Lista No claro!! modifique tanto el blocksize como el wal-blocksize. (/configure --with-blocksize=16 --with-wal-blocksize=16) Ademas una vez terminada la migración ejecute un vacuum full analyze sobre toda la base. Pero el hecho es que el desempeño si se ha visto muy favorecido: antes, un indice sobre la fact table de 17 millones de registros demoraba aproximadamente 1:15 min, ahora la creación del mismo indice demoro 25 min.. igual las pruebas continuan... . 2012/2/15 Eduardo Morras nec...@retena.com At 04:46 15/02/2012, Jaime Casanova wrote: 2012/2/14 Hellmuth Vargas hiv...@gmail.com: Hoy el tema de desempeno estaba muy penalizado y me dio por revisar el I/O y probar con tamano de bloque mas grande para postgres (16Kb) claro hubo necesidad de compilar y migrar y oh sorpresa: mejoro muchisimo!!! bueno la pregunta es: el tema de los 8Kb es un limite por compatibilidad? seria conveniente considerarlo siempre al realizar una instalacion en servidores relativamente nuevos? muchas gracias lista Honestamente nunca se me hubiera ocurrido esa solucion... en cuanto a tu pregunta, quiza solo es inercia y falta las pruebas de rendimiento apropiadas. sin embargo, aun si fuera asi supongo que solo se recomendaria para que el que quiera lo haga. PostgreSQL soporta sistemas muy viejos y probablemente en algunos de ellos sea contraproducente hacer eso... pero como no tengo datos en los cuales basarme solo estoy asumiendo Ten cuidado al hacer eso. Para empezar si quieres usar wal archive o pitr o similares, ambos postgres deben tener el mismo tamaño de bloque, si no, puede desde indicarte que no funciona a corromper los datos en el postgres de destino. Si intentas actualizar el postgres debes recompilarlo con esta opcion antes de lanzarlo, si no puede corromper los datos que tengas. Por supuesto, el puede corromper puede fallar y demas es un casi seguro que lo va a hacer. HTH - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org **) Para cambiar tu suscripción: http://www.postgresql.org/**mailpref/pgsql-es-ayudahttp://www.postgresql.org/mailpref/pgsql-es-ayuda -- Cordialmente, Ing. Hellmuth I. Vargas S. Esp. Telemática y Negocios por Internet Oracle Database 10g Administrator Certified Associate
Re: [pgsql-es-ayuda] tamano del blocksize
At 13:58 15/02/2012, Hellmuth Vargas wrote: Hola Lista No claro!! modifique tanto el blocksize como el wal-blocksize. (/configure --with-blocksize=16 --with-wal-blocksize=16) Ademas una vez terminada la migración ejecute un vacuum full analyze sobre toda la base. Pero el hecho es que el desempeño si se ha visto muy favorecido: antes, un indice sobre la fact table de 17 millones de registros demoraba aproximadamente 1:15 min, ahora la creación del mismo indice demoro 25 min.. igual las pruebas continuan... No me referia al uso de ese postgresql en concreto, la mejora de rendimiento es considerable al terminar en la tercera parte de tiempo. Me referia a que si ese postgres lo vas a usar en un entorno de maestro esclavo como maestro, el postgresql esclavo debe estar compilado con estos mismos parametros. Ademas, si actualizas el postgresql de ese servidor, acuerdate antes de lanzar la version actualizada de recompilarla, si no los directorios de datos se veran comprometidos. Era mas un aviso para que lo tengas en cuenta antes de que te quedes sin los datos. Igual si postgres pone el tamaño del bloque como parte de su configuracion en vez de su compilacion seria mas sencillo hacer pruebas. Sqlite por ejemplo te permite cambiar el tamaño de los bloques/paginas mediante un pragma y haciendo un vacuum. . 2012/2/15 Eduardo Morras mailto:nec...@retena.comnec...@retena.com At 04:46 15/02/2012, Jaime Casanova wrote: 2012/2/14 Hellmuth Vargas mailto:hiv...@gmail.comhiv...@gmail.com: Hoy el tema de desempeno estaba muy penalizado y me dio por revisar el I/O y probar con tamano de bloque mas grande para postgres (16Kb) claro hubo necesidad de compilar y migrar y oh sorpresa: mejoro muchisimo!!! bueno la pregunta es: el tema de los 8Kb es un limite por compatibilidad? seria conveniente considerarlo siempre al realizar una instalacion en servidores relativamente nuevos? muchas gracias lista Honestamente nunca se me hubiera ocurrido esa solucion... en cuanto a tu pregunta, quiza solo es inercia y falta las pruebas de rendimiento apropiadas. sin embargo, aun si fuera asi supongo que solo se recomendaria para que el que quiera lo haga. PostgreSQL soporta sistemas muy viejos y probablemente en algunos de ellos sea contraproducente hacer eso... pero como no tengo datos en los cuales basarme solo estoy asumiendo Ten cuidado al hacer eso. Para empezar si quieres usar wal archive o pitr o similares, ambos postgres deben tener el mismo tamaño de bloque, si no, puede desde indicarte que no funciona a corromper los datos en el postgres de destino. Si intentas actualizar el postgres debes recompilarlo con esta opcion antes de lanzarlo, si no puede corromper los datos que tengas. Por supuesto, el puede corromper puede fallar y demas es un casi seguro que lo va a hacer. HTH - Enviado a la lista de correo pgsql-es-ayuda (mailto:pgsql-es-ayuda@postgresql.orgpgsql-es-ayuda@postgresql.org) Para cambiar tu suscripción: http://www.postgresql.org/mailpref/pgsql-es-ayudahttp://www.postgresql.org/mailpref/pgsql-es-ayuda -- Cordialmente, Ing. Hellmuth I. Vargas S. Esp. Telemática y Negocios por Internet Oracle Database 10g Administrator Certified Associate - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org) Para cambiar tu suscripción: http://www.postgresql.org/mailpref/pgsql-es-ayuda
Re: [pgsql-es-ayuda] tamano del blocksize
Excerpts from Jaime Casanova's message of mié feb 15 00:46:52 -0300 2012: 2012/2/14 Hellmuth Vargas hiv...@gmail.com: Hoy el tema de desempeno estaba muy penalizado y me dio por revisar el I/O y probar con tamano de bloque mas grande para postgres (16Kb) claro hubo necesidad de compilar y migrar y oh sorpresa: mejoro muchisimo!!! bueno la pregunta es: el tema de los 8Kb es un limite por compatibilidad? seria conveniente considerarlo siempre al realizar una instalacion en servidores relativamente nuevos? muchas gracias lista Honestamente nunca se me hubiera ocurrido esa solucion... en cuanto a tu pregunta, quiza solo es inercia y falta las pruebas de rendimiento apropiadas. Creo que el producto de EDB (Advanced server o como se llame) usa bloques de 32k porque da mejor rendimiento. (Lamentablemente tamaños mayores de página no se pueden usar por una limitación en el tamaño de offsets o algo así, creo que son 15 bits pero no estoy seguro). -- Álvaro Herrera alvhe...@alvh.no-ip.org - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org) Para cambiar tu suscripci�n: http://www.postgresql.org/mailpref/pgsql-es-ayuda
Re: [pgsql-es-ayuda] tamano del blocksize
Hola Eduardo y lista Si claro, digamos que la administración y actualización debe ponersele mucho mas cuidado pero vale la pena el cambio. Pero mi comentario va un poco mas alla: sera que es necesario reevaluar algunos parámetros que mantiene PostgreSQL (algunos de los cuales requiere recompilar) para que aproveche mucho mejor el actual hardware y software? Gracias Lista 2012/2/15 Eduardo Morras nec...@retena.com At 13:58 15/02/2012, Hellmuth Vargas wrote: Hola Lista No claro!! modifique tanto el blocksize como el wal-blocksize. (/configure --with-blocksize=16 --with-wal-blocksize=16) Ademas una vez terminada la migración ejecute un vacuum full analyze sobre toda la base. Pero el hecho es que el desempeño si se ha visto muy favorecido: antes, un indice sobre la fact table de 17 millones de registros demoraba aproximadamente 1:15 min, ahora la creación del mismo indice demoro 25 min.. igual las pruebas continuan... No me referia al uso de ese postgresql en concreto, la mejora de rendimiento es considerable al terminar en la tercera parte de tiempo. Me referia a que si ese postgres lo vas a usar en un entorno de maestro esclavo como maestro, el postgresql esclavo debe estar compilado con estos mismos parametros. Ademas, si actualizas el postgresql de ese servidor, acuerdate antes de lanzar la version actualizada de recompilarla, si no los directorios de datos se veran comprometidos. Era mas un aviso para que lo tengas en cuenta antes de que te quedes sin los datos. Igual si postgres pone el tamaño del bloque como parte de su configuracion en vez de su compilacion seria mas sencillo hacer pruebas. Sqlite por ejemplo te permite cambiar el tamaño de los bloques/paginas mediante un pragma y haciendo un vacuum. . 2012/2/15 Eduardo Morras mailto:nec...@retena.comnec**5...@retena.comnec...@retena.com At 04:46 15/02/2012, Jaime Casanova wrote: 2012/2/14 Hellmuth Vargas mailto:hiv...@gmail.comhivs**7...@gmail.comhiv...@gmail.com : Hoy el tema de desempeno estaba muy penalizado y me dio por revisar el I/O y probar con tamano de bloque mas grande para postgres (16Kb) claro hubo necesidad de compilar y migrar y oh sorpresa: mejoro muchisimo!!! bueno la pregunta es: el tema de los 8Kb es un limite por compatibilidad? seria conveniente considerarlo siempre al realizar una instalacion en servidores relativamente nuevos? muchas gracias lista Honestamente nunca se me hubiera ocurrido esa solucion... en cuanto a tu pregunta, quiza solo es inercia y falta las pruebas de rendimiento apropiadas. sin embargo, aun si fuera asi supongo que solo se recomendaria para que el que quiera lo haga. PostgreSQL soporta sistemas muy viejos y probablemente en algunos de ellos sea contraproducente hacer eso... pero como no tengo datos en los cuales basarme solo estoy asumiendo Ten cuidado al hacer eso. Para empezar si quieres usar wal archive o pitr o similares, ambos postgres deben tener el mismo tamaño de bloque, si no, puede desde indicarte que no funciona a corromper los datos en el postgres de destino. Si intentas actualizar el postgres debes recompilarlo con esta opcion antes de lanzarlo, si no puede corromper los datos que tengas. Por supuesto, el puede corromper puede fallar y demas es un casi seguro que lo va a hacer. HTH - Enviado a la lista de correo pgsql-es-ayuda (mailto:pgsql-es-ayuda@** postgresql.org pgsql-es-ayuda@postgresql.orgpgsql-es-ayuda@** postgresql.org pgsql-es-ayuda@postgresql.org) Para cambiar tu suscripción: http://www.postgresql.org/**mailpref/pgsql-es-ayudahttp://www.postgresql.org/mailpref/pgsql-es-ayuda http:/**/www.postgresql.org/mailpref/**pgsql-es-ayudahttp://www.postgresql.org/mailpref/pgsql-es-ayuda -- Cordialmente, Ing. Hellmuth I. Vargas S. Esp. Telemática y Negocios por Internet Oracle Database 10g Administrator Certified Associate - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org **) Para cambiar tu suscripción: http://www.postgresql.org/**mailpref/pgsql-es-ayudahttp://www.postgresql.org/mailpref/pgsql-es-ayuda -- Cordialmente, Ing. Hellmuth I. Vargas S. Esp. Telemática y Negocios por Internet Oracle Database 10g Administrator Certified Associate
Re: [pgsql-es-ayuda] tamano del blocksize
2012/2/15 Hellmuth Vargas hiv...@gmail.com: antes, un indice sobre la fact table de 17 millones de registros demoraba aproximadamente 1:15 min, ahora la creación del mismo indice demoro 25 min.. igual las pruebas continuan... crear un indice en una tabla de 17 millones demoraba 1h 15min? que valor tienes asignado a maintenance_work_mem? me parece muy malo el rendimiento independientemente de que tamaño tengan los bloques probablemente te hubiera servido primero optimizar tu configuración y luego pensar en lo que hiciste -- Jaime Casanova www.2ndQuadrant.com Professional PostgreSQL: Soporte 24x7 y capacitación - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org) Para cambiar tu suscripción: http://www.postgresql.org/mailpref/pgsql-es-ayuda
Re: [pgsql-es-ayuda] tamano del blocksize
Hola Jaime y lista En el postgresql.conf tenia maintenance_work_mem = 128MB y antes de iniciar la creación del indice lo establecí en 512MB. en la nueva versión a 16bits esta en los mismos 128MB del postgresql.conf y ni siquiera lo establece para crear el indice...la maquina solo tiene 4GB de memoria RAM 2012/2/15 Jaime Casanova ja...@2ndquadrant.com 2012/2/15 Hellmuth Vargas hiv...@gmail.com: antes, un indice sobre la fact table de 17 millones de registros demoraba aproximadamente 1:15 min, ahora la creación del mismo indice demoro 25 min.. igual las pruebas continuan... crear un indice en una tabla de 17 millones demoraba 1h 15min? que valor tienes asignado a maintenance_work_mem? me parece muy malo el rendimiento independientemente de que tamaño tengan los bloques probablemente te hubiera servido primero optimizar tu configuración y luego pensar en lo que hiciste -- Jaime Casanova www.2ndQuadrant.com Professional PostgreSQL: Soporte 24x7 y capacitación -- Cordialmente, Ing. Hellmuth I. Vargas S. Esp. Telemática y Negocios por Internet Oracle Database 10g Administrator Certified Associate
[pgsql-es-ayuda] tamano del blocksize
Hola Lista Estaba teniendo problemas con una base destinada a bodega de datos, estuve configurando la misma apelando tanto a las pautas que se dan para configuracion del sistema operativo (linux-64bits) como propias de postgres (9.1) y diseno fisico de la base de la bodega (modelo dimensional,particion de tablas, indices cluster, etc, etc). Como tal la bodega no tiene muchos datos inicialmente (17 millones de registros). Hoy el tema de desempeno estaba muy penalizado y me dio por revisar el I/O y probar con tamano de bloque mas grande para postgres (16Kb) claro hubo necesidad de compilar y migrar y oh sorpresa: mejoro muchisimo!!! bueno la pregunta es: el tema de los 8Kb es un limite por compatibilidad? seria conveniente considerarlo siempre al realizar una instalacion en servidores relativamente nuevos? muchas gracias lista -- Cordialmente, Ing. Hellmuth I. Vargas S.
Re: [pgsql-es-ayuda] tamano del blocksize
2012/2/14 Hellmuth Vargas hiv...@gmail.com: Hoy el tema de desempeno estaba muy penalizado y me dio por revisar el I/O y probar con tamano de bloque mas grande para postgres (16Kb) claro hubo necesidad de compilar y migrar y oh sorpresa: mejoro muchisimo!!! bueno la pregunta es: el tema de los 8Kb es un limite por compatibilidad? seria conveniente considerarlo siempre al realizar una instalacion en servidores relativamente nuevos? muchas gracias lista Honestamente nunca se me hubiera ocurrido esa solucion... en cuanto a tu pregunta, quiza solo es inercia y falta las pruebas de rendimiento apropiadas. sin embargo, aun si fuera asi supongo que solo se recomendaria para que el que quiera lo haga. PostgreSQL soporta sistemas muy viejos y probablemente en algunos de ellos sea contraproducente hacer eso... pero como no tengo datos en los cuales basarme solo estoy asumiendo -- Jaime Casanova www.2ndQuadrant.com Professional PostgreSQL: Soporte 24x7 y capacitación - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org) Para cambiar tu suscripción: http://www.postgresql.org/mailpref/pgsql-es-ayuda
