Re: Dudas varias pglogical
Perfecto gracias por la ayuda, ahora tengo otra duda, estoy viendo que el replication slot lag esta creciendo mucho, quisiera saber a que se puede deber slot_name | replicationslotlag | active -++ pgl_snap_practice_prod_provider_sub_rep_all | 458 GB | t Saludos, On Mon, May 27, 2019 at 9:06 AM Daymel Bonne wrote: > Hola: > > El lun., 27 de may. de 2019 a la(s) 09:56, max araya (mxar...@gmail.com) > escribió: > >> En realidad no he tenido ningun problema, todo lo contrario me esta >> funcionando perfecto, solo es una duda de si por alguna razon pglogical >> podria hacer que la bd provider (BD productiva) me causa algun fallo. >> > > No, siempre que tengas actualizado postgres y pglogical. > > >> >> Lo unico extraño que me ha pasado es que no me dejara borrar una tabla >> del provider que no estaba replicando con pglogical, lo resolvi dandole >> full permisos al usuario de pglogical sobre esa tabla. >> >> Sobre el monitoreo es mas que todo para verificar que la replicacion se >> este haciendo bien o simplemente si se da algun error que me avise y poder >> revisarlo. >> > > En caso de error siempre vas poder buscar en los logs tanto del proveedor > como en el suscriptor registros que hacen referencia a pglogical. Del > monitoreo, siempre que avance la replicación no debes tener problemas. > Tenés que estar monitoreando la información de la vista pg_stat_replication > y pg_replication_slots. > > Saludos > -- Max Araya
Re: Dudas varias pglogical
En realidad no he tenido ningun problema, todo lo contrario me esta funcionando perfecto, solo es una duda de si por alguna razon pglogical podria hacer que la bd provider (BD productiva) me causa algun fallo. Lo unico extraño que me ha pasado es que no me dejara borrar una tabla del provider que no estaba replicando con pglogical, lo resolvi dandole full permisos al usuario de pglogical sobre esa tabla. Sobre el monitoreo es mas que todo para verificar que la replicacion se este haciendo bien o simplemente si se da algun error que me avise y poder revisarlo. Saludos, Max On Mon, May 27, 2019 at 8:42 AM Daymel Bonne wrote: > > > El lun., 27 de may. de 2019 a la(s) 09:28, max araya (mxar...@gmail.com) > escribió: > >> Buenas tardes, >> >> Tengo unas cuantas dudas sobre pglogical: >> >>1. Hay alguna posibilidad de que pglogical provoque que la BD >>provider falle? >> >> > Algún dado que te sugiere que pglogical fue el causante de la falla? > > >> >>1. Existe alguna herramienta o forma de monitorear mas profundamente >>si pglogical esta trabajando correctamente aparte de usar queries en >>provider y subscriber? >> >> > Esto es ambiguo. Alguna información en específico que quieras tener en el > monitoreo? A que te refieres con "más profundamente"? > > Saludos > -- Max Araya
Dudas varias pglogical
Buenas tardes, Tengo unas cuantas dudas sobre pglogical: 1. Hay alguna posibilidad de que pglogical provoque que la BD provider falle? 2. Existe alguna herramienta o forma de monitorear mas profundamente si pglogical esta trabajando correctamente aparte de usar queries en provider y subscriber? Gracias de antemano. -- Max Araya
Re: Pglogical configuracion correcta de parametros
En este caso si todas las tablas contenidas en el replication set van a los mismos 3 servidores . En realidad las separamos porque así lo tenemos en nuestro actual sistema de replication pero si no hay problema de hacerlo en 1 solo pues mucho mejor. Haciéndolo así ese único replication set tendría 3 subscriptores. Quedó atento a la respuesta Saludos, Max Araya On Thu, May 9, 2019, 10:48 PM Jaime Casanova wrote: > On Thu, 9 May 2019 at 11:24, max araya wrote: > > > > Ok te comento, inicialmente la replicacion solo va a ser hacia 1 > servidor, ya luego seran 3. > > > > En cuanto a los subscriptores por cada replication set van a haber 15 > tablas maximo. > > > > El número de tablas por replication sets no es importante, sino el > número de replication sets y cuantos suscriptores va a tener cada > replication set. > > replication set: origen de datos (una o varias tablas a ser replicadas > juntas desde este origen de datos) > suscriptor: destino de datos (un replication set enviará datos de una > o varias tablas hacia este destino) > > pregunta: los 5 replication sets se enviaran a los mismos servidores? > porque no entonces un solo replication set con las 67 tablas? > > -- > Jaime Casanova www.2ndQuadrant.com > PostgreSQL Development, 24x7 Support, Remote DBA, Training & Services >
Re: Pglogical configuracion correcta de parametros
Ok te comento, inicialmente la replicacion solo va a ser hacia 1 servidor, ya luego seran 3. En cuanto a los subscriptores por cada replication set van a haber 15 tablas maximo. Gracias de ante mano. Max Araya On Thu, May 9, 2019 at 10:18 AM Jaime Casanova < jaime.casan...@2ndquadrant.com> wrote: > > > > El jue., 9 de may. de 2019 11:13 a. m., max araya > escribió: > >> Gracias por la recomendación Jaime, no conocia de este otro correo. >> >> Solo por estar seguro si entendi bien. Supongamos que bajamos >> max_connections a 1500 (probablemente asi lo hagamos realmente), >> max_wal_senders yo deberia setearlo a 1498 (max_connections - >> superuser_reserved_connections + 1)? >> > > > Hola. > > No, el cálculo era solo un ejemplo. max_wal_senders no debería ser > innecesariamente alto. Debes tener ahí indicado el número de réplicas (o > suscriptores que vas a tener + 2) > > > >> Solo como dato extra, inicialmente voy a replicar 67 tablas, las cuales >> las pienso dividir en 5 replication_set >> > > Los replication set van a diferentes servidores? > > Cuántos suscriptores habrán por cada replication set? > > Ese es el dato que necesitas para setear max_wal_senders > > -- > Jaime Casanova > 2ndQuadrant > Su diligente equipo de expertos en PostgreSQL > > > >> Quedo atento a tus comentarios, >> >> Saludos, >> Max Araya >> >> On Wed, May 8, 2019 at 11:16 PM Jaime Casanova < >> jaime.casan...@2ndquadrant.ec> wrote: >> >>> On Wed, May 8, 2019 at 5:26 PM max araya wrote: >>> > >>> > Hola, >>> > >>> > Quisiera hacer una consulta relacionada con pglogical y la >>> configuracion correcta de parametros para este caso. >>> > >>> > Nosotros usamos RDS y este lo tenemos seteado a 3000 max connections, >>> normalmente hay 800 conexiones a la BD, mi duda es si por este >>> comportamiento yo necesito tener una configuracion especial o con esta por >>> ejemplo me funcionaria todo perfecto. La que yo tengo es la siguiente: >>> > >>> > a. wal_level = 'logical' >>> > >>> > b. max_worker_processes = 10 >>> > >>> > c. max_replication_slots = 10 >>> > >>> > d. max_wal_senders = 15 >>> > >>> > e. shared_preload_libraries = 'pglogical' >>> > >>> > f.track_commit_timestamp = on >>> > >>> > g. rds.logical_replication = 1 >>> > >>> > h. pglogical.batch_inserts = 1 >>> > >>> >>> Hola Max, >>> >>> Entiendo que esta es una lista en inglés, así que sería mejor que la >>> próxima vez escribas en inglés aquí. >>> También podrías usar pgsql-es-ay...@postgresql.org para hacer preguntas >>> en español. >>> >>> Contestando a tu pregunta: >>> max_wal_senders se considera en el límite para max_connections, es decir >>> si tuvieras 2983 (max_connections - superuser_reserved_connections + 1) >>> conexiones de usuario y quisieras establecer la replicación número 15 ya no >>> te permitiría. Por lo que si solo tienes 800 conexiones de usuario parece >>> que te queda bastante espacio para aumentar max_wal_senders. >>> max_wal_senders debe ser igual o mayor al número de réplicas que deseas >>> tener. >>> >>> *baja max_connections*, tenerlo tan alto sin necesidad va a morderte un >>> día. >>> >>> max_worker_processes debe ser igual al número de suscriptores que vas a >>> tener + 2 >>> >> >> >> -- >> Max Araya >> > -- Max Araya
Re: Pglogical configuracion correcta de parametros
Gracias por la recomendación Jaime, no conocia de este otro correo. Solo por estar seguro si entendi bien. Supongamos que bajamos max_connections a 1500 (probablemente asi lo hagamos realmente), max_wal_senders yo deberia setearlo a 1498 (max_connections - superuser_reserved_connections + 1)? Solo como dato extra, inicialmente voy a replicar 67 tablas, las cuales las pienso dividir en 5 replication_set Quedo atento a tus comentarios, Saludos, Max Araya On Wed, May 8, 2019 at 11:16 PM Jaime Casanova < jaime.casan...@2ndquadrant.ec> wrote: > On Wed, May 8, 2019 at 5:26 PM max araya wrote: > > > > Hola, > > > > Quisiera hacer una consulta relacionada con pglogical y la configuracion > correcta de parametros para este caso. > > > > Nosotros usamos RDS y este lo tenemos seteado a 3000 max connections, > normalmente hay 800 conexiones a la BD, mi duda es si por este > comportamiento yo necesito tener una configuracion especial o con esta por > ejemplo me funcionaria todo perfecto. La que yo tengo es la siguiente: > > > > a. wal_level = 'logical' > > > > b. max_worker_processes = 10 > > > > c. max_replication_slots = 10 > > > > d. max_wal_senders = 15 > > > > e. shared_preload_libraries = 'pglogical' > > > > f.track_commit_timestamp = on > > > > g. rds.logical_replication = 1 > > > > h. pglogical.batch_inserts = 1 > > > > Hola Max, > > Entiendo que esta es una lista en inglés, así que sería mejor que la > próxima vez escribas en inglés aquí. > También podrías usar pgsql-es-ay...@postgresql.org para hacer preguntas > en español. > > Contestando a tu pregunta: > max_wal_senders se considera en el límite para max_connections, es decir > si tuvieras 2983 (max_connections - superuser_reserved_connections + 1) > conexiones de usuario y quisieras establecer la replicación número 15 ya no > te permitiría. Por lo que si solo tienes 800 conexiones de usuario parece > que te queda bastante espacio para aumentar max_wal_senders. > max_wal_senders debe ser igual o mayor al número de réplicas que deseas > tener. > > *baja max_connections*, tenerlo tan alto sin necesidad va a morderte un > día. > > max_worker_processes debe ser igual al número de suscriptores que vas a > tener + 2 > -- Max Araya
