Horacio: On Sun, Jul 5, 2020 at 4:22 AM Horacio Miranda <hmira...@gmail.com> wrote: > 40GB no es mucho, lo que puedes hacer es un respaldo a un archivo, luego lo > comprimers en paralelo con pbzip2 ( debes tener muchas CPU para que valga la > pena ) y luego cargas la base en la nueva versión. > ( la clave para velocidad es descomprimir el archivo primero y luego > cargarlo, si haces un pipe, pbzip2 solo funciona con un solo thread.
Para un escenario de cambio de proveedor tienes que tener en cuenta mas cosas. Yo para esas cosas suelo hacer dump-local, copiar dump a remoto, restore loca. pg_dump con el -Fc me va mas rapido con que sin compresion a la que me descuide ( las CPU de ahora son ridiculamente rapidas con el gzip y similares, en todos mis programas en los que puedo le meto la zlib para escribir / leer de disco y va mas rapido, y eso sin el truco, que aqui no se puede, de comprimir/descomprimir en un thread aparte que aprovecha los multicores y me usos de cpu de hasta el 280% en algunos casos ). En esos casos lo que suelo hacer es pgdump/restore con el setting normal o un poco mas BAJO para maxima velocidad, y, para pasar los datos, usar un compresor en pipe en la red, para paralelizar. Aunque un pbzip2 sea mas rapido que un bzip2 puede que hacer.. bzcat archivo | ssh maquina "bunzip2 > archivo ..te vaya mejor porque hace que la red y los dos compresores trabajen en paralelo. A mi me ha pasado que puedo comprimir en 2 segundos, transmitir en 30, descomprimir en 1 o comprimir en 8 en paralelo con transmitir en 30 y descomprimir en 4. Por ultimo, un comentario sobre el bzip2 y las compresiones que igual interesa. Yo usaba mucho bzip2 en mi epoca de gentoo, hace 15 años. Ahora se esta empezando a usar mucho. Pero hace ya años que hice un benchmark gzip-bzip2-xz y encontre que el xz siempre gana al bzip2. Es decir, para cualquier nivel de compresion de bzip2 el xz tenia uno que comprimia MAS y MAS rapido ( aunque fuera poco ). El gzip sin embargo seguia teniendo su uso, ya que era mas rapido que todos en algunas condiciones ( de ahi que lo suela usar para comprimir a disco, en los niveles normales es tan rapido que puedo comprimir al vuelo Y saturar el disco, al menos cuando tiro de platos, e igualmente con la red ). Cuando tenga algo de tiempo he de repetir las pruebas con el zstd ( mis pruebas con mis datos, porque los indicativos lo dan como muy bueno para este tipo de cosas, compresion de datos en transito ( hacia disco o red ) ). Francisco Olarte.
