Re: [FUG-BR] OT backup com SSH e TAR super lento
2015-09-16 22:00 GMT-03:00 Pedro Silva : > > > > Complementando > > > > Parece que só ter acrescentado o setenv LC_ALL dentro do .cshrc do meu > > usuário não valeu. > > > > Tive que acrescentar dentro do script de backup: export > > LC_ALL="pt_BR.ISO8859-1" > > > > att > > > > > > -- > > *[]'* > > *EnioRM* > > > > *"Unix is user-friendly. It's just very selective about who its friends > > are."* > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > Enio, > > Fez alguma alteração/atualização no sistema entre estar funcionando normal > e começar a apresentar os problemas? > > -- > Pedro Silva > Fedora User > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > Pedro Silva desculpa a demora, só li hoje a sua mensagem. Quando aconteceu isso, não tinha feito nenhuma atualização do FreeBSD, somente atualização de ports com portsnap. Porém o script usa comandos da base. att -- *[]'* *EnioRM* *"Unix is user-friendly. It's just very selective about who its friends are."* - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] OT backup com SSH e TAR super lento
> > Complementando > > Parece que só ter acrescentado o setenv LC_ALL dentro do .cshrc do meu > usuário não valeu. > > Tive que acrescentar dentro do script de backup: export > LC_ALL="pt_BR.ISO8859-1" > > att > > > -- > *[]'* > *EnioRM* > > *"Unix is user-friendly. It's just very selective about who its friends > are."* > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > Enio, Fez alguma alteração/atualização no sistema entre estar funcionando normal e começar a apresentar os problemas? -- Pedro Silva Fedora User - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] OT backup com SSH e TAR super lento
> > -- > > Eduardo Lisboa > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > > Complementando > > Parece que só ter acrescentado o setenv LC_ALL dentro do .cshrc do meu > usuário não valeu. > > Tive que acrescentar dentro do script de backup: export > LC_ALL="pt_BR.ISO8859-1" > > att > Se quizer que fique definitivo: ex p/ UTF-8: Adicionar no /etc/login.conf :charset=UTF-8:\ :lang=pt_BR.UTF-8:\ :setenv=LC_COLLATE=C: Rodar: $ cap_mkdb /etc/login.conf $ locale -- Fernando Gilli - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] OT backup com SSH e TAR super lento
2015-08-26 10:44 GMT-03:00 Eduardo Costa Lisboa : > Legal, Enio. Que bom que tudo acabou bem. Abraço e boa sorte. > > > Em 26 de agosto de 2015 10:42, EnioRM escreveu: > > > 2015-08-25 16:59 GMT-03:00 Eduardo Costa Lisboa < > eduardo.lis...@gmail.com > > >: > > > > > E se compactar antes pra já enviar zipado por SSH, já tentou? > > > > > > Exemplo: > > > > > > tar cvfp - dir | bzip2 -9fvc - | ssh user@host 'cat > arquivo.tar.bz2' > > > > > > Eu fiz o bzip em separado pois assim posso definir as opções, como > nível > > de > > > compressão etc. Senão, bastava adicionar o parâmetro j ao comando tar. > > > > > > > > > > > > Em 25 de agosto de 2015 10:05, EnioRM escreveu: > > > > > > > Olá amigos bom dia. > > > > > > > > Eu utilizo um método simples de backup, através de um script básico > que > > > > copia, usando SSH, o conteúdo de um TAR para outra máquina. > > > > > > > > Uso uma sintaxe simples: > > > > tar -czpf - -X /root/tar_exclude.txt /arquivos/setorX | ssh > > user@destino > > > > "cat > /backup/setorX.tgz" > > > > > > > > Até alguns dias a coisa estava fluindo muito bem. > > > > Porém notei que de uns dias pra cá o TAR começou a emitir esse aviso: > > > > tar: ... : Can't translate pathname '...' to UTF-8 > > > > > > > > Até onde pesquisei isso não parece ser problema, mas o procedimento > que > > > > levava cerca de 4 horas, está demorando mais de 15 horas para > > completar. > > > > > > > > OBS os arquivos dos usuários são compartilhados pelo Samba, > configurado > > > com > > > > estes ajustes de charset: > > > > unix charset = iso-8859-1 > > > > dos charset = iso-8859-1 > > > > display charset = iso-8859-1 > > > > > > > > E o sistema está configurado também com: > > > > setenv LANG pt_BR.ISO8859-1 > > > > setenv MM_CHARSET pt_BR.ISO8859-1 > > > > tanto no servidor onde o script é executado quanto no computador > > destino > > > do > > > > backup. > > > > > > > > O arquivo tar_exclude.txt usado com -X para que o TAR exclua do > > > > procedimento alguns tipos de arquivos tem cerca de 80 linhas contendo > > > > extensões de arquivos que não devem ir para o backup (tipo: músicas, > > > > vídeos, ppt, etc) > > > > > > > > alguém já passou por isso, ou sabe dizer se o problema da demora está > > > > relacionada ao aviso de charset do TAR ou não? > > > > Ah, e a conexão entre o servidor e o computador onde ficam os > backups é > > > por > > > > rede gigabit, procedimento realizado após o expediente, horário que > não > > > > temos ninguém usando a rede. > > > > > > > > abraços > > > > > > > > > > > > > > > > -- > > > > *[]'* > > > > *EnioRM* > > > > > > > > *"Unix is user-friendly. It's just very selective about who its > friends > > > > are."* > > > > - > > > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > > > > > > > > > > > > > -- > > > Eduardo Lisboa > > > - > > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > > > > > > Eduardo eu uso o -z para que o tar já compacte. Não cheguei a testar > fazer > > conforme você sugeriu mas imagino que seria semelhante a acrescentar o -j > > para que o tar use o bz2 como compactador. > > > > Mas, sobre o problema de lentidão, foi resolvido: conforme a sugestão do > > Patrick eu setei o LC_ALL para pt_BR.ISO8859-1 e o tar parou com os > > warnings. > > > > Resolvido isso, o procedimento de backup foi rápido e voltou como era > > antes, em torno de 3 a 4 horas para compactar e enviar via ssh para o > outro > > servidor. > > > > obrigado e abraços > > > > > > -- > > *[]'* > > *EnioRM* > > > > *"Unix is user-friendly. It's just very selective about who its friends > > are."* > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > > > -- > Eduardo Lisboa > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > Complementando Parece que só ter acrescentado o setenv LC_ALL dentro do .cshrc do meu usuário não valeu. Tive que acrescentar dentro do script de backup: export LC_ALL="pt_BR.ISO8859-1" att -- *[]'* *EnioRM* *"Unix is user-friendly. It's just very selective about who its friends are."* - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] OT backup com SSH e TAR super lento
Legal, Enio. Que bom que tudo acabou bem. Abraço e boa sorte. Em 26 de agosto de 2015 10:42, EnioRM escreveu: > 2015-08-25 16:59 GMT-03:00 Eduardo Costa Lisboa >: > > > E se compactar antes pra já enviar zipado por SSH, já tentou? > > > > Exemplo: > > > > tar cvfp - dir | bzip2 -9fvc - | ssh user@host 'cat > arquivo.tar.bz2' > > > > Eu fiz o bzip em separado pois assim posso definir as opções, como nível > de > > compressão etc. Senão, bastava adicionar o parâmetro j ao comando tar. > > > > > > > > Em 25 de agosto de 2015 10:05, EnioRM escreveu: > > > > > Olá amigos bom dia. > > > > > > Eu utilizo um método simples de backup, através de um script básico que > > > copia, usando SSH, o conteúdo de um TAR para outra máquina. > > > > > > Uso uma sintaxe simples: > > > tar -czpf - -X /root/tar_exclude.txt /arquivos/setorX | ssh > user@destino > > > "cat > /backup/setorX.tgz" > > > > > > Até alguns dias a coisa estava fluindo muito bem. > > > Porém notei que de uns dias pra cá o TAR começou a emitir esse aviso: > > > tar: ... : Can't translate pathname '...' to UTF-8 > > > > > > Até onde pesquisei isso não parece ser problema, mas o procedimento que > > > levava cerca de 4 horas, está demorando mais de 15 horas para > completar. > > > > > > OBS os arquivos dos usuários são compartilhados pelo Samba, configurado > > com > > > estes ajustes de charset: > > > unix charset = iso-8859-1 > > > dos charset = iso-8859-1 > > > display charset = iso-8859-1 > > > > > > E o sistema está configurado também com: > > > setenv LANG pt_BR.ISO8859-1 > > > setenv MM_CHARSET pt_BR.ISO8859-1 > > > tanto no servidor onde o script é executado quanto no computador > destino > > do > > > backup. > > > > > > O arquivo tar_exclude.txt usado com -X para que o TAR exclua do > > > procedimento alguns tipos de arquivos tem cerca de 80 linhas contendo > > > extensões de arquivos que não devem ir para o backup (tipo: músicas, > > > vídeos, ppt, etc) > > > > > > alguém já passou por isso, ou sabe dizer se o problema da demora está > > > relacionada ao aviso de charset do TAR ou não? > > > Ah, e a conexão entre o servidor e o computador onde ficam os backups é > > por > > > rede gigabit, procedimento realizado após o expediente, horário que não > > > temos ninguém usando a rede. > > > > > > abraços > > > > > > > > > > > > -- > > > *[]'* > > > *EnioRM* > > > > > > *"Unix is user-friendly. It's just very selective about who its friends > > > are."* > > > - > > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > > > > > > > > -- > > Eduardo Lisboa > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > > Eduardo eu uso o -z para que o tar já compacte. Não cheguei a testar fazer > conforme você sugeriu mas imagino que seria semelhante a acrescentar o -j > para que o tar use o bz2 como compactador. > > Mas, sobre o problema de lentidão, foi resolvido: conforme a sugestão do > Patrick eu setei o LC_ALL para pt_BR.ISO8859-1 e o tar parou com os > warnings. > > Resolvido isso, o procedimento de backup foi rápido e voltou como era > antes, em torno de 3 a 4 horas para compactar e enviar via ssh para o outro > servidor. > > obrigado e abraços > > > -- > *[]'* > *EnioRM* > > *"Unix is user-friendly. It's just very selective about who its friends > are."* > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Eduardo Lisboa - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] OT backup com SSH e TAR super lento
2015-08-25 16:59 GMT-03:00 Eduardo Costa Lisboa : > E se compactar antes pra já enviar zipado por SSH, já tentou? > > Exemplo: > > tar cvfp - dir | bzip2 -9fvc - | ssh user@host 'cat > arquivo.tar.bz2' > > Eu fiz o bzip em separado pois assim posso definir as opções, como nível de > compressão etc. Senão, bastava adicionar o parâmetro j ao comando tar. > > > > Em 25 de agosto de 2015 10:05, EnioRM escreveu: > > > Olá amigos bom dia. > > > > Eu utilizo um método simples de backup, através de um script básico que > > copia, usando SSH, o conteúdo de um TAR para outra máquina. > > > > Uso uma sintaxe simples: > > tar -czpf - -X /root/tar_exclude.txt /arquivos/setorX | ssh user@destino > > "cat > /backup/setorX.tgz" > > > > Até alguns dias a coisa estava fluindo muito bem. > > Porém notei que de uns dias pra cá o TAR começou a emitir esse aviso: > > tar: ... : Can't translate pathname '...' to UTF-8 > > > > Até onde pesquisei isso não parece ser problema, mas o procedimento que > > levava cerca de 4 horas, está demorando mais de 15 horas para completar. > > > > OBS os arquivos dos usuários são compartilhados pelo Samba, configurado > com > > estes ajustes de charset: > > unix charset = iso-8859-1 > > dos charset = iso-8859-1 > > display charset = iso-8859-1 > > > > E o sistema está configurado também com: > > setenv LANG pt_BR.ISO8859-1 > > setenv MM_CHARSET pt_BR.ISO8859-1 > > tanto no servidor onde o script é executado quanto no computador destino > do > > backup. > > > > O arquivo tar_exclude.txt usado com -X para que o TAR exclua do > > procedimento alguns tipos de arquivos tem cerca de 80 linhas contendo > > extensões de arquivos que não devem ir para o backup (tipo: músicas, > > vídeos, ppt, etc) > > > > alguém já passou por isso, ou sabe dizer se o problema da demora está > > relacionada ao aviso de charset do TAR ou não? > > Ah, e a conexão entre o servidor e o computador onde ficam os backups é > por > > rede gigabit, procedimento realizado após o expediente, horário que não > > temos ninguém usando a rede. > > > > abraços > > > > > > > > -- > > *[]'* > > *EnioRM* > > > > *"Unix is user-friendly. It's just very selective about who its friends > > are."* > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > > > -- > Eduardo Lisboa > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > Eduardo eu uso o -z para que o tar já compacte. Não cheguei a testar fazer conforme você sugeriu mas imagino que seria semelhante a acrescentar o -j para que o tar use o bz2 como compactador. Mas, sobre o problema de lentidão, foi resolvido: conforme a sugestão do Patrick eu setei o LC_ALL para pt_BR.ISO8859-1 e o tar parou com os warnings. Resolvido isso, o procedimento de backup foi rápido e voltou como era antes, em torno de 3 a 4 horas para compactar e enviar via ssh para o outro servidor. obrigado e abraços -- *[]'* *EnioRM* *"Unix is user-friendly. It's just very selective about who its friends are."* - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] OT backup com SSH e TAR super lento
E se compactar antes pra já enviar zipado por SSH, já tentou? Exemplo: tar cvfp - dir | bzip2 -9fvc - | ssh user@host 'cat > arquivo.tar.bz2' Eu fiz o bzip em separado pois assim posso definir as opções, como nível de compressão etc. Senão, bastava adicionar o parâmetro j ao comando tar. Em 25 de agosto de 2015 10:05, EnioRM escreveu: > Olá amigos bom dia. > > Eu utilizo um método simples de backup, através de um script básico que > copia, usando SSH, o conteúdo de um TAR para outra máquina. > > Uso uma sintaxe simples: > tar -czpf - -X /root/tar_exclude.txt /arquivos/setorX | ssh user@destino > "cat > /backup/setorX.tgz" > > Até alguns dias a coisa estava fluindo muito bem. > Porém notei que de uns dias pra cá o TAR começou a emitir esse aviso: > tar: ... : Can't translate pathname '...' to UTF-8 > > Até onde pesquisei isso não parece ser problema, mas o procedimento que > levava cerca de 4 horas, está demorando mais de 15 horas para completar. > > OBS os arquivos dos usuários são compartilhados pelo Samba, configurado com > estes ajustes de charset: > unix charset = iso-8859-1 > dos charset = iso-8859-1 > display charset = iso-8859-1 > > E o sistema está configurado também com: > setenv LANG pt_BR.ISO8859-1 > setenv MM_CHARSET pt_BR.ISO8859-1 > tanto no servidor onde o script é executado quanto no computador destino do > backup. > > O arquivo tar_exclude.txt usado com -X para que o TAR exclua do > procedimento alguns tipos de arquivos tem cerca de 80 linhas contendo > extensões de arquivos que não devem ir para o backup (tipo: músicas, > vídeos, ppt, etc) > > alguém já passou por isso, ou sabe dizer se o problema da demora está > relacionada ao aviso de charset do TAR ou não? > Ah, e a conexão entre o servidor e o computador onde ficam os backups é por > rede gigabit, procedimento realizado após o expediente, horário que não > temos ninguém usando a rede. > > abraços > > > > -- > *[]'* > *EnioRM* > > *"Unix is user-friendly. It's just very selective about who its friends > are."* > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Eduardo Lisboa - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] OT backup com SSH e TAR super lento
2015-08-25 11:20 GMT-03:00 Patrick Tracanelli : > > > On 25/08/2015, at 09:05, EnioRM wrote: > > > > Can't translate pathname '...' to UTF-8 > > Tenta desligar o translate com -P do tar. > > Ou modifica o LC_ALL pra UTF-16 > > Rolou uma discussão parecido em um issue aberto do docker também resolvido > com mudança de env mas outros valores: > > https://github.com/docker/docker/issues/355 > > Enfim acento alienigena… se colocar LC_ALL=C tambem é uma opcao mas ao > restaurar o arquivo pode ter um outro nome (apesar de conteúdo intacto) > onde é acentuado. > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > Olá Patrick obrigado pela dica. Eu testei a alteração do LC_ALL para pt_BR.ISO8859-1 e também resolveu os warnings do TAR. Agora vou testar se é ou não isso que estaria causando o problema de lentidão no procedimento do backup. abraços -- *[]'* *EnioRM* *"Unix is user-friendly. It's just very selective about who its friends are."* - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] OT backup com SSH e TAR super lento
> On 25/08/2015, at 09:05, EnioRM wrote: > > Can't translate pathname '...' to UTF-8 Tenta desligar o translate com -P do tar. Ou modifica o LC_ALL pra UTF-16 Rolou uma discussão parecido em um issue aberto do docker também resolvido com mudança de env mas outros valores: https://github.com/docker/docker/issues/355 Enfim acento alienigena… se colocar LC_ALL=C tambem é uma opcao mas ao restaurar o arquivo pode ter um outro nome (apesar de conteúdo intacto) onde é acentuado. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
[FUG-BR] OT backup com SSH e TAR super lento
Olá amigos bom dia. Eu utilizo um método simples de backup, através de um script básico que copia, usando SSH, o conteúdo de um TAR para outra máquina. Uso uma sintaxe simples: tar -czpf - -X /root/tar_exclude.txt /arquivos/setorX | ssh user@destino "cat > /backup/setorX.tgz" Até alguns dias a coisa estava fluindo muito bem. Porém notei que de uns dias pra cá o TAR começou a emitir esse aviso: tar: ... : Can't translate pathname '...' to UTF-8 Até onde pesquisei isso não parece ser problema, mas o procedimento que levava cerca de 4 horas, está demorando mais de 15 horas para completar. OBS os arquivos dos usuários são compartilhados pelo Samba, configurado com estes ajustes de charset: unix charset = iso-8859-1 dos charset = iso-8859-1 display charset = iso-8859-1 E o sistema está configurado também com: setenv LANG pt_BR.ISO8859-1 setenv MM_CHARSET pt_BR.ISO8859-1 tanto no servidor onde o script é executado quanto no computador destino do backup. O arquivo tar_exclude.txt usado com -X para que o TAR exclua do procedimento alguns tipos de arquivos tem cerca de 80 linhas contendo extensões de arquivos que não devem ir para o backup (tipo: músicas, vídeos, ppt, etc) alguém já passou por isso, ou sabe dizer se o problema da demora está relacionada ao aviso de charset do TAR ou não? Ah, e a conexão entre o servidor e o computador onde ficam os backups é por rede gigabit, procedimento realizado após o expediente, horário que não temos ninguém usando a rede. abraços -- *[]'* *EnioRM* *"Unix is user-friendly. It's just very selective about who its friends are."* - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
