Re: rsync sparse files
On 7/2/14, Hleb Valoshka 375...@gmail.com wrote: Есть файл, ls -lh даёт размер 118G, du -hs — 37G. Копируем на другой узел по сети 100M: rsync --progress --sparse --whole-file … Вопрос: почему этот процесс занимет 3 часа, а не 55 минут? Если rsync умеет эффективно обрабатывать дырявые файлы на приёмнике, почему не может передавать их также эффективно? Оказывается, так и должно быть: эффективного алгоритма для _передачи_ дырявых файлов пока не реализовано. На багзиле rsync рекомендуют использовать опцию -z/--compress для ускорения.
Re: rsync sparse files
Hleb Valoshka - debian-russian@lists.debian.org @ Wed, 9 Jul 2014 14:31:12 +0300: Есть файл, ls -lh даёт размер 118G, du -hs — 37G. Копируем на другой узел по сети 100M: rsync --progress --sparse --whole-file … Вопрос: почему этот процесс занимет 3 часа, а не 55 минут? Если rsync умеет эффективно обрабатывать дырявые файлы на приёмнике, почему не может передавать их также эффективно? HV Оказывается, так и должно быть: эффективного алгоритма для _передачи_ HV дырявых файлов пока не реализовано. На багзиле rsync рекомендуют HV использовать опцию -z/--compress для ускорения. Ну, с другой стороны, логично. Любой эффективный алгоритм передачи дырявых файлов будет делать примерно то же самое, только не со всем контентом, а отдельно с нулями. Было бы, наверное, клево еще и адаптивно подгонять размер блока, чтоб гигабайт нулей гнать одним почти пустым блоком, а не поделенным на куски по 4K... -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/87y4w2a449@wizzle.ran.pp.ru
rsync sparse files
Есть файл, ls -lh даёт размер 118G, du -hs — 37G. Копируем на другой узел по сети 100M: rsync --progress --sparse --whole-file … Вопрос: почему этот процесс занимет 3 часа, а не 55 минут? Если rsync умеет эффективно обрабатывать дырявые файлы на приёмнике, почему не может передавать их также эффективно?
Re: rsync sparse files
Hleb Valoshka 375...@gmail.com writes: Есть файл, ls -lh даёт размер 118G, du -hs — 37G. Копируем на другой узел по сети 100M: rsync --progress --sparse --whole-file … Вопрос: почему этот процесс занимет 3 часа, а не 55 минут? Если rsync умеет эффективно обрабатывать дырявые файлы на приёмнике, почему не может передавать их также эффективно? А что за файлы и что скрывается за …? В частности, что показывает du -hsl и передана ли rsync опция --hard-links? pgpJ1yg9P5tT_.pgp Description: PGP signature
Re: rsync sparse files
On 7/2/14, Dmitrii Kashin free...@freehck.ru wrote: Есть файл, ls -lh даёт размер 118G, du -hs — 37G. Копируем на другой узел по сети 100M: rsync --progress --sparse --whole-file … Вопрос: почему этот процесс занимет 3 часа, а не 55 минут? Если rsync умеет эффективно обрабатывать дырявые файлы на приёмнике, почему не может передавать их также эффективно? А что за файлы и что скрывается за …? В частности, что показывает du -hsl и передана ли rsync опция --hard-links? ЧТО и КУДА, больше ничего. Жёстких ссылок нет (это файл с образом диска для виртуальной машины под Proxmox).
