Re: ФС не дублирующая содержимое
hardlinkpy Спасибо, изучил с пристрастием. Буду малость доделывать и применю. -- DamirX
Re: ФС не дублирующая содержимое
13 сентября 2012 г., 16:07 пользователь Andrey Rahmatullin w...@wrar.nameнаписал: Может есть какой-нибудь совершенный и надежный велосипед с подобной функциональностью? Всяких fdupes тыщщи. Прям-таки тыщщи? :-) #aptitude search ~ddupes | wc -l 2 А указанный Вами fdupes у меня на 1T файлопомойке аккуратно, маленькими кусочками, съедал всю память в течении суток и есс-но падал. Кто-нить ездил на велосипеде с НЕквадратными колесами? Назовите модель... -- DamirX
Re: ФС не дублирующая содержимое
On Fri, Sep 14, 2012 at 10:28:06AM +0400, Damir Hakimov wrote: Может есть какой-нибудь совершенный и надежный велосипед с подобной функциональностью? Всяких fdupes тыщщи. Прям-таки тыщщи? :-) #aptitude search ~ddupes | wc -l 2 Неправильно ищете потому что. duff - Duplicate file finder fslint - Utility collection to find and fix common errors in file storage hardlink - Hardlinks multiple copies of the same file perforate - Utilities to save disk space rdfind - find duplicate files utility Это только то, что упаковано и нашлось по слову duplicate. А указанный Вами fdupes у меня на 1T файлопомойке аккуратно, маленькими кусочками, съедал всю память в течении суток и есс-но падал. Моей вины в этом нет. -- WBR, wRAR signature.asc Description: Digital signature
Re: ФС не дублирующая содержимое
On Fri, Sep 14, 2012 at 10:28:06AM +0400, Damir Hakimov wrote: Всяких fdupes тыщщи. Кто-нить ездил на велосипеде с НЕквадратными колесами? Назовите модель... hardlinkpy -- WBR, Michael Shigorin m...@altlinux.ru -- Linux.Kiev http://www.linux.kiev.ua/ Sep 29, Kiev, Ukraine: -- http://conference.osdn.org.ua -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20120914091100.ga19...@osdn.org.ua
Re: ФС, не дублирующая содержимое
On Fri, Sep 14, 2012 at 03:21:23PM +0600, Andrey Rahmatullin wrote: hardlink - Hardlinks multiple copies of the same file Если это сишный, то питониевый на удивление лучше справляется с объёмами данных вроде запрошенного (на моих типичных соответствующих количествах файлов). -- WBR, Michael Shigorin m...@altlinux.ru -- Linux.Kiev http://www.linux.kiev.ua/ Sep 29, Kiev, Ukraine: -- http://conference.osdn.org.ua -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20120914100055.ga22...@osdn.org.ua
Re: ФС не дублирующая содержимое
2012/9/13 Damir Hakimov damir.haki...@gmail.com: Hi, All! Разыскивается ФС которая не дублирует содержимое идентичных блоков. Для чего это нужно? Для файлохранилища в которое часто кладут (и самое неприятное перекладывают друг-другу копированием) программы, картинки и прочие неизменяемые файлы. Тратить на каждую копию место через чур расточительно. Хочу ФС которая не дублирует содержимое идентичных блоков/файлов. (Или аналогичное блочное ус-во). Посоветуйте, пж-та. Это называется дедупликация. Из устройств её умеют взрослые модели storage'ей. Например: http://www.netapp.com/ru/products/storage-systems/fas2200/fas2200-tech-specs-ru.html -- Peter Teslenko skype: smartchecker
Re: ФС не дублирующая содержимое
BtrFS с copy on write не подойдет? По крайней мере, это может помочь в ситуации с перекладыванием туда-сюда. Из ФС, поддерживающих репликацию, нагугливается LessFS, но она FUSE и не очень распространенная, вроде бы. On Thursday, September 13, 2012 01:32:12 PM Damir Hakimov wrote: Hi, All! Разыскивается ФС которая не дублирует содержимое идентичных блоков. Для чего это нужно? Для файлохранилища в которое часто кладут (и самое неприятное перекладывают друг-другу копированием) программы, картинки и прочие неизменяемые файлы. Тратить на каждую копию место через чур расточительно. Хочу ФС которая не дублирует содержимое идентичных блоков/файлов. (Или аналогичное блочное ус-во). Посоветуйте, пж-та. PS. Если будет два писма с этой темой - приношу извинения. -- DamirX
Re: ФС не дублирующая содержимое
13 сентября 2012 г., 13:48 пользователь Peter Teslenko smartchec...@gmail.com написал: 2012/9/13 Damir Hakimov damir.haki...@gmail.com: Разыскивается ФС которая не дублирует содержимое идентичных блоков. Это называется дедупликация. Из устройств её умеют взрослые модели storage'ей. Например: http://www.netapp.com/ru/products/storage-systems/fas2200/fas2200-tech-specs-ru.html Эмм хорошо, конечно, быть здоровым и богатым Но, что делать если не богат, а здоровым быть хочется? -- DamirX
Re: ФС не дублирующая содержимое
2012/9/13 Damir Hakimov damir.haki...@gmail.com: Эмм хорошо, конечно, быть здоровым и богатым Но, что делать если не богат, а здоровым быть хочется? Заявлено в ZFS, но как она в жизни не в курсе. http://ru.wikipedia.org/wiki/ZFS -- Peter Teslenko skype: smartchecker
Re: ФС не дублирующая содержимое
Из ФС, поддерживающих репликацию Опечатка. Поддерживающих дедупликацию On Thursday, September 13, 2012 03:53:48 PM Yuriy Vidineev wrote: BtrFS с copy on write не подойдет? По крайней мере, это может помочь в ситуации с перекладыванием туда-сюда. Из ФС, поддерживающих репликацию, нагугливается LessFS, но она FUSE и не очень распространенная, вроде бы. On Thursday, September 13, 2012 01:32:12 PM Damir Hakimov wrote: Hi, All! Разыскивается ФС которая не дублирует содержимое идентичных блоков. Для чего это нужно? Для файлохранилища в которое часто кладут (и самое неприятное перекладывают друг-другу копированием) программы, картинки и прочие неизменяемые файлы. Тратить на каждую копию место через чур расточительно. Хочу ФС которая не дублирует содержимое идентичных блоков/файлов. (Или аналогичное блочное ус-во). Посоветуйте, пж-та. PS. Если будет два писма с этой темой - приношу извинения. -- DamirX
Re: ФС не дублирующая содержимое
13 сентября 2012 г., 14:03 пользователь Yuriy Vidineev ade...@yandex.ruнаписал: ** Из ФС, поддерживающих репликацию Опечатка. Поддерживающих дедупликацию Кстати, а существуют-ли другие решения, реализующие дедупликацию? В принципе, устроит и отложенная дедупликация, на основе, например, какого-либо скрипта. Пусть ночью ищет дубли (файлы) и... ну и что-либо с ними делает. Из самого простого, что приходит в голову с ними можно сделать - ln и chattr +i. Может есть какой-нибудь совершенный и надежный велосипед с подобной функциональностью? -- DamirX
Re: ФС не дублирующая содержимое
On Thu, Sep 13, 2012 at 03:55:54PM +0400, Damir Hakimov wrote: Кстати, а существуют-ли другие решения, реализующие дедупликацию? В принципе, устроит и отложенная дедупликация, на основе, например, какого-либо скрипта. Пусть ночью ищет дубли (файлы) и... ну и что-либо с ними делает. Из самого простого, что приходит в голову с ними можно сделать - ln и chattr +i. Может есть какой-нибудь совершенный и надежный велосипед с подобной функциональностью? Всяких fdupes тыщщи. -- WBR, wRAR signature.asc Description: Digital signature
