[Moscow.pm] Сжатие меняющихся данных
Peter Rabbitson
rabbit+moscowpm на rabbit.us
Ср Апр 2 22:41:12 PDT 2014
On Tue, Apr 01, 2014 at 10:18:52PM +0400, Михаил Монашёв wrote:
> Здравствуйте.
>
> Подскажите, пожалуйста, алгоритм сжатия данных, который мог бы
> работать с меняющимися данными. Пример: данные состоят из кусочков
> разной длины. Каждый кусочек может частично или полностью изменить
> своё содержимое. И надо все эти меняющиеся кусочки эффективно сжимать
> и хранить сжатыми.
Rolling checksum chunking с последующей chunk de-duplication.
Готовый велосипед: https://github.com/bup/bup
Как работает: https://github.com/bup/bup/blob/master/DESIGN#L121:L240
Cheers
Подробная информация о списке рассылки Moscow-pm