[Moscow.pm] Сжатие меняющихся данных

[Peter Rabbitson]

On Tue, Apr 01, 2014 at 10:18:52PM +0400, Михаил Монашёв wrote:
> Здравствуйте.
> 
> Подскажите,   пожалуйста,  алгоритм  сжатия  данных,  который  мог  бы
> работать  с  меняющимися  данными.  Пример: данные состоят из кусочков
> разной  длины.  Каждый  кусочек  может частично или полностью изменить
> своё  содержимое. И надо все эти меняющиеся кусочки эффективно сжимать
> и хранить сжатыми.

Rolling checksum chunking с последующей chunk de-duplication.

Готовый велосипед: https://github.com/bup/bup
Как работает: https://github.com/bup/bup/blob/master/DESIGN#L121:L240

Cheers