lrzip

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : lrzip

gee

Bon ben hon

Salut,

comme je n'ai rien trouve ici sur ce fameux logiciel je me suis dit que j'allais partager mon experience avec OSA

Alors lrzip de ce cher Con Kolivas, est base sur rzip.
Les 2 pages qui expliquent de quoi on parle:
-rzip: http://rzip.samba.org/
-lrzip: http://ck.kolivas.org/apps/lrzip/README

En gros, on compresse avec un dictionnaire plus gros que bz2 et gz, ca prend (bien) plus de ressources mais ca compresse pas mal mieux.

Citation :

rzip is a compression program, similar in functionality to gzip or bzip2, but able to take advantage long distance redundencies in files, which can sometimes allow rzip to produce much better compression ratios than other programs.

Advantages
The principal advantage of rzip is that it has an effective history buffer of 900 Mbyte. This means it can find matching pieces of the input file over huge distances compared to other commonly used compression programs. The gzip program by comparison uses a history buffer of 32 kbyte and bzip2 uses a history buffer of 900 kbyte. The second advantage of rzip over bzip2 is that it is usually faster. This may seem surprising at first given that rzip uses the bzip2 library as a backend (for handling the short-range compression), but it makes sense when you realise that rzip has usually reduced the data a fair bit before handing it to bzip2, so bzip2 has to do less work.

Disadvantages
rzip is not for everyone! The two biggest disadvantages are that you can't pipeline rzip (so it can't read from standard input or write to standard output), and that it uses lots of memory. A typical compression run on a large file might use a couple of hundred MB of ram. If you have ram to burn and want the best possible compression rate then rzip is probably for you, otherwise stick with bzip2 or gzip.

Citation :

Long Range ZIP or Lzma RZIP

This is a compression program optimised for large files. The larger the file
and the more memory you have, the better the compression advantage this will
provide, especially once the files are larger than 100MB. The advantage can
be chosen to be either size (much smaller than bzip2) or speed (much faster
than bzip2). Decompression is always much faster than bzip2.

Lrzip uses an extended version of rzip which does a first pass long distance
redundancy reduction. The lrzip modifications make it scale according to
memory size.
The data is then either:
1. Compressed by lzma (default) which gives excellent compression
at approximately half the speed of bzip2 compression
2. Compressed by lzo which on most machines compresses faster than disk
writing making it as fast (or even faster) than simply copying a large file
3. Leaving it uncompressed and rzip prepared. This form improves substantially
any compression performed on the resulting file in both size and speed (due to
the nature of rzip preparation merging similar compressible blocks of data and
creating a smaller file).
4. Compressed by bzip2 as an rzip-like compression format.

The major disadvantages are:
1. It only works on single files. To get the best performance out of the
compression it is best to tarball all your files together.
2. It requires a lot of memory to get the best performance out of, and is not
really usable (for compression) with less than 256MB. Decompression requires
very little ram and works on small ram machines.
3. Does not work on stdin/stdout.

Test sur un repertoire de 2 fois le meme mp3 avec juste 2 noms differents (j'ai pris justement un cas ou generalement un tar suffirait vu que le mp3 est deja compresse):
- mp3: 50Mo
- repertoire: 100Mo,
- tar du repertoire: 99Mo,
- tar.bz2 du mp3: 47Mo
- tar.bz2 du repertoire: 93 Mo,
- lrzip -M du mp3: 45Mo
- lrzip -M (LZMA) du tar (lrzip ne fonctionne que sur un fichier et pas sur un repertoire): 45Mo
- lrzip -b (bzip2) du tar: 45Mo

Les resultats parlent d'eux memes, lrzip se rend compte que j'ai les donnees en double, bz2 non.

Message cité 1 fois
Message édité par gee le 15-07-2008 à 02:51:58

---------------
"Phildar t'es vraiment une pute pas finie toi! Et Manu le gros porc arrete de t'marrer!"

Publicité

Profil supprimé

Drapwet.

zecrazytux

il serait plus intéressant IMHO de tester sur un gros répertoire de fichiers, et d'indiquer avec quel niveau de compression tu as utilisé bzip2.

bzip2 rox

---------------
Blog photo/récits activités en montagne http://planetcaravan.net

gee

Bon ben hon

Tu as ce test sur le Readme de Con, je ne vois pas l'interet de le refaire.
Sinon bzip2 en compression "standard"

Message édité par gee le 15-07-2008 à 02:46:37

---------------
"Phildar t'es vraiment une pute pas finie toi! Et Manu le gros porc arrete de t'marrer!"

gee

Bon ben hon

Ca serait sympa de l'avoir dans Debian d'ailleurs, si ca interesse un mainteneur qui traine ici.. :whistle:

---------------
"Phildar t'es vraiment une pute pas finie toi! Et Manu le gros porc arrete de t'marrer!"

omicron

Pas de bras, pas de caméra !

gee a écrit :

Salut,

Citation :

Disadvantages
rzip is not for everyone! The two biggest disadvantages are that you can't pipeline rzip (so it can't read from standard input or write to standard output), and that it uses lots of memory. A typical compression run on a large file might use a couple of hundred MB of ram. If you have ram to burn and want the best possible compression rate then rzip is probably for you, otherwise stick with bzip2 or gzip.

[quote]

Long Range ZIP or Lzma RZIP

This is a compression program optimised for large files. The larger the file
and the more memory you have, the better the compression advantage this will
provide, especially once the files are larger than 100MB. The advantage can
be chosen to be either size (much smaller than bzip2) or speed (much faster
than bzip2). Decompression is always much faster than bzip2.

ok donc c'est là qu'on va retrouver l'intérêt de lrzip : pour de la distribution de fichier volumineux et donc pour tout ce qui est de programme d'installation, package etc...
il serait intéressant d'intégrer ce format à 7z, qui est un format de compression générique qui permet d'incorporer(embarquer) les algo pas encore supportés nativement.

gee

Bon ben hon

rajout du lzma natif et du lrzip lzo:

Aller j'ai fait le test aussi sur mon repertoire /usr/src/linux-source-2.6.25 pour zecrazytux.

- tar: 791Mo
- bunzip2: 141Mo
- lrzip -M: 92Mo.
- lrzip -l (lzo): 178Mo (tres rapide, mais prend toujours beaucoup de ressources)
- lzma -9: 90Mo (sacrement long)

Et je n'ai plus le time du lrzip mais ca m'avait paru bien plus rapide que celui du bunzip2.

Apres pour l'integrer a 7z euh je ne sais pas trop, vu le nombre de gens qui utilisent 7z sous unix... autant l'integrer a tar en 1er.

Message édité par gee le 15-07-2008 à 19:05:40

---------------
"Phildar t'es vraiment une pute pas finie toi! Et Manu le gros porc arrete de t'marrer!"

zecrazytux

ah voui, c'est sympa comme taux de compression

mais

The two biggest disadvantages are that youcan't pipeline rzip (so it can't read from standard input or write tostandard output), and that it uses lots of memory

Message édité par zecrazytux le 15-07-2008 à 12:25:32

---------------
Blog photo/récits activités en montagne http://planetcaravan.net

Mjules

Parle dans le vide

c'est quoi l'intérêt par rapport à lzma ou à un tar -Y ?

---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. | Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.

gee

Bon ben hon

le long range.
Je testerai face a tar -Y je ne connais pas.

---------------
"Phildar t'es vraiment une pute pas finie toi! Et Manu le gros porc arrete de t'marrer!"

Publicité

Mjules

Parle dans le vide

tar -Y, ça utilise lzma pour la compression au lieu de gzip/bzip2

sinon, ya des chances que le code remonte vers lzma/p7zip ?

Message édité par Mjules le 15-07-2008 à 18:09:21

---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. | Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.

zecrazytux

vu les contraintes, je ne pense pas

---------------
Blog photo/récits activités en montagne http://planetcaravan.net

gee

Bon ben hon

je n'ai pas de tar -Y sous Debian, normal?

---------------
"Phildar t'es vraiment une pute pas finie toi! Et Manu le gros porc arrete de t'marrer!"

Mjules

Parle dans le vide

probablement, ça doit pas être upstream

---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. | Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.

gee

Bon ben hon

rajout du lzma natif et du lrzip lzo:

Message édité par gee le 15-07-2008 à 19:05:24

---------------
"Phildar t'es vraiment une pute pas finie toi! Et Manu le gros porc arrete de t'marrer!"

FORUM HardWare.fr

Linux et OS Alternatifs

Logiciels

lrzip

Sujets relatifs
Plus de sujets relatifs à : lrzip

Page générée en 0.062 secondes