Betriebssysteme > Solaris/x86 und OpenSolaris

Kompression funktioniert nicht (richtig)

(1/4) > >>

Bentsch:
Hallo,

ich bin noch ein ziemlicher Solaris-Neuling und habe seit einigen Monaten einen OpenSolaris-Server laufen, auf den mit Windows- und Mac-Systemen zugegriffen wird. Und ich habe es bisher nicht geschafft, dass die Kompression mit ZFS richtig funktioniert.

Derzeit habe ich auf meinem System (OpenSolaris 2008.11, Asus P5W DH Deluxe-Mainboard, Core 2 Duo 5300, 4 GB RAM) mit einem RAID-Z1 aus 5 Platten mit je einem 1 TB eine Kompressionsrate von 1.00 bis 1.01. Die Kompression ist also aktiviert, aber der Kompressionsfaktor ist immer in einem niedrigen einstelligen Prozentbereich. Ich habe alle Optionen getestet, ob Standard-lzjb oder gzip, das Ergebnis sieht immer ähnlich schlecht aus. So sehe ich zwar, dass das System mit der Kompression bei gzip-9 deutlich mehr beschäftigt ist als wenn ich mit lzjb komprimiere, aber dann bekomme ich beispielsweise einen Faktor von 1.03 statt 1.02 mit gzip.

Und natürlich versuche ich nicht, bereits komprimierte Dateien noch einmal zu komprimieren und bekomme deshalb einen so schlechten Wert. Den meisten Platz brauchen unkomprimierte Audio- und Videodateien, und auch beim Rest der mehreren 10.000 Dateien handelt es sich um "Standarddateien" wie Textdateien, Bilder, pdfs ...

Als Beispiel habe ich eben einen Ordner mit 600 MB an Audiodateien im .wav-Format einmal mit lzjb und einmal mit gzip-9 komprimiert. Mit lzjb hat er gar nicht komprimiert und einen Faktor von 1.00, mit gzip-9 habe ich eine Kompression von 1.02 erreicht. (In Windows bekomme ich mit WinRAR die halbe Dateigröße)

Es ist mir also ein Rätsel, warum ich die Kompression aktivieren kann, sie dann aber trotzdem nicht funktioniert. Ich habe die Sache mit der Kompression mit RAID-Z1 und  RAID-Z2 getestet, auf OS 2008.5 und OS 2008.11, mit Dutzenden file systems und allen Kompressionsoptionen, bekomme aber immer das gleiche Ergebnis. Hat jemand nen Vorschlag, was ich noch versuchen könnte oder woran es liegen könnte?

Danke im Voraus,
Beni

linus83:
komprimiert zfs auch nachträglich alles, wenn man auf einen vorhandenen Dateisystem die Kompression anschaltet? Das müsste mal ausprobieren. Wenn ich Zeit habe, werde ich es mal machen, aber leider nur auf USB-Sticks, das sollte aber kein Unterschied sein.

Gruß

dominik:
linus:

Nein, tut es nicht. Allerdings macht ZFS ein copy-on-write, das heisst wenn Du die Kompression einschaltest, werden alle neu geschriebenen Blöcke komprimiert.


Gruss
Dominik

erisch:
gzip und Konsorten sind Entropiecodierer, damit lassen sich auch unkomprimierte Video/Audidaten nicht effektiv komprimieren. Dafuer braucht man Kodiersysteme mit Dekorrelationsalgorithmen (JPEG fuer Bilder z.B.). Das laesst sich aber in ne Disk-Compression nicht einbauen.

Wenn RAR das besser macht liegt das vielleicht daran, dass die quasi-intelligent kodieren, allerdings glaube ich nicht, dass das fuer on-the-fly compression geeignet ist (jedes mal 100% CPU last beim Diskzugriff)

Mfg. Erisch

linus83:
Also dann kann das "Problem" darin liegen, das die Kompression evtl. zu einen spätern Zeitpunkt eingeschaltet wurde und schon Daten auf den Datenträger waren. Dann braucht es sehr viele neue Blöcke, damit was merkt.

Ich habe zumindest gelesen, dass bis zu einen Faktor von 5 bei log-Files drin ist. Ein Kumpel macht das und ist eigenlich sehr zufrieden. Was er erreicht muss ich mal erfragen. Gut reiner Text lässt sich auch mit einfachen Verfahren recht gut komprimieren.

Navigation

[0] Themen-Index

[#] Nächste Seite