ZFS verursacht mächtig CPU Auslastung

[Tschokko]

Hallo,

z.Zt. spiele ich mich auf meiner kleinen V210 und nem externen SCSI Diskshelve mit ZFS. Aktuelle Konfirguration 2x 1 GHz, 1GB Speicher, HP Diskshelve mit 11 Platten über den externen SCSI Anschluß der V210 angebunden. Für Performance Tests habe ich alle 11 Platten über ZFS als Stripe angebunden. Die Transferraten sind traumhaft. Ich krieg oft deutlich über 100 MB/Sek. gelesen und geschrieben. Aaaaaaaber, mir fällt auf, das die CPU Auslastung irre hoch ist.

Ein Beispiel, ich hab ein Volume (zfs create -V xxxx) per iSCSI freigegeben und mich dann mittels iSCSI Initiator von meiner Vista Büchse (Netzwerkparameter passende gesetzt) drann geklemmt. Die Transferleistung ist super. Fast bis zum Schluß kann ich 65 MByte/Sek. halten. Aber ein Blick mittels mpstat auf die Auslastung zeigt das die Maschine nahezu auf Vollanschlag rennt. Insbesonders die Spalte "sys" produziert unheimlich hohe Auslastung über beide CPUs.

Ein weiteres Beispiel, lasse ich den HD Benchmark bonnie++ rennen, schluckt laut prstat der Prozess bonnie++ an die 70 bis 80% CPU Leistung, wenn er richtig hohe Transferraten (an die 120 MB/Sek. laut zpool iostat) erreicht. Im mpstat sind aber gleich beide CPUs wieder nahezu auf Volllast (usr und sys Spalte zusammen gerechnet) !

Selbst wenn ich über ein 100 MBit Netzwerk per FTP und einer konstanten Rate von ca. 8 MByte/Sek. Daten auf das ZFS Laufwerk schiebe, sind beide CPUs mit je 20% auf der sys Spalte ausgelastet.

Ebenso als ich das Oracle 10g CPIO Archiv mittels cpio entpackt habe, erreiche immer wieder mal Vollauslastung. Natürlich immer dann wenn ich an die 100 MByte/Sek. I/O Leistung laut zpool iostat erreiche.


Meine Frage lautet nun, kann es sein das ZFS nicht unerheblich CPU Last erzeugt? Es ist ein ganz simples RAID-0, keine Raid-Z oder ähnliches. Oder ist die hohe Systemauslastung auf den Onboard SCSI Controller zurückzuführen? Hilft dagegen womöglich ein SCSI Controller im PCI-X Slot? Oder liegt es einfach nur an den "hohen" Transferleistungen des ZFS Laufwerks???

Falls es doch am ZFS liegt, muss man wohl sagen, das es dann doch nur bedingt für kleine SPARCs geeigent ist. Gibts da evtl. Empfehlungen von Sun, auf welchen Maschinen erst ZFS sinnvoll ist?

Danke und Gruß
Tschokko

[WDZaphod]

Ich weiß nicht, ob das jetzt auch nur ansatzweise vergleichbar ist:
Auf meinem XEON 2.4GHZ mit 14 Fiberchannel-HDDs (ein Volume aus 2x7RaidZ) geht die CPU-Last nie über 30%, wenn ich via Samba mit 2x100MBit gleichzeitig von 2 Rechnern schreibe. Hab ZFS bisher nicht als sonderlich Resourcenfressend angesehen....

[danielwetzler]

Hmm, ich habe mehrere Platten als raidz in einer Enterprise 450 (4*400MHz US II) im Einsatz und habe darauf fleissig geackert. Nach meinen Erfahrungen war ich zu dem Schluss gekommen, dass das Thema Hardware-RAID für mich erledigt ist, weil zfs derart performant und bequem ist, dass es keinen Sinn mehr macht in irgendwelche RAID-Karten zu investieren.

Ich vermute, dass Du irgendein anderes Problem mit Deiner Software hast. Am zfs dürfte es nach meiner Erfahrung nicht liegen.

[Tschokko]

Hmm, ich habe mehrere Platten als raidz in einer Enterprise 450 (4*400MHz US II) im Einsatz und habe darauf fleissig geackert. Nach meinen Erfahrungen war ich zu dem Schluss gekommen, dass das Thema Hardware-RAID für mich erledigt ist, weil zfs derart performant und bequem ist, dass es keinen Sinn mehr macht in irgendwelche RAID-Karten zu investieren.

Oh man, das ist doch kein Vergleich... ich hab hinten nen U320 SCSI Anschluß und du hast gerade mal einen 40 MB/s starken UltraSCSI 3 Anschluß am Backplane deiner E450. Hast wenigstens die Platten über mindestens zwei Busse verteilt? Andernfalls kommst du ja nicht mal auf 50% meiner oben genannten Transferleistung von über 120 MB/s hin...

Macht nämlich schon einen gewalten Unterschied ob ZFS mit 120 MB/s Daten über 11 Platten schreibt oder ob in deiner E450 das ZFS mit einer Handvoll Platten an einem UltraSCSI 3 Bus mit 20 bis 30 MB/sec gemächlich vor sich hin tuckert.

Gruß
Tschokko

[danielwetzler]

Ist ein Punkt. Andererseits ist Deine CPU aber auch deutlich leistungsfähiger als meine, daher wundert mich Deine Load schon.

[DukeNuke2]

@tschoko

versuche mal deinen speicher aufzurüsten... das der ram als cache für zfs gebraucht wird und du mit 1gb recht wenig hast, könnte die systemauslastung von den erhöhten schreiboperationen auf die platten herrühren... versuch macht kluch. bei zfs gilt auf jeden fall: "mehr ram gleich voll viel guter" .

hth,
DN2

[Toktar]

bei zfs gilt auf jeden fall: "mehr ram gleich voll viel guter" .

Das gilt nicht nur für zfs.

[claus]

Frage beantwortet?

Claus

[Tschokko]

Frage beantwortet?

Claus

Wegen mir schon. Ich rüste jedenfalls keine Speicher in die Büchsen nach.

Gruß
Tschokko