Autor Thema: zfs und ramverbrauch  (Gelesen 4784 mal)

Offline tassilo

  • Sobl Master
  • ****
  • Beiträge: 437
    • Freie Jobbörse rund um Linux
zfs und ramverbrauch
« am: 12. Juni 2008, 10:15:02 »
hallo

ich hatte immer so ca 2,6G ram free . hab gestern ein wenig mit zfs gespielt.

zpool create -f tank2 raidz c6t0d0 c6t1d0 c6t2d0 c6t3d0 c6t5d0 c6t9d0 c6t10d0 c6t12d0
zpool create tank raidz c6t11d0 c6t13d0 c6t4d0 c6t8d0 

war so das einzigste das ich benutz hab. hab auch nicht mehr viel gemacht da es schon "früher" morgen war.
heute morgen guck ich ins top und seh 524mb free....  wo sind meine 2,6G ?
da ich nichts anderes gemacht habe denke ich mal das hat mit dem "zfs" zu tun... legt er da "buffer" oder caches an ?
ich lass ja die e3500 in cacti mitlaufen und ja etwar zu der zeit als ich das zfs angelegt hab ging der "free ram" gewaltig nach unten im graphen....

hat jemand ähnliches beobachtet ?

btw ein zpool destroy gibt das ram nicht mehr her... k.a. wo das abgeblieben ist, naja vielleicht wirds wirder geholt wenns gebraucht wird.

grüße

tassilo

sonnenblen.de - Das unabhängige Sun User Forum

zfs und ramverbrauch
« am: 12. Juni 2008, 10:15:02 »

Offline it-raptor

  • Sobl Newbie
  • *
  • Beiträge: 39
Re: zfs und ramverbrauch
« Antwort #1 am: 13. Juni 2008, 17:07:24 »
Hi,

welche Solaris 10 Version setzt du denn ein? es gab mal einen Bug bezüglich der Speichernutzung (patch müsste ich mal raussuchen). zfs belegt immer mehr speicher und gibt diesen auch nicht mehr frei. sieht ganz nach deinem problem aus.

Gruß
Björn

Offline it-raptor

  • Sobl Newbie
  • *
  • Beiträge: 39
Re: zfs und ramverbrauch
« Antwort #2 am: 13. Juni 2008, 17:15:06 »
Patch 124204-04
...
6433406 zfs_open() can leak memory on failure
...


mittlerweile ist der auch obsoleted -> aktuell sollte der 120011-14 ausreichen, must du mal bei sunsolve schauen. da findest du auch ein paar infos zu dem bug.

Gruß
Björn

Offline tassilo

  • Sobl Master
  • ****
  • Beiträge: 437
    • Freie Jobbörse rund um Linux
Re: zfs und ramverbrauch
« Antwort #3 am: 13. Juni 2008, 22:55:27 »
hallo

erst mal vielen dank für die hinweise.
und ja sieht so aus als ob ich ein recht altes sol10 habe :

[root@e3500:~] $uname -a
SunOS e3500 5.10 Generic_118833-33 sun4u sparc SUNW,Ultra-Enterprise

da muss mal was daran gemacht werden.. aber erst mal wieder doku lesen um zu erfahren wie.. *sigh*

grüße

tassilo

Offline tassilo

  • Sobl Master
  • ****
  • Beiträge: 437
    • Freie Jobbörse rund um Linux
Re: zfs und ramverbrauch
« Antwort #4 am: 14. Juni 2008, 15:50:31 »
[root@e3500:/var/tmp/lupatches] $patchadd -M . 124204-04
Validating patches...

Loading patches installed on the system...

Done!

Loading patches requested to install.

Done!

The following requested patches are already installed on the system
Requested to install patch 124204-04 is already installed on the system.

No patches to check dependency.

scheint so als ob ich das schon "on board" hab... aber habs nochmal ausprobiert..
booten ca 3,8 gig frei...
ein zpool create und anschliesend ein copy dahin und ich kann im sekundentakt sehen wie der speicher weniger wird (ca 60-80 mb pro sek) bis 320mb free

grüße

tassilo

Offline Drusus

  • Sobl Master
  • ****
  • Beiträge: 424
  • Intentionally left blank
Re: zfs und ramverbrauch
« Antwort #5 am: 14. Juni 2008, 18:18:09 »
Moin,

bei ZFS sollte man mindestens Kernel-Patch 120011-14 auf dem System haben. Darin ist dann unter anderem der Fix fuer Bugid 6505658 mit drin (siehe http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6505658).

Falls du eh Patchen willst/musst, dann wuerde ich gleich den aktuellen Kernel-Patch (137111-01) empfehlen.

Tschau,
  Drusus.

Offline Padde

  • Sobl Bachelor
  • ***
  • Beiträge: 135
  • Hier könnte Ihre Werbung stehen!
Re: zfs und ramverbrauch
« Antwort #6 am: 15. Juni 2008, 01:30:24 »
booten ca 3,8 gig frei...
ein zpool create und anschliesend ein copy dahin und ich kann im sekundentakt sehen wie der speicher weniger wird (ca 60-80 mb pro sek) bis 320mb free

Welche Datenmenge hast du denn kopiert? Es ist völlig normal, daß diese Daten im Speicher gehalten werden (der von dir schon erwähnte Cache). Man könnte sie ja demnächst nochmal gebrauchen, und wenn sie eh schon in den Speicher geladen wurden, braucht man sie kein weiteres Mal von der lahmen Platte zu lesen.

Sollte ein Anwendungsprogramm später doch den Speicher brauchen, kann man den Cache ja entsprechend wieder freigeben. Verschwendung wäre es allerdings, wenn man zig GB RAM hat und keinen Nutzen daraus zieht.

60 - 80 MB/s sprechen jedenfalls stark dafür, daß es sich dabei tatsächlich um die kopierte Datenmenge handelt. Eine schnelle Platte schafft derartige Transferraten durchaus.

Ob dein ZFS einen Bug in der Speicherverwaltung hat, merkst du erst, wenn du ein paar Anwendungen startest, die selbst eine Menge Speicher brauchen, und der Cache dann nicht freigegeben wird. Aus deiner bisherigen Beschreibung geht das aber nicht hervor.

Offline tassilo

  • Sobl Master
  • ****
  • Beiträge: 437
    • Freie Jobbörse rund um Linux
Re: zfs und ramverbrauch
« Antwort #7 am: 15. Juni 2008, 01:39:52 »
hi

ja wie gesagt der cache war auch mein erster gedanke. aber wieso ist das bei "anderen" filesystemen ufs oder ein raid mit "metainit" (sorry weis nicht wie man das nennt) ?
und ja wirklich auf 0 ist das free ram nicht gesunken, meistens weil ich vorher panik bekommen haben und ein reboot machte. aber ich werd mal mal ausprobieren. vielleicht bin ich ja einfach nur zu hysterisch...
danke auf jeden fall für deine hinweise.

grüße

tassilo

Offline meik

  • Sobl Bachelor
  • ***
  • Beiträge: 187
Re: zfs und ramverbrauch
« Antwort #8 am: 15. Juni 2008, 17:43:40 »
hi

ja wie gesagt der cache war auch mein erster gedanke. aber wieso ist das bei "anderen" filesystemen ufs oder ein raid mit "metainit" (sorry weis nicht wie man das nennt) ?

Weil ZFS eben kein "anderes" Dateisystem ist? ;-)

Als Startpunkt zu ZFS hat Uli Graef einen ganzen Stapel guter Präsentationen, die hier habe ich ad hoc online gefunden:

http://mediacast.sun.com/users/constant/media/ZFS_Deep_Dive.pdf

Da ist auch eine Folie zum Speicherverbrauch drin, das Zauberwort für weitere Recherchen ist ARC ("adaptive replacement cache"). Da finden sich auch einige Links, wie man mehr über den ARC heraus bekommt.

Der Hinweis auf ein neueres Solaris 10 ist ja schon gefallen, in der o.g. Präsentation wird auch immer wieder auf das letzte Update (U5 aka 5/08) verwiesen.

Zitat
und ja wirklich auf 0 ist das free ram nicht gesunken, meistens weil ich vorher panik bekommen haben und ein reboot machte. aber ich werd mal mal ausprobieren. vielleicht bin ich ja einfach nur zu hysterisch...

Naja, wenn der Speicher da ist, spricht ja auch nichts dagegen, ihn zu nutzen, oder? ;-)