max anzahl von dateien pro directory ?

[tassilo]

hallo

habe 2 kleine fragen :

wenn ich viele dateien habe und diese auf platte ablege ist es besser das aufzusplitten z.b. /01/01/datei001 .../FF/FF/datei999 ? oder alles in ein directory ?
ist das für das system egal ? ok das aufsplitten ist besser für einen menschen zu lesen etc aber wie siehts nur für programme aus ?

zweite frage: auf der suche nach einer antwort zu o.g. frage bin ich bei zfs auf folgendes gestossen :

Höchstanzahl von Dateien :  2^48
maximale Anzahl an Dateien in einem Verzeichnis : 2^56

versteh ich das richtig das ich mehr dateien in einem verzeichnis haben kann als überhaupt erlaubt ? sicher versteh ich hier nur etwas falsch oder ?

grüße

markus

[Hexxer]

Dem System ist das schnuppe, die Namen gelten AFAIk eh nicht so da die Plätze in den Inodes abgelegt sind.

http://opensolaris.org/os/community/zfs/docs/zfs_last.pdf

DMU is a general-purpose transactional object store
● ZFS dataset = up to 2^48 objects, each up to 2^64 bytes

Up to 2^48 datasets per pool – filesystems, iSCSI targets, swap, etc

u.U. unglücklich bei Wiki, oder?

[Drusus]

Moin,

dem System ist das nicht ganz egal (ob alle Dateien in einem Verzeichnis sind oder ob man mehrere hierachische Unterverzeichnisse nimmt).
Die Auswirkungen haengen aber stark von dem genutzten Filesystem und der Anwendung ab. Bei UFS wird bei der Suche nach einem Objekt das Verzeichnis sequentiell gelesen - und damit wird es mit steigender Fileanzahl in einem Verzeichnis immer langsamer. Bei ZFS hat man diese Verzoegerung hingegen nicht.
Unabhaengig vom Filesystem kann es dann noch zu Unterschieden in der Applikation kommen. Wenn eine Applikation z.b. getdents() aufruft so ist es natuerlich auch ein Unteschied wieviele Eintraege auf einmal hier zurueckgeliefert werden.

Bei sehr vielen Objekten bietet sich daher eine Nutzung einer Verzeichnis Hierachie an (oder man packt das ganze gleich in eine Datenbank).

Tschau,
  Drusus.

[signal_15]

Hi,

ich habe die erfahrung gemacht, dass viele dateien in einem verzeichniss anstelle von vielen unterverzeichnissen, das filesystem stark ausbremsen koennen. nicht im algemeinen, sondern nur in diesem verzeichniss. bei mehreren zigtausend dateien, die ich mal in einem mail-queu verzeichniss hatte, brauchte ein einfaches 'ls -la' gleich fast zwei minuten bis es loslegte die dateien anzuzeigen. ein vi eines der darin liegendenden mails brauchte ebenfalls so lange bis vi die datei offen hatte. das gesamte verzeichniss hatte keine 100 MB. das loeschen dieses verzeichnisses dauerte leicht ueber eine stunde. man koennte jetzt sagen: klar, ne blade100 ist kein rennpferd. aber ich glaube, dass eine blade2000 auch nicht viel schneller gewesen waere.

lies mal die doku zu squid-proxy durch. bezueglich des cache-directory wird ebenfalls bezueglich der leistung empfohlen den cache auf viele verzeichnisse zu verteilen.

wie gesagt, ich hatte einmal das problem auf einem ufs. wie es sich mit zfs verhaellt kann ich nicht sagen.

ct,

[signal_15]

grrr. das kommt davon wenn man waehrend des schreibens einer antwort auf einen foren-artikel durch seine arbeit abgelenkt wird.

drusus hat's gut erklaert. so hatte ich es noch irgendwie im kompf. auf's papaier/tastatur haette ich es so brauchbar jedoch nicht mehr hinbekommen.

ct,

[mdjr]

zweite frage: auf der suche nach einer antwort zu o.g. frage bin ich bei zfs auf folgendes gestossen :

Höchstanzahl von Dateien :  2^48
maximale Anzahl an Dateien in einem Verzeichnis : 2^56

versteh ich das richtig das ich mehr dateien in einem verzeichnis haben kann als überhaupt erlaubt ? sicher versteh ich hier nur etwas falsch oder ?

Hallo.

Diese Zahlen ergeben sich rein rechnerisch. 2^48 = 281 Billionen! So viele Dateien kann man gar nicht auf irgend einem Speicher haben.

Außerdem ist es (zumindest bei UFS) tatsächlich (theoretisch) möglich, mehr Dateien in einem Verzeichnis zu haben als auf der gesamten Platte. Bei UFS zählen special files (z.B. /devices/xxx, sockets, ...), symbolic links und auch hard links nämlich zwar als "Datei in einem Verzeichnis", nicht jedoch als Dateien auf der Platte.

Martin

[dominik]

Kann auch bestätigen, dass viele Dateien innerhalb des gleichen Verzeichnisses den Zugriff stark verlangsamen. Bei uns waren es um die 250-300k, ein ls -la liess einen minutenlang warten, die Arbeit mit Wildcards scheiterte weil zuviele Argumente übergeben wurden. Besser ist es, die Daten in Unterverzeichnissen abzulegen. Ach ja, die Maschine war eine SF4900 US4+ mit 16 Cores und UFS auf einer HDS9985...

Gruss
Dominik

[tassilo]

hallo

danke an alle die geantwortet haben. scheint ja wirklich "eindeutig" zu sein.
dann werd ich mal alles "aufsplitten" denkt ihr so 500 files sind noch ok oder 1000 oder doch sowas wie 100 in einem directory ?

grüße

markus

[Hexxer]

Hmm, ich habe die Frage zu den Dateien etwas falsch verstanden, oder bessergesagt anders. Sorry.

[tassilo]

hallo

ich werd am we mal das ganze testen. ein script das mit x files anlegt ist schnell geschrieben dann teste ich mal.

grüße

markus

p.s.: deine 2te mail hab ich irgendwie nicht verstanden hexxer. aber auf jeden fall vielen dank für den link zu dem pdf.