Frage zu link aggregation

[the-d]

Moin,

ich hätt da mal ein Problem zum Thema link aggregation bei einer back-to-back Verbindung, wie es so schön in der Sun-Doku heißt.
Ich hab 2 Solaris-Kisten (Sun Sparc und HP x86, beide Solaris 10) direkt miteinander über GBit verbunden (ohne Switch), erst über je eine NIC, läuft wunderbar, mit netio getestet, gehen immer so 110-115 MByte/sec drüber. Da bei beiden Servern noch Netzwerkkarten frei sind, dachte ich so bei mir, wäre es doch schön, die auch zu nutzen.
In der Sun Doku ( http://docs.sun.com/app/docs/doc/816-4554/fpjvl?a=view ) steht das auch ganz gut beschrieben, lässt sich auch gut einrichten, nur komm ich performancemässig nur auf ca. 60-80 MByte/sec, also weniger als bei einem Link.

So in etwa sieht es auf beiden Seiten aus:

Code: [Auswählen]

bash-3.00# dladm show-aggr -L
key: 1 (0x0001) policy: L4      address: 18:a9:5:54:1d:e2 (auto)
                LACP mode: active       LACP timer: short
    device    activity timeout aggregatable sync  coll dist defaulted expired
    bnx2      active   short   yes          yes   yes  yes  no        no     
    bnx3      active   short   yes          yes   yes  yes  no        no     
Ich hab auch schon die Policies verändert und LACP auf off bzw. passive gesetzt (jeweils auf beiden Seiten gleich)

Hat Jemand ne Idee, warum die Performance nach unten geht bzw. nicht nach oben? Laut Sun sollte sie ja besser werden.

Danke und Grüße

[zyclon]

Hallo,

soviel ich weiß (wir hatten letztens ein ähnliches Problem mit Solaris10 und Cisco-Switches) muss der LACP-Mode auf einer Seite aktiv und auf der anderen passiv eingestellt sein. Jeweils nur einer managed die Verbindung.

Allerdings würde ich mir nicht sehr viel von dem zusätzlichen möglichen Geschwindigkeitsplus versprechen.
WIr haben das Problem, dass zum einen eine einmal gestartete Verbindung dauerhaft auf der Leitung bleibt, wo sie gestartet wurde bis sie beendet wird (Backup). Und die 2te Leitung quasi erst benutzt wird, wenn die erste zu 80% ausgelastet ist, dann allerdings ein anderen Backup-Client betreffend.

Da du eine direkte Server-Server-Verbindung verwendest bezweifle ich, dass beide Leitungen benutzt werden. Zum einen weil das Ziel das gleiche ist, zum anderen wird es denk ich auf die Application ankommen ob sie mehrere Threads startet um mit dem Gegenüber zu kommunizieren. Evtl. wird dann die 2te Leitung hinzugenommen.

Vermutlich könnte es laufen wenn du die Aggregation auf Level 2 also MAC-Ebene setzt. Level 4 ist schon sehr spezifisch mit TCP/UDP und den zugehörigen PORTS, damit könntest du einzelne Applicationen auf eine exklusive Leitung legen aber ich glaube das ist nicht deine Absicht.


viele Grüße
zyclon

[the-d]

Hi!
Danke für die Antwort 
Aktiv/Passiv hab ich auch schon probiert, auch mit den verschiedenen Policies rumgespielt. Das Problem ist halt, dass durch die Link-Aggregation die zusammengefassten Ports die gleiche Mac und IP haben, es kann also nix aufgeteilt werden.

Als Anwendung läuft nur eins drüber: NFS. Das eine ist ein Applikatiosserver, das andere ein NAS. Es gibt auch nur ein share, also auf die verschiedenen ports aufteilen ist auch nicht.

Ein Ansatzpunkt, den ich mal ausprobieren werde, ist doch mal auf mehrere shares bzw. mounts zu verteilen, vielleicht bringt das was.

In der Sun-Doku hat sich das so einfach gelesen ...

Wenn ich was rausbekomme berichte ich mal.

[c0t0d0s0]

Aktiv/Passiv hab ich auch schon probiert, auch mit den verschiedenen Policies rumgespielt. Das Problem ist halt, dass durch die Link-Aggregation die zusammengefassten Ports die gleiche Mac und IP haben, es kann also nix aufgeteilt werden.

Als Anwendung läuft nur eins drüber: NFS. Das eine ist ein Applikatiosserver, das andere ein NAS. Es gibt auch nur ein share, also auf die verschiedenen ports aufteilen ist auch nicht.

Ein Ansatzpunkt, den ich mal ausprobieren werde, ist doch mal auf mehrere shares bzw. mounts zu verteilen, vielleicht bringt das was.

In der Sun-Doku hat sich das so einfach gelesen ...

Es ist auch einfach, man muss nur Wissen wie sich LACP benimmt.

Also ... auch das Verteilen wird nichts bringen. Per default baut ein Client zu einem Server nur eine Verbindung auf. Damit kann keine Verteilung erfolgen, da eine Verbindung immer auf dem selben Kabel verbleibt.  Nützlich ist es hier, die anzahl der bindungen hochzusetzen: "set rpcmod:clnt_max_conns = 8" in die /etc/system

[the-d]

Danke für den Hinweis mit den Kanälen, ja LACP ist noch etwas Neuland für mich.

Das Problem kann aber auch an der T1000 liegen, dass bge2 und bge3 evtl. nicht die Performance bringen, dann muss halt was anderes zum Testen her...