Superuser

Autor Thema: J4400 - LSI 1068E SAS - Multipathing  (Gelesen 17477 mal)

bayoda

  • Gast
J4400 - LSI 1068E SAS - Multipathing
« am: 30. April 2009, 18:47:52 »
Hallöchen

Vielleicht weiss einfach wer rat zu meinem Problem:

Seit ich glaub 70 Stunden sitz ich jetzt da mit 2 JBODs 4400  und 2 mal SunFire 4140  mit jeweils 2 externen LSI HBAs.

Also 2 Hosts mit 2 HBAs  an 2 Arrays  - Die Verkabelung ist passend laut SUN Dokumentation.  (Cluster Failover Config)

Aber jetzt beginnt das nette kleine Problem im Bios:

Die Maschine, die schneller da ist, schnappt sich die Arrays und läßt der anderen nichts mehr.
Resultat im LSI MPT Bios -> eine Maschine hat in der SAS Topology passend -> 2 mal die Platten auf jedem Controller.
Nur die andre sieht nur mehr "Device not responding" ...

Was zum "kuckuck" muss man da einstellen damit das funktioniert? 
LSI schweigt sich aus, Sun Doku schweigt sich aus, und mein SUN Assistant ist auf Urlaub...  :-(

Bin über jeden hinweis dankbar ....

ausm Össiland...

Michael

« Letzte Änderung: 30. April 2009, 19:04:13 von Sparky »

sonnenblen.de - Das unabhängige Sun User Forum

J4400 - LSI 1068E SAS - Multipathing
« am: 30. April 2009, 18:47:52 »

linuxdomination

  • Gast
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #1 am: 05. Mai 2009, 15:56:10 »
allso hab hier nix lsi spezifisches auf lager, aber normalerweise betreiben diese san teile lunmasking, die redunanten pfade resultieren aus dem dementsprechenden zoning bzw. verkabelung, und das multipathing im os ist ne softwaregeschichte (z.b. dm-multipath).

Offline stiefkind

  • Sobl Bachelor
  • ***
  • Beiträge: 143
    • Synapseninferno
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #2 am: 06. Mai 2009, 00:24:02 »
allso hab hier nix lsi spezifisches auf lager, aber normalerweise betreiben diese san teile lunmasking, die redunanten pfade resultieren aus dem dementsprechenden zoning bzw. verkabelung, und das multipathing im os ist ne softwaregeschichte (z.b. dm-multipath).

J4400 sind keine "SAN-Teile", das sind JBODs auf SAS-Basis. LUN-Masking ist abgesehen davon häufig ein lizenzpflichtiges Zusatz-Feature. Und bei JBODs recht ungebräuchlich. Redundante Pfade resultieren aus passender Verkabelung und einem passenden Treiber im Betriebssystem, das klappt auch prima ohne Zoning.

Bei Clustern auf SCSI-Basis musste man immer an einem der beiden Hosts die SCSI-ID des Host-Adapters umstellen. Der SCSI-Bus ist im Cluster ja daisy-chained, also Host1--Disk--Host2. An einer Chain darf aber jede SCSI-ID nur maximal einmal vorkommen. Der HBA hat üblicherweise die SCSI-ID 7. Bei SAS ist mir das Prinzip von SCSI-IDs bislang unbekannt, allerdings habe ich (noch) kaum Erfahrung mit externen SAS-Devices.

In Clustern habe ich mit SAS noch gar keine Erfahrung. Ist das überhaupt supported? *grübel*

Ok, ich habe zwischenzeitlich ein bisschen recherchiert: SunCluster mit J4400 ist supported für die meisten SPARC und x86_64 Maschinen. Details (welche SAS-Controller etc.) stehen im Sun Cluster Configuration Guide, die Inhalte bekommst Du sicher vom Sun-Partner Deines Vertrauens.

Ich habe eine einzige Beispielverkabelung gefunden für 2 Hosts (an 2 JBODs), und zwar im J4200/J4400 Array System Overview Handbuch, Kapitel 5 "SAS Multipathing": http://docs.sun.com/source/820-3223-12/SASMultipath.html#50483227_pgfId-1046940.

Einige unterwegs aufgetauchten Outputs von OBP im Zusammenhang mit SAS deuten darauf hin, dass man auch bei SAS die SCSI-Initiator-ID eines der beiden HBAs auf einen Wert unterschiedlich von 7 ändern muss. Eine genaue Referenz dazu habe ich nicht gefunden. Die Sun EIS-Checklist zur Clusterinstallation liegt mir hier zuhause nicht vor, sonst könnte ich da noch kurz nachsehen.

wolfgang

bayoda

  • Gast
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #3 am: 06. Mai 2009, 16:24:58 »
Hallo und Danke Wolfgang

Ich hab hier auch einiges recherchiert, anscheinend laßt die J4400 mit SAS auf  SATA Discen aber kein Multipathing zu.
Jetzt sind wir hier ein wenig angeschmiert, weils eigentlich definiert war das es so funktionieren müsste.

Nichtsdesto trotz spalt sich die JBOD unter OpenSolaris wie "Sau"  wenn man die Patches für den CAM 6.2.0.13 einspielen will.
Hat da schon wer Erfolge zu verzeichnen?

Also Multipathing von einem Host auf eine Maschine dürfte gehen wie es aussieht. Clusterbetrieb kann ich derzeit nicht machen, vielleicht fällt da der opensolaris community was interessantes ein dazu ...

Das mit den ID's hab ich mir auch schon angesehen, sicher bin ich mir da aber nicht, denn die IDs sind ja auf der JBOD zum einstellen.

Vielleicht gibts ja jemand der da schon mal gespielt hat damit ...

glg

Michael

Offline Ebbi

  • Sobl Administrator
  • Sobl Guru
  • *****
  • Beiträge: 1315
  • Minusgeek
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #4 am: 06. Mai 2009, 21:13:44 »
Jetzt sind wir hier ein wenig angeschmiert, weils eigentlich definiert war das es so funktionieren müsste.
Wer hat das denn gesagt?
Wenn es ein Consultant war, dann soll er herkommen und zeigen wie das geht.
Und wenn es ein Vertriebler von Sun war, soll er einen Techniker schicken, der zeigt wie das geht.

bayoda

  • Gast
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #5 am: 06. Mai 2009, 21:44:43 »
bingo - war ein consultant..(sun) ..konfig durchgemacht für die bestellung.  also cluster betrieb mit SATA Disken  ist Uhh-nix.   >:(

nächster punkt: opensolaris support gekauft - tja CAM auf Opensolaris -

 kannst auf gut österreichisch den porzellan express nehmen ...  (für alle die finding nemo gesehen haben)


Also ich würde derzeit eher abraten von einer OpenSolaris / Jbod Konfig  - da handelst dir troubles ein...

lg

Michael






Offline stiefkind

  • Sobl Bachelor
  • ***
  • Beiträge: 143
    • Synapseninferno
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #6 am: 07. Mai 2009, 07:10:37 »
Guten Morgen!

Nichtsdesto trotz spalt sich die JBOD unter OpenSolaris wie "Sau"  wenn man die Patches für den CAM 6.2.0.13 einspielen will.
Hat da schon wer Erfolge zu verzeichnen?

Hmmm... wozu brauchst Du einen CAM für ein JBOD? Dafür reicht doch im Prinzip ZFS  :)

Zitat
Das mit den ID's hab ich mir auch schon angesehen, sicher bin ich mir da aber nicht, denn die IDs sind ja auf der JBOD zum einstellen.

Verständnisfehler. Wenn Du Dir die SCSI-Chain bei dualhostet anschaust, dann hast Du erst den HBA von einem Host, dann das Storage und dann geht die Chain ja weiter zum HBA vom anderen Host. Die HBAs haben aber auch SCSI-IDs. Dummerweise beide die selbe (ab Werk). Zwei gleiche SCSI-IDs an einem Bus geht aber nicht. Also muss man an einem der beiden HBAs die SCSI-ID des HBAs selbst (NICHT die der Platten) umstellen. Wenigstens war das früher so, wenn man einen Cluster auf SCSI-Basis machen wollte. Fiber Channel Equipment hat das Problem nicht, weil WWNs eineindeutig sind. Bei SAS weiß ich es aus eigener Erfahrung NICHT, weil ich damit noch nicht zu tun hatte. Aber weil das SCSI ist, kann ich mir schon vorstellen, dass es da auch IDs am Bus für die einzelnen Geräte und dann dürfen ganz sicher auch keine zwei Geräte die selbe ID innerhalb eines Busses haben.

Und dass SATA im Cluster nicht geht, steht tatsächlich recht deutlich im Sun Cluster 3 Configuration Guide nachzulesen. In der aktuellen Ausgabe (April 2009) steht da unter der Überschrift "J4200/J4400 Configuration Rules":

Zitat
Sun Cluster support is with SAS HDDs only. Please note that SATA HDDs cannot be
used with Sun Cluster. For additional configuration information, please see the
J4200/J4400 Release Notes and SAS multipathing guide.

Schade, dass da kein weiterer Grund dabei steht.

wolfgang

Offline dominik

  • Sobl Bachelor
  • ***
  • Beiträge: 182
  • Me, myself & I
    • Meine Heimseite
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #7 am: 07. Mai 2009, 08:19:42 »
Mooooment mal, mit SC3.2 U2 ist SATA in J4x00 supported:

http://wikis.sun.com/display/SunCluster/(English)+Sun+Cluster+3.2+1-09+Release+Notes#%28English%29SunCluster3.21-09ReleaseNotes-j4200

Allerdings muss disk fencing deaktiviert werden. Wie das geht ist in dem Text beschrieben.

Wenn ich mir dabei das Bild ansehe, dann frage ich mich allerdings, ob da nicht ein Darstellungsfehler vorliegt. Host 1 hat zwei Connections auf Array 1, Host 2 hat zwei Connections auf Array 2. Ist ja irgendwie witzlos wenn man einen Cluster hat. Und dass der Zugriff von beiden Cluster Nodes möglich ist, zeigt mir folgende Note:
Zitat
Sharing arrays - You cannot share a SATA JBOD array between hosts that belong to different clusters.

Aus der eigenen Erfahrung muss ich allerdings sagen, dass ich als Kunde ohne ausgeprägtes Wissen über das Produkt SunCluster niemals ein Produktivsystem ohne Unterstützung durch Sun installieren würde. Wenn ich mir alleine die EIS Checkliste (sun internal) ansehe... :)

Wohin das dann führt sieht man am Ursprungsposting.


Gruss
Dominik

bayoda

  • Gast
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #8 am: 07. Mai 2009, 08:41:13 »
Hallo dominik

Die Info da ist wirklich brauchbar, habs mir grad durchgelesen. 

Das mit SUN und Installation ist so eine Sache, wenns bei der Konfig die zusammengestellt
wird schon lustig ist, wie sieht dann erst die Installation aus ;-)   die hätte ich dann wahrscheinlich noch
weniger abgenommen als die Hardware jetzt :-)

Aber ich bin mit den Infos hier jetzt auch mal wieder einen Schritt weiter ...

Es gibt da anscheinend was zum OpenSolaris und CAM 6.2.0   - ich probier das die nächsten Stunden aus
wenns das ist ... gibts hier eine info, falls wer in die gleiche Problematik reinläuft ...

lg

Michael


Offline dominik

  • Sobl Bachelor
  • ***
  • Beiträge: 182
  • Me, myself & I
    • Meine Heimseite
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #9 am: 07. Mai 2009, 09:26:10 »
bayoda:

Naja, Sun ist halt manchmal so und manchmal so. Hättest mich gekriegt als ich damals noch im Cluster Team gearbeitet hab... ;) Immerhin hast bei Installation durch Sun insofern eine Garantie, als dass jeder Cluster gemäss Protokoll getestet und abgenommen wird. Klappt das nicht, muss nachgearbeitet werden.

Gruss
Dominik

sonnenblen.de - Das unabhängige Sun User Forum

Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #9 am: 07. Mai 2009, 09:26:10 »

bayoda

  • Gast
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #10 am: 07. Mai 2009, 11:59:35 »
Hallo Dominik

Es geht uns eher um den "HW" Cluster - sprich Multipathing von 2 Hosts mit jeweils 2 HBAs mit Verbindung zu jeweils 2 JBODS.
Da stecken wir fest.  Sprich wenn uns eine Maschine abgurkt - kann die andre immer noch auf die Daten beider JBODs zugreifen.

Sprich   
Host A   -> JBOD A
HOST B  -> JBOD B

ist host A weg, soll HOST B auf die JBOD A zugreifen können....

Das Software Clustering selbst werden wir derzeit schön aussen vorlassen ;-)  wenn wir es nicht zwingend brauchen ;-)
Desto weniger Komplex das System ist desto einfacher über die Zeit hinweg zu warten ....  ;-)

Insgesamt bin ich ja ob OpenSolaris noch immer happy das wir die Entscheidung getroffen haben in der firma, und Linux gekübelt haben.

Gruss aus Österreich

Michael

Offline stiefkind

  • Sobl Bachelor
  • ***
  • Beiträge: 143
    • Synapseninferno
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #11 am: 07. Mai 2009, 12:06:37 »
Wenn ich mir alleine die EIS Checkliste (sun internal) ansehe... :)

Zertifizierte Partner kriegen die auch. Ist Inhalt der EIS-DVD und die kriegt man nach Ableisten entsprechender Schulungen und Zertifizierungen. Beides, die DVD und die Checklisten sind eine wirklich große Hilfe bei Installationen und helfen vor allem auch, eine gewissen Einheitlichkeit der Installationen hinzukriegen. Was bei Einführung vor ein paar Jahren ja auch Absicht war :-)

wolfgang

bayoda

  • Gast
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #12 am: 07. Mai 2009, 12:35:06 »
Diese listen wären für die "do it yourself" installation aber auch sehr hilfreich ;-)

ich glaub ich hab da was gut bei sun - aufgrund der letzten meldungen support betreffend ... werd mir das zeug mal holen "versuchen" ...

checklisten sind nie schlecht...

lg

Michael

Offline stiefkind

  • Sobl Bachelor
  • ***
  • Beiträge: 143
    • Synapseninferno
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #13 am: 07. Mai 2009, 20:14:18 »
Diese listen wären für die "do it yourself" installation aber auch sehr hilfreich ;-)

ich glaub ich hab da was gut bei sun - aufgrund der letzten meldungen support betreffend ... werd mir das zeug mal holen "versuchen" ...

Ich wünsche Dir dabei viel Erfolg und rate Dir, wende Dich an Deinen kompetenten Sun-Partner, sofern Du einen hast. Dort sehe ich die Erfolgschancen deutlich höher...

wolfgang

bayoda

  • Gast
Re: J4400 - LSI 1068E SAS - Multipathing
« Antwort #14 am: 07. Mai 2009, 20:29:20 »

Danke dafür ...

Mit CAM 6.4.0 laufen die dinger jetzt wie geschmiert.

bin seit einer stunde innerlich nur mehr am springen ;-)
vor freude versteht sich ...

herzlichen dank an die mithilfe ... da weiss mann das man geholfen wird.

SUN Partner hab ich ja eh. SUN selbst ;-)

Michael