Fragen zum Clustern

[Joshi]

Hallo,

auch wenn man das nicht direkt braucht und ich bestimmt keinen Verwendungszweck dafür habe, möchte ich mich aus Gründen des Selbststudiums mal mit dem Thema Cluster beschäftigen - ich find's halt einfach spannend.

Was soll "clustered" werden:

1. SS10 (Axil 311) mit 2xSM71 und NetBSD (kann aber auch Sol 8 werden, wenn das dann auch für kurze Zeit ein Lizenzproblem darstellt)
2. SS20 mit Sol 8 (kann aber auch NetBSD werden)
3. X86-Dual PIII mit Redhat 8.0 (möchte ich ungern ändern wg. gut laufender Oracle 9i Installation)
4. SGI O2 mit IRIX (hier vielleicht auch NetBSD)
5. SGI Indy noch ohne OS (wollte mir jetzt nicht die Arbeit machen)

Meine Frage, die nach längerer Internet-Recherche unbeantwortet geblieben ist:

Muss auf allen Kisten das gleiche OS laufen oder gibt es "Module" zum Aufbau des Clusters. Ich hab' bei mosix.org gelesen, dass

There are no technical problems to port MOSIX to any platform that runs Unix (we already did it for 6 different platforms and 8 different versions of Unix).

Wenn damit jemand Erfahrungen hat, vielleicht ein gutes HOWTO empfehlen kann oder einen anderen Kernel/ein anderes Management Package als Mosix empfiehlt würde ich mich über eine Antwort freuen.

Grüße,

Jörg.

[Lordy]

Hallo,

mal mein Wissen zum Thema:
Welche Art von Cluster willst du?
1.) Hochverfühgbarkeits-Cluster: Sprich dass ein Diest 99.9999% erreichbar ist. Dafür sind in den meisten fällen unterschiedliche Betriebssysteme und Architekturen möglich.

2.) Load Balance Cluster: Sprich die verfühgbare Rechen Kraft wird aufgeteilt.

Mosix macht hier aus vielen Rechnern einen Multiprozessor-Rechner könnte man sagen. Bedienung ist aber das auf allen Rechner ein Betriebsystem und eine Prozessor Arch. läuft. Warum? Weil ein Programm das für Mips übersetz ist schlecht auf einer Sparc laufen lassen kannst.
Ich weiss jetzt nicht wie weit Mosfix ist, aber ich denke du könntest auf den Suns einen Cluster machen.
Bei den zwei Sgi weiß ich es nicht genau, weil die Indy und die O2 doch wieder aus anderen prozessor versionen bestehen wenn ich mich nicht irre.

Wenn du viele verschiedene Betriebssysteme und Archs. nutzen willst bleibt dir eigendlich nur die möglichkeit der verwendung einer MPI Lib. Das schaut etwa so aus: Du schreibst ein Programm was die gewünschte berechnung durchführt. Durch die MPI Lib kann dieses dann Plattform unabhänig mit den anderen instanzen des Programms auf den anderen Rechner sprechen und sich die arbeit aufteilen.
Hat natürlich den nachteil das du damit nur für ein Problem die Leistung der Maschinen benutzen kannst.


So, ich hoffe ich konnte dir damit weiterhelfen - und wenn hier richtige Cluster Profis mitlesen hoffe ich das mir fehlauskünfte verzeiht werden


Grüße,
chris

[Kathse]

Hi,

interessantes Thema!
Lordy, wenn man dir die Rechtschreibung verzeihen kann, dann auch Fehlauskünfte ;-)
Okay, das war gemein und ich hieb in eine Kerbe, die eigentlich ein anderer beansprucht... ich nehms zurück.

Könnte man einen Load-Balance-Cluster auch auf Java-Basis aufbauen? Das läuft doch überall... und wenn es eine Technik ähnlich Applets gibt, die sich dann auf den Rechnern verteilen und dort ihre Arbeit machen, müsste das doch gehen. Das Programm liegt dann nur einmal auf einer Festplatte und wird nach Bedarf distributioniert. *g*

Klingt gut, finde ich... aber gibts das?

Gruß,
K

[Lordy]

@Kathse    

Aber zu deiner Idee selber. Um die sache gleich transparent wie bei Mosix zu machen würde ein einfaches Applet wohl nicht ausreichen. Hier müste wohl ziemliche veränderungen und erweiterungen in der JRE rein.

Dann nocht die fragen nach den sinn. Geschwindigkeits mässig lassen sich damit keine Rekorde aufstellen, und wie oft wir schon ein CLuster aus unterschiedlichen Archs aber mit einer App benötigt?

Ich bin mir jetzt nicht so sicher, aber ich glaube bei GNUStep, bzw dessen orgnial NeXTStep gab es mal einen Demon der automatisch feststellte bei welche rechner im Netz der Load am kleinsten ist und dann auf diesen die App gestartet. Wenn wer mehr infos dazu hat sind sie willkommen!

Grüße,
chris

[Joshi]

Hmm,

das Ganze auf Java basiert gibt es doch in Form von Applicationservern und Beans, oder nicht?

Mir geht es nur darum, dass ich z.B. das Rendern eines Mandelbrots auf mehrere Rechner verteile. Das würde ich dann für mich dokumentierten (oder auch teilen) und dann das Ganze wieder einstampfen.

Jörg.

[Lordy]

Mandelbrot, hunger  

Aber zurück zum Thema. Mit was Renderst du den? Soweit ich informiert bin kann man mit Maya einen Render-Cluster machen. Bin aber kein Grafiker, wenns wirklich Maya wär würde ich auch in Mood mal Fragen bzw einen Link zu diesen Thread posten.

[tg-it]

hallo

ich hab in etwa das gleiche vor 2x ss5 als ha mit heartbeat über serielle leitung. wie und wann ich das umsetze weiß ich noch nicht bin da ebenfalls für ideen offen.

bei dir stellt sich aber immer noch die frage was möchtest du mit nem cluster tun. zum rendern bringt dir ein cluster nicht viel aber ein rendermanager der die zu berechnenden frames auf die verschiedene maschinen aufteilt auf denen ein renderserver läuft.

just my usw.  

[SmellyCat]

zum rendern bringt dir ein cluster nicht viel aber ein rendermanager der die zu berechnenden frames auf die verschiedene maschinen aufteilt auf denen ein renderserver läuft.

wie ich das verstehe geht es einfach nur um das clustern an sich nich um die zu erfüllende Aufgabe

bye
Mats

[Joshi]

Hi,

Mats hat es erfaßt. Mir geht es wirklich nur um's Clustern an sich. Wie schon gesagt, ich find' es ist ein spannendes Thema und einen direkten Verwendungszweck habe ich nicht. Mandelbrot war auch nur ein Beispiel um es zu testen, weil das bei Mosix benutzt wird.

Als Resumée kann ich sagen: Es scheint schwierig zu sein, verschiedene OS und Architekturen im Cluster zu nutzen. Vielleicht versuche ich erst einmal die SS10 und die SS20 zu Clustern. Wäre schon mal der richtige Schritt in ein Richtung.

@ tg-it: Eine Art HACMP mit zwei SS5 ist ebenso spannend.  An einem Wissensaustausch bin ich interessiert. Software sollte es dafür ganz bestimmt geben. Ich hör' mich mal bei meinen RZ-Freunden um, wie das so machen.

Gruß,

Jörg.

[7ami7]

Hallo Joshi.

SUN hat zwei Arten von Clustern:

Cluster 2.2 --> Ein logischer Host kann beim Ausfall eines Nodes auf den zweiten (oder dritten oder vierten) Clusternode schwenken. Applikationen werden dort dann wieder automatisch gestartet.

Cluster 3.0/3.1--> Bietet die Moeglichkeit von skallierbaren Services. Eine Art Lastenverteilung also.

Jede SW ungefaehr so teuer wie eine V880 .
Aber du warst ja nur an der Funktion interessiert....

Gruss
Andreas