Meine Sun AXi in Verbindung mit dem iSCSI Initiator (mit Benachmarks!!!)

[Tschokko]

Schon wieder ich,

man kann ja seit neustem (Solaris 10, 6/06) mittel "iscsiadm" iSCSI Geräte anbinden. Wenn man nicht über eine spezielle iSCSI Karte verfügt dürfte doch das Umrechnen in TCP/IP Pakete mittels der CPU stattfinden. Oder täusche ich mich hier und ich benötige tatsächlich einen verflucht teueren iSCSI HBA?

Wenn nicht, dann wollt ich mal dumm fragen, ob denn ein UltraSPARC IIi 440 MHz Prozessor überhaupt Power genug hat um Platten per iSCSI anzubinden und auch noch "nebenbei" Netzwerk Dienste ausführen kann (DNS, DHCP, NFS, Apache, Samba, usw. halt). Maximal greifen 2 Leute simultan auf das System zu. Ist ja nur für mich privat. Ach und ich vergaß, dummerweise sollte für das iSCSI ein 1GBit Interface bereitsstehen, das könnte ja auch noch ganz schön CPU-lastig werden. 

Grüße Tschokko

[Tschokko]

So,

mir hat das Thema keine Ruhe gelassen. Ich habe mal vorhin schnell aus nen bißchen herumfliegender Hardware ein iSCSI Target gebastelt. Kurze technische Daten: Athlon XP 2600+, 512 MB RAM, 80 GB IDE (hda), 120 GB SATA (sda) an Promise S-ATA Controller. Installiert habe ich Ubuntu Server 6.06.1 und iSCSI Enterprise Target. Hab die gesamte Disk /dev/sda als Raw-Device freigegeben.

Dann habe ich mir das Teil unter meiner AXi angebunden. Mittels format und newfs die Festplatte zum mounten vorbereitet. Der newfs Vorgang hat ordentlich CPU Power gekostet, aber sowas macht man ja nur einmal, wenn überhaupt (mit ZFS )... Dann hab ich per von meinem Arbeitsplatz per scp das Ubuntu Server Image schnell auf die AXi geschoben, damit ich was zum kopieren haben. Das hat dank 100MBit schon nen weilchen gedauert. Und dann gings los... das neue iSCSI Device gemountet und das Image drauf kopiert (400MB). CPU Lust ca. 40%, Performance für nen 100 MBit Netzwerk verdammt gut !!! Der Kopier Vorgang von interner Platte auf iSCSI Platte ging rund doppelt so schnell wie vorhin per scp von meinem Arbeitsplatz auf die lokale Platte der AXi. Wahnsinn !!! Das is ja schon mal nen guter Start, womit ich ja garnicht gerechnet habe. Jetzt muss ich mich erst Recht mit iSCSI auseinandersetzen.

Ach ja, das Target mit dem Athlon XP 2600+ erreicht nicht mal 10% CPU Auslastung.

Aaaabbbberrr... im Moment sprechen wir ja noch von einem 100 MBit Netzwerk und noch nicht mal einem völlig eigenständigen. Abwarten, wie sowas in einem eigenen 1 GBit Netzwerk an der CPU nagt. Ich hoffe die AXi (dann mit 440 MHz) wird wieder so ne moderate Auslastung hinlegen. Meinetwegen mit ein paar Megabyte wenige Datenrate.

Ach ja, wen eine genau Anleitung erwünscht ist, dann werd ich diese hier mal kund tun. Und noch eine kleine Info, die aktuelle Solaris Express 7/06 hat neben dem iSCSI Initiator auch die Möglichkeit selbst ein iSCSI Target bereitzustellen. Kommando: iscsitadm ...

Grüße Tschokko

[Tschokko]

Öhm... kleine Korrektur.  Schande über mich.  Man sollte nicht das mounten vergessen. *örrrkks* Die Datei wurde nur lokal kopiert, darum ging das so "fix" und kostet "nur" 40% CPU Last. Naja, aber jetzt die realen Werte, CPU Auslastung etwas über 80%, Performance nicht sooo viel langsamer wie das lokale kopieren.  Wer hätte das gedacht.

Morgen mach ich aber mal richtige Benchmarks. Schade das ich keine Netzwerkkarte für die AXi habe. Dann hätte ich nen eigenes SAN Netzwerk aufgebaut. Zum Testen würden 100MBit allemal langen.

Grüße Tschokko

[Tschokko]

Hat mich doch mein Gefühl gestern in Sachen Performance nicht getäuscht. Ich hab nun ein paar Benchmarks.

Nochmal ein paar kurze Infos. Der Initiator ist ein Sun AXi System von DTK mit UltraSPARC IIi 335 MHz CPU, 1 GB Arbeitsspeicher und 2 Stück IBM U160 SCSI Platten (Anm. das AXi System unterstützt max. UltraWide, d.h. 40 MB/s). Das iSCSI Target ist auch nur an meinem Netzwerk mit 100 MBit/s angebunden, wie auch die AXi, d.h. 100 MBit/s = maximal 12,5 MB/s. Der erste Block ist das Ergebnis mit interner Platte und der zweite Block mit dem angebunden iSCSI Gerät. Das iSCSI Gerät ist wie auch die interne Platte mit UFS formatiert. Als Benchmark-Tool hab ich bonnie++ 1.03a genutzt.

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
mimmi (int.)     2G 10291  96  9928  48  6565  27  9964  98 19301  31 126.3   3
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  1589  52 +++++ +++  2145  68  2450  80 +++++ +++  1245  45


Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
mimmi (iscsi)    2G  6943  75 10385  41  5794  46  6607  81 12608  34 165.5   5
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  1787  68 +++++ +++  2036  67  2220  73 +++++ +++  1653  61


Wie man sieht nicht viel langsamer als die alte interen Platte und die CPU Auslastung ist doch ziemlich moderat. Sie schießt ausschließlich beim Block Read in die Höhe. Ach ja, wie man sieht erreicht das iSCSI Device bei diesem letzten Test eine Geschwindigkeitr von 12608 KB/s. Das ist also so gut wie die maximale Auslastung der 100 MBit/s Leitung. Nicht schlecht, ich bin begeistert! 

Also kleines Schmankerl mal eine aktuelle Hardware und die damit verbunden Plattengeschwindigkeit. Das ist mein aktueller File Server bestehend aus eine Pentium D820 auf nem Asus Server Mainboard, 4x 250 GB S-ATA II an nem HighPoint RocketRAID 2300 (RAID-5, fakeraid, leider kein Treiber für Solaris.  ) unter SuSE 10.1. He he he... sind ein nuuur "paar" Megabytes mehr. Trotzdem würd ich das lieber unter Solaris als unter SuSE sehen. 

Version 1.01d       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
infinity         4G 81469  70 86876  24 40759   9 78808  74 179500  21 244.0   0
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  2900  21 +++++ +++  4228  28  2407  17 +++++ +++  2011  14



Grüße Tschokko

[Ebbi]

DAS wäre doch auch mal ein schöner Beitrag für den Wettbewerb gewesen.

[maal]

Hallo Tschokko,

ich will ja deinem Tatendrang nicht bremsen, aber  ... Rechner auf Sun AXi Basis geholt (DTK irgendwas). und Ich hoffe die AXi (dann mit 440 MHz) wird wieder so ne moderate Auslastung hinlegen..

Die Sun SPARCengine Ultra AXi unterstützt auch das 440MHz Modul, die DTK SSM 3301 aber leider nicht (wenn ich Sparky (?) richtig verstanden habe). Dieses Board basiert eben nur auf der Ultra AXi, meldet sich gemeinerweise auch so, ist aber keine. Kein RAS (Lüftersteuerung, Temperaturen, etc.), zusätzlicher 50p. SCSI-Anschluß (parallel zum 68p.) intern und es wird ein steckbares VRM benötigt.

Um dich vor Schaden zu bewahren, keinen OBP für die originale Sun AXi flashen. Danach ist das Board nämlich Schrott.
Vor längerem suchte jemand gegen 50 britische Pfund "Belohnung" einen DTK OBP, natürlich vergeblich. Ich weiß auch nicht wie er diesen nach dem Flashen mit dem Sun OBP programmieren wollte.

Michael

[Tschokko]

Hallo Michael,

uiiiii, das sind natürlich Infos mit denen ich jetzt nicht gerechnet hätte. Hoppla !!! Und ja stimmt, das mit dem zusätzlichen 50-poligen SCSI Stecker ist mir auch schon aufgefallen, weil dieser einfach nirgendwo in den Sun AXi Unterlagen dokumentiert ist. Hmmm... dann werd ich das gute Stücke besser in diesem Zustand belassen und mich daran so wie sie ist erfreuen. Danke für die Infos.

Grüße Tschokko

[Sparky]

die DTK SSM 3301 aber leider nicht (wenn ich Sparky (?) richtig verstanden habe)

Ja,
leider ist das so.
Meine DTK will mit einem 440er nicht mal starten (das 440er ist ganz sich i.O).
Ich müsste mal nachsehen, aber die OBP Version der DTK ist ziemlich alt - von der Version weit vor der ersten
OBP-Version von SUN, welche 440er CPUs unterstützen.
Wir können ja mal einen Vergleich anstellen, wer welche OBP-Version auf seiner DTK SSM 3301 hat.

[Tschokko]

Wir können ja mal einen Vergleich anstellen, wer welche OBP-Version auf seiner DTK SSM 3301 hat.

mimmi:~# prtconf -V
OBP 3.10.4 1998/03/29 15:05


Grüße Tschokko

[Sparky]

mimmi

So nennt man doch keine AXi - höchstens seine Oma......

[Tschokko]

Doch!  Mimmi ist einfach cool. 

Grüße Tschokko

[maal]

Hallo,

die sind die Ausgaben zweier DTK SSM-3301 und einer Sun SPARCengine Ultra AXi.

Code: [Auswählen]

DTK SSM-3301 E3 mit DTK-Logo

ok show-dropins

Dropins for Flash device: /pci@1f,0/pci@1,1/ebus@1/flashprom@10,0
-------------------------------------------------------------------------------
Dropin name      Size  Checksum  Date        Date       Version  Vendor
                                 created     flashed
-------------------------------------------------------------------------------
OBP              46520    e237   02/24/2000              3.10.10
keyboards          bf0    dd75
fonts              af6    6b86
obdiag            8220    243a
pci1002,5654       d34    7190
pci1002,4755       cb0    c382
pci1002,4750      1794    3f65
class060400        44c    a3d4
pci108e,1001      3254    5294
pci1000,3         2824    feb4
POST             42408    d87c   03/17/1999              1.11.0
-------------------------------------------------------------------------------
        PROM size = 100000 bytes    Available for Use = 4705c bytes
-------------------------------------------------------------------------------

ok .version
Release 3.10.10 ME created 2000/02/24 09:58
OBP 3.10.10 2000/02/24 09:58
POST 1.11.0 1999/03/17 08:42

ok show-devs
/SUNW,UltraSPARC-IIi@0,0
/pci@1f,0
/virtual-memory
/memory@0,0
/aliases
/options
/openprom
/chosen
/packages
/pci@1f,0/pci@1
/pci@1f,0/pci@1,1
/pci@1f,0/pci@1/scsi@1,1
/pci@1f,0/pci@1/scsi@1
/pci@1f,0/pci@1/scsi@1,1/tape
/pci@1f,0/pci@1/scsi@1,1/disk
/pci@1f,0/pci@1/scsi@1/tape
/pci@1f,0/pci@1/scsi@1/disk
/pci@1f,0/pci@1,1/TSI,gfxp@4     <---- PGX32
/pci@1f,0/pci@1,1/network@1,1
/pci@1f,0/pci@1,1/ebus@1
/pci@1f,0/pci@1,1/ebus@1/beeper@14,722000
/pci@1f,0/pci@1,1/ebus@1/flashprom@10,0
ok

***********************************************

SSM-3301 E2 ohne Herstellerlogo

ok show-dropins
------------------------------------------------------------------------------
Dropin name      Size  Checksum  Date        Date       Version  Vendor
                                 created     flashed
------------------------------------------------------------------------------
OBP              43a34   d84d   12/07/1998             03.10.6
keyboards          bf0   dd75
fonts              af6   6b86
pci1002,5654       d1c   93eb
pci1002,4754       ce2   5dcf
pci1002,4755       bb0   cdcc
class060400        40c   cc0c
pci108e,1001      324e   ff25
pci1000,3         280e   ac1f
POST             43788   9157   05/01/1998             01.09.0
------------------------------------------------------------------------------
ok

ok .version
Release 3.10.6 SME created 1998/12/07 14:46
OBP 3.10.6 1998/12/07 14:46
POST 1.9.0 1998/05/01 11:11

ok  show-devs
/SUNW,UltraSPARC-IIi@0,0
/pci@1f,0
/virtual-memory
/memory@0,0
/aliases
/options
/openprom
/chosen
/packages
/pci@1f,0/pci@1
/pci@1f,0/pci@1,1
/pci@1f,0/pci@1/scsi@1,1
/pci@1f,0/pci@1/scsi@1
/pci@1f,0/pci@1/scsi@1,1/tape
/pci@1f,0/pci@1/scsi@1,1/disk
/pci@1f,0/pci@1/scsi@1/tape
/pci@1f,0/pci@1/scsi@1/disk
/pci@1f,0/pci@1,1/ATY,3DCHARGER@4  <--- 3DCharger
/pci@1f,0/pci@1,1/network@1,1
/pci@1f,0/pci@1,1/ebus@1
/pci@1f,0/pci@1,1/ebus@1/beeper@14,722000
/pci@1f,0/pci@1,1/ebus@1/flashprom@10,0
/pci@1f,0/pci@1,1/ebus@1/eeprom@14,0
/pci@1f,0/pci@1,1/ebus@1/fdthree@14,3203f0
/pci@1f,0/pci@1,1/ebus@1/ecpp@14,340278
/pci@1f,0/pci@1,1/ebus@1/su_pnp@14,3602f8
/pci@1f,0/pci@1,1/ebus@1/su_pnp@14,3803f8
/pci@1f,0/pci@1,1/ebus@1/se@14,400000
/pci@1f,0/pci@1,1/ebus@1/SUNW,pll@14,504000
/pci@1f,0/pci@1,1/ebus@1/power@14,724000
/pci@1f,0/pci@1,1/ebus@1/auxio@14,726000
/openprom/client-services
/packages/sun-keyboard
/packages/SUNW,builtin-drivers
/packages/cdfs
/packages/ufs-file-system
/packages/disk-label
/packages/obp-tftp
/packages/deblocker
/packages/terminal-emulator


* Hier sieht man auch den Effekt, daß der UPA-Takt leicht höher ist
* als bei der SPARCengine Ultra AXi (SEUAXI)

ok .speed
CPU  Speed  : 301.50MHz
UPA  Speed  : 100.50MHz
Primary PCI : 66Mhz
PCI  Bus A  : 33MHz
PCI  Bus B  : 33MHz

Nun die Ausgaben einer "echten" Sun SPARCengine Ultra AXi (SEUAXI)

Die erste Ausgabe stammt von einem anderen System (aber auch SEUAXI,
neuester OBP 3.10.13) als die Folgenden.

ok show-dropins

Dropins for Flash device: /pci@1f,0/pci@1,1/ebus@1/flashprom@10,0
-------------------------------------------------------------------------------
Dropin name      Size  Checksum  Date        Date       Version  Vendor
                                 created     flashed
-------------------------------------------------------------------------------
OBP              4747c    72a9   07/25/2001              3.10.13
keyboards          bf0    dd75
fonts              af6    6b86
obdiag            8390    1383
pci1002,5654       d34    7190
pci1002,4755       ff2    3d9d
pci1002,4750      1972    1f90
class060400        44e    17cc
pci108e,1001      32a4    d714
pci1000,3         2824    feb4
POST             42408    d87c   03/17/1999              1.11.0
-------------------------------------------------------------------------------
        PROM size = 100000 bytes    Available for Use = 45a18 bytes
-------------------------------------------------------------------------------

ok .speed
CPU  Speed  : 300.00MHz
UPA  Speed  : 100.00MHz
Primary PCI : 66Mhz
PCI  Bus A  : 33MHz
PCI  Bus B  : 33MHz

* Hier noch show-devs (mit einer Creator 3D) der SEUAXI

ok show-devs
/SUNW,ffb@1e,0     <-- Creator 3D
/SUNW,UltraSPARC-IIi@0,0
/pci@1f,0
/virtual-memory
/memory@0,0
/aliases
/options
/openprom
/chosen
/packages
/pci@1f,0/pci@1
/pci@1f,0/pci@1,1
/pci@1f,0/pci@1/scsi@1,1
/pci@1f,0/pci@1/scsi@1
/pci@1f,0/pci@1/scsi@1,1/tape
/pci@1f,0/pci@1/scsi@1,1/disk
/pci@1f,0/pci@1/scsi@1/tape
/pci@1f,0/pci@1/scsi@1/disk
/pci@1f,0/pci@1,1/SUNW,hme@2,1
/pci@1f,0/pci@1,1/network@1,1
/pci@1f,0/pci@1,1/pci108e,1000
/pci@1f,0/pci@1,1/ebus@1
/pci@1f,0/pci@1,1/ebus@1/beeper@14,722000
/pci@1f,0/pci@1,1/ebus@1/flashprom@10,0
/pci@1f,0/pci@1,1/ebus@1/eeprom@14,0
/pci@1f,0/pci@1,1/ebus@1/fdthree@14,3203f0
/pci@1f,0/pci@1,1/ebus@1/ecpp@14,340278
/pci@1f,0/pci@1,1/ebus@1/su_pnp@14,3602f8
/pci@1f,0/pci@1,1/ebus@1/su_pnp@14,3803f8
/pci@1f,0/pci@1,1/ebus@1/se@14,400000
/pci@1f,0/pci@1,1/ebus@1/SUNW,pll@14,504000
/pci@1f,0/pci@1,1/ebus@1/power@14,724000
/pci@1f,0/pci@1,1/ebus@1/auxio@14,726000
/openprom/client-services
/packages/sun-keyboard
/packages/SUNW,builtin-drivers
/packages/cdfs
/packages/ufs-file-system
/packages/disk-label
/packages/obp-tftp
/packages/deblocker
/packages/terminal-emulator
ok

Michael

[Sparky]

ok .version
Release 3.10.04  created  1998/03/29  15:05
OBP 3.10.4 1998/03/29 15:05
POST 1.8.0 1998/03/04 18:23


Damit haben Tschokko und ich die ältesten OBPs........
Michael, kannst Du das 3.10.10 dumpen ?
Hast Du damit mal mehr als 333MHz ausgetestet ?

[maal]

Dies ist nun leider das "Bastel"-Board, d.h. außer für diesem kurzen Test mit der am wenigsten wertvollen CPU (270 MHz) und ebenso wertlosem Speicher (32MB Module 501-2653) ist es nicht gelaufen. Für Tests mit wertvolleren Komponenten (440MHz Modul) wollte ich es nicht nehmen. Außerdem fehlt der VRM. Solange sich Tyake wegen des defekten Boards http://www.sonnenblen.de/index.php/topic,3819.0.html nicht meldet und einen Preis nennt, den ich auch bezahlen kann/will, wollte ich nicht weiter probieren.

Zum Sichern des OBP in eine Datei weiß ich leider nicht, wie ich das anstellen kann. Wenn du eine Programmidee hast gern.

Evtl. sollten wir diese Diskussion vom iSCSI Thread trennen.

Michael

[erisch]

Hat mich doch mein Gefühl gestern in Sachen Performance nicht getäuscht. Ich hab nun ein paar Benchmarks. [...]

Sehr interessan, diese Benchmarks aber dir ist schon klar, dass da irgendwas nicht so gemessen wird wie es sollte:

Du hast also 12600 kByte/s Leserate, richtig?
Das wären dann also 12,3 MByte/s. Ein Ethernet-Netzwerk mit 100 MBit schafft 12,5MByte/s Rohdaten.
Ein Ethernetframe fasst maximal 1500Byte Nutzdaten, dazu kommen mindestens 38 Byte Header und Frame Gap.
Somit kommste damit schonmal nur bis 12MByte/s.
Jetzt kommt noch spätestens alle 64k Byte ein 20 Byte TCP Header und dann natürlich noch der Overhead fürs iSCSI und fürs SCSI.

Deswegen ist es schon rein theoretisch unmöglich, dass diese Datenmenge über ein Fast Ethernet System läuft. Irgendwo stimmt da was nicht.
Ich kenne gut funktionierende NFS Systeme, die bei großen Dateien etwa 10-11MByte/s bringen, dort ist aber dann wirklich Schluss.

Mfg. Erisch