Ich weis nicht ob es dir hilft, aber hier ist mal ein Tipp von einem anderen Sun-Newbie :-)
Ich selbst bastele momentan an einer Ultra AXi herum, das müsste eigentlich die gleiche Leitungsklasse wie deine U5 sein.
Erste Informationen für Suns gibts es unter sunsolve.sun.com. Dort kannst du herausfinden, zum Beispiel das du maximal eine 400MHz-CPU in die U5 stecken kannst - unter der Voraussetzung das OBP-Version und Board-Revision stimmen.
Fremd-PCI-Karten - kommt vermutlich auf das OS an. Ich betreibe meine Ultra unter Linux, da ich eine USB-Karte eingebaut habe die vermutlich unter Solaris nicht unterstützt wird. Auch eine normale PC-Soundkarte funktioniert - wenn auch mit macken die ich noch nicht identifizieren konnte.
Ganz wichtig für den Workstation-Betrieb sind meiner Meinung nach ein guter Framebuffer und ein guter Monitor, sonst macht das Arbeiten einfach keinen Spass. Ich habe mit eine Elite 3D-m3 in meine Sun eingebaut, davor hatte ich nur ATI 3D-Charger-Karten. Eine davon will ich demnächst als zweite Grafikkarte wieder einbauen. Eine Sun-Karte brauchte ich, da ich Xfree keine Modelines für einen Sun-Monitor beibringen konnte und die Erkennung an einer PC-Grafikkarte nicht funktioniert hat. Welche Grafikkarten deine Sun schluckt erfährst du ebenfalls auf sunsolve.
Die dort gelisteten Karten sind allerdings nur die, die von Sun offiziell unterstützt werden, d.h. mit denen das OBP umgehen kann und die unter Solaris unterstützt werden. Theoretisch sollten auch andere PC-Grafikkarten laufen, sofern das Betriebssystem einen Treiber dafür hat. Nur - wenn du keine Karte drin hast die vom OBP unterstützt wird, bekommst du erst beim starten des graphischen Systems ein Bild.
Ram brauchen Suns meines wissens nach immer Spezial-Bausteine von Sun. Für große Sparcstations und kleine Ultras gibt es die aber zu IMHO moderaten Preisen bei eBay.
Ich hoffe das hilft dir schon mal weiter. Ein abschliessenders Tipp aus meiner Linux-Erfahrung auch mit PC's: Speicher ist um einiges wichtiger als CPU-Leistung. Die CPU wartet ohnehin die meiste Zeit auf irgend welche IO's