40G on a budget? Gebrauchte Server-Hardware!
Mit neuer Hardware (2x Karte + 1x LAN-DAC) würde mich eine 40G-Verbindung von PC zu PC um die 750 € kosten.
Zum Glück ist eBay voll von gebrauchten Netzwerkkarten, die weitaus günstiger sind.
40G Netzwerkkarten mit Mellanox ConnectX-3 Chips, MCX353A (1x QSFP+) bzw. MCX354A (2x QSFP+), kosten gebraucht 50-60 €, anstatt 350-400 € als Neuware.
Inkl. LAN-DAC liegen wir auf einmal bei 150 €, statt 750 €.
Hinweis:
Bei den Mellanox-Karten immer auf die letzten vier Buchstaben achten. Nicht jede davon ist ab Werk für 40G Ethernet geeignet.
- QCBT = 10G ETH / 40G IB
- FCBT = 40G ETH / 56G IB
Man kann eine QCBT aber zu einer FCBT flashen (Stichwort: Crossflashen). Einfach auf der Firmware-Seite von NVIDIA die FCBT-Version laden und mit dem Zusatz -allow_psid_change auf die Karte flashen.
Aber immer auf die Revision achten. Mehr zum Flashen weiter unten.
Mein Ziel waren unter 100 € für eine 40G Verbindung von PC zu PC.
Mit gebrauchten LAN-DACs lässt sich nur bedingt Geld sparen, hier ist FS.com schon recht günstig und eBay hat da auch nicht die Auswahl geboten.
Also bleibt nur die Netzwerkkarte, wo noch Einsparpotential drin stecken muss.
40G ist in der Servertechnik ein alter Hut. So alt, dass diese ca. 10 Jahre alte Technik jetzt auch auf eBay zu finden ist.
HP, IBM und andere Hersteller haben eigene Netzwerkkarten auf Basis der Mellanox-Chips gebaut. Interessant sind hier die ConnectX-3 (Pro) Chips, die auch auf den oben genannten Karten Verwendung finden.
In meinem Fall habe ich auf HP gesetzt, da hier die Auswahl an Karten auf eBay recht hoch ist und auch der Firmware-Support seitens HP ist nicht übel.
Direkt ins Auge gefallen sind die beiden Modelle 544FLR-QSFP und 544+FLR-QSFP, welche auf den ConnectX-3 Chip bzw. die Pro-Variante setzen.
HP 544+FLR-QSP (764285-B21)

HP 544FLR-QSFP (649282-B21)

Beide kosten ca. 20 €, also wieder 30-40 € zu einer gebrauchten MCX353/4A gespart.
Hinweis:
Die ConnectX-3 Pro Karten haben RoCEv2 Support (RDMA over Converged Ethernet).
Über RDMA können Daten ohne über die CPU direkt in den Arbeitsspeicher übertragen werden. Das ist eine ultra-kurze Zusammenfassung.
Ich denke nicht, dass wir die Leistungsanforderungen haben. Leider unterstützen das auch nur die Windows Server Versionen 2012 und neuer, sowie Windows 10/11 Pro for Workstations, nicht die normale Pro-Version.
Die Pro-Karten bringen also mMn keinen nennenswerten Leitungsvorteil mit sich.
Schaut man sich den PCIe-Anschluss bemerkt man, dass dieser etwas komisch aussieht. Die FlexibleLOM-Karten passen generell mechanisch in einen normalen PCIe x8/x16 Slot, elektrisch jedoch nicht, da HP einige Pins anders verwendet als im Standard.
Zudem würden die QSFP+ Ports nicht hinten aus dem Gehäuse schauen.
HP FlexibleLOM

Normaler PCIe x8

Dieser Anschluss heißt FlexibleLOM und ist so beliebt, dass sich einige Leute gefunden haben, die FLOM-PCIe-Adapter/Riser gebaut haben, damit die Karten auf normalen Mainboards und in normalen Gehäusen betrieben werden können.

Kostenpunkt ca. 17 € pro Adapter, bei 5-10 Stk. etwas günstiger.
Kurzer Kassensturz:
Wir sind bei ca. 37 € plus 40 € für das LAN-DAC, macht um die 115 €. Leider noch nicht ganz geschafft.
Beim Adapter gibt es noch die Möglichkeit diesen selbst produzieren zu lassen, die Platinenpläne sind frei verfügbar.
Kommt noch ein PCIe x8 Anschluss dazu und etwas Lötarbeit.
Tobias Schramm hat einen Adapter entwickelt und in einem Github-Repo veröffentlicht.
Link: https://github.com/TobleMiner/HPE-FlexibleLOM-adapter

Diesen Adapter kann man sonst auch käuflich erwerben, Kostenpunkt: knapp über 7 €.
Link: https://shop.sysmocom.de/HPE-F…DIY-kit/flexilom-pcie-kit
So könnte man eine 40G Verbindung für unter 100 € realisieren. Ich muss aber sagen, dass der Adapter bei mir nicht funktioniert.
Entweder ist er inkompatibel zu den Karten, oder meine Lötkünste lassen zu wünschen übrig. Es dürfte Letzteres sein.
Ich setze demnach auf die Variante von KCORES, für die es auch ein Github-Repo gibt, wo es auch eine Kompatibilitätsliste gibt.
Link: https://github.com/KCORES/KCORES-FlexibleLOM-Adapter
Meine Reise endet demnach bei knapp über 100 €, aber ich bin dennoch zufrieden.
Wer meint, dass 10G nun auch langsam mal zu langsam sind, hier ist ein kostengünstiger Weg 
Stromverbrauch
Ein kurzer Überblick über die Leistungsaufnahme dieser Karten:
Modell | Normale Leistungsaufnahme | Maximale Leistungsaufnahme |
---|
544+FLR-QSFP | 8,7 W (DAC) 13,6 W (AOC)
| 10,6 W (DAC) 14,2 W (AOC)
|
544FLR-QSFP | 7,2 W
| 11,3 W
|
Legende:
- DAC: Passives Kupferkabel
- AOC: Aktives optisches Kabel
Quellen:
QSFP+/SFP+ Adapter
Um auch eine SFP+ 10G-Verbindung über die QSFP+ Karten zu realisieren, gibt es QSFP+/SFP+ Adapter.
Mein NAS hat eine MCX311A (10G, PCIE x4), da dort kein freier PCIe x8 mehr vorhanden ist. Also wollte ich die bestehende 10G-Verbindung über ein SFP+ LAN-DAC weiterbenutzen.
Passende Adapter gibt es ab 35 €. Im Vergleich zur Karte teuer, aber in der Not nimmt man, was es gibt.
Link: https://www.ebay.de/itm/265685453717

Eine weitere Alternative für meinen Fall wäre sonst auch ein QSFP+/SFP+ LAN-DAC.
Link: https://www.fs.com/de/products…attribute=11261&id=347196
Fotos
HP 544+FLR-QSP (764285-B21)

HP 544FLR-QSFP (649282-B21)

Wartung
Die kleinen Kühlkörper auf den Karten sind nicht ohne Grund dort.
Ein Gehäuselüfter sollte auf die Karten blasen und auf Grund des Alters empfiehlt es sich auch die Wärmeleitpaste zwischen Chip und Kühler einmal zu erneuern. Nach knapp 10 Jahren hat die Originalpaste ihren Dienst getan.
Vorteil an FLOM-Adaptern von KCORES ist der kleine, weiße 12V-Anschluss, wo man einen 40mm Lüfter anschließen kann.
Der muss dann auf den Kühler gebastelt werden, aber Kabelbinder sind ja unsere Freunde 