nVidia Tesla K10 und K20 - Projekt - Will ich mal angehen

Du kannst an sich auch mit einer normalen CPU Arbeiten. Du steckst eine Normale Grafikkarte rein, installierst Linux und richtest SSH ein. Anschließend kannst du dich mit SSH einloggen und die Tesla via SSH einrichten. Für CUDA brauchst du ja keinen Monitor

Ich glaube Matrox möchte auf den Tesla Karten daddeln.

Davon hat er nichts gesagt...

Offiziell geht das natürlich nicht, weil es sich hier um reine Compute Karten handelt. Inoffiziell hingegen scheint so etwas schon möglich zu sein, [hier z.B. eine Anleitung] um das mit einer Tesla K40 und integrierter Intel GPU zu machen. Das müßte hinhauen, weil deine K10 und K20 derselben Generation entstammen wie die K40.

Du hast halt kein SLI....

Ohne gescheite Kühlung brennt dir die Tesla Karte beim Gaming weg. Das habe ich schon hinter mir.

Das betrifft aber nur die lüfterlosen? Die sind halt dafür gedacht daß du sie in einen GPU Server steckst, der sich dann um die Kühlung kümmert, aber das weißt du wohl eh selber.

Jupp.

Interessant wäre das mal mit Hardware die VT-D/IOMMU kann. Mit Proxmox oder VMWare Horizon könnte man sich dann seinen eigenen Gamingstreamingdienst bauen.

Im Netz kursieren Anleitungen, damit du das Titan X BIOS aufspielen kannst... Aber habe das nicht mehr im Kopf.

Grindhavoc: Da das Kepler Karten sind, würde das sogar noch ohne SR-IOV gehen, also auf deutlich älteren PCs. Aber dann kannst du hacken anfangen. Weil für vGPU mit Teslas brauchst du entsprechende NVIDIA Lizenzen, und die gehen schnell in vierstellige Bereiche pro GPU und Jahr. Je mehr vGPU Slices du aus deinen physischen GPUs erzeugst, desto teurer wird's. Hast du die Lizenzen nicht, wird der Datacenter/GRID Treiber im Gastsystem deine Prozesse zuerst stark einbremsen, und dann nach Ablauf einer Stunde killen. Alternativ zu kommerziellen Hypervisors geht das aber auch mit simplem Qemu/KVM auf Linux oder dem mächtigeren und drauf basierenden oVirt. Diese Software ist quelloffen und frei.

Wichtig ist es dann aber, die korrekte NVIDIA Lizenz zu wählen! Nicht vCS (Virtual Compute Server), sondern entweder vPC (Virtual PC) oder vWS (Virtual Workstation). Mit der vCS läßt dich die vGPU nämlich nichts rendern, weil diese Lizenz nur für CUDA-, OpenCL- und HLSL-Compute gedacht ist. Ausprobiert habe ich das schon, keine Chance.

Zitat von GrandAdmiralThrawn

Grindhavoc: Da das Kepler Karten sind, würde das sogar noch ohne SR-IOV gehen, also auf deutlich älteren PCs. Aber dann kannst du hacken anfangen. Weil für vGPU mit Teslas brauchst du entsprechende NVIDIA Lizenzen, und die gehen schnell in vierstellige Bereiche pro GPU und Jahr. Je mehr vGPU Slices du aus deinen physischen GPUs erzeugst, desto teurer wird's. Hast du die Lizenzen nicht, wird der Datacenter/GRID Treiber im Gastsystem deine Prozesse zuerst stark einbremsen, und dann nach Ablauf einer Stunde killen. Alternativ zu kommerziellen Hypervisors geht das aber auch mit simplem Qemu/KVM auf Linux oder dem mächtigeren und drauf basierenden oVirt. Diese Software ist quelloffen und frei.

Wichtig ist es dann aber, die korrekte NVIDIA Lizenz zu wählen! Nicht vCS (Virtual Compute Server), sondern entweder vPC (Virtual PC) oder vWS (Virtual Workstation). Mit der vCS läßt dich die vGPU nämlich nichts rendern, weil diese Lizenz nur für CUDA-, OpenCL- und HLSL-Compute gedacht ist. Ausprobiert habe ich das schon, keine Chance.

Gut zu wissen. An welcher Stelle trägt man die Lizenz denn ein? Gibt es bei der Treiberinstallation eine Abfrage?

Zu Hypervisor/Qemu:

Ich meine irgendwo gelesen zu haben, das es für Proxmox ein Remote-Plugin geben würde, dass halt Latenzoptimiert ist (eben für Grafiklastige übertragungen). Daher habe ich Proxmox auch als erstes erwähnt.

Und auf VMWare habe ich so etwas schonmal auf Youtube gesehen (aber ich weiß nicht mehr welche GPUs da benutzt worden sind).

Bei Qemu hab ich überhaupt keine Ahnung wie das streaming mäßig performt.

Qemu/KVM und oVirt haben dafür den QXL Treiber mit dem Spice Protokoll verwendet. Das war echt knackig flott. Zu meinem äußersten Bedauern (und dem meiner User) wurde das aber eingestellt, weil RedHat (die dahinter stehen) zu geizig und zu dämlich war, die Lizenzen für den in Spice inkludierten H.264/AVC Codec zu zahlen. Und offenbar war man zu faul, das einfach gegen den freien und viel effektiveren AV1 Codec zu ersetzen. Damit ist das Streaming leider Scheiße³ geworden, weil man jetzt nur mehr Virtio und VNC einsetzen kann. Da könnte Proxmox also echt die bessere Wahl sein.

Zu den Lizenzen: Unter Windows weiß ich das nicht (das verwendet hier kein Mensch), aber unter Linux gibt es nach der Treiberinstallation einen Systemdienst namens nvidia-gridd. Der liest eine recht selbsterklärende Konfigurationsdatei /etc/nvidia/gridd.conf und ein kryptografisch sicheres Authentifizierungstoken aus /etc/nvidia/ClientConfigToken/ ein, das ist einfach eine .tok Datei mit dem verschlüsselten Token drin.

Dieses Token lädt man einfach aus dem NVIDIA Lizenzportal unter [dieser URL], man findet das dort unter License Servers > Server aussuchen und anklicken > Actions > Generate client config token. Den Server kann man in dieser NVIDIA Cloud super einfach per Klick spawnen. Gibt auch einen Weg selber einen Lizenzserver on premises zu hosten, aber das haben wir nicht gemacht.

Danach startet man den nvidia-gridd einfach neu, z.B. per # systemctl restart nvidia-gridd. Unter Windows wird man das dann halt über die services.msc machen. Mit systemd unter Linux läßt sich die Lizensierung dann einfach mittels # systemctl status nvidia-gridd prüfen, da muß unten im Logausschnitt so etwas stehen:

Nov 24 08:50:17 some-vgpu-vm.domain.com nvidia-gridd[1358]: License renewed successfully. (Info: api.cls.licensing.nvidia.com, NVIDIA Virtual Compute Server; Expiry: 2023-11-25 7:50:17 GMT)

Der nvidia-gridd Dienst verlängert die Lizenzen selbsttätig, solange man halt noch Anspruch hat.

Nvidia: Das klingt auf jeden Fall leicht einzurichten. Aber die Business-Lizenzen sind natürlich eine unüberwindbare Paywall für so nen Hobbybetrieb.

Proxmox: Da ich nun einen 22HE Schrank habe, könnte mich da nächstes Jahr tatsächlich mal dran setzen. Eine 1080Ti würde zum testen auch erst einmal reichen.

bzgl. Proxmox hab ich noch Vorurteile (bzw. negative Erinnerungen) die ich überwinden muss. Das letzte mal hatte ich mit Proxmox von etwa 2011-2014 zu tun.

Zu der Zeit war es mMn Müll.

Ich kenne einen Admin, der nimmt Proxmox für GPU Zeug, aber nicht hochflexibles vGPU so wie bei uns mit den A100, sondern einfach nur Passthrough mit RTX Karten und Hacktreiber. Der scheint mir mit dem System recht zufrieden zu sein. Nur fehlen bei der freien Version halt etliche Features, z.B. die Backuplösung die man bei der Bezahlversion scheinbar dabei hat.

NVIDIA läßt sich halt alles was nur geht vergolden, so ist das leider in Monopolsituationen. Ich hab's eh schon Mal erwähnt; Es gibt genug Forscher und Entwickler, für die sind "GPU" und "NVIDIA" einfach nur mehr alternativlose Synonyme. Daß es sowas wie eine "Radeon" oder eine "Instinct" gibt, existiert in deren Wahrnehmung oftmals überhaupt gar nicht mehr... Irgendwie traurig.