Deepseek lokal auf der CPU betreiben - mit 768GB RAM!

Das ist nur dann nichts neues, wenn man das gewöhnt ist.
Das ist erst meine zweite Begegnung mit Server-Hardware aus diesem Jahrtausend.

Da ist Workstation Zeug deutlich einfacher in der Handhabung, wenn man nur das Consumer Zeug kennt.

EDIT: Sorry, ich bin einfach nur sehr genervt, wie viel Zeit ich in das Board stecken musste, bis es lief.

Ja, ich wollte das Board auch mit Spüli in der Wanne waschen. Das mache ich normal auch immer.
Allerdings hat dieses Board ganz blöde Induktivitäten, die von Kapton tape zusammengehalten werden.
Zudem machte mir der große LGA Sockel mit den 4094 winzigen Pins Angst.
Man kann auch den komplizierten Metallrahmen um den Sockel nicht entfernen.

Und das Board lief ja auch sofort. Bis dann die PCIe Interrupts kamen. Und die sporadischen ECC Fehler unter Last.

So, ich habe wegen dem Problem mit LM Studio unter Debain mal Ubuntu installiert, das hat aber denselben Fehler.
Allerdings habe ich mir jetzt unter Ubuntu llama.cpp gebuildet und schaffe in llama-bench (wie hier beschrieben):
4,36 T/s

Das sind also 35% mehr Performance bei 33% mehr Speicherbandbreite.
Also genau wie erwartet.

Ich werde mit den BIOS Einstellungen weiter experimentieren.
Die EPYC CPU hat 4 Chiplets mit je 8 Kernen. NUMA habe ich deaktiviert, da ich ansonsten nur 1,68 T/s bekomme.
Aber da gibt es viele Detail-Einstellungen zu den 128MB L3 Cache und der RAM Aufteilung.

Womit spielst du herum?