x265 Benchmark (kein Schnelldurchgang! 64-Bit manycore und ≥12GB RAM)

Wie beim x264 ist auch dieses Ergebnis nun eingetragen!

Ist zwar aktuell bekanntermaßen nicht ordentlich publizierbar, aber hier ist Mal unser neuer Sekretariatsrechner:

02:48:02.973 | GAT | 1/6/12 | AMD Ryzen 5 9600X 3,9 GHz | 32 GiB DDR5/5600 36-38-38-80-118 | ASRock X870 Steel Legend WiFi | AMD X870 Promontory 21 | Windows 11 Education 24H2

Na Mal schauen ob er wieder 15 Jahre hält, so wie der X58 Rechner davor, der eine ganze Reihe an Upgrades miterlebt hat. Drei Betriebssysteme, zwei CPUs, drei Speicherupgrades, zwei GPU Upgrades (wegen Bildschirmupgrades) und drei Disk Upgrades. Mal schauen was ich mit der X58 Kiste dann anstelle, funktionieren tut's ja nach wie vor astrein... Mmh, vielleicht ein FreeBSD 14 oder wenn's dann Mal raus ist ein 15 drauf.

Edit: Hatte vergessen die RESULTS.txt anzuhängen, reiche sie hiermit nach.

Edit 2: Ist jetzt eingetragen.

Ajo, das hatte ich im x264er zuerst nicht erwähnt: Ich habe deinen RAM als "Reg. ECC" eingetragen, weil deine Speichermenge das nahelegt. Solltest du einen anderen Speichertyp haben, einfach sagen. Aber ich denke die Plattform kann eh noch keine LRDIMMs, also wird's wohl Reg. ECC sein.

Für eine Maschine mit einem Sockel erscheint mir das Aktivieren von NUMA nicht als sinnvoll. Meines Wissens nach war der AMD Threadripper 2990X der einzige Chip, der auf zwei separate NUMA Threadpools aufgeteilt war, um Skalierungsproblemen zu begegnen. Die hat er dann aber doch ausgelöst, weil nicht jede Software mit einem 32-Thread Limit mit der NUMA API von Windows bzw. libnuma unter Linux umgehen kann oder konnte.

Ein Zen 2 Chip sollte in allen Iterationen mit allen Kernen und SMTs in einem einzigen Threadpool sitzen, NUMA ergibt hier keinen Sinn?

Aber ja: Die NUMA-Unterstützung in x265 ist bedauerlicherweise nachweislich kaputt, muß man leider sagen. Das funktioniert nur "manchmal", und wenn dann auch nur unter Linux. Is leider so.

Alles was du gesagt hast deutet auf sinnloses NUMA-Splitting hin. Alleine daß der DRAM Controller und der L3 Cache gemeinsam sind, machen das deutlich (Zen 2!). Das wirklich wichtige sind die PCIe und DRAM Controller. Sobald die gemeinsam sind, macht eine NUMA-Teilung kaum mehr Sinn.

Ergebnis ist übrigens eingetragen, inkl. des LRDIMMs, in beiden Benchmarks korrigiert!

Und jetzt habe ich eine Inkompatibilitätswarnung!

Sobald der Benchmark unter Linux mit GCC gebaut werden soll, kommt der GNU Assembler aus den GNU Binutils mit zum Einsatz, typischerweise unter /usr/bin/as. Dieser ist seit Version 2.41 nicht mehr in der Lage, ein ungepatchtes ffmpeg zu bauen. Damit bricht der Bootstrapper ab und nichts geht.

Hier sollte ich eine Weiche einbauen, die die GNU as Version prüft (so denn mit GCC gebaut werden soll), und ffmpeg [entsprechend patched] wenn nötig.

Kurzfristig gibt es aber einen wesentlich simpleren Weg: Man installiert einfach das vom Benchmark automatisch bevorzugte Compilerframework clang/LLVM. Also z.B. # apt install clang, # dnf install clang, # emerge clang, pkg install clang, je nach OS und Distro halt entsprechend.

Und dann:

$ ./bootstrap.sh --purge
$ ./bootstrap.sh

Der Bootstrapper des Benchmarks nutzt jetzt nämlich nicht nur den clang C/C++ Compiler, sondern auch den inkludierten Assembler, üblicherweise /usr/bin/llvm-as. Andere UNIX-artige Systeme wie *BSD oder macOS sind nicht betroffen, weil die den clang/LLVM aus lizenztechnischen Gründen bevorzugt nutzen und als Standardcompiler eingestellt haben.

Man merkt, der Test bekommt langsam auch graue Haare!

Und jetzt noch das Ergebnis dazu:

01:47:22.592 | GAT | 2/8/16 | Intel Xeon Silver 4509Y 2,6 GHz | 32 GiB Reg. ECC DDR5/4400 | HPE ProLiant DL380 Gen11 | Intel C741 Emmitsburg | RedHat Enterprise Linux 10.0

Ist eingetragen!

Ja, es gibt und gab Probleme. Die noch bestehenden sind mehr kosmetischer Natur, aber wenn du den Benchmark in einer Version älter als der neuesten hast, dann ist eine saubere Funktion ausgeschlossen, außer du hast das aktuelle Windows 11 durch Featureupdates erlangt. Wenn du aber ein 24H2 frisch installiert haben solltest, dann wird dir die Windows Management Instrumentation Console (wmic.exe) fehlen. Das ist eine mächtige Terminalschnittstelle zur WMI, die es dir quasi erlaubt hat "alles" in einer Windows-Umgebung bis hinauf zur Domänenverwaltung zu automatisieren. Die WMI ist laut Microsoft ab jetzt nur noch per PowerShell anzusprechen, wmic.exe wurde aus modernen ISOs entfernt.

Das hat dazu geführt, daß ich viele neue Versionsweichen und noch mehr an Gluecode rund um PowerShell einbauen mußte, um die modernsten Windowssysteme zu unterstützen. Dieser Code findet sich in Version 0.5.0-r20 ([Mirror 0] & [Mirror 1]) des x265 Benchmarks für Windows.

Warum habe ich überhaupt WMI Code im x265 Benchmark? Weil viele Systeminformationen über diese Schnittstelle ausgelesen werden können, von Software bis Hardware. Dinge wie Betriebssystemversion, Bitness, NUMA-Topologien und unzähliges mehr. Teilweise richten sich auch die Weichen danach, z.B. was das Ausführen einer nicht NUMA-fähigen x265.exe angeht (XP x64 & Server 2003 x64).

Sollte es jemanden interessieren wie die PowerShell die wmic.exe für solcherlei Dinge ersetzen kann, dann einfach im Skript launch_x265benchmark.bat in Version 0.5.0-r20 nach %psPrg% suchen. Ein kleines Beispiel wäre die NT 5.2 Weiche:

IF %haveWMIC% EQU 1 (
  FOR /F "tokens=1,2 skip=1 delims=." %%H IN ('@"%wmicPrg%" OS get Version') DO ( SET "osVer=%%H%%I" & SET "osVerMajor=%%H" & SET "osVerMinor=%%I" & GOTO :osVerEnd )
) ELSE (
  REM Actually, this could be done by just parsing the output of the "ver" builtin,
  REM but since we're doing PowerShell for the WMI calls, we use it here, too.
  FOR /F "tokens=1,2 delims=. usebackq" %%H IN (`@"%psPrg%" -c "Get-ItemProperty 'HKLM:\SOFTWARE\Microsoft\Windows NT\CurrentVersion' | Select -ExpandProperty \"LCUVer\""`) DO ( SET "osVer=%%H%%I" & SET "osVerMajor=%%H" & SET "osVerMinor=%%I" )
)
:osVerEnd

Danke für den Hinweis, den hatte ich in der Tat übersehen. Ich bitte das zu entschuldigen, das Ergebnis ist jetzt eingetragen!

Dazu noch Betriebssystemnamen vereinheitlicht (marginal).

Ist eingetragen!

Einen Homeserver könnte man damit ja schon aufsetzen, wenn man nicht schon einen hat. Wennst eine BBU am P410i Controller und die entsprechende "Advanced Pack" Lizenz hast, dann gehen damit auch RAID-6 und RAID-6+0. Besonders effizient wird die Maschine natürlich nicht mehr sein.