Vulkan Benchmark - Entwicklung - Alpha Tester gesucht

Eisfuchs

Hallo Liebe Gemeinde,

Ich möchte euch gerne mit einbinden in ein kleines Projekt was ich derzeit anpeile.

Ziel ist es einen Grafikkartenbenchmark zu erstellen welcher über die Vulkan Schnittstelle einen Performanceindex als Numerischen Wert ausgibt.

Vulkan ist relativ neu und für die meisten Topics hier im Forum sind GPU's nach 2016 eher "neumodischer kram"

Dennoch finde ich die API zukunftsweisend und durch ihr Quelloffenen Charakter auch Plattformübergreifend. (Mac M Architektur)

Schonmal vorweg. Meine Position hierbei ist die Position eines "Projektleiters" und nicht des Programmierers.

Dennoch kann ich schon einmal ein Paar Eckdaten Geben.

Das Programm wird derzeit in Rust Programmiert und sollte demnach auch weitestgehend Problemfrei für die Meisten Betriebssysteme kompilierbar sein.

Somit sollen auf jedenfalls Mac OS, Windows und Linux Abgedeckt werden. IOS und Android stünden auch noch im Raum.

Funktionsweise des Benchmark ist die Umwandlung von 3D Vektordaten in 2D Pixeldaten. Klassische Anwendung im 3D Druck wie z.B. Binder Jetting.

Die Größe des Benchmarks soll so schlank wie möglich gehalten werden.

In wie weit von einer Kommandozeilen Bedienung (CMD Prompt) und ggf. Log Datei. abgewichen wird steht noch zur Diskussion.

UND HIER KOMMT IHR INS SPIEL.

Gerne würde ich schon in den frühen Phasen viele Systeme und Grafikkarten Abtesten.

Daher möchte ich hiermit gerne ein Paar Freiwillige zur Bewerbung Aufrufen um ihnen den Ersten Prototypen schon zur Verfügung zu stellen und eben auch durch euer Feedback einen "schicken" kleinen Benchmark zu kreieren.

Für eure Bewerbung würde ich gerne eine Liste der von euch abzutestenden Systeme / Grafikkarten abfragen in Folgender Form.

Betriebssystem/Prozessor/Ram/Grafikprozessor/V-Ram/Systemspeicher

Zum Beispiel: WIN11/AMD X5950/16GB DDR4 3600/ Nvidia Quattro GV100/ 32GB HBM2

Personen die Mehrere Systeme Abdecken können sind hier vielleicht auch etwas im Vorteil

Derzeit Kann unser Kleines Team auf (Macbook Air M1/ RTX3090 / AMD 6900XT / Nvidia Titan V) testen.

Ich freue mich auf eure Meinung zu dieser Idee und vielleicht schon die ersten Anregungen.

Hier Nachgetragen die Derzeitige Ergebnisliste der V1.1.0

Punkte	User	Grafikkarte	Build
1927	Eisfuchs	RTX4090 @ DDR5 6000	V1.1.0 Win
1345	GAT	RX 7900 XTX @DDR4 3200	V1.1.0 Win
1191	Strauchdieb	RX 6900 XT (OC) @DDR4 3200	V1.1.0 Win
1173	Strauchdieb	RX 6900 XT (OC) @DDR4 3200	V1.1.0 Win
1182	DEV-Team	RTX 3090 - TB3 External GPU	V1.1.0 Win
1038	Eisfuchs	Titan V +100 mem +100 Clock @2666DDR4	V1.1.0 Win
1007	Eisfuchs	Titan V @2666 DDR4	V1.1.0 Win
859	DEV-Team	RX 6900 XT @ DDR3 2666	V1.1.0 Win
834	bschicht86	RX 6900 XT @DDR4 3000	V1.1.0 Win
380	Marlon	Quadro P2000	V1.1.0 Win
301	DEV-Team	GTX 1050Ti	V1.1.0 Win
270	DEV-Team	Quadro P1000	V1.1.0 Win
258	DEV-Team	M1 Macbook Air	V1.0.1 Mac
115	Marlon	AMD Radeon WX Pro 3100	V1.1.0 Win
81	undertaker_2	i7-9700 @ HD630	V1.1.0 Win
52	GAT	i5-6300U @ HD 520	V1.1.0 Win

Grüße

der Eisfuchs

Marlon

Ich glaube die meisten haben damit kein Problem.

Immer her damit.... Habe ne Menge uralt Vulkan fähige Hardware hier liegen, wenn es ein besonderes niedriger Score sein muss.

bschicht86

Wäre auch dabei. Interessant wäre ja, welches die älteste Hardware ist, die Vulcan kann. Ich werfe daher mal folgendes in den Ring:

1. Win10 & Win7 | 2950X | 64GB DDR4-3000 | 6900XT

2. Win7 | 1800X | 32GB DDR4 | Vega64

3. 2x Win7 | FM2-APU | ? RAM | Bildausgabe - (Ich hab zwar die 2 Rechner zusammen gesteckt, weiß aber grad die Komponenten nicht)

Ab hier wirds alt

4. WinXP | 4800+ X2 | 4GB DDR400 | HD4850

5. Win98 | 4000+ | 1GB DDR400 | X850XT

Noch älter liste ich mal besser nicht.

Eisfuchs

Vulkan Wird ab HD7000 Serie von AMD, Kepler Architektur Nvidia, Und Intel um Skylake Unterstützt.

Generell ist der Standard von ca. 2016. Viel Älter wird wohl eher schwierig wobei Linux da fleißig Treiber für alte Sachen auf den Markt gespuckt hat.

bschicht86 : FM2 ist definitiv Interessant und müsste auch Auf jeden fall unterstützt werden, genau wie die Vega 64, 6900XT geht auch das haben wir schon ein durchlaufen lassen

Marlon Hast du zumindest ein Paar Grafikkarten hierzu zu nennen?

Marlon

Müssen die alle ihr originales BIOS haben?

In Benutzung habe ich im Moment Quadro P2000, Radeon Pro WX3100, Sapphire Radeon R7 240 und GTX750Ti.

Größere Kaliber wie RTX2070S, HD7970, GTX770, GTX1050Ti, GTX1080Ti, RX480, R9 290 passen momentan aus Platzgründen in kein System.

bschicht86

Vor lauter Staub sind mir eben noch 2 andere Systeme eingefallen, die aber schon seit Jahren im Serverschrank verstauben. Keine Ahnung, ob die noch laufen oder obs dann beim Test einen Staubbrand gibt.

Beide haben Windows Server 2008 (?) drauf.

2x 16 Kerne Sockel G34 (Pendant zu Bulldozer), 2x HD79*0, Arbeitsspeicher ist auch drin

8x 6 Kerne Sockel F (Pendant zu Phenom 2), HD79*0, 128GB DDR2

Bier.jpg

Raspberry PI 4 | 8GB

Windows 7 | 2x X5470 3Ghz | 48GB DDR2 | GTX Titan X

Debian SID | 2 Ivybridge XEONs | 256GB DDR3 Reg ECC | Vega64

Strauchdieb

Interessante Idee, wäre auch dabei.

Habe folgendes:

1. WIN10/ AMD Ryzen 7 5800X3D/ 32GB DDR4 3200/ AMD Radeon 6900XT/ 16GB

2. Win7/ AMD Phenom 2 X4 965/ 16GB DDR3 1333/ Nvidia Titan Black/ 6GB

3. Win10/ AMD Ryzen 5 5700G/ 32GB DDR4 3600/ Vega 8 IGPU/ 1-16GB (je nach Zuweisung des RAM)

4. Win7/ AMD FX-9590/16GB DDR3 1333/ AMD Radeon R9 290/ 4GB

5. Win10/ Intel Core i7 - 11850H, 32Gb DDR4 3200/ Nvidia Quadro RTX A2000/ 4GB

Karre

Ein Laptop mit Ryzen 5 4500U könnte ich anbieten

GrandAdmiralThrawn

Windows 11 / Ryzen 5 5600X / 16 GiB DDR4/3200 / Radeon RX 7900 XTX
Windows 10 / Intel Core m5-6Y54 / 8 GiB LPDDR3/1855 / Intel HD Graphics 515 (die iGPU ist riiichtig schlecht, aber Vulkan 1.2 kann's!)
RedHat Enterprise Linux 8 / Ryzen 7 5700G / 32 GiB DDR4/3200 / Vega iGPU (mit dem quelloffenen Treiber, unsicher ob das kompatibel sein kann)

Eine Titan Black hätte ich auch noch rumliegen, aber die hat Strauchdieb eh schon im Angebot.

Eisfuchs

Soo kleines Update.

Wir sind gerade am finalisieren der ersten Alpha Version und ich möchte euch die derzeitigen Ergebnisse nicht vorenthalten:

RTX 3090 :1182

M1 Mac Air: 258

GTX1050Ti : 301

RX6900XT : 859

Quadro P1000: 270

TItan V: 899

Titan V +100 mem +100 Clock :924

Derzeit aber noch ein kleines Load Bottleneck wobei die ergebnisse schon Plausibel scheinen.

Ich halte euch auf dem Laufenden.

Aktueller Plan 1.11.23 Veröffentlichung Alpha Tester

3.11.23 Ausgabe Alpha Version zum Vergewaltigen.

Abgabe Berichte / Verbesserungsvorschlage / Bugs etc. bis 17.11.

Zweiter Durchgang 1.12.23

Open Beta Geplant : 1.1.24

Refining 1.2.24

Release: 29.2.2024

Eisfuchs

Soo um dem eigenen Zeitplan mal Vorraus zu kommen würde ich gerne die Ersten Alpha Tester hiermit bekannt geben und ggf. schon mal die Version 1.1.0 Rausgeben.

Derzeit nur in Windows Version Verfügbar sprich als .exe

Natürlich ist das noch nicht im MS Defender registriert kann also leicht sein dass der meckert.

Derzeit ist bekannt dass wir keine 100% Lineare Berechnungs Datei haben. die schwankt um die 20% pro Berechneten Punkt. Sollte sich aber ab nem Score von 50 Punkten bereits ausmitteln.

Weiterhin Wird hier auch die Kommunikation zwischen CPU und GK mitgetestet (Realitätsnäher) hier hängt die TItan V derzeit voll im Bottleneck da HBM2 memory. Die Auslastung bei anderen Grafikkarten ist wesentlich höher.

Der Benchmark läuft exakt 5 min und zählt die Berechneten Layer / Punkte innerhalb 5 Min. was den Score darstellt.

Derzeit würde ich im Ersten Wurf hier gerne Folgende Leute in den Alpha kreis aufnehmen.

Ihr bekommt von mir Eine PM mit Download Link zu V1.1.0

Ich bitte euch derzeit auf die Verteilung der Software zu verzichten.

Die EXE läuft derzeit komplett im CMD heißt über Konsole ausführen sonst ist das Fenster wieder futsch.

Gerne könnt ihr hier in diesem Forum Thread darüber euren aktuellen Stand und Testing veröffentlichen und die Ergebnisse Publik machen auch würde ich gerne hier das Feedback sammeln um weiter an der Software zu feilen.

Linux Version folgt ggf. bis ende der Woche.

Weitere Alpha Tester nehme ich nach eigenem ermessen von zeit zu zeit Hinzu.

Mehr Systeme = schneller zugriff

Liebe Grüße

GrandAdmiralThrawn

Alles klar, heute Abend hätte ich vielleicht schon Zeit für einen Test, ansonsten in jedem Fall morgen, wenn du den Link bis dahin schon verschicken kannst. Bin gespannt!

Edit: Ah nein, ist ja eh schon da.

GrandAdmiralThrawn

So, zum ersten: Der Test funktioniert Mal. 3D Viewport geht aber keiner auf, ich schätze das ist so gewollt und er rendert im Hintergrund?

Mein System läuft nicht mit Standardeinstellungen, sondern unterspannt, um höhere Taktfrequenzen durch geringere Hitzeentwicklung und geringeren Energieverbrauch freizumachen. Das Mal vorangeschickt.

Ergebnis:

Immerhin die RTX 3090 knapp verräumt. 3090 Ti dürfte dann eng werden für meine Karte.

Einfach sagen, wenn ihr bestimmte Angaben nicht oder andere dafür schon haben wollt. Die Notebooks muß ich dann später noch testen, jetzt is noch das japanische Panasonic mit Gen6 Intel Chip dazugekommen, das nehm' ich mit rein. Auf der Arbeit liegt noch so'n Dell mit einem alten Radeon Chip rum, da müßte ich noch schauen ob da Vulkan ginge. Fürchte nicht, aber probieren geht über studieren.

Nebenbei habe ich ein bisserl auf die Auslastung der CPU und GPU während des laufenden Tests geprüft, und muß sagen, daß die eher niedrig war, und meine Karte hat ganz normalen GDDR6 Speicher:

CPU in Task Manager und GPU in GPU-Z (Klicken zum Vergrößern)

Zur Geschwindigkeit der Grafikkartenlüfter sei noch gesagt, daß ich eine etwas schärfere Lüfterkurve fahre, damit die Karte in ihrem Mini-ITX Gefängnis unter Kontrolle bleibt (für diesen Benchmark kein Problem, wie man sieht):

Lüfterkurve (Klicken zum Vergrößern)

Die ersten Minuten rennt die Karte sogar ganz ohne drehende Lüfter. Bin schon gespannt auf die Linux Version und wie die mit dem quelloffenen Radeontreiber so tut.

Ajo, apropos "quelloffen", eine Frage hätte ich noch: Wird auch dieser Benchmark dann inklusive Quelltext released, wenn er Mal fertig ist? Ich würde das begrüßen, dann könnte ich die Entwicklung von Vulkan auf anderen Plattformen recht einfach und schnell ein bißchen beobachten und testen, wenn ich den easy selbst kompilieren kann.

Ah, und noch eine zweite Frage: Wie gedenkt ihr die Ergebnisse zu sammeln und zu veröffentlichen? Ich habe ja (wegen der x264 & x265 Benches) ein bisserl schrottigen aber zumindest fertigen PHP+SQL Code dafür, den würde ich euch geben, wenn ihr wollt. Muß man nur ein bissl anpassen, damit er mit modernem PHP 8.x auch funktioniert. Aber wahrscheinlich coden deine Programmierer das eh in 2 Stunden besser runter, vor allem seit ich den Quellcode angefaßt habe.

Edit: Logdatei habe ich noch angehängt, falls euch das was bringt. Man muß nur .txt an den Namen anhängen, sonst nimmt's das Forum nicht an.

GrandAdmiralThrawn

So, und jetzt der letzte Schrott, die Klumpert-iGPU von Intel. Interessanterweise ist der Test beim ersten Versuch abgestürzt, und zwar mit folgender Fehlermeldung:

Code

thread 'main' panicked at C:\Users\micha\.cargo\registry\src\index.crates.io-6f17d22bba15001f\vulkano-0.33.0\src\command_buffer\traits.rs:447:26:
called `Result::unwrap()` on an `Err` value: ExclusiveAlreadyInUse
note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace

Also habe ich Mal mittels SET RUST_BACKTRACE=1 die Variable für Backtraceerzeugung entsprechend gesetzt, um euch mehr Daten geben zu können und nochmal probiert, aber dann isses einfach sauber durchgelaufen. Da muß ich noch rumtesten.

Und hier das fabulöse Ergebnis vom Panasonic Let's Note CF-SZ5:

Aber da geht noch mehr, weil die noch lahmere HD 515 mit ebenso lahmerer CPU kommt erst noch! Logs wieder anbei, auch das vom Crash. Die Fehlermeldung oben schreibt er nicht in's Log, sondern nur auf den Bildschirm (stderr nicht in die Datei umgeleitet?)

Eisfuchs

XD danke dir

Komisch das ist irgendwas mit der Library in der Vulcan Treiberinstallation.

Aber ich quatsch es mal durch.

Spannend 52 ist suuuper ähh wenig XD

aber Plausibel

Was ich feststellen konnte ist dass beim 2. Run sich wohl ein bisschen was optimiert und der score leicht höher ausfällt.

Eisfuchs

Zitat

Zitat von GrandAdmiralThrawn

Nebenbei habe ich ein bisserl auf die Auslastung der CPU und GPU während des laufenden Tests geprüft, und muß sagen, daß die eher niedrig war, und meine Karte hat ganz normalen GDDR6 Speicher:

Also deine GPU läuft doch auf 46% meine TItan V war mehr auf 12% max

Der CPU Takt ist normal so niedrig

Aber Gratulation erstmal zum Highscore

Das mit dem Quelloffen muss ich nochmal Diskutieren

Derzeit ist geplant lieber so viel wie möglich abzudecken anstatt die Entwicklung abzugeben.

Also lieber Release bereits für Android, Linux, Mac, IOS ...

Das mit dem Auswerten Finde ich klasse Der H264 / H2654 Benchmark ist schon echt ne Hausnummer für das Forum. Aber ich werde es im nächsten Teammeeting definitiv ansprechen

Danke dir schonmal für die Mühe GAT

Bier.jpg

Wenn ich die Ergebnisse so sehe, denke ich, dass noch etwas an den Punkten gemacht werden muss. Um Ergebnisse besser darzustellen. Nehmen wir mal die Intel 520 mit 52 Punkten. Hier würde 1% mehr Leistung kaum merkbar in den Punkten sein. Und es wird noch weit langsamere GPUs mit Vulkan geben....

Eisfuchs

Zitat von GrandAdmiralThrawn
So, und jetzt der letzte Schrott, die Klumpert-iGPU von Intel. Interessanterweise ist der Test beim ersten Versuch abgestürzt, und zwar mit folgender Fehlermeldung:
Code
thread 'main' panicked at C:\Users\micha\.cargo\registry\src\index.crates.io-6f17d22bba15001f\vulkano-0.33.0\src\command_buffer\traits.rs:447:26:
called `Result::unwrap()` on an `Err` value: ExclusiveAlreadyInUse
note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace

Also Hab gleich mal Nachgefragt.

Das müsste ein Grafikspeicher Problem sein.

Momentan müssten die Minimal Anforderungen an Vram irgendwas mit 2GB sein.

Da Die IGPU Dynamisch den Speicher da zu weist kanns sein dass da erstmal der Fehler aufkam und später dann ganz normal wieder weiterläuft.

Aber das wollen wir uns zusammen mit einer Optimierten Geometrie nochmal genauer anschauen wie weit wir den VRAM nach untern drücken können.

Zitat von Bier.jpg

Wenn ich die Ergebnisse so sehe, denke ich, dass noch etwas an den Punkten gemacht werden muss. Um Ergebnisse besser darzustellen. Nehmen wir mal die Intel 520 mit 52 Punkten. Hier würde 1% mehr Leistung kaum merkbar in den Punkten sein. Und es wird noch weit langsamere GPUs mit Vulkan geben....

Das würde damit auch erschlagen werden. Derzeit ist die Hinterlegten CAD Daten noch recht anspruchsvoll wenn wir die Runter setzen wird sich natürlich auch der Score vervielfachen.

Also sollten auch hier deutlich höhere Punktezahlen möglich sein.

aber nur mal Nebenbei XD ich glaube weniger als ne HD 520 auf ein Vulcan optimiertes game zu schmeissen ist auch fragwürdig.

Weißt du zufällig ob Doom im Vulcan auf dem ding läuft oder BG3? XD also mit 10s/Frame

Gruß

GrandAdmiralThrawn

Beim quelloffenen Charakter ginge es nicht darum, die Entwicklung abzugeben. Das Original und das Copyright läge ja trotzdem bei euch. Aber: Wenn ich den Source habe, dann kann ich das auch auf unüblicheren Betriebssystemen wie etwa FreeBSD oder OpenBSD ausprobieren, ohne daß ihr euch die Arbeit antun müßtet, dafür Builds rauszulassen. Das wär mein Argument dafür.

Bei der HD515 hat's leider auch speichertechnisch ganz offensichtlich gehakt, da kann ich maximal 512 MiB im UEFI zuweisen, so geht dem Bench dann der VRAM aus. Die Fehlermeldung ist hier mit AllocError(VulkanError(OutOfDeviceMemory)) ziemlich eindeutig:

Code

[13:40:55][INFO] ==> Using device: Intel(R) HD Graphics 515
[13:40:55][INFO] vulkan context successfully created!
[13:40:55][INFO] height: 1000
[13:40:55][INFO] some process parameters:
[13:40:55][INFO] tile width: 16050
[13:40:55][INFO] tile height: 9843
[13:40:55][INFO] num tiles x: 3
[13:40:55][INFO] num tiles y: 1
thread 'main' panicked at src\gpu_proxy\structs\texture.rs:83:14:
called `Result::unwrap()` on an `Err` value: AllocError(VulkanError(OutOfDeviceMemory))
stack backtrace:
   0:     0x7ff6a068265a - <unknown>
   1:     0x7ff6a069b05b - <unknown>
   2:     0x7ff6a067ee31 - <unknown>
   3:     0x7ff6a06823da - <unknown>
   4:     0x7ff6a0684b7a - <unknown>
   5:     0x7ff6a06847e8 - <unknown>
   6:     0x7ff6a068522e - <unknown>
   7:     0x7ff6a068511d - <unknown>
   8:     0x7ff6a0683049 - <unknown>
   9:     0x7ff6a0684e20 - <unknown>
  10:     0x7ff6a0723ee5 - <unknown>
  11:     0x7ff6a0724344 - <unknown>
  12:     0x7ff6a03dbe0d - <unknown>
  13:     0x7ff6a049eeb3 - <unknown>
  14:     0x7ff6a0463277 - <unknown>
  15:     0x7ff6a0434e22 - <unknown>
  16:     0x7ff6a03e1606 - <unknown>
  17:     0x7ff6a047066c - <unknown>
  18:     0x7ff6a06795a8 - <unknown>
  19:     0x7ff6a0419c4c - <unknown>
  20:     0x7ff6a070898c - <unknown>
  21:     0x7ff8241d7344 - BaseThreadInitThunk
  22:     0x7ff824ca26b1 - RtlUserThreadStart

Alles anzeigen

Aber ja, das ist natürlich logisch wenn der Test ca. das vierfache braucht. Kann ich dann ja später mit einer neueren Version noch Mal probieren.

Doom (2016) rennt sogar auf der HD 515, da habe ich das selbst getestet. Also damit auch auf der HD 520. Auf der HD 515 habe ich es massiv chopped und auf 320x200 oder 320x240 oder so laufen lassen, dann gab es zumindest halbwegs spielbare Frameraten so zwischen 20-40 fps. Als ich 2021 länger im Krankenhaus war wurde mir so derart fad (Bücher alle ausgelesen), daß ich damit begonnen hatte Doom mit jedem mir erdenklichen Tuning auf der Krücke zum Laufen zu bewegen, das hatte mich zumindest für einige Stunden beschäftigt.