Vulkan Benchmark - Entwicklung - Alpha Tester gesucht

  • Hallo Liebe Gemeinde,


    Ich möchte euch gerne mit einbinden in ein kleines Projekt was ich derzeit anpeile.

    Ziel ist es einen Grafikkartenbenchmark zu erstellen welcher über die Vulkan Schnittstelle einen Performanceindex als Numerischen Wert ausgibt.


    Vulkan ist relativ neu und für die meisten Topics hier im Forum sind GPU's nach 2016 eher "neumodischer kram"

    Dennoch finde ich die API zukunftsweisend und durch ihr Quelloffenen Charakter auch Plattformübergreifend. (Mac M Architektur)


    Schonmal vorweg. Meine Position hierbei ist die Position eines "Projektleiters" und nicht des Programmierers.

    Dennoch kann ich schon einmal ein Paar Eckdaten Geben.

    Das Programm wird derzeit in Rust Programmiert und sollte demnach auch weitestgehend Problemfrei für die Meisten Betriebssysteme kompilierbar sein.

    Somit sollen auf jedenfalls Mac OS, Windows und Linux Abgedeckt werden. IOS und Android stünden auch noch im Raum.

    Funktionsweise des Benchmark ist die Umwandlung von 3D Vektordaten in 2D Pixeldaten. Klassische Anwendung im 3D Druck wie z.B. Binder Jetting.

    Die Größe des Benchmarks soll so schlank wie möglich gehalten werden.

    In wie weit von einer Kommandozeilen Bedienung (CMD Prompt) und ggf. Log Datei. abgewichen wird steht noch zur Diskussion.


    UND HIER KOMMT IHR INS SPIEL.


    Gerne würde ich schon in den frühen Phasen viele Systeme und Grafikkarten Abtesten.

    Daher möchte ich hiermit gerne ein Paar Freiwillige zur Bewerbung Aufrufen um ihnen den Ersten Prototypen schon zur Verfügung zu stellen und eben auch durch euer Feedback einen "schicken" kleinen Benchmark zu kreieren.

    Für eure Bewerbung würde ich gerne eine Liste der von euch abzutestenden Systeme / Grafikkarten abfragen in Folgender Form.


    Betriebssystem/Prozessor/Ram/Grafikprozessor/V-Ram/Systemspeicher


    Zum Beispiel: WIN11/AMD X5950/16GB DDR4 3600/ Nvidia Quattro GV100/ 32GB HBM2


    Personen die Mehrere Systeme Abdecken können sind hier vielleicht auch etwas im Vorteil ;)

    Derzeit Kann unser Kleines Team auf (Macbook Air M1/ RTX3090 / AMD 6900XT / Nvidia Titan V) testen.


    Ich freue mich auf eure Meinung zu dieser Idee und vielleicht schon die ersten Anregungen.


    Hier Nachgetragen die Derzeitige Ergebnisliste der V1.1.0

    PunkteUserGrafikkarteBuild
    1927EisfuchsRTX4090 @ DDR5 6000V1.1.0 Win
    1345GATRX 7900 XTX @DDR4 3200V1.1.0 Win
    1191StrauchdiebRX 6900 XT (OC) @DDR4 3200V1.1.0 Win
    1173StrauchdiebRX 6900 XT (OC) @DDR4 3200V1.1.0 Win
    1182DEV-TeamRTX 3090 - TB3 External GPUV1.1.0 Win
    1038EisfuchsTitan V +100 mem +100 Clock @2666DDR4V1.1.0 Win
    1007EisfuchsTitan V @2666 DDR4V1.1.0 Win
    859DEV-TeamRX 6900 XT @ DDR3 2666V1.1.0 Win
    834bschicht86RX 6900 XT @DDR4 3000V1.1.0 Win
    380MarlonQuadro P2000V1.1.0 Win
    301DEV-TeamGTX 1050TiV1.1.0 Win
    270DEV-TeamQuadro P1000V1.1.0 Win
    258DEV-TeamM1 Macbook AirV1.0.1 Mac
    115MarlonAMD Radeon WX Pro 3100V1.1.0 Win
    81undertaker_2i7-9700 @ HD630V1.1.0 Win
    52GATi5-6300U @ HD 520V1.1.0 Win


    Grüße

    der Eisfuchs :saint:

    Edited 9 times, last by Eisfuchs (November 5, 2023 at 8:20 PM).

  • Wäre auch dabei. Interessant wäre ja, welches die älteste Hardware ist, die Vulcan kann. Ich werfe daher mal folgendes in den Ring:

    1. Win10 & Win7 | 2950X | 64GB DDR4-3000 | 6900XT

    2. Win7 | 1800X | 32GB DDR4 | Vega64

    3. 2x Win7 | FM2-APU | ? RAM | Bildausgabe - (Ich hab zwar die 2 Rechner zusammen gesteckt, weiß aber grad die Komponenten nicht)

    Ab hier wirds alt

    4. WinXP | 4800+ X2 | 4GB DDR400 | HD4850

    5. Win98 | 4000+ | 1GB DDR400 | X850XT

    Noch älter liste ich mal besser nicht.

  • Vulkan Wird ab HD7000 Serie von AMD, Kepler Architektur Nvidia, Und Intel um Skylake Unterstützt.


    Generell ist der Standard von ca. 2016. Viel Älter wird wohl eher schwierig wobei Linux da fleißig Treiber für alte Sachen auf den Markt gespuckt hat.


    bschicht86 : FM2 ist definitiv Interessant und müsste auch Auf jeden fall unterstützt werden, genau wie die Vega 64, 6900XT geht auch das haben wir schon ein durchlaufen lassen :D


    Marlon Hast du zumindest ein Paar Grafikkarten hierzu zu nennen?

  • Müssen die alle ihr originales BIOS haben?

    In Benutzung habe ich im Moment Quadro P2000, Radeon Pro WX3100, Sapphire Radeon R7 240 und GTX750Ti.

    Größere Kaliber wie RTX2070S, HD7970, GTX770, GTX1050Ti, GTX1080Ti, RX480, R9 290 passen momentan aus Platzgründen in kein System.

  • Vor lauter Staub sind mir eben noch 2 andere Systeme eingefallen, die aber schon seit Jahren im Serverschrank verstauben. Keine Ahnung, ob die noch laufen oder obs dann beim Test einen Staubbrand gibt. :topmodel:

    Beide haben Windows Server 2008 (?) drauf.

    2x 16 Kerne Sockel G34 (Pendant zu Bulldozer), 2x HD79*0, Arbeitsspeicher ist auch drin

    8x 6 Kerne Sockel F (Pendant zu Phenom 2), HD79*0, 128GB DDR2

  • Interessante Idee, wäre auch dabei.

    Habe folgendes:

    1. WIN10/ AMD Ryzen 7 5800X3D/ 32GB DDR4 3200/ AMD Radeon 6900XT/ 16GB

    2. Win7/ AMD Phenom 2 X4 965/ 16GB DDR3 1333/ Nvidia Titan Black/ 6GB

    3. Win10/ AMD Ryzen 5 5700G/ 32GB DDR4 3600/ Vega 8 IGPU/ 1-16GB (je nach Zuweisung des RAM)

    4. Win7/ AMD FX-9590/16GB DDR3 1333/ AMD Radeon R9 290/ 4GB

    5. Win10/ Intel Core i7 - 11850H, 32Gb DDR4 3200/ Nvidia Quadro RTX A2000/ 4GB

    1. Windows 11 / Ryzen 5 5600X / 16 GiB DDR4/3200 / Radeon RX 7900 XTX
    2. Windows 10 / Intel Core m5-6Y54 / 8 GiB LPDDR3/1855 / Intel HD Graphics 515 (die iGPU ist riiichtig schlecht, aber Vulkan 1.2 kann's!)
    3. RedHat Enterprise Linux 8 / Ryzen 7 5700G / 32 GiB DDR4/3200 / Vega iGPU (mit dem quelloffenen Treiber, unsicher ob das kompatibel sein kann)

    Eine Titan Black hätte ich auch noch rumliegen, aber die hat Strauchdieb eh schon im Angebot. :)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Soo kleines Update.

    Wir sind gerade am finalisieren der ersten Alpha Version und ich möchte euch die derzeitigen Ergebnisse nicht vorenthalten:

    RTX 3090 :1182

    M1 Mac Air: 258

    GTX1050Ti : 301

    RX6900XT : 859

    Quadro P1000: 270

    TItan V: 899

    Titan V +100 mem +100 Clock :924


    Derzeit aber noch ein kleines Load Bottleneck wobei die ergebnisse schon Plausibel scheinen.


    Ich halte euch auf dem Laufenden.

    Aktueller Plan 1.11.23 Veröffentlichung Alpha Tester

    3.11.23 Ausgabe Alpha Version zum Vergewaltigen.

    Abgabe Berichte / Verbesserungsvorschlage / Bugs etc. bis 17.11.

    Zweiter Durchgang 1.12.23

    Open Beta Geplant : 1.1.24

    Refining 1.2.24

    Release: 29.2.2024 ;)

    Edited 4 times, last by Eisfuchs (October 25, 2023 at 2:11 PM).

  • Soo um dem eigenen Zeitplan mal Vorraus zu kommen würde ich gerne die Ersten Alpha Tester hiermit bekannt geben und ggf. schon mal die Version 1.1.0 Rausgeben.


    Derzeit nur in Windows Version Verfügbar sprich als .exe

    Natürlich ist das noch nicht im MS Defender registriert kann also leicht sein dass der meckert.

    Derzeit ist bekannt dass wir keine 100% Lineare Berechnungs Datei haben. die schwankt um die 20% pro Berechneten Punkt. Sollte sich aber ab nem Score von 50 Punkten bereits ausmitteln.


    Weiterhin Wird hier auch die Kommunikation zwischen CPU und GK mitgetestet (Realitätsnäher) hier hängt die TItan V derzeit voll im Bottleneck da HBM2 memory. Die Auslastung bei anderen Grafikkarten ist wesentlich höher.


    Der Benchmark läuft exakt 5 min und zählt die Berechneten Layer / Punkte innerhalb 5 Min. was den Score darstellt.

    Derzeit würde ich im Ersten Wurf hier gerne Folgende Leute in den Alpha kreis aufnehmen.


    Strauchdieb

    GrandAdmiralThrawn

    bschicht86

    Marlon


    Ihr bekommt von mir Eine PM mit Download Link zu V1.1.0

    Ich bitte euch derzeit auf die Verteilung der Software zu verzichten.

    Die EXE läuft derzeit komplett im CMD heißt über Konsole ausführen sonst ist das Fenster wieder futsch.

    Gerne könnt ihr hier in diesem Forum Thread darüber euren aktuellen Stand und Testing veröffentlichen und die Ergebnisse Publik machen auch würde ich gerne hier das Feedback sammeln um weiter an der Software zu feilen.


    Linux Version folgt ggf. bis ende der Woche.

    Weitere Alpha Tester nehme ich nach eigenem ermessen von zeit zu zeit Hinzu.

    Mehr Systeme = schneller zugriff ;)

    Liebe Grüße

    Edited once, last by Eisfuchs (October 25, 2023 at 3:08 PM).

  • Alles klar, heute Abend hätte ich vielleicht schon Zeit für einen Test, ansonsten in jedem Fall morgen, wenn du den Link bis dahin schon verschicken kannst. Bin gespannt! :)

    Edit: Ah nein, ist ja eh schon da.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • So, zum ersten: Der Test funktioniert Mal. 3D Viewport geht aber keiner auf, ich schätze das ist so gewollt und er rendert im Hintergrund?

    Mein System läuft nicht mit Standardeinstellungen, sondern unterspannt, um höhere Taktfrequenzen durch geringere Hitzeentwicklung und geringeren Energieverbrauch freizumachen. Das Mal vorangeschickt.

    Ergebnis:

    Windows 11 Pro 22H2 x64 | AMD Ryzen 5 5600X | 16 GiB DDR4/3200 18-21-21-39-74-1T | AMD Radeon RX 7900 XTX | 16 GiB GDDR6/2500 | scored 1345!


    Immerhin die RTX 3090 knapp verräumt. 3090 Ti dürfte dann eng werden für meine Karte. :)

    Einfach sagen, wenn ihr bestimmte Angaben nicht oder andere dafür schon haben wollt. Die Notebooks muß ich dann später noch testen, jetzt is noch das japanische Panasonic mit Gen6 Intel Chip dazugekommen, das nehm' ich mit rein. Auf der Arbeit liegt noch so'n Dell mit einem alten Radeon Chip rum, da müßte ich noch schauen ob da Vulkan ginge. Fürchte nicht, aber probieren geht über studieren.

    Nebenbei habe ich ein bisserl auf die Auslastung der CPU und GPU während des laufenden Tests geprüft, und muß sagen, daß die eher niedrig war, und meine Karte hat ganz normalen GDDR6 Speicher:


    CPU in Task Manager und GPU in GPU-Z (Klicken zum Vergrößern)


    Zur Geschwindigkeit der Grafikkartenlüfter sei noch gesagt, daß ich eine etwas schärfere Lüfterkurve fahre, damit die Karte in ihrem Mini-ITX Gefängnis unter Kontrolle bleibt (für diesen Benchmark kein Problem, wie man sieht):


    Lüfterkurve (Klicken zum Vergrößern)


    Die ersten Minuten rennt die Karte sogar ganz ohne drehende Lüfter. Bin schon gespannt auf die Linux Version und wie die mit dem quelloffenen Radeontreiber so tut.

    Ajo, apropos "quelloffen", eine Frage hätte ich noch: Wird auch dieser Benchmark dann inklusive Quelltext released, wenn er Mal fertig ist? Ich würde das begrüßen, dann könnte ich die Entwicklung von Vulkan auf anderen Plattformen recht einfach und schnell ein bißchen beobachten und testen, wenn ich den easy selbst kompilieren kann.

    Ah, und noch eine zweite Frage: Wie gedenkt ihr die Ergebnisse zu sammeln und zu veröffentlichen? Ich habe ja (wegen der x264 & x265 Benches) ein bisserl schrottigen aber zumindest fertigen PHP+SQL Code dafür, den würde ich euch geben, wenn ihr wollt. Muß man nur ein bissl anpassen, damit er mit modernem PHP 8.x auch funktioniert. Aber wahrscheinlich coden deine Programmierer das eh in 2 Stunden besser runter, vor allem seit ich den Quellcode angefaßt habe. xD

    Edit: Logdatei habe ich noch angehängt, falls euch das was bringt. Man muß nur .txt an den Namen anhängen, sonst nimmt's das Forum nicht an.

    Files

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Edited 4 times, last by GrandAdmiralThrawn (October 26, 2023 at 10:34 AM).

  • So, und jetzt der letzte Schrott, die Klumpert-iGPU von Intel. Interessanterweise ist der Test beim ersten Versuch abgestürzt, und zwar mit folgender Fehlermeldung:

    Code
    thread 'main' panicked at C:\Users\micha\.cargo\registry\src\index.crates.io-6f17d22bba15001f\vulkano-0.33.0\src\command_buffer\traits.rs:447:26:
    called `Result::unwrap()` on an `Err` value: ExclusiveAlreadyInUse
    note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace

    Also habe ich Mal mittels SET RUST_BACKTRACE=1 die Variable für Backtraceerzeugung entsprechend gesetzt, um euch mehr Daten geben zu können und nochmal probiert, aber dann isses einfach sauber durchgelaufen. Da muß ich noch rumtesten.


    Und hier das fabulöse Ergebnis vom Panasonic Let's Note CF-SZ5:

    Windows 10 Pro 22H2 x64 | Intel Core i5-6300U | 8 GiB DDR3/933 14-17-17-40-196-1T | Intel HD Graphics 520 | ? MiB shared DDR3 Systemspeicher | scored 52!


    Aber da geht noch mehr, weil die noch lahmere HD 515 mit ebenso lahmerer CPU kommt erst noch! Logs wieder anbei, auch das vom Crash. Die Fehlermeldung oben schreibt er nicht in's Log, sondern nur auf den Bildschirm (stderr nicht in die Datei umgeleitet?)

  • XD danke dir ;)

    Komisch das ist irgendwas mit der Library in der Vulcan Treiberinstallation.

    Aber ich quatsch es mal durch.

    Spannend :) 52 ist suuuper ähh wenig XD

    aber Plausibel


    Was ich feststellen konnte ist dass beim 2. Run sich wohl ein bisschen was optimiert und der score leicht höher ausfällt.

  • Quote

    Nebenbei habe ich ein bisserl auf die Auslastung der CPU und GPU während des laufenden Tests geprüft, und muß sagen, daß die eher niedrig war, und meine Karte hat ganz normalen GDDR6 Speicher:

    Also deine GPU läuft doch auf 46% meine TItan V war mehr auf 12% max

    Der CPU Takt ist normal so niedrig ;)

    Aber Gratulation erstmal zum Highscore ;)


    Das mit dem Quelloffen muss ich nochmal Diskutieren

    Derzeit ist geplant lieber so viel wie möglich abzudecken anstatt die Entwicklung abzugeben.

    Also lieber Release bereits für Android, Linux, Mac, IOS ...


    Das mit dem Auswerten Finde ich klasse :) Der H264 / H2654 Benchmark ist schon echt ne Hausnummer für das Forum. Aber ich werde es im nächsten Teammeeting definitiv ansprechen ;)


    Danke dir schonmal für die Mühe GAT

  • Wenn ich die Ergebnisse so sehe, denke ich, dass noch etwas an den Punkten gemacht werden muss. Um Ergebnisse besser darzustellen. Nehmen wir mal die Intel 520 mit 52 Punkten. Hier würde 1% mehr Leistung kaum merkbar in den Punkten sein. Und es wird noch weit langsamere GPUs mit Vulkan geben....

  • So, und jetzt der letzte Schrott, die Klumpert-iGPU von Intel. Interessanterweise ist der Test beim ersten Versuch abgestürzt, und zwar mit folgender Fehlermeldung:

    Code
    thread 'main' panicked at C:\Users\micha\.cargo\registry\src\index.crates.io-6f17d22bba15001f\vulkano-0.33.0\src\command_buffer\traits.rs:447:26:
    called `Result::unwrap()` on an `Err` value: ExclusiveAlreadyInUse
    note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace

    Also Hab gleich mal Nachgefragt.

    Das müsste ein Grafikspeicher Problem sein.

    Momentan müssten die Minimal Anforderungen an Vram irgendwas mit 2GB sein.

    Da Die IGPU Dynamisch den Speicher da zu weist kanns sein dass da erstmal der Fehler aufkam und später dann ganz normal wieder weiterläuft.

    Aber das wollen wir uns zusammen mit einer Optimierten Geometrie nochmal genauer anschauen wie weit wir den VRAM nach untern drücken können.

    Wenn ich die Ergebnisse so sehe, denke ich, dass noch etwas an den Punkten gemacht werden muss. Um Ergebnisse besser darzustellen. Nehmen wir mal die Intel 520 mit 52 Punkten. Hier würde 1% mehr Leistung kaum merkbar in den Punkten sein. Und es wird noch weit langsamere GPUs mit Vulkan geben....

    Das würde damit auch erschlagen werden. Derzeit ist die Hinterlegten CAD Daten noch recht anspruchsvoll wenn wir die Runter setzen wird sich natürlich auch der Score vervielfachen.

    Also sollten auch hier deutlich höhere Punktezahlen möglich sein.


    aber nur mal Nebenbei XD ich glaube weniger als ne HD 520 auf ein Vulcan optimiertes game zu schmeissen ist auch fragwürdig.

    Weißt du zufällig ob Doom im Vulcan auf dem ding läuft oder BG3? XD also mit 10s/Frame

    Gruß

    Edited once, last by Eisfuchs (October 26, 2023 at 11:36 AM).

  • Beim quelloffenen Charakter ginge es nicht darum, die Entwicklung abzugeben. Das Original und das Copyright läge ja trotzdem bei euch. Aber: Wenn ich den Source habe, dann kann ich das auch auf unüblicheren Betriebssystemen wie etwa FreeBSD oder OpenBSD ausprobieren, ohne daß ihr euch die Arbeit antun müßtet, dafür Builds rauszulassen. Das wär mein Argument dafür.

    Bei der HD515 hat's leider auch speichertechnisch ganz offensichtlich gehakt, da kann ich maximal 512 MiB im UEFI zuweisen, so geht dem Bench dann der VRAM aus. Die Fehlermeldung ist hier mit AllocError(VulkanError(OutOfDeviceMemory)) ziemlich eindeutig:

    Aber ja, das ist natürlich logisch wenn der Test ca. das vierfache braucht. Kann ich dann ja später mit einer neueren Version noch Mal probieren. :)

    Doom (2016) rennt sogar auf der HD 515, da habe ich das selbst getestet. Also damit auch auf der HD 520. Auf der HD 515 habe ich es massiv chopped und auf 320x200 oder 320x240 oder so laufen lassen, dann gab es zumindest halbwegs spielbare Frameraten so zwischen 20-40 fps. Als ich 2021 länger im Krankenhaus war wurde mir so derart fad (Bücher alle ausgelesen), daß ich damit begonnen hatte Doom mit jedem mir erdenklichen Tuning auf der Krücke zum Laufen zu bewegen, das hatte mich zumindest für einige Stunden beschäftigt. ;)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"