Bedarfserhebung: "Zukunftssicherer" x265 Benchmark

  • Momentan noch, weil ich viel mit alter Software arbeite. Ich habe die letzten Jahre auch wenig Bedarf
    an 64bit OS gesehen, aber mit mehr RAM.. So langsam wird mir einiges auch zu lahm, so daß da im
    Laufe dieses Jahres einiges umgestellt wird.
    Aber gerade XP64 und 2003 wäe da nun weniger von mir bevorzugte OS, wenn dann ab Vista aufwärts.
    Muß mal in den kommenden Tagen schauen, was ich zusammenwusteln kann.

  • Und einmal in meiner Vista x64 VM mit 8GB RAM und 4 zugewiesenen Cores auf dem i7 4790:

    Code
    AMD64, OKPrüfe freien Speicherplatz auf C:!56056MiB, OKPrüfe verfügbaren Arbeitsspeicher!8588MiB, OKVerifiziere SHA-512 Prüfsummen!ffmpeg.exe................. OKx265.exe................... OKinput.h265................. OKlaunch_x265benchmark.bat... OKtranscoder.bat............. OKStarte x265 Benchmark!input.h265: 10-bit YUV 4:2:0 HEVC, 1280×720 [16:9], 29.970fps [30000/1001]y4m  [info]: 1280x720 fps 30000/1001 i420p8 sar 1:1 unknown frame countraw  [info]: output file: .\temporary-output\pass1.h265x265 [info]: HEVC encoder version 2.2+30-fa52b516f5ffx265 [info]: build info [Windows][MSVC 1600][64 bit] 10bitx265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 LZCNT BMI2x265 [info]: Main 10 profile, Level-4 (Main tier)x265 [info]: Thread pool created using 4 threadsx265 [info]: Slices                              : 1x265 [info]: frame threads / pool features       : 2 / wpp(45 rows)+pmode+pmex265 [info]: Coding QT: max CU size, min CU size : 16 / 8x265 [info]: Residual QT: max TU size, max depth : 16 / 3 inter / 3 intrax265 [info]: ME / range / subpel / merge         : star / 57 / 4 / 4x265 [info]: Keyframe min / max / scenecut / bias: 25 / 250 / 40 / 5.00x265 [info]: Lookahead / bframes / badapt        : 40 / 16 / 2x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 1x265 [info]: References / ref-limit  cu / depth  : 6 / off / onx265 [info]: AQ: mode / str / qg-size / cu-tree  : 3 / 1.0 / 16 / 1x265 [info]: Rate Control / qCompress            : ABR-500 kbps / 0.75x265 [info]: tools: rect amp limit-modes rd=6 psy-rd=1.60 rdoq=1 psy-rdoq=5.00x265 [info]: tools: rskip signhide tmvp b-intra lslices=2 deblock stats-writex265 [info]: frame I:      2, Avg QP:33.64  kb/s: 1805.63x265 [info]: frame P:      7, Avg QP:39.66  kb/s: 714.42x265 [info]: frame B:     21, Avg QP:44.36  kb/s: 147.65x265 [info]: Weighted P-Frames: Y:0.0% UV:0.0%x265 [info]: Weighted B-Frames: Y:0.0% UV:0.0%x265 [info]: consecutive B-frames: 33.3% 11.1% 11.1% 11.1% 0.0% 33.3% 0.0% 0.0%0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0%encoded 30 frames in 29.25s (1.03 fps), 390.43 kb/s, Avg QP:42.55Pass 1 erledigt, starte Pass 2:y4m  [info]: 1280x720 fps 30000/1001 i420p8 sar 1:1 unknown frame countraw  [info]: output file: .\temporary-output\pass2.h265x265 [info]: HEVC encoder version 2.2+30-fa52b516f5ffx265 [info]: build info [Windows][MSVC 1600][64 bit] 10bitx265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 LZCNT BMI2x265 [info]: Main 10 profile, Level-4 (Main tier)x265 [info]: Thread pool created using 4 threadsx265 [info]: Slices                              : 1x265 [info]: frame threads / pool features       : 2 / wpp(45 rows)+pmode+pmex265 [info]: Coding QT: max CU size, min CU size : 16 / 8x265 [info]: Residual QT: max TU size, max depth : 16 / 3 inter / 3 intrax265 [info]: ME / range / subpel / merge         : star / 57 / 4 / 4x265 [info]: Keyframe min / max / scenecut / bias: 25 / 250 / 40 / 5.00x265 [info]: Lookahead / bframes / badapt        : 40 / 16 / 2x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 1x265 [info]: References / ref-limit  cu / depth  : 6 / off / onx265 [info]: AQ: mode / str / qg-size / cu-tree  : 3 / 1.0 / 16 / 1x265 [info]: Rate Control / qCompress            : ABR-500 kbps / 0.75x265 [info]: tools: rect amp limit-modes rd=6 psy-rd=1.60 rdoq=1 psy-rdoq=5.00x265 [info]: tools: rskip signhide tmvp b-intra lslices=2 deblock stats-readx265 [info]: frame I:      2, Avg QP:30.76  kb/s: 2027.41x265 [info]: frame P:      7, Avg QP:36.29  kb/s: 882.04x265 [info]: frame B:     21, Avg QP:40.82  kb/s: 229.15x265 [info]: Weighted P-Frames: Y:0.0% UV:0.0%x265 [info]: Weighted B-Frames: Y:0.0% UV:0.0%x265 [info]: consecutive B-frames: 33.3% 11.1% 11.1% 11.1% 0.0% 33.3% 0.0% 0.0%0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0%encoded 30 frames in 29.44s (1.02 fps), 501.38 kb/s, Avg QP:39.09Schreibe Systembericht in .\RESULTS.txt...Die ungefähre Abschlußzeit war 16:33 am 18.02.2017. Die temporärenDateien in `.\temporary-output\´ können nach Wunsch gelöscht werden.Das Ergebnis kann nun aus der Datei `.\RESULTS.txt´ ausgelesen werden!Drücken Sie eine beliebige Taste . . .

    Results.txt

  • Komisch, ich dachte ich hätte hier schon einen Reply geschrieben. Hab ich wohl wieder wie ein Idiot den Browser geschlossen, bevor ich auf "Submit" geklickt hatte. Na jedenfalls spannend, daß er bei dir die Kernelversion nicht ausgelesen hat. Aber najo, nicht so wichtig, der String mit dem Betriebssystemnamen ist da, das reicht ja!

    Damit wissen wir schon Mal daß die aktuelle Version wohl so halbwegs rennt auf: XP x64, Vista, 7, 10.

    Unterdies bin ich Grindhavocs Vorschlag nachgegangen, und habe CPU-Z mit ins Programm genommen, um einen vollständigeren Systemreport zu erzeugen. Ist zwar keine freie Software, sondern nur Freeware, aber naja, die Lizenz erlaubt die Redistribution, also isses vertretbar.

    Für Systeme, für die die dem Benchmark beigelegte CPU-Z Version vielleicht zu alt wird, kann WMI akkuratere Daten liefern, und dort wo WMI aufgrund fehlender Details eingeschränkt ist, kann CPU-Z aushelfen. Ergänzt sich also. Ich habe allerdings Grindhavocs Code mit Hilfe von GNU grep und unix2dos (um greps Ausgabe mit CRLF Zeilenumbrüchen zu bestücken) auf einen Oneliner reduziert, der mir mehr zusagt.

    CPU-Z tut allerdings seltsame Dinge mit der Shell, wenn man gewisse Dinge ein wenig zu verbiegen (z.B. zu quoten) versucht. d.h. da muß ich noch ein bisserl aufpassen daß das wirklich solide rennt. Derweil schauts gut aus! Damit kriegt man auch Dinge wie Speicherlatenzen raus, was schon sehr hilfreich is.

    styvi: Jo, XP x64 würd ich JETZT wahrscheinlich auch nicht mehr als OS für eine neue Workstation wählen. Ich mein, ich MAG mein XP x64 richtig gern, so wie es jetzt hergerichtet ist. Ist auch weitaus mächtiger als das blanke System so wie es von MS daherkommt (clink, VDim, GNU on Windows usw. usf.).

    Für eine Workstation würde ich heute aber ziemlich sicher ein UNIX oder ein Linux wählen. Für einen reinen Spielerechner wahrscheinlich Windows 10. Das hasse ich zwar, aber wenn man eh nur die Icons der Games anklickt und sonst nichts damit macht, isses recht egal...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    2 Mal editiert, zuletzt von GrandAdmiralThrawn (18. Februar 2017 um 21:00)

  • Aktuelle Struktur der Alpha 1 (wird schon so ungefähr stimmen):

    [.nsd Quelldatei] für Structorizer (Rechtsklick => Speichern unter...).

    Edit: Saubere Syntax Highlighter für Batch suchst echt vergeblich. Ich wünschte es gäbe die Engines von Notepad++ oder vi irgendwo online auch, die sind um Welten besser als das hier, aber was soll's, so läßt es sich zumindest einigermaßen lesen:

    Edit 2: Erster Run mit voller Res und YUV 4:4:4 auf Windows, is ein "bissl hart":

    Edit 3: Speicherverbrauch des Decoders um über 1GB gedrückt, durch Umstieg von Frame-basiertem Multithreading auf Slice-basiertes Multithreading (ffmpeg Optionen: -threads 16 -thread_type slice). Eigentlich ist das nur für Manycore Systeme gedacht gewesen (Ich hatte den Input ja schon mit x265s' maximaler Sliceanzahl von 16 erzeugt, genau zu diesem Zwecke). Da das Slicing aber auch wie erwartet Speicher spart, wurde das jetzt für alle Konfigurationen erzwungen, egal wieviele Kerne vorhanden sind.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    8 Mal editiert, zuletzt von GrandAdmiralThrawn (9. Mai 2017 um 11:21)

  • hier mein test:

  • Ok, danke für's Reporting @ ICQ, offenbar erzeugt der Aufruf wmic BaseBoard get Manufacturer, Product, Model, Name, OtherIdentifyingInfo, PartNumber den "Instanzen" Fehler, was auch immer das genau is... Ich weiß es noch nicht. Wahrscheinlich eine durch den Citrix Xen Hypervisor verursachte Limitierung. Schaut aber unkritisch aus.

    Eventuell werde ich den wmic STDERR Stream künftig nach NUL umleiten und fertig.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Alles klar, danke!

    Das lösen wir mit Eleganz durch völliges Ignorieren des Fehlers! :spitze:

    Unterdies ging es so weiter:

    • ) Fix des fehlenden Betriebssystem-Versionstrings auf Vista1. Das dürfte mehrere Systeme treffen, je nach Spracheinstellung, weil das von wmic ausgegebene Zeichen '™' bei 'Microsoft® Windows Vista™' je nach Locale/Charset von wmic selbst (!) nicht korrekt in eine Datei umgeleitet werden kann. Dabei kommt es dazu, daß der String an dieser Stelle abreißt und nichts nachfolgendes mehr ausgegeben wird.
    • ) Weiche für "klassische" und "moderne" Systeme eingebaut. Das System führt jetzt eine NUMA-unfähige "x265.exe" (XP x64, Vista) oder eine NUMA-fähige "x265-NT6.1+.exe" (Win7+) je nach System aus. Damit muß sich der User nicht zwischen zwei separaten Downloads entscheiden.
    • ) Check eingebaut, der prüft ob der Nutzer im Fall des Falles auch das UAC von Windows Systemen >=Vista für CPU-Z bestätigt hat. Systeme die kein UAC haben, prüfen auf das Vorhandensein von Adminrechten und terminieren, falls nicht vorhanden. Verweigert der User das UAC, so fordert der Benchmark den User dazu auf, es zuzulassen, und springt zur entsprechenden Stelle im Benchmark zurück2.
    • ) Unzählige weitere Bugfixes.
    • ) Codebereinigungen, -neuanordnungen und Eliminierung von ein paar Redundanzen.

    1 Die Ausgabe in RESULTS.txt ist damit dahingehend umgeändert, daß die Strings nicht mehr abreißen (oder im Regelfall nebeneinander stehen), sondern einfach untereinander, eine simple Lösung (Das '™' fehlt natürlich, aber wen kümmert's):

    Code
    Operating system:  
    ---------------- 
    Caption                                
    Microsoft® Windows Vista
    Version   
    6.0.6001

    2 Das ganze funktioniert zwar, ist aber derweilen höchstgradig unelegant gelöst!

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Hiermit möchte ich die Alpha Version 2 bereitstellen, die erste Vorstufe zur Beta. Diese Sache ist ein wenig trickreicher!

    Prinzipiell kann man das Zeug runterladen und ausführen wie gehabt. Allerdings immer noch mit dem 720p Schwachmatikerfile. Alternativ steht aber auch schon ein richtig hartnäckiges 8K File bereit. Erst Mal die Links:

    Will man jetzt testweise die "harte" 8K Version ausprobieren, sind folgende Schritte zu unternehmen:

    • ) Datei input.h265 auf irgendwas anderes umbenennen.
    • ) Datei input8K.h265 in den Ordner kopieren wo die andere auch ist und auf input.h265 umbenennen
    • ) Das Script .\create-sums.bat ausführen, z.B. durch Doppelklick darauf. (Dauert wenige Sekunden i.d.R.)

    Danach kann man das Gerät starten, doch ACHTUNG! Zum reibungslosen Betrieb sollte die Maschine der Wahl mit mindestens 32GB RAM aufwarten und man sollte nebenher keine größeren Programme mehr starten! Daß das 8K Video benutzt wird, erkennt man an der MediaInfo Ausgabe, kurz bevor er richtig anstartet:


    Kleine Version:

    Code
    input.h265: 10-bit YUV 4:2:0 HEVC, 1280x720 [16:9], 29.970fps [30000/1001]


    Brutale Version:

    Code
    input.h265: 12-bit YUV 4:4:4 HEVC, 8192x3428 [2.40:1], 24.000fps

    Es ist übrigens normal, daß die Last nicht sofort auf allen Kernen ins unermeßliche steigt; Der Decoder braucht erst eine Zeit um genügend Daten an x265 verfüttern zu können, es dauert also etwas, bis er richtig Gas gibt. Währenddessen kann man dem Bench im Taskmanager beim Wachstumsprozeß zuschauen, was den RAM angeht. ;)

    Der Bench läuft in dieser Version im Debug Level 1. Das heißt, daß er bei Fehlern nicht mehr abbricht, solange bis er wirklich nicht mehr weiterkann. Sinn ist, daß man nicht über die unterschiedlichen Frameanzahlen stolpert, wenn man die 8K Version nutzt. Im Regelbetrieb würde der Test erkennen, daß damit etwas nicht stimmt und würde abbrechen.

    Mit dem 8K File wird der Test übrigens richtig lange laufen (das gehörte noch optimiert). Er sollte sich aber so wie er jetzt ist für einen Manycore-Test eignen. Wenn der fehlschlägt (sprich: Keine ordentliche Skalierung nachweisbar ist), dann war das aaaaaaaaaaaaaallleeeees für die Fisch! :spitze:

    Neues Feature:

    • ) mkvmerge integriert. Der Test erzeugt ein MKV Videofile mit dem vom Benchmark erstellten Video. Hierzu gibt es noch keine Fehlerbehandlung, also das klappt nur wenn man alles durchlaufen läßt. Das MKV kann man sich dann in einem Videoplayer ansehen, allerdings wird die Framerate für die 720p Version nicht passen. Und wer es schafft die 8K Version ruckelfrei abzuspielen, kriegt ein Bonbon! :)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Einmal editiert, zuletzt von GrandAdmiralThrawn (9. Mai 2017 um 11:22)

  • Ich weiß du kannst HÄRTER! :spitze:

    Ich fahr Mal heim, werd was futtern, und schau mir danach die 8K Madness an... :rolleyes:

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • No comment, rofl...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Jo, nach Korrespondenz mit Umlüx ist klar, daß wir auf seiner Citrix Xen VM wieder nur die Hälfte an Kernen kriegen (NUMA Bug im Hypervisor bzw. UEFI, sofern man das einen "Bug" nennen kann, hatten wir ja schon). Die 32 werden aber voll, demzufolge was er gesagt hat im ICQ.

    Zudem ist diese Alpha 2 - wie mir dadurch klar geworden ist - völlig hirnverbrannt. Bei aktuellen Encodingsettings ist der Bench viel zu lahm bzw. das Videofile ist viel zu lang, das gehört geschrumpft. Also mich würd's ned wundern, wenn das Ding 1-2 Tage rennt bei dir, Bier.

    Ajo, spannend wär aber, wieviel RAM er gegen Ende frißt (also wenn er um die 2700-2800 Frames is). Dazu mußt den Verbrauch der ffmpeg.exe (wenns noch rennt zu dem Zeitpunkt) und der x265.exe zusammenzählen. 2881 Frames sinds in Summe.

    Immerhin unterstützt das Binary nachweislich NUMA, obwohl es auf XP x64 (aber mit Win7 als Target) kompiliert wurde. Die VS2010 hat die nötigen Header wohl schon mit dabei...

    Najo, daß noch eine Schrumpfung nötig ist, ist aber nicht Mal was schlechtes! Denn das bedeutet, daß ich den Download noch kleiner machen kann für die finale Version, und das is immer gut!

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • 160 Frames --- 0.03 fps Start 18:09 Zeit 19:52 Win 7 Pro
    Gesamt ram Auslastung 31 GB
    x265 c.a. 24 GB
    FFmpeg c.a. 1.7 GB

    Ich hab etwa 190 fph Frames pro Stunde

    Also sollte er etwa 15 Stunden brauchen. :spitze:

    Somit sollte Pass 1 etwa bis 9 uhr etwa gehen und Pass 2 sollte um 24 Uhr zu ende sein.

    Also aufjeden Fall kann ich morgen frueh mal Ram abfragen. Er darf sich gerne Breit machen hab ja 64 gb :spitze:

    So 550 Frames um 23:09 Also 110 Frames pro Stunde. Ich glaube ich hab versehentlich irgendwann ins Fenster geklickt ?!?

    Das koennte echt zu Falschen ergebnissen fuehren. Naja ich lasse ihn mal durchlaufen und nochmal Testen.

  • x265 c.a. 25 gb
    ffmpeg 1,9 gb
    1483 Frames

    Ach ich hab jetzt die angaben aus dem Taskmanager genommen und durch 1024 geteilt bevor es zu verwirrung kommt.

    Mal sehen heute Mittag wenn ich wieder daheim bin gibts evlt besere werte

  • Ok, er is definitiv viel zu langsam, werd also in jedem Fall ein neues, kleineres Inputvideo erzeugen müssen.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    2 Mal editiert, zuletzt von GrandAdmiralThrawn (23. Februar 2017 um 08:49)

  • 8K ist durch!