Bedarfserhebung: "Zukunftssicherer" x265 Benchmark

  • Heutige Änderungen für's erste:

    • UNIX: Typo in einer Prüfsummenfehlermeldung des Launchers fixed.
    • UNIX: Bug im Bootstrapper fixed (Aufruf einer noch nicht existierenden Funktion in einem spezifischen Fehlerfall).
    • UNIX: Prüfsummenverifikationen für die Quellcodepakete von ffmpeg und x265 im Bootstrapper eingeführt[1]
    • ALLE: Integrität der Prüfsummenverifikation weiter abgehärtet: Fehlende Summen (bei korrupten/absichtlich beschnittenen Prüfsummenfiles) schlüpfen jetzt nicht mehr durch ein verfrühtes Terminieren der einlesenden while read chkSum bzw. der FOR /F "tokens=1 delims=\ " %%I IN (file) Schleife durch. Betrifft auf UNIX den Bootstrapper wie auch den Launcher, auf Windows nur den Launcher.
    • UNIX: rm Option -f für OpenBSD UNIX hinzugefügt, um einen kosmetischen Bug bei der Übergabe eines leeren Parameters an den Löscher zu beheben.
    • UNIX: Etwas sauberere Ordnerstruktur vor dem Bootstrapping (weniger Folder im Archiv).
    • UNIX: Fehlerhafte ; Zeilenterminatoren in der cleanUp() Funktion des Launchers entfernt.

    [1] Der Hintergedanke ist der, daß ein Benutzer nicht auf die Idee kommen soll - egal ob unabsichtlich oder nicht - die Quellcodepakete auszutauschen, um so eine "Custom" Version des Benchmarks zur Bootstrapzeit herzustellen. Denn dann schlüpfen die so erzeugten Binaries durch die Prüfsummenchecks zur Benchmarkzeit, und das ganze wird nicht mehr als "Custom" erkannt, wenn man sich die Results dann nicht sehr genau anschaut!

    Will ein Benutzer eine saubere Customversion anfertigen, muß er die gewünschten x265 und/oder ffmpeg Versionen außerhalb des Benchmarks separat kompilieren (so wie man es normal macht) und diese Versionen dann nach abgeschlossenem Bootstrapping des Benchmarks dort einpflegen oder hineinlinken.

    Das MediaInfo Paket wird in dieser Stufe nicht mitgeprüft, weil es für die Laufzeit des Tests ohnehin keine Relevanz besitzt.

    Edit: Dieser Post wird laufend erweitert, je nachdem was alles dazukommt heute.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    4 Mal editiert, zuletzt von GrandAdmiralThrawn (10. November 2017 um 15:43)

  • um das nochmal zu wiederholen was im irc schon gesagt wurde (und irgendwann vor einem halben Jahr oder so auch hier im Thread):

    Mein Arbeitslaptop ist jederzeit bereit irgendwas zu testen. Außer Win10 halt nur virtualisiert, aber RAM hat der genug und VMs habe ich eh schon einige Drauf, das ist nicht das Ding. Alles was länger als 12h dauert halt nur Wochenends oder so^^

    Sag Bescheid wenn du Hilfe beim testen seltsamer OS willst.

    all I can do is be me, whoever that is. -Bob Dylan

    Römer sind keine Bieber!

  • Im Prinzip hilft alles, was nicht in der README.txt für UNIX steht. Jedes UNIX System oder jede Linux Distro, die ich nicht getestet habe, hilft!

    Vielleicht läßt sich auch ein 64-Bit Build von ReactOS mit der Windowsversion ausprobieren? Ich weiß, daß es sowas geben soll, hatte aber bislang keine Zeit sowas zu testen.

    Für alle anderen Vorschläge und plattformtechnische Dinge die mir entgangen sind bin ich auch dankbar.

    Besonders hilfreich wären aber große 64-Bit RISC oder VLIW Maschinen, da existiert aktuell gar kein Test (PowerPC, ARM, SPARC, Itanium, usw.). Aber sowas muß man erst Mal finden. ;)

    Danke vielmals!

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Ich hab bitte KEINE Ahnung wie "gut" das läuft, falls es das überhaupt tut. Ich weiß nur daß es den Branch gibt, aber nicht in welcher Phase der Entwicklung er sich befindet. Vielleicht noch gar nicht lauffähig, kA.

    Und: Leider ist die Windows Version aktuell nicht zugänglich (vergessen sie aus der VM rauszukopieren, meh). Allerdings pack ich die UNIX/Linux/BeOS Version in früher Beta 5 grade zusammen, die kann ich dann in Kürze Mal hier reinsetzen (ich editier's dann dazu).

    btw., zumindest was die Binaries angeht (ffmpeg, x265) sehe ich das jetzt Mal als Release Candidate an. AVX512 ist zwar immer noch nicht an Bord, aber wenigstens heißt das, daß wir keinen hypermodernen nasm brauchen (Haiku macht damit Probleme), sondern bei yasm 1.3.0 bleiben können für's Kompilat. Irgendwo muß man ja doch Mal eine Linie ziehen.

    Also wenn nicht grade irgendwas grobes in x265 2.5+48 kaputt ist, dann kann man diese Version Mal als eingefroren ansehen. Muß aber selber noch mehr OS Tests durchführen.

    Edit: Alles klar, hier Mal die Beta 5 / RC2 für UNIX-artige Systeme:


    Wie gesagt, wenn nichts wildes im Argen ist, dann ist diese Version "laufzeitfinal", oder wie man dazu sagen soll. Sprich, Ergebnisse wären wahrscheinlich bereits als gültig zu betrachten. Nur zu 100% will ich's nicht versprechen, erst Mal testen, testen, testen...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    5 Mal editiert, zuletzt von GrandAdmiralThrawn (11. November 2017 um 13:48)

  • Habe mich gerade eingelesen was ReactOS auf 64Bit angeht.

    Status: Es baut. Vielleicht.

    Also wenn man sich nichtmal sicher ist ob die binaries aktuell bauen sehe ich da schwarz, aber ich werde es trotzdem bei langeweile mal versuchen.

    all I can do is be me, whoever that is. -Bob Dylan

    Römer sind keine Bieber!

  • Hab auch schon den Status geprüft. Ich denke "zum Vergessen" dürfte es recht gut treffen. ;)

    Aber vielleicht hast ja Zeit für kranke UNIX Systeme (Midnight BSD?) oder irgendwelche Linux Distros, die mir entgangen sind. Ich wollte Mal Arch testen. Aber ich hab's nicht geschafft es sauber zu installieren.

    [Blockierte Grafik: http://www.xin.at/thrawn/pics/misc/arch.jpg]

    Arch Linux! Best Distro! rofl.

    Also zu dem System wärst du auch herzlich geladen, weil ich tu mir das nicht mehr an! :rolleyes:

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Grad gesehen, die UNIX Version der Beta 5 lag im falschen Folder (win64) am Server, hab das jetzt verschoben und den Link aktualisiert. Schaut ja komisch aus sonst. ;) Zusätzlich dazu hab ich es irgendwie geschafft unseren Gatewayserver auf der Arbeit umzunieten... Ich glaub das 13 Jahre alte Enermax macht langsam die Grätsche, oder das Board tut es. Na egal, jedenfalls hab ich kurz vorbeigeschaut um die Kiste wieder einzuschalten, mit dem Nebeneffekt daß ich jetzt ein erstes, fertiges UNIX Ergebnis der Beta5 habe, sowie dem zweiten Nebeneffekt, daß ich jetzt schnell die Win64 Version hochladen habe können:

    Edit: Eine Aktualisierung noch, die in der aktuellen Readme noch nicht vermerkt, und auch im Code noch nicht eingebaut ist: Der notwendige Festplattenplatz wurde jetzt mit 1.3GiB für Windows und 1.5GiB für UNIX festgelegt. Der Mehrverbrauch auf UNIX rührt daher, daß hier ja auch Quellcode entpackt und übersetzt wird. Auf Windows kann sich das noch minimal ändern (±100MiB, mehr sollt's ned sein). Die nächsten Versionen haben das dann auch schon in der README.txt drinstehen, und der Code wird nach der entsprechenden Menge fragen beim Check.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    2 Mal editiert, zuletzt von GrandAdmiralThrawn (11. November 2017 um 14:45)

  • Ein Vorschlag für die Bootstrap.sh, den "warn"-Hinweis bzgl. des fehlenden lshal kann man wohl komplett raus nehmen, da wohl kein Linux eingesetzt wird, dass älter als von 2012 ist, oder?

  • Jop, danke! Das ist auch schon notiert, das wird eher in eine unauffällige Notice abgeändert werden. Liegt daran, daß auf einem älteren CentOS 6.9 Linux entwickelt wird. Aber das steht schon auf der Liste. :) Daß welche daherkommen, die lshal haben ist aber durchaus denkbar, siehe mich selbst: Gibt einige ältere Enterprise Linux Systeme, die da sehr klassisch gestrickt sein können, und die sind durchaus in der Lage den x265 Benchmark zu bauen und anzutreiben.

    Ich lasse die Meldung daher drin, nur demote ich es von einem Warning zu einer Notice, im Hinblick auf die Zukunft.

    So, hier Mal ein erstes Ergebnis:

    0011:09:44.290 | GAT | 1/8/8 | AMD FX-9590 4.70GHz | 16GB DDR-III/1866 9-10-9-27 | Gigabyte GA-990FX-UD3 v4.0 | AMD 990FX | FreeBSD 11.1 UNIX (Clang 4.0.0)


    Schaut ganz ok aus von der Laufzeit, die neue x265 Version paßt also ganz gut denke ich.

    PS.: In der Ergebnisdatei ist zu sehen, daß ich den Launcher modifiziert habe. Das war deswegen so, weil hier noch Änderungen der b5 nachgereicht wurden, ohne die Prüfsummen aktualisiert zu haben.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    4 Mal editiert, zuletzt von GrandAdmiralThrawn (11. November 2017 um 15:45)

  • Hast du bei deinem Run die Speicherauslastung im Blick gehabt? Auf meinem Phenom II mit 16GB RAM läuft es jetzt seit ca. 3 Stunden, ist bei ~15% (120 Frames) und der Speicherverbrauch liegt bei 7,2GB und hat sich die letzten 2 Stunden nur um max. 100MB rauf oder runter geändert. Kommt mir etwas wenig vor, bei der Alpha 5 warens nach 50 Frames schon 14,4GB, allerdings auch unter Windows, siehe https://voodooalert.de/board/index.ph…2790#post412790

    edit... bei 22% sinds jetzt 7,5GB

    Einmal editiert, zuletzt von 666psycho (11. November 2017 um 18:28)

  • Ja, das ist bekannt und i.O., wenn du wenige Threads hast (12-16 oder so, grob geschätzt). Ich habe viel Zeit in Parametertuning investiert, um den Speicherbereich so zu drücken, daß auch große Manycore-Maschinen mit 16GB RAM auskommen. Letzten Endes habe ich einen Parametersatz gefunden, mit dem das gut machbar war, während ich die Laufzeit durch Erhöhen der Bitrate auf Punkt gehalten habe.

    Hauptsächlich wurde das durch die Reduktion der Lookahead-Tiefe (weniger CTUs zwischenzuspeichern) sowie der B-Frames und dem Chroma Subsampling (4:4:4 => 4:2:0) erzielt.

    Das Verhalten ist also korrekt! :)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • 03:05:30.241 | exxe | 1/12/24 | AMD Ryzen Threadripper 1920X | 32GB DDR-IV/2400 | Asus Prime x399-A | AMD X399 | CentOS7


    VoodooAlert IRC Channel


    Und hier noch ein blöder Spruch den nicht jeder sehen kann.
    :spitze: Anscheinend ist es ja mittlerweile modern, Schriftfarben zu nutzen die man nur in einem der beiden Designs sehen kann :spitze:

  • 32:28:26 | xxx | 666psycho | 1/4/4 | AMD Phenom II 955 3,2GHz | Gigabyte M57SLI-S4 Rev 2.0 | nvidia nforce570SLI | 16GB DDR2/667 | Debian 9.2

    In der Results steht 2,5GHz beim CPU Takt, er ist aber mit seinen normalen 3,2GHz gelaufen. Und die Nachkommastellen bei der Sekundenangabe fehlt bei der elapsed time.

  • Danke!

    Mit der "Total Threads" Angabe in der RESULTS.txt paßt auf modernen Linux Systemen auch was nicht. Aber ok, das is jetzt ned so dramatisch, da hab ich wahrscheinlich nur wo einen Rechenfehler oder sowas, das is niedrigprior.

    Das mit 2.5GHz ist normal. In dem Moment wo der Takt ausgelesen wird, liegt von der Benchmarkseite aus keine Last an. Daher reported er den Referenztakt oder in manchen Fällen auch einen niedrigeren Takt, wenn die CPU Powersavefunktionen aktiv hat (so wie bei dir wohl geschehen). Das zuverlässige Auslesen von Hardwareinfos über zig Linux (und dann auch noch UNIX) Versionen hinweg ist leider etwas, das ich nur als major pain in the ass bezeichnen kann. ;)

    Die fehlende Millisekundenangabe stört allerdings wirklich. Da wurde wohl Mal wieder irgendwas wenig förderliches am time Befehl verändert, wahrscheinlich am Builtin von Debians' dash Loginshell. Aber derartiges kann ich langsam aber sicher nur mehr ignorieren, weil ich schon bald aus den Sonderfällen nicht mehr rauskomme auf Linux und UNIX. ;)

    Sonst führ einfach Mal $ /usr/bin/env sh und dann ein simples $ time ls aus. Zeigt er dir da die Millisekunden an? Wenn ja, liegt der Fehler wahrscheinlich doch eher bei mir.

    Und hier noch was (für mich :topmodel: ) zutiefst schockierendes:

    12:28:47.687 | GAT | 1/6/12 | Intel Xeon X5690 3.47GHz | 48GB DDR-III/1333 8-8-8-24-2T | ASUS P6T Deluxe | Windows XP Pro x64 SP2


    Erstens: Der AMD FX-9590 Centurion mit Lock auf 4.7GHz (wegen fehlendem Turbo Support im Kernel) hat meinen Xeon X5690 im 3.6GHz all-core Turbo stehen lassen! Liegt wohl daran, daß der schrottige AMD halt doch AVX, FMA und BMI kann. Knappe 10% is der AMD flotter.

    Und was noch schockierender is: exxes' Threadripper mit "nur" doppelter Kern-/Threadanzahl ist glatt VIER Mal so schnell wie mein Xeon, ziemlich genau sogar. Verdammte Scheiße noch Mal! :spitze: Schaut aus als wär der AVX/AVX2 Code von x265 echt schon richtig signifikant!

    Edit: Hier noch'n Broadwell:

    03:53:25.130 | GAT | 2/8/16 | Intel Xeon E5-2620 v4 2.10GHz | 64GB Reg. ECC DDR-IV/2133 | HP ProLiant DL360 G9 | CentOS 7.3.1611 Linux (GCC 4.8.5)


    Edit 2: Jetzt wird's dann bald Mal Zeit einen offiziellen Thread zu starten und eine Webliste dafür zu bauen.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    3 Mal editiert, zuletzt von GrandAdmiralThrawn (13. November 2017 um 13:27)

  • Edit 2: Jetzt wird's dann bald Mal Zeit einen offiziellen Thread zu starten und eine Webliste dafür zu bauen.

    Da freu ich mich schon drauf :thumbup:

    Hier mal ein time ls:

    Code
    $ time lsreal	0m0,023suser	0m0,000ssys	0m0,000s

    edit:
    Konnte das gerade reproduzieren und diese seltsame Time-Ausgabe gibts, wenn man es per sudo ausführt:

    Code
    sudo time ls
    0.00user 0.00system 0:00.00elapsed 0%CPU (0avgtext+0avgdata 2220maxresident)k
    0inputs+0outputs (0major+105minor)pagefaults 0swaps

    Ich hatte den Bench per sudo gestartet, weil er mir sonst ein Warning beim dmidecode bringt.

    Einmal editiert, zuletzt von 666psycho (13. November 2017 um 19:02)

  • Jop, ich hab's. Debian kommt mit einer Shell daher, die erst Mal ein Builtin für time hat, wie die Bash. Ich greife aber nach POSIX Standard mit folgender Shebang auf die Shell zu: #!/usr/bin/env sh. Sprich, ich holte mir die sh. Auf vielen Systemen ist das ein Link auf die Bash und alles ist super, aber Debian (wie viele UNIX Systeme) hat das nicht so eingerichtet. Daher nimmt er das GNU time Binary, das halt in /usr/bin/ rumliegt, und etwas... rudimentärer ist.

    Dagegen kann ich leider nichts machen, ich kann die POSIX Standardkonformität nicht zerhacken, weil sonst die Kompatibilität zu zuvielen Systemen bricht.

    Aber du hast mich noch einen schlimmeren Fall finden lassen: In der nackten Debian 9.2.1 Standardinstallation (heute getestet) gibt es nicht Mal ein GNU time Binary! Sowas hab ich auch noch NIE bei einem Linux gesehen. Jedenfalls habe ich dafür jetzt eine Extraprüfung eingebaut, die den Benchmark abbricht, sofern gar kein time gefunden werden kann.

    Und: dmidecode kannst auf +s setzen wie du willst, das is für'n normalen User einfach nicht im Suchpfad (!) auf Debian 9. Daher wird's einfach nicht gefunden. Ein # ln -s /usr/sbin/dmidecode /usr/bin/ fixed das, wenn man möchte.

    Was für ein glorreiches Chaos. Ich wünschte es gäbe ein Tool, das alle Hardwareinfos auf allen POSIX Systemen (Linux, UNIX) einfach als normaler User auslesen darf... ;)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"


  • Und: dmidecode kannst auf +s setzen wie du willst, das is für'n normalen User einfach nicht im Suchpfad (!) auf Debian 9. Daher wird's einfach nicht gefunden. Ein # ln -s /usr/sbin/dmidecode /usr/bin/ fixed das, wenn man möchte.

    So gehts, danke.

    Hat mein Phenom II Ergebnis nun schon Gültigkeit? :)