Brauche Hilfe beim konvertieren von Videos

Ohne allzuviel Praxiserfahrung zu haben: Ich finde das Ergebnis eigentlich ganz gut.

Beim Hochskalieren können ja nicht magisch Bilddetails auftauchen, die durch die geringe Oroginalauflösung nie vorlagen.

KI kann das zwar in Teilen simulieren, aber ob da jetzt noch wesentlich mehr drin ist? Würde ich nicht erwarten.

Du kannst versuchen das Original DVD Material auf einen Klassischen CRT Fernseher anzuschauen. Das sollte deutlich besser aussehen als auf einem TFT / Computer Monitor. Da die DVD Kompression so gewählt ist, dass sie auf CRT Fernseher nicht auffällt. War da neulich selbst erstaunt.

Hierzu kann ich nicht viel beitragen. Ich kenne mich zwar schon mit Videokodierung Recht gut aus, aber KI-Upscaling betreibe ich nur minimalst. Hin und wieder Mal ein Bild, aber keine Videos bis jetzt. Was je nach Inferenzmodell aber helfen sollte wäre es, eine starke GPU einzusetzen, um die Rechenzeit niedrig zu halten. Sofern dein Modell halt mit GPUs umgehen kann, also per HLSL, OpenCL oder NVIDIA CUDA.

Was die Kodierung angeht, kann ich dir nur Codecs und dazu passende Parameterisierungen empfehlen; Einfach fragen, falls gewünscht, dann kann ich in's Detail gehen, zumindest bei x264 und x265:

• 8-Bit H.264/AVC (Maximale Endgerätekompatibilität, Blu-Ray Standard, mit x264 als Encoder recht flott auf modernen CPUs, tlw. weit über Echtzeit, moderate Qualität pro Bitrate)
• 10-Bit H.265/HEVC (Sehr hohe Endgerätekompatibilität, Blu-Ray 4K/UHD Standard, x265 Encoder deutlich langsamer als x264, dafür höhere Qualität pro Bitrate)
• AV1 (Niedrigere Endgerätekompatibilität, rasend schneller Encoder, z.B. Intel SVT-AV1, wird gepushed von Amazon und Netflix, weil lizenzfrei, hohe Qualität pro Bitrate)

Quote from undertaker_2

Quote from LoB

Beim Hochskalieren können ja nicht magisch Bilddetails auftauchen, die durch die geringe Oroginalauflösung nie vorlagen.

Hmmm, die Informationen sind/sollten ja eigentlich auf Zelluloidfilm gebannt (sein).

Ja, aber halt auf der DVD nicht. Du versuchst, zwischen die vorhandenen Pixel 1 und 2 noch einen weiteren Pixel zu rechnen. Der ist im Originalmaterial (und damit meine ich die DVD) eben nicht vorhanden. Sonst hätte die DVD ja schon alle drei Pixel.

Wenn ein Publisher ne Bluray rausbringt, skaliert er ja auch nicht ne DVD hoch, sondern dann wird das Zelluloid erneut abgescannt - mit erhöhter Auflösung.

Es geht nicht mal darum, ob die Scantechnik besser oder schlechter war. DVD KANN halt nur SD-Auflösung, deswegen kann der Scanner so gut sein, wie er will - die DVD kann nicht mehr Pixel aufnehmen.

Die Fotobearbeitung ist wirklich beeindruckend. Es bleibt aber dabei: Die fehlende Information ist dazuerfunden. Sie kann (und wird in Details) einfach falsch sein. Sieht trotzdem gut aus, ja.

Achtung: "Encode" / "Decode" Lasten liegen schon länger nicht mehr auf der GPU an sich, sondern auf einem dedizierten ASIC der nebenbei in der GPU mit integriert ist. Das sind ultrahochoptimierte, separate Einheiten, keine "General Purpose" Kerne. Deiner Angabe nach dürfte der Upscaler auf der GPU gelaufen sein, wobei die CPU möglicherweise andere verwaltungstechnische Aufgaben zugekommen sind. Vielleicht sogar das eigentliche Encoding, also der H.265 Part. Das hängt vom Encoder ab; x264 und x265 nutzen zum Beispiel keine ASICs. Das liegt daran, daß ein ASIC "starr" ist, also nicht programmierbar. Der kann ein paar Features, und das war's dann. Dafür kann er die richtig schnell. Deswegen kannst da auch kaum was parameterisieren, weil nicht genug Flexibilität da ist.

x264 und x265 sind ungleich höher entwickelt und viel effizienter in Sachen Qualität pro Byte. Aber dafür laufen's halt ungleich langsamer, weil in Software. Da helfen die ganzen SSE, FMA, BMI und AVX Optimierungen viel, aber da reden wir von Faktoren um die 5× im Vergleich zu normalem C/C++ Code. ASICs können teilweise hundertfach schneller laufen. Du musst nur ein paar mehr kbit/s reinstecken, um die gleiche Qualität zu erzielen, die Dateien werden also größer.

Das zeiitlich optimale Ergebnis würde sich wohl erreichen lassen, wenn man auf der GPU upscaled und ggf. mit Handbrake o.a. auf'm GPU ASIC kodiert. Letzterer frißt durch seine extrem hohe Optimierung auch kaum Strom, ist somit ungleich kostengünstiger als vor allem x265.

Zum Upscaling: LoB hat natürlich Recht, die KI "erfindet" hier einfach Details. Aber wenn sie das auf Basis von zig Millionen gut gelabelten Datensätzen tut, dann kann das psychovisuell schon gut rüberkommen. Psychovisuelle Optrimierungen existieren [übrigens auch in den Paramaterisierungen von x265] (Ctrl+f, dann nach "Psycho-Visual" suchen).

Unabhängig ob die verwendete Karte einen Hardware Encoder hat, würde ich bei dem Anspruch Qualität zu erzeugen auch nicht auf die GPU setzen, sondern immer in Software rechnen.

Wenn doch GPU, dann entweder NVIDIA ab RTX 3xxx oder AMD ab Rx90XX.

Ältere (gerade AMD) Encoder sind qualitativ leider im deutlichen Nachteil.

Wie gut jetzt der Upscaler in deiner Software ist, keine Ahnung

Wüsste auch aus dem Stegreif kein Programm. Zum Encodieren nutze ich entweder OBS für Aufnahmen und Streams in AV1 Hardware auf ner RTX4070S oder ShotCut.

ShotCut kann auch Upscalen, Deinterlacing und Sharpening. Also 1080P auf 4K sieht ganz gut aus. Aber AI Upsclaing ist das nicht.

Für Fotos ist das Tool kostenfrei und super:

Upscayl - AI Image Upscaler

upscayl.org

Für Videos halt €

Quote from GrandAdmiralThrawn

x264 und x265 sind ungleich höher entwickelt und viel effizienter in Sachen Qualität pro Byte. Aber dafür laufen's halt ungleich langsamer, weil in Software.

Das hängt doch vom gewählten Encoder ab... Wenn ich Videostreams in Handbrake (Freeware!) schmeiße, dann kann ich dediziert CPU oder GPU Encoding wählen. Auf einem Ryzen 3300U bietet mir Handbrake sogar den iGPU Encoder mit H.265 (AMD VCE) an.

Was die Qualität angeht, ist halt immer die Frage was erreicht werden soll. Die Hardwareencoder sind meist deutlich schneller als reines CPU Encoding, aber die Qualität ist schlechter. Ich "tausche" an dieser Stelle gerne Zeit gegen Dateigröße. Sprich ich nehme den Hardwareencoder und stelle die Datenrate etwas höher um die schlechtere Qualität ggü. CPU auszugleichen. Natürlich mit dem Nachteil, dass ich mehr Platz auf der Platte brauche.

Handbrake ist ein reines Encoding Frontend, sprich für Bildverbesserung (und AI Upscaling) nicht wirklich zu gebrauchen. Sollte klar sein. Wenn das gewünscht ist muss man andere Tools nutzen.

Tzk du verwechselst grade die encoder x264 und x265 mit den codecs h264 und h265...

Das wird gerne verwechselt, aber ich glaube gar nicht daß Tzk diesen Fehler hier gemacht hat, weil er explizit AMD VCE anspricht. Ähnliches gibt es natürlich auf für Intel und NVIDIA GPUs. Was er ansonsten sagt stimmt absolut. Handbrake dürfte aber einige ffmpeg Filter unterstützen, also sowas wie Denoising oder Deinterlacing? Würde ich zumindest annehmen, ich selber benutze es nicht, sondern verwende ffmpeg und x265 semi-manuell (Unterstützt durch Skripte und Intelligent Revese Search, daher "semi").

Was es für ffmpeg noch als Library gibt wäre aber libzimg, einen sehr guten, deterministischen Scaler. Der könnte in Handbrake eventuell auch abgebildet sein? Ist natürlich ned mit einer KI vergleichbar, aber zumindest kriegt man den Lancocz Algorithmus

Der Zeitgewinn bei der Nutzung eines GPU ASICs ist in jedenfall irrsinnig. Wenn einem der Platz auf den Platten egal ist, ist es völlig legitim diesen Weg zu gehen. Ich wollte es halt nie, weil ich einen gewissen Fetischismus betreibe, was maximale Qualität pro Byte angeht.

Quote from Bier.jpg

du verwechselst grade die encoder x264 und x265 mit den codecs h264 und h265...

Ne, eigentlich nicht. Der Encoder ist wie erwähnt AMD VCE (Hardware Encoder in der Ryzen iGPU) und der Codec H.265. So wie es bei Nvidia NVENC und bei Intel Quick Sync gibt.

Ja ok, sah in dem Post so aus:

Quote from Tzk

Quote from GrandAdmiralThrawn

x264 und x265 sind ungleich höher entwickelt und viel effizienter in Sachen Qualität pro Byte. Aber dafür laufen's halt ungleich langsamer, weil in Software.

Das hängt doch vom gewählten Encoder ab...

Aber auch das stimmt. Es gibt ja auch in Software verschiedene H.265/HEVC Encoder. Zum Beispiel freie Software wie eben x265 oder Intel SVT-HEVC, oder kommerzielle Encoder wie den von MainConcept der gern im Rahmen des Blu-Ray Masterings eingesetzt wird, oder Fraunhofers HHI HEVC. Die unterscheiden sich sicher auch alle in Sachen Qualität pro Byte und auch Geschwindigkeit. Aber einen ASIC wirst du beim Speed und energietechnischer Sparsamkeit in Software niemals nie auch nur annähernd schlagen.

Natürlich. Es sah für mich hier so aus, als bezieht er sich auf X264/X265