Filmsammlung umcodieren

[frauhansen]

Nabend zusammen!

Meine Filmsammlung ist mittlerweile amtlich angewachsen. Das bringt auch eine recht amtliche Grösse mit sich. wir sprechen hier aktuell über knapp was unter 30TB.
Da ich nun ständig platten nachkaufe und, wenn ich jetzt noch vier nachkaufe, ist mein 16x RAID Controller voll!

Lange Rede kurzer Sinn... ich hab mir überlegt... warum nicht die gane Sammung in h265 umcodieren?!
Der Grossteil (99%) sind h264 in MKV Containern.

Sollte doch möglich sein mit Tools wie ffmpeg als Trancoder sich nen Script zu basteln der sich durch die Sammlung frisst und eines nach dem anderen umkodiert und wieder ablegt.

Der Gewichtsvorteil h265 vs. h264 sollte etwas um 1/5tel der Originalgrösse sein.

Was meint ihr?? Mal wieder Zeit für ein Transcoding-Projekt?

[Guinness]

Mit StaxRip & Avisynth+ geht das konvertieren ziemlich einfach, und ist auch im Batch/Scriptbetrieb möglich (was ich aber nie selbst getestet habe). Bei Tests landete ich bei 50-60% der Originalgröße. Mit Hardware-Encoding (NVEnc) & SSD wurden bei der Konvertierung je nach Ausgangsmaterial 70 bis 140 fps erreicht, + etwas Overhead für's Muxen. k.A. wie schnell Intels QuickSyncVideo im Vergleich ist.

Wenn man grob geschätzt von 10 GB/h und 24 fps Ausgangsmaterial ausgeht, sind das 259 Millionen Frames. Bei 140 fps wären 21 Tage Encoding im Dauerbetrieb notwendig, die Dauer bei 70 fps überlasse ich dem Leser zum selber rechnen

[frauhansen]

Ahhh, ich hätt vielleicht erwähnen sollen das das Fanze unter Linux passieren sollte... StaxRip fällt also aus.

Ich habe in der Zwischenzeit mit ffmpeg experimientiert... aber ich hab das Probem das mir
"ffmpeg -i '/media/gerd/work/ffmpeg_test/Ambition the film.mov' -c:v libx265 -preset veryslow -crf 23 '/media/gerd/work/ffmpeg_test/Ambition the film.mkv'"

einen Fehler ausgibt.
"Unknown encoder 'libx265'"

Diese habe ich versucht nachzuinstallierenn wie es hier angegebne wird.
https://trac.ffmpeg.org/wiki/CompilationGuide/Ubuntu

Über diesen Weg habe ich ffmpeg auch installiert.
Auch Paramter wie
ffmpeg -i '/media/gerd/work/ffmpeg_test/Ambition the film.mov' -c:v libx265 -preset veryslow -x265-params crf 23 '/media/gerd/work/ffmpeg_test/Ambition the film.mkv'

ja dann wird mir das mit "Unrecognized option 'x265-params'." quittiert....

Ich gehe also davon aus das ffmpeg an sich gut klar geht, aber ich mit dem x265 Codec ein Problem habe!

[Guinness]

Gleichheitszeichen vergessen?

-x265-params crf=23

mit veryslow und ohne HW-Encoding wird's in Sachen Performance wirklich übel.

https://trac.ffmpeg.org/wiki/HWAccelIntro

[frauhansen]

Ist ehh erst mal nur ein Test. In dem Aufruf oben ist ja auch der Audio Teil noch included, den lasse ich dann ehh als copy durch laufen.
Ich vermute nach Konsultation den Ubuntu-Forums eher das ich beim Compiliere einen Fehler gemacht habe und den x265 nicht oder falsch eingebunden habe.

[goemichel]

Ich klink mich mal - als Win-Mäuseschubser - hier ein...

Der Grossteil (99%) sind h264 in MKV Containern.

Wie/Womit hast du deine Sammlung angelegt? Ich habe evtl das auch vor und mir würden h264-MKV reichen (da unter 100 Filme).

[frauhansen]

Na ja.. h264 ist ja mittlerweile ehh alles. Ausser ggf. selbst gedrehtes Material von Vaddi noch...

Meine Sammlung liegt grob sortiert nach
Video
- Kids
Serien
Movie
- Movie
- Serien

Auf meinem Server. Dieser stellt sie mir seit einiger Zeit via Plex zur Verfügung. Das hab och überall, incl Playstation/SatReceiver/SmartTV/iOS wo ich will in einstellbarer Qualli und wenn ich das will auch offline. Ich denke es wird auch bald ein paket für die Smart-Waschmaschine geben!

[BergH]

tach auch !

Ohne es beweisen zu können, vermute Ich , dass das Ergebnis den Aufwand nicht lohnt.
Es wird die Bildqualy negativ beeinflussen, es wird Festplatten und Strom verbrauchen.
Ich würde lieber Filme, die Ich nicht brauche auf alte Platten kopieren und in den Schrank legen.
Die nächste HD Generation macht doch Dein Problem obsolet, aber die Bildwaulität, die Du hast, bekommst Du nach umkodieren und Löschen nie wieder zurück.

[bongobong]

tach auch !

Ohne es beweisen zu können, vermute Ich , dass das Ergebnis den Aufwand nicht lohnt...

Das kann ich so unterschreiben. Ausser viel Zeit und Energie zu verbrauchen hast du nur an Erfahrung gewonnen.
Ich hatte das damals mal mit Videos von meiner Videokamera gemacht. Das aber mit SD Aufösung.
Trotz langem Probieren hatte ich zum schluß zwar eine geringfügige Verbesserung jedoch mit größeren Dateien.
Der Schuß ging somit nach hinten los. Umkodiern verschlechtert IMMER die Bildqualität! Auch wenn man sie nicht sofort sieht. Sie kann nicht besser werden.

Ich würde lieber Filme, die Ich nicht brauche auf alte Platten kopieren und in den Schrank legen...

Ich denke, das es ein Problem unserer Zeit ist, immer alles sofort zur Verfügung zu haben.
Wo ist das Problem, ein paar Minuten zu warten bis die Filme eingelegt werden. Sprich die Festplatte aus dem Archiv genommen wird und im NAS steckt.
Ich hab auch mehrere 2,5" Platten die ich, je nach dem was wir schauen wollen, an den Mediaplayer stecke.

Gruß
Dirk

[frauhansen]

Platte aus dem Archiv nehmen und an das NAS Stecken.... ne ne Leute.. ihr verkennt hier den vermeintlichen Grad an Professionalität.
Ich nutze die Sammlung als allerserses mal nicht allein. Dann ist die ja, wie oben erwähnt via Plex im Zugriff, sprich indiziert.
In dem Server läuft ein 16 Kanal RAID Controller und der ist aktuell mit 12 Platten belegt.

Der Stromverbrauch geht mir am Arsch vorbei.

Was die Qualität betrifft...ein Grossteil der Filme sind ja schon Transcodes von irgend einer Quelle. Sprich von einer BluRay oder nem HD Material aus dem Web. Halt einfach nicht von mir.
Die Quali-Fahne hab ich da aber bisher hoch gehalten. Augenkrebs-Kack wirst bei mir nicht finden. Sofern verfügbar immer untouched BluRay oder neuerdings auch 4k Material.

Das eine Umkodierung die Quali nicht verbessert ist mir auch klar. Die Frage bleibt, ist sie soweit beeinflusst das es einem überhaupt auffällt.
Ich habe Vergleiche zwischen x265 und x264 gesehen da war nun echt kein Unterschied festzustellen. Das File dafür aber auf 50% bis 25% kleiner.

Daher mag ich jetzt mal experimentieren damit. Denn wenn der Datenzuwachs so weiter geht, dann kann ich mir spätestens zu Weihnachten Gedanken um nen zweiten Controller machen...

[bongobong]

...
Ich nutze die Sammlung als allerserses mal nicht allein. Dann ist die ja, wie oben erwähnt via Plex im Zugriff, sprich indiziert.
In dem Server läuft ein 16 Kanal RAID Controller und der ist aktuell mit 12 Platten belegt.
...

Betreibst du eine Online Videothek?

Bei dem Vergleich von x265 und x264 glaube ich dir das gerne, das man "keinen" Unterschied sieht.
Das war aber sicherlich direktkodiertes Videomaterial. Beim umkodieren von x264 nach x265 wird das sicherlich sichtbar.
Ich vermute (Halbwissen bei x265), das du mit Sicherheit nicht so viel Datenplatz einsparen wirst wenn du ohne sichtbaren Qualitätsverlust komprimieren willst.

Aber!
Wenn du es doch schaffst werde ich dir folgen!

Gruß
Dirk

[Guinness]

Die Platzersparnis hängt neben den Qualitätseinstellungen auch vom Quellmaterial ab.

Zwei Extrembeispiele mit nvenc --cqp 20:23:25:
The Fog (HD-DVD-"Backup"): Von 13,5 GB auf 4,9 GB
Bei Anruf Mord (SAT-Stream, mit TS-Doctor bereinigt): Von 9 GB auf 7 GB

Sichtbare Unterschiede gab es nicht, wobei beide Filme nicht gerade durch überragende Qualität der Quelle glänzen.
Bei Gelegenheit versuche ich mal, von einem brauchbaren Screenshot mit ImageMagick ein Vergleichsbild zu erstellen

[frauhansen]

Kein OnlineVideothek... aber auf meine Sammlung greift mal die gesamte Familie zu, als EBH und Tochter.
Dann nehme ich für die Kollegen die NASCAR Saison bei Sky auf. Die Armen können sich ja kein Sky kaufen hier in CH, selbst wenn sie wollten.
Ja und dann gibts schon noch den einen oder andern Kollegen der sicher gern mal ne Serie oder nen Film von meienr Datenbank anschaut.
Alles überschaubar... aber definitv weit davon entfernt eine Lösung wie "ahh, der ist auch HDD-22, die liegt im Schrank" in betracht zu ziehen.

Was ich bisher gesehen hatte, das war Transcoded x264 -> x265... ich find jetzt aber leider den Link nimmer.
Ich werde also selbst zum Experiment greifen und euch da hier mit Sicherheit zur Beurteilung stellen.

Muss mir jetzt nur noch nen Schnipsel suchen der passt. Also ein par schnelle Scenen, dann was dunkles mit schwierigem Kontrast und auch gern lange Schwenks über die Landschaft.

Wenn also jemand nen Film weiss in dem diese Anforderungen auf einem, sagen wir mal 2min langem Abschnitt zu finden sind.... bitte melden!
Ich denk da irgendwie an HDR... mal schauen!
Zusammenschnibbeln will ich nix, denn dann bemühe ich wieder den Transcoder des jeweiligen Schnibbel-Werkzeugs! Es sollte also als BR vorliegen.

Die Platzersparnis hängt neben den Qualitätseinstellungen auch vom Quellmaterial ab.

Zwei Extrembeispiele mit nvenc --cqp 20:23:25:
The Fog (HD-DVD-"Backup"): Von 13,5 GB auf 4,9 GB
Bei Anruf Mord (SAT-Stream, mit TS-Doctor bereinigt): Von 9 GB auf 7 GB

Sichtbare Unterschiede gab es nicht, wobei beide Filme nicht gerade durch überragende Qualität der Quelle glänzen.
Bei Gelegenheit versuche ich mal, von einem brauchbaren Screenshot mit ImageMagick ein Vergleichsbild zu erstellen

Ungefähr so hatte ich das erwartet.
Quali-Einstellungen habe ich jetzt merkwürdigerweise noch keine bemerkt in den von mir angeschauten Beispielen.
Alle bezogen sich bei x265 immer auf die ecoding-time vs. filesize.
Aber ich stehe da ja noch am Anfang, ich hab den x265 encoder ja noch nicht mal laufen auf der Linux Kiste!
Das wollt ich gestern machen, aber da war ich dann erst gegen 23:30 Uhr daheim, und heute auch keine Zeit weil Braukeller vorberieten und morgen ist Brautag und eigentlich sollt ich noch ne DB Convertierung für nen Kunden machen der am Montag starten will.
Altes Geschäftjahr Bilanzierung in CHF, neue un USD... ich dreh ab!!!

Aber vielleicht fällt Brauen ja auch aus denn die 50kg Malz und die Hefe sind noch nicht angekommen aber gestern mit der Post weg!

[bongobong]

Ich bin gespannt.....

Gruß
Dirk

[BergH]

Ich auch !

[Guinness]

Ein Beispiel: 30 Sekunden einer Ex-HD-DVD

Original H.264 - 86,0 MB
https://dl.dropboxusercontent.com/u/...mple2-h264.mkv

H.265 mit CRF 20 - 35,9MB
https://dl.dropboxusercontent.com/u/...h265-crf20.mkv

H.265 mit CRF 30 - 12,6MB
https://dl.dropboxusercontent.com/u/...h265-crf30.mkv

H.265 mit CRF 40 - 7,5MB
https://dl.dropboxusercontent.com/u/...h265-crf40.mkv

Screenshots:
keyframe-h264.pngkeyframe-h265-crf20.pngkeyframe-h265-crf30.pngkeyframe-h265-crf40.png

Vergleich mit ImageMagick zwischen H.264 und H.265 CRF 20 / 30 / 40.
diff-h265-crf20-autolevel.pngdiff-h265-crf30-autolevel.pngdiff-h265-crf40-autolevel.png

CRF 30 würde ich nur für Fälle nehmen, wo Qualität nicht so wichtig wie Platzersparniss ist. CRF 40 verbietet sich von selbst.
Bei CRF 20 sehe ich nur minimale Unterschiede, es wirkt etwas weicher. Ob man das beim Anschauen merkt ist eine andere Frage.

[frauhansen]

WOW, das ist ja schon mal ne Hausnummer... jetzt muss hansen nur noch mal hinterherspringen.

Meine Brausachen sind dann doch noch gekommen, Werkstatt ist hergerichtet.. Brautag morgen steht.

Es dauert also bei mit.

[BergH]

Heute Back' Ich , morgen Brau' Ich , übermorgen hole Ich das letzte aus dem MKV.

[frauhansen]

So, hab ffmpeg neu compiliert und nun funktioniert auch ffmpeg mit x265.

Werde dann jetzt mal etwas experimentieren und die Ergebnisse hier einstellen. Aus Ermangelung eines (siehen oben) Musters werde ich entweder das von Guinnes nehmen oder den Amition Kurzfilm.
Wobei diesem halt leider die dunklen Scenen fehlen. Dafür aber viele Details.

NACHTRAG: Der Performance Unterschied zwischen "medium" und "veryslow" ist gigantisch... Medium bei mit mit CRF20 um die 7.5 fps... als "veryslow" sind es noch 0.9fps

[frauhansen]

So, ein wenig rumexperimentiert habe ich jetzt mal... auf der Video Seite komme ich soweit ganz gut klar.

Der Grössenunterschied zwischen "veryslow" und "medium" beim "Ambition" Movie war grad mal was in die 9MB... lohnt also nicht!

Viel grösser Fragezeichen habe ich noch beim Thema Audio. Der "Amtion" Movie hat ja nur eine Tonspur. Da war es mir nicht aufgefallen, denn der hat nur eine.
Gestern dann mal ein BR Monster von 46GB vorgenommen. Das Ergebnis trotz Parameter "-c:a copy" war, das nur eine Tonspur im Zielfile enthalten war.
Der Parameter sollte doch eigentlich den Audio-Part unangetastet lassen.
Da muss ich dann mal etwa nachforschen.

Qualitätsfrage habe ich noch nicht abschliessend beurteilen können, einfach der Zeit wegen. Aber ich vermute jetzt mal das ich mit ner Qualitätseinstellung von 20 recht gut fahren werde.
Die Grösse sinkt schon mal amtlich! 4.6 GB Basis-File sinkt auf 196MB!!! Aber ich vermute jetzt mal das hier ggf. das Quellvideo ein Ausreisser ist.
Mit dem BR Monster von 45.8 GB komme ich mit CR20 auf 9GB... wenngleich nicht mit allen Tonspuren! Aber auch das find ich beeindruckend!

Ich hab den Ambition Teil mal in die Dropbox gelegt.. könnt ihr euch ja mal selber ein Bild machen
https://www.dropbox.com/sh/27v87hg3m...OwagklNia?dl=0

NACHTRAG: Das Original ist noch im upload.
Mit den "verloren" gehenden Audiostreams habe ich glaubs auch raus gefunden:
http://ffmpeg.org/ffmpeg.html#Stream-selection
und
http://ffmpeg.org/ffmpeg.html#Advanced-options

[frauhansen]

Hier ein sehr interessanter Artikel im Fall zu dem Thema... https://x265.readthedocs.org/en/defa...roduction.html
Ich hab grad mal etwas mit dem lossless und near lossless gespielt... mal schauen

[frauhansen]

So, jetzt hab ich mir mal vom Ambition Screenshots gemacht und die verglichen.

http://screenshotcomparison.com/comparison/168302

http://screenshotcomparison.com/comparison/168304

http://screenshotcomparison.com/comparison/168305

http://screenshotcomparison.com/comparison/168306

http://screenshotcomparison.com/comparison/168307

Es ist mir nich ganz gelungen immer den gleichen Frame zu treffen. VLC kann, soweit ich es benuten kann, nur auf den Zeitindex (Sekunde) zu springen und nicht auf einen exakten Frame.

Spoiler: Was mir jetzt aufgefallen ist, ist das es doch gerade in den Gesichtern einiges an Weichzeichnung ergibt. Ihr sehr mich jetzt etwas ernüchtert!

[Guinness]

Es ist mir nich ganz gelungen immer den gleichen Frame zu treffen. VLC kann, soweit ich es benuten kann, nur auf den Zeitindex (Sekunde) zu springen und nicht auf einen exakten Frame.

Es springt nur zu Keyframes, und die unterscheiden sich zeitlich beim neuccodieren.
Für 1:1-Vergleich habe ich zuerst einen Ausschnitt kopiert:

ffmpeg -ss 01:25:43 -t 00:00:03 -sn -i kompletterfilm.mkv -codec copy sample.mkv

und dann umgewandelt.
Hier mal ein Auge:
http://screenshotcomparison.com/comparison/168325

[frauhansen]

In Vergleich zu Deinem Screen-Vergeich sieht man bei mir doch schon amtliche Unterschieder. Ich finde meine reencodes sehen weich gezeichnet aus!

[Guinness]

--tune grain bringt nochmal ein wenig mehr Details, auf Kosten der Größe
http://screenshotcomparison.com/comparison/168330