Disc Rot

Das Problem liegt in der Chemie dieser Scheiben. Kommerziell gepreßte Medien sind üblicherweise aus anorganischen Materialien gefertigt, was den Azo Layer angeht. Dieses Material ist relativ robust, und die Scheiben können Jahrzehnte überleben, wenn sie dunkel und trocken gelagert werden.

Rohlinge, die man selber mit Daten bebrennt jedoch bestehen aus organischen Materialen, und diese sind ungleich empfindlicher, vor allem was UV-Strahlung angeht. Da sind mir schon Unmengen weggestorben, und ich und ein Kumpel hatten Daten auf über 10 Koffer mit 250 - 500 Scheiben pro Koffer weggesichert. Schwerer vieler, große Datenmengen sind deswegen verloren gegangen. Bei jedem Restore wieder waren kaputte Scheiben dabei, bei CDs wie DVDs. Es gab ganz seltene Scheiben wie z.B. die BASF CeramGuard, die mit einer Keramikschicht als Schutz bedeckt waren, die halten. Aber die waren halt auch teuer.

Bei mechanischen Festplatten und SSDs konnte ich bisher kein Bit Rot feststellen, obwohl das manche Leute besorgt. Hier ist mir unklar für wie lange die Magnetisierung bei Festplatten wirklich hält. Auch bei SSDs gibt's die Sorge, daß der Flash die Daten irgendwann einfach verliert.

Mein Backup habe ich daher auf mechanische SATA Festplatten umgestellt, die ich über ein USB 3 Dock anbinde und dann mit einem Skript per rsync rübersichere, und danach per diff verifiziere, daß alles sauber geschrieben wurde. Disk-2-Disk also. Gelagert werden die Backupplatten in mit antistatischem Schaum ausgekleideten HDD Koffern von Logilink, das schaut so aus:

LogiLink HDD Koffer

Die allerkritischsten Daten - von mir als "Kerndaten" bezeichnet - werden doppelt gesichert, wobei eine der beiden Backupplatten in einem Banksafe hinterlegt wird. Mittlerweile sichere ich wirklich mein gesamtes RAID-6, da wird nichts mehr ausgelassen, egal wieviele dutzende Terabytes es auch sein mögen. Das war damals noch, als Festplatten noch günstig waren. Aktuell natürlich ist der Aufbau einer Disk-2-Disk Backuplösung ziemlich eklatant kostspielig.

Ich plane aber noch eine Dreifachsicherug mit dreifacher räumlicher Redundanz, wo eine weitere Kerndatenplatte dann ordentlich verpackt auf der Arbeit im Schrank liegt. Die Scheibe an sich habe ich als Medium seit kurzem völlig aufgegeben. Auch meine Blu-Ray Sicherungs- und Kodierungslösung hat damit vor wenigen Tagen sein endgültiges Ende gefunden, aktuell noch völlig ersatzlos. Es ist einfach zu mühsam geworden.

Das wär's soweit.

Bei Originalscheiben hatte ich zugegebenermaßen noch keine Ausfälle bisher. Ich muß aber auch sagen, daß ich in den letzten 10 Jahren nur noch sehr selten sehr alte Originalmedien oder auch Rohlinge eingelegt habe, also ich glaube das sind weniger als 10 Fälle seit ~2010. Da zählen dann naturgemäß keine BDs dazu. Es gibt aber z.B. das [VA FTP Mirrorprojekt], an dem ich auch beteiligt bin. Da haben wir halt diverse FTP Server gespiegelt und ich halte aktuell den - ich glaube - größten Spiegel, wo auch Größen wie NVIDIA und HP/HPE oder IBM vertreten sind. Das alleine sind aktuell schon 13,1 TiB. Zugang privat möglich, Anfragen gerne per PM, Spiegel gerne erwünscht, wenn gewollt und technisch möglich. Das meiste sind Treiber und Firmwares denke ich.

Zum "Overpowered": Überschätze niemals Datenträger. Vor allem wenn du ein Depp bist, so wie ich! Einmal is mir mitten im Betrieb ein RAID-5 Controller aus'm PCI Slot gefallen. Der Array hat im Zuge dieses Ereignisses beschlossen, Selbstmord (?) zu begehen => CD/DVD Koffer. Mir sind schon DDS und auch LTO Bänder verreckt. Platten, SSDs, unfaßbar viele CDs und DVDs, echt alles dabei. Nur M-Discs habe ich noch ned probiert, aber ich kann nur sagen: Schaffe Redundanz auf Basis von langzeitgeprüfter Technologie. Ich habe schon 3 Mal ALL meine Daten verloren und irgendwie wiederherstellen müssen. Ein Restore im Multiterabytebereich ist schmerzhaft, wenn es von Scheiben kommt, soviel kann ich aus mehrmaliger Erfahrung beisteuern. Von HDD kommend ist das ungleich simpler, kann ich aus persönlicher Erfahrung ebenso sagen.

Aktuell würde ich trotz der exorbitanten Preise am ehesten noch mechanische Platten empfehlen, wenn es primär um Multimediadaten geht.

Puh Ein Archiv für alle Medien... Dafür müsste man mit etwa einem Petabyte starten(!)...

Als Anhaltspunkt: Myrient geht ende des Monats offline, momentan wird die Seite von Freiwilligen gesichert.
Der Admin kann die Seite nicht mehr finanzieren (6000 USD monatlich), ich meine von etwa 390Terabyte gelesen zu haben
(und das betrifft nur Konsolen Spiele).
PC Spiele von 1980 bis heute sind auch locker 100-200 Terabyte.

Audio und Video ist gar nicht so tragisch, vorrausgesetzt man setzt auf mp3,h265,av1...

Also wenn jemand einen Millionär oder ähnliches kennt, der die Infrastruktur stellt und monatlich dafür aufkommt;
dann wäre ich bereit da mitzuwirken.

Und noch ein Gedanke dazu:

Die FTP Daten und Treiber usw. sind ja public, aber bei anderen Zeug muss man ja immer drauf achten keine Rechte zuverletzen. Ansonsten ist es illegal oder im besten Fall noch Grauzone.

So trivial ist das auch bei Treibern und Firmware sowie sonstiger Gratissoftware nicht. Gratis != frei. Nur weil du irgendeine Software gratis von einem Hersteller saugen darfst heißt das noch lange nicht, daß dir damit ein Weiterverbreitungsrecht gewährt würde. Hier sind die Lizenzbedingungen zu ermitteln! Das ist auch der Grund, warum Zugriff auf den VA FTP Mirror nur bei Anfrage oder Einladung bereitgestellt wird, der ist nicht öffentlich für jeden erreichbar!

Bei Anime, Filmen und Serien ist es noch kritischer. Alles, was im Westen einen Lizenznehmer für den Vertrieb hat, darf zivilrechtlich nicht mehr raubkopiert und/oder weiterverteilt werden, oder du machst dich im Fall des Falls im Rahmen des Zivilrechts klagbar, weil du gegen das Copyright verstößt.

Ich hoste zwar auch eine satte Menge solchen Materials, aber das ist nicht einfach komplett öffentlich, sondern befindet sich netzwerktechnisch in einer militarisierten Zone. Wäre es einfach publik, würde ich wahrscheinlich gleich Mal vor Gericht landen.

Zum VA FTP Mirror nochmal: Der ist natürlich sehr limitiert. Es war nie meine persönliche Absicht alle Treiber, alle Firmwares oder alle Software zu sichern, sondern nur die für uns interessanten.

Auch war es im Übrigen nie mein Bestreben, alle Musik, alle Anime, alle Manga, alle Filme und alle Serien zu sichern. Der VA FTP Mirror ist das einzige datenorientierte Projekt wo auch Fremdinteressen eine gewisse Rolle spielen. Ansonsten archiviere ich seit ca. 1995 nur Sachen, die mich halt persönlich interessieren. Somit reicht für mich der Terabytebereich, ich komme mit meinen 54 TiB an nutzbarem Speicher jetzt schon bald 10 Jahre lang aus, und es ist immer noch eine zweistellige Terabytemenge frei. Würdest du "alles" sichern wollen, was die Medienwelt hergibt, landetest du in einem hohen Exabytebereich, da is nix mehr mit einem Petabyte-Array, da brauchst einen riesigen Storagecluster. Selbst wenn du's mit H.265/HEVC oder AV1 runterkodierst. Völlig unfinanzierbar und unrealistisch.

Schau Mal was Netflix für's Streaming an Hardware betreibt. Das ist komplett irre, hier ist ein regionaler Netflix Cluster:

Netflix "Open Connect" Streaming Cluster (Klicken zum Vergrößern)

Links und rechts hast Kaltdatenspeicher und Network Fabric, in der Mitte in rot (passend zum Betriebssystem) sind die FreeBSD Streamingserver, basierend auf zwei AMD EPYC CPUs und 2-4 × 100 Gbit NICs plus ein Haufen NVMe SSDs pro Brick. Und das ist nur EIN Netflix Cluster! Einer! Für eine kleinere geographische Region! Das ist hier die Liga.

Zum RAID-Controller: Das war meine Chaoszeit, wohl noch in den 90ern, als meine Rechner ausgesehen haben als wären sie der Schrottplatz. Nicht als kämen sie von einem, sie waren einer. Der Controller war nicht verschraubt (frag mich ned wieso, ich weiß es ned mehr), und ich habe bei dem Rechner mitten im Betrieb die Kühlung umgebaut. Ein Fehler, wie sich herausstellen sollte.

Zu Defekten: Ich habe schon SSDs wie auch HDDs verloren, zigfach, von gebrannten CDs und DVDs ganz zu schweigen. Vor allem beruflich als System Operator mit einem Verantwortungsbereich von etwa 50 Maschinen, inkl. SANs und größerer RAID Systeme. Aber auch privat. Gibt da ein paar tendenziell anfällige Marken (Looking at you, Seagate, and you, Samsung!), und davon hatten wir auch viele. Aber auch daheim sind eben schon welche gestorben, egal ob IDE, SATA, SCSI oder SAS, alles dabei. Zum Kontext: "Aktiv" betreibe ich zu Hause aktuell im 24/7 Dauerlauf drei SSDs und 24 mechanische Festplatten (12 × SAS 12 Gbit/s in RAID-6 und 12 × SCSI-3 in RAID-5). SATA Backupplatten gibt's auch noch 16 Stück, aber die laufen ja ned oft. Zudem 12 weitere U/160 SCSI Platten die das RAID-5 im Server mit einem RAID-50 im Terabytebereich ersetzen sollten. Das ist aber bislang nicht passiert.

Prinzipiell würde ich weiter auf mechanische Festplatten setzen, totgesagte leben länger. Wohl HGST Platten (Hitachi Global Storage) wo geht, ansonsten Toshiba oder UltraStars von Western Digital, da die wohl immer noch von der HGST Division gebaut werden dürften und damit recht robust sind. Wenn du auf's ganze gehen willst, könnte man noch auf LTO-8 Magnetbänder setzen. DDS3 und LTO Bänder haben wir schon seit 23 Jahren auf der Arbeit im Einsatz, sicher über 100 in Summe schon. Erst eines hatte defekte Sektoren produziert. Oder eben M-Discs, die sollen ja auch sehr haltbar sein. Beide eignen sich natürlich nur als Sicherungsmedien, also Kaltdatenspeicher. Wenn die Daten "heiß" sein sollen, also sofort zugreifbar, dann ist die Festplatte wohl immer noch klar das Mittel der Wahl. Aber sicher keine optischen Medien. Noch ned Mal Blu-Rays traue ich, daher habe ich die bisher auch alle ripped, sind auch schon hunderte.

Zu Spielen: GOG oder sonst Steam sind hier Optionen, wenn DRM als okay befunden wird. Im blöderen Fall zahlt man dann halt doppelt. Einmal für die CD/DVD Version, und ein zweites Mal weil du online kaufen mußt, wenn die optische Disc im Arsch ist. Blöd, aber besser als mit dem Verlust leben zu müssen, wenn man einen Titel echt unbedingt spielen mag.

Zur Musik: AAC-LC (mp4) und Opus haben ähnliche Dateigrößen wie mp3, aber pro Bitrate mehr Qualität. Zumindest AAC-LC ist extrem verbreitet, würde ich mp3 immer vorziehen. Spielt dir jedes moderne Gerät ab, wurde initial von Apple gepushed. Ist auch quasi der offizielle Nachfolger von mp3, beide Codecs wurden nämlich vom Deutschen Fraunhofer Institut entwickelt. Funny, die beiden verbreitetsten Musikcodecs der Welt stammen aus Deutschland, nicht aus den USA.

Millionäre kenne ich persönlich leider keine.

Quote from Johnnii360

Aber Bitrot hatte ich bis vor kurzem auch noch nicht gekannt. Ich dachte immer, HDDs wäre da "unkaputtbar" in der Richtung.

Nein, weder HDD noch SSD halten die Daten "garantiert". Ich meine bei HDDs versprechen die Hersteller 180 Tage Lagerung ohne Datenverlust. Alles darüber kann klappen, muss aber nicht. Bei SSDs ist das ähnlich.

Es macht absolut Sinn die Images von optischen Medien als Archiv (7zip, zip, rar) zu speichern und die Sicherung so einzustellen, dass es Paritätsdaten gibt. Ich meine WinRar kann das... Hintergrung ist, dass dann ein Bitkipper der HDD wiederhergestellt werden kann. Man kann natürlich auch ein Dateisystem verwenden, dass das kann. Oder sowas wie RAID5 oder oder oder. Viele Wege führen nach Rom.

Ich persönlich habe die wichtigsten (Hobby) Daten lokal auf dem PC, dann auf dem NAS und nochmals vom NAS gesichert auf eine externe USB HDD, die ich regelmäßig anklemme. Nicht die beste Strategie und nur ein klein wenig paranoid, aber besser als nix.

Wobei ich sagen muß daß ich SSDs und auch HDDs hatte, die schon um die 10 Jahre nur rumlagen. Die Daten darauf waren soweit erkennbar aber auch alle noch intakt.

Ein als äußerst paranoid bekanntes Dateisystem bzw. Volume Managementsystem wäre ZFS. Das rennt halt nur unter FreeBSD und Linux und so auch auf manchen NAS Boxen, aber jo. Hier kriegst du optional Triple Parity (quasi "RAID-7"), jeder Block wird mit einer Prüfsumme versehen (standardmäßig SHA-256 mit SHA2 Hardwarebeschleunigung, geht optional bis SHA-512) und kann auch nette Dinge wie AES-NI-beschleunigte Verschlüsselung, Datenkompression und sogar Block-Level Deduplizierung. Da kann man sich dann richtig austoben bis der Arzt kommt.

Wenn du Johnnii360 aber wirklich auf optischen Scheiben bestehst, dann würde ich von denen einfach ISOs ziehen. Solange kein besonderer Kopierschutz drauf ist kann man das schon machen. Und man könnte sich auch in die rechtliche Problemzone bewegen und Kopierschutzsysteme einfach aushebeln. Wenn die Originalscheibe stirbt, kannst die ISOs zumindest noch auf eine CD-R oder DVD-R fackeln. Dann isses zwar nur mehr ein häßlicher Rohling, aber jo. Du könntest auch soweit gehen die Scheiben in hoher Auflösung zu scannen und einen Labeldrucker anschaffen. Dann könntest bedruckbare Scheiben mit den ursprünglichen Labeln bedrucken. Ist halt echt viel Arbeit wenn man so weit gehen will.

Aber erst Mal ISOs von allen noch funktionierenden Scheiben die du hast zu ziehen, das könnte man Mal andenken.

Das leidige Thema Bitrot....

Um sich davor zu schützen, muss man an mehreren Stellen ansetzen.

Das manche CDs einfach wegrotten ist noch das kleinste Thema.

Arbeitsspeicher. ---> Dieser ist verdammt übel. Einmal ein schlechtes Modul drin. Daten verändern sich beim Kopieren von HDD auf HDD, von CD auf HDD beim laden übers Netzwerk. Selbst beim Bearbeiten von Textdateien können hier Bits flippen.

---> Setze ECC Speicher ein, und vor allem von DDR5 non-ecc die Finger lassen. (ecc-ondie ohne Reporting. Dazu noch Memory Training und Herstellerselektion... ---> nein danke)

HDDs / SSDs. ---> hier kann mal ein klassischer Bit Flip vorkommen.

---> Setze auf ZFS
2 Platten verschiedene Hersteller im mirror für Backup, pro Set.

Und ZFS im System.

Selbst ist mir das Thema Datensicherheit schon relativ lange bewusst, aber nur laienhaft. Angefangen hats mit einer gebrannten CD mit Office 2000, die ich von meinem Lehrer bekommen habe. Die hat irgendwann Lesefehler gehabt. Jedoch hatte ich zum Glück zuvor von wem Alcohol 120% bekommen und so hab ich bereits so manche CD auf meine damals spärliche 8GB-Platte gesichert, wo auch die besagte Office-CD dabei war. Von da an hab ich Images von optischen Datenträgern angefertigt, soweit es ging. Es war aber auch vorteilhaft im Bezug der Lesegeschwindigkeiten und des Handlings von Images gegenüber CDs.

Da ich zudem damals schon mehrere Rechner parallel hatte, (wegen "Kinderzimmer-LAN" ) so haben sich meine Datenstände immer parallel auf den Rechnern befunden. So hatte ich auch lage Zeit keine Angst vor (und Probleme mit) RAID 0, jene ich solange hatte, bis die ersten SSDs bei mir ankamen. Nur ein einziges Mal gabs Probleme mit den Seagate-Platten und ihrem Firmware-Bug. Die waren leider in meinem Haupt-Sys und ich habe immer nur spärlich die aktuellen Datenstände auf die anderen Rechner verteilt. Aber zum Glück hat der Seagate-Support diese wieder hin bekommen, sodass ich am Ende keinen Datenverlust hatte.

Mittlerweile hab ich aber seit ~10 Jahren ein Eigenbau-NAS mit FreeNAS und ZFS. Die aktuelle Ausbaustufe ist aber so, dass 3 Platten problemlos ausfallen können. Zudem fertige ich davon alle 1-2 Jahre ein Offline-Backup an.

@GAT
bzgl. Exabyte
an sich hast du ja nicht unrecht, daher schrieb ich ja 'starten' mit 1 Petabyte.

Ich kenne den Aufbau bei Netflix nicht, die werden die Daten auch Redundant und vermutlich in verschiedenen Qualitäten abgelegt haben; und klar, Streaming ist nicht Archivierung.

Ansonsten ist das gar nicht soviel:
2000 Filme in h265 bekommt man in 10TB unter.
Nehmen wir 1000 Filme pro Jahr seit 100 Jahren, kommen wir auf 100.000 Filme=500TB.

Es gab einen dump von Spotify ca. 300TB (und da ist FLAC dabei).

Also mit 1-2 Petabyte könnte man schon einen gewaltigen Anteil abdecken.
Da ist dann halt die ungarische Telenovela (wow ich habe dieses Wort vorher noch nie benutzt) von 1992 nicht dabei.

Erinnert mich ein wenig an diese Werbung: Langsames Internet? Bestellen Sie noch heute das gesamte Internet auf 9637 DVDs oder ohne p0rn auf 2 CDs!

@BitRot
habe da schlechte Erfahrungen gemacht, ist schon lange her, aber ein defekter Ram hat den großteil meiner Daten zerhackt. War damals noch Schüler und hatte daher auch keine richtige Datensicherung (also kein Geld für Redundanz). Mit ECC wär das nicht passiert.
Die bedeutung von ECC wird mir daher zu oft heruntergespielt. Habe ich ECC-Ram in meinen Gaming-PCs? Nein. Aber auf allen Workstations mit denen ich (für mich wichtige) Daten bearbeite.

Ich habe früher auch viel auf CDs und DVDs gebrannt, irgendwann wars dann billiger (also Euro/GB) auf HDDs zu gehen. Konnte daher rechtzeitig alles wieder auf HDDs sichern. Ich hatte 1-2 CDs/DVDs die in einer CD Tasche so richtig oxidiert sind, die klebten dann darin und die Datenschicht blätterte raus.

Viele überschätzen die Komplexität von ZFS. Mir ging es erst auch so. Es ist einfacher ein ZFS einzurichten und zu betreiben als ein EXT4.

zpool create poolname mirror Disk1 Disk2

Und das zfs ist aktiv, gemountet und ready to use.

zpool export poolname

Hängt das Dateisystem aus.

zpool import poolname

Hängt das Dateisystem ein.

Brauchst keine Partitionierung, kein gparted kein garnichts.

Natürlich gibt es genug Stellschrauben und Tuningsmöglichkeiten. Aber nutzen muss man die nicht.

Das Teil ist doch schnell. Ich hab hier ein kleines Raspberry PI 4 CM Modul mit ZFS am laufen. Und der hat noch mehr als genug Reserven, wenn ich andere Dinge damit machen will.

Ein ZFS ist halt sicherer als ein EXT4 Aber jedem das seine

Der I5 ist doch nur ein Spielzeug.... Habe hier einen 32 Kern Epyc stehen und paar dicke XEON Systeme. Aber darum geht es nicht.

Dennoch ist die CPU schnell. Nimm mal einen 486er und schau, was die damit gemacht haben... Dann schau dir mal einen Mittelklasse Pentium III an. Mit Windows 2000 / Office 2000. Das lief. Und alle unsere aktuelle Hardware ist schnell im Vergleich. Die Software ist nur langsam. Unterschätze die kleinen CPUs mit einem gescheiten Linux nicht. Solange mal keinen modernen Webbrowser drauf öffnet...

Das ist das schöne an blockorientierter Bild-, bzw. Videokompression. Auch Audioframes sind da weitestgehend unproblematsch. Wie du sagst sind ein paar kleine, ignorierte Fehler einfach kein Problem. Dann hast maximal für eine Group of Pictures teilweise einen kaputten Block, und sobald der nächste, volle Referenzframe kommt ist der Fehler wieder weg. Kein wirklich großes Malheur. Hauptsache man hat das meiste gerettet. Beim Audio dasselbe, da ist dann halt kurz ein Störgeräusch drin und das war's. Unproblematisch. Sicher, unschön, aber kein Desaster.

ECC is naturlich ein super Tipp, nur muß man halt aufpassen daß man eine Plattform zusammenbaut die das auch unterstützt. Mein Filer zu Hause (die fette XP x64 Maschine) könnte technisch sehr wohl ECC. Meine CPU und der Chipsatz unterstützen das. Nur hat sich ASUS in ihrer unendlichen Blödheit entschlossen, das Feature im BIOS meines X58 Boards nicht anzubieten. Danke für nix. Da muß ich bislang auf Holz klopfen, ist noch nicht zu Problemen gekommen. Und selbst wenn, ich habe eh die Backups.

ZFS kann übrigens, muß aber nicht ressourcenintensiv sein. Wenn du die Deduplizierung nicht einschaltest, braucht's nicht zwingend viel RAM. Dein Celeron J4105 unterstützt sowohl die SHA als auch die AES-NI Befehlssatzerweiterungen, das heißt sowohl das teure Hashing der Blöcke wie auch die AES-256 Verschlüsselung im XTS Betriebsmodus sind wären hardwarebeschleunigt. Verschlüsselung wäre also ebenso günstig wie das hochwertige Blockhashing des Dateisystems. Kompression? Ginge, kannst aber auch einfach ausgeschaltet lassen. Parity RAID? Kostet schon ein bissl was, ließe sich meiden indem man RAID-1 nimmt wie von Bier.jpg vorgeschlagen.

Ich mein' nur, ich will's dir nicht auf's Auge drücken. Hier auf der Arbeit habe ich auch nur zwei NVMe SSDs in RAID-1, zwei SATA SSDs auch in RAID-1 und dann noch zwei 12 TB Festplatten, ebenfalls in RAID-1. Und alle sind mit grundlangweiligem xfs formatiert, also einem Dateisystem das sich halbwegs mit ext4 vergleichen läßt. Gesichert wird auf einen Fileserver mit ECC DDR4 SDRAM und einem SAS RAID-6.