Präsentation: 54.45TiB "Taranis" RAID-6 Array (War: 5.45TB "Helios" RAID-6 Array & 10.9TB Stage 2)

  • Ich mein, die Powerkabel sind natürlich alle verlängert, weil sich das sonst einfach nicht ausgeht. Nur... sowas macht man ja gelegentlich auch mit ATX Steckern, und deswegen geht auch nicht alles kacken?

    Wobei, wer weiß ob's das überhaupt war/ist. Klar, Bay 1 (mit den beiden failed Disks in Bay 2) ist kapital failed (alle 3 Disks auf einmal). Wenn ich die Kiste nicht schnell abgeschaltet hätte, hätt ich mich wieder spielen dürfen, weil dann hätte ich ggf. bis zu 5 failed Disks gehabt.

    Nur, war's das wirklich? Ab und zu denke ich mir schon ich sollte mir ein Oszilloskop kaufen und bedienen lernen..

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Das stimmt. Damals war mein neues Netzteil noch nicht da, und das Übergangstrumm hatte nicht genug Stecker, weswegen ich auf einen Haufen alter Y-Kabel aus den 90ern zurückgreifen mußte, die hier noch rumgelegen sind. Die sind allerdings restlos entsorgt. Die Verlängerungen die sich jetzt im System befinden wurden beim Bau allesamt neu gekauft.

    So, das Pic suckt zwar (so wie dieser unsägliche SB-N5 Blitz der das beleuchtet hat), aber jo, so schauts derweilen innen aus:


    (Klicken zum Vergrößern)

    Der Kingston HyperX ist brandneu. Aus meinen 6 Crucials ist ja zum. ein Modul verendet, und ich hatte die längste Zeit nur 24GB, also ein Triplet entfernt. Jetzt wieder 48GB, laufen aktuell bei DDR-III/1333 8-8-8-24 (default Settings im BIOS, sollte zwar laut Doku 8-9-8 sein, aber ok).

    Ajo, falls das Bild extrem lahm lädt, oder falls es sogar zu Timeouts führt: Oja, ich weiß. Der Webserver wird aktuell brutal bombardiert. Ich hoffe das hört bald auf, sonst muß ich mir irgendwas überlegen...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Einmal editiert, zuletzt von GrandAdmiralThrawn (17. August 2023 um 15:42)

  • Rebuild durch. Bei der Gelegenheit noch heute (wieder in der Früh vor der Arbeit) die Kiste runtergenommen um endlich die Startech Quad Controller USB 3.0 Karte einzubauen. Ganz oben in den PCIe x4, der an der ICH10R hängt. Ging nur knapp, und die Rückseite der Karte mußte isoliert werden (Plastik), weil sonst das Lüftergitter draufdrückt. Aber es rennt.

    Beim Wiedereinschalten waren die oberen 4 Disks dann rot => Klare Sache, SAS Kabel aus'm Controller gerutscht, den mußte ich ausbauen, sonst hätte ich ihn mit dem Kühlkörper der USB 3.0 Karte beim Umbau beschädigt...

    Nochmal Notabschaltung, Rechner auf, Kabel wieder ordentlich gesteckt, zu, hochgenommen. Derweil rennt er. Nur muß ich per SSH+VNC auf die Kiste und "lokal" überwachen. Hab nämlich vergessen das LAN Kabel vom Controller wieder anzustecken. :bonk:

    Wenigstens krieg ich jetzt keine eMails und SMS mehr wenns wieder knallt, hab ich meinen seligen Frieden. :topmodel:

    +1 fürn Areca aber, er hat wirklich gekämpft um den Array, und für's erste gewonnen!

    Kann noch nicht ganz glauben, daß es schon wieder Stromkabel gewesen sein sollen. Erst Mal beobachten...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Eigentlich müßte ich ja hergehen und die Verkabelung wirklich prüfen. Weil das kann's eigentlich schon nicht sein was da passiert. Aber jetzt erst Mal schaun, ob er lebt oder stirbt.

    Ich beginne bereits wieder auf der Maschine zu arbeiten (remote halt), schaun wir wie es tut wenn ich ordentlich I/O anlege..

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • rofl, jetzt ist das FBM (Flash Backup Module) Kabel beim Umbau in der Früh auch rausgerutscht, hatte das aber nicht bemerkt, weil das LAN Kabel ja auch nicht dran war (und damit keine Warnung rausgegangen ist). Netzwerkkabel angesteckt und schon war eine SMS da. WIEDER Shutdown, scheiß Kabel wieder ordentlich anstecken, ich hoffe jetzt war's das dann Mal für eine Zeit...

    Das Vertrauenskapital in das Ganze muß jetzt erst einmal wieder laaangsam über mehrere Wochen oder ggf. Monate aufgebaut werden.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Du ahnst nicht, wie weh diese Aussage grade getan hat, wo ich alles drahtlose doch irgendwie so massiv verabscheue... :rolleyes: :P

    Vor allem WarzenLAN.

    Aber jo, jetzt Mal im Ernst; Die SAS Kabel (also der ganze SFF-8643 Standard!) sind echt nicht so super. Da kommen mir die alten SFF-8087 schon besser vor von der Arretierung her, aber was willst machen, es sind halt nur die SFF-8643 für internes SAS/12Gbps zertifiziert, und da der Controller das nun mal kann, muß er auch den dazupassenden Kabelstandard anbieten. Und das FBM... Da gibt's gar keine Arretierung. Das Kabel geht sehr leicht raus. Ich mußte den Controller ausbauen um die USB 3.0 Karte rein zu bekommen (für's neue Backup Dock), sonst hätte ich den Areca wohl beschädigt mit dem Kühlkörper der USB Karte, weil da einfach kein Platz war. Dabei wurden halt das FBM Kabel und das eine SAS Kabel leicht abgezogen.

    SFF-8643 haben sehr wohl eine Arretierung im übrigen. Aber die ist aus Plastik (anders als die Metallklammer von SFF-8087) und einfach zu gängig. Die hätten den ganzen scheiß Stecker (und die Buchse!!) aus Metall vorschreiben sollen, sodaß der Stecker richtig in eine Tunnelführung rein muß, und dann ordentlich arretiert. Aber nein.... Es mußte wieder Spiel bleiben und Plastik sein. :(

    Die externen SFF-8644 sind auch Metall (man erinnere sich an SFP+, nichts hält besser als sowas), also wieso ned intern auch? ;(

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • So, nach 4½ Jahren durchgehenden Betriebs gibt es nun das erste Problem mit einer HGST UltraStar 7K6000 SAS Platte. 11 der 12 Disks sind nach wie vor fehlerfrei, aber Platte #2 hat beschlossen, ein paar UREs (Unrecoverable Read Errors) zu fabrizieren, wonach sie vom Areca ARC-1883ix-12 aus dem Array geworfen wurde. Passiert ist das beim linearen Demultiplexen (Lesen und "Entpacken") einer 30.5GiB großen M2TS A/V Containerdatei.

    Die Fehlermeldungen durch den Areca Controller (Mail+SMS und Front-Fehler-LED) haben astrein funktioniert.

    Aktuell rebuilde ich Mal zurück auf die selbe Disk, wird aber wohl nur für eine Weile gut gehen.

    Aus meinem HGST-Pool aus bisher über 30 Platten privat und über 12 Platten auf der Arbeit (paar sind vereinzelt als Desktop HDDs verbaut, genaue Anzahl weiß ich nicht auswendig) ist das soweit ich mich korrekt erinnere die erste HGST Disk, die einen URE produziert hat. Bei den 8 vorangehenden 2TB Disks aus dem 3ware Array gab es ja vereinzelte Reallocations, aber keine UREs soweit ich noch weiß.

    Soviel Mal als Statusbericht zum laufenden Array.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Wie gehts dem Array aktuell eigentlich? Werden die ~55TB langsam voll?

    Ach ja, kann man ja fast live nachschauen: https://www.xin.at/xin/raid6stats/raid6stats.html

    Zitat

    Global array S.M.A.R.T. information:

    ===================================

    Total data read from array (raw, with N+P parity data) : ~6114 TiB

    Total data written to array (raw, with N+P parity data): ~285 TiB

    Total data read from array (user data) : ~5095 TiB

    Total data written to array (user data): ~238 TiB

    :respekt:

  • Der aktuelle Füllgrad liegt bei 27.5 von 54.5TiB. 27.0TiB sind also noch frei. Allerdings ist da auch viel Restmüll dabei, ich nenne das "Scratchdaten". Das sind aktuell 5.81TiB, die man eigentlich löschen könnte. Sind Quelldateien und Encodingresultate, von denen letztere längst ihren Weg in ein .mkv gefunden haben.

    Ich behalte das nur eine Weile auf, falls ich wo einen Fehler gemacht habe. Dann kann ich's hinten nach leicht korrigieren, wenn die Quelldateien noch wo rumliegen.

    "Recovered Write Errors" sowie "Recovered Read Errors" gibt es mittlerweile natürlich ein paar, und die URE-Platte hat schon 10 davon angesammelt. Also wenn eine stirbt, dann die. Mich beeindruckt die Fehlerfrequenz aber nicht sonderlich, also lasse ich den Controller das weiterhin durch ECC wegbügeln.

    Andere Platten zeigen keine UREs und auch keine wiederzugewiesenen Sektoren.

    Die aktuelle Uptime des 12-Disk großen Arrays beträgt jetzt 40.498 Stunden, also grob gerundet ungefähr 4 Jahre und 7 Monate an Betrieb.

    Edit: Nur die Temperaturwarnungen von drei SAS Bays haben Mal wild gefiept und geleuchtet. Beim Wahrnehmen von dem Lärm ist mir schon ganz unwohl geworden, klang so nach "omg, wir sind alle im Arsch!". Aber es war einfach nur der ganze Staub, der die Hütte schon zu dicht gemacht hat an den Stahlnetzfiltern die ich eingezogen habe in die Einschübe. Da hatten die Disks schon um die 60°C. Immer noch weit weg von der kritischen Temperatur (85°C), aber jo.

    Mal im Betrieb sauber gemacht, und die Bays sind eine nach der anderen wieder ruhig geworden über so 15 Minuten hinweg oder so.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Einmal editiert, zuletzt von GrandAdmiralThrawn (1. Juli 2020 um 18:36)

  • So, die Platte mit 10 URE's ist soeben wieder aus dem Array geflogen, jetzt zum zweiten Mal. Na dann werden wir heute Abend Mal das Cold Spare bemühen.

    Bisherige Lebensdauer bzw. Laufzeit der zwölf Platten: Ungefähr sechs Jahre.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • "The last reply was more than 365 days ago, this thread is most likely obsolete": Ja eh, ich weiß.

    Habe heute die ganzen Fotos und Screenshots von meinem Server runtergeladen und hier direkt auf VA hochgeladen und ein paar Kleinigkeiten editiert. Laufzeit: Um die 8 Jahre. Wird langsam echt richtig alt, das Zeug! So wie ich. :topmodel:

    Jedenfalls nähert sich das langsam meiner favorisierten Hardware-Mindestlebensdauer von 10 Jahren. Einen Ersatzcontroller habe ich vor 1 oder 2 Jahren (oder heuer?! Weiß nicht mehr...) auch endlich Mal billig auf eBay ergattert, normal haben diese Wahnsinnigen immer über 1000 Euro verlangt. Aber ich denke der Markt ist gesättigt und große RAID Controller interessieren privat einfach keine Sau mehr. Gibt auch quasi keine vernünftigen Gehäuse mehr dafür, außer halt für 19", und da kauft man das Zeug ja normal eh vom OEM mit. Mal schauen wo [der hier] landet.

    Der Verbund steht weiterhin bei einer defekten Platte von zwölf. Die anderen zeigen bislang keinerlei Fehler in Sachen Oberfläche, Lager oder Mechanik. Nur ein paar Fehler am SAS Bus, weil ich halt SAS/12Gbps über SAS/3Gbps Backplanes laufen lasse. Die korrigiert er aber eh immer durch Retransmissions. Mittlerweile gäbe es ja von Chieftec [neue Versionen] dieser Backplanes mit echter Eignung für den schnelleren Bus und einer noch massiveren Bauweise, aber das Geld will ich nicht ausgeben und die Arbeit will ich mir auch nicht machen. ;) Kostet 70€ pro Bay, sind mit Versand auch um die 300€.

    Ein Upgrade der Platten ist sowieso überhaupt nicht in Aussicht, erstens wegen Geld und zweitens weil immer noch über 12 TiB frei sind. Die optimalen und jeweils günstigsten SAS Optionen mit ordentlich Zuwachs wären 12 × 16 TB = 145,52 TiB Nutzkapazität für 3360€, 12 × 18 TB = 163,71 TiB netto für 3648€ und 12 × 22 TB = 200,09 TiB netto für 4932€. Aktuell völlig undenkbar, sowas.

    Edit: Oder man baut 12 × 30,72 TB Samsung OEM SSDs ein für 335,28 TiB netto um läppische 45500€, geht natürlich auch! xD

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    3 Mal editiert, zuletzt von GrandAdmiralThrawn (17. August 2023 um 16:42)

  • Ich bin schwer beeindruckt das nur 1 Platte bisher streikt. Das ist ja gar nicht mal so teuer im Unterhalt (abgesehen von Stromkosten) wie ich vermutet hatte. Glückwunsch!

    Ich hoffe das ist ok wenn ich direkt hier frage sonst mach ich nen eigenen Thread auf:

    Ich such ne Empfehlung für ein 2 Bay oder 4 Bay NAS.

    Ansprüche hab ich fast keine. Es soll halt gut wartbar sein und möglichst klein, kostengünstig, Web-Erreichbar sein und Plex können. Kannst du mir da was empfehlen?

  • Bei NAS Systemen bin ich relativ ratlos. Ich würde tendenziell aufgrund des Feedbacks von Leuten die ich kenne zu QNAP oder Synology greifen, die haben beide (für bestimmte Modelle) Plex Mediaserver Support. Aber ich habe jetzt nicht nachgeschaut, welche genauen NAS Boxen kompatibel sind, Listen gibt es von Plex [hier] und von Synology [hier]. Ist halt die Frage was du mit "billig" meinst. Also 200-400€ mußt da für ein leeres NAS schon rechnen. Da sind andere Marken auch nicht besser als die zwei Platzhirsche.

    Aber hier kennen sich sicher etliche Leute mit NAS Systemen 10 Mal besser aus als ich. :)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • GrandAdmiralThrawn
    Danke für die Antwort. Bisher fasse ich tatsächlich die DS224+ von Synology ins Auge, die kam gerade erst raus mit Quadcore Celeron. Ja, günstig ist relativ. Ich brauch halt kein Schnickschnack wie Front LCD oder sowas :)

    Long-Term Storage will ich mit externen Festplatten sichern und die ganz wichtigen Sachen mit M-Disc Scheiben.

  • Ich würde ehrlich gesagt nicht mehr auf optische Medien wie M-Discs setzen. Das ist natürlich nur meine persönliche Einschätzung, aber bisher muß ich sagen: Bit-Rot habe ich auch auf 30 Jahre alten Platten noch nicht gesehen. Hatte ich damals zum Spaß in meinem 486er eingebaut, vor einigen Jahren.

    Disk-2-Disk isses. So arbeiten wir auch im professionellen Kontext. Gut, teilweise gibt es da auch noch Band, aber das ist ehrlicherweise antik. Wenn du offline sicherst (also "Kaltdaten"), dann sicher einfach auf eine HDD. Wenn du supersicher sein willst (so wie ich es teilweise will), dann sicher auf zwei.

    Mein simpelstes Konzept, das ich auf der Arbeit implementiert habe: Ich sichere mit rsync (weil Verlaß) auf zwei über ein 19" Case per USB 3.0 eingehängte Platten, also auf zwei 8 TB HDDs. Superbillig und super-effektiv.

    Ich habe mir die M-Discs persönlich echt lange überlegt, aber pro Byte sind rotierende Platten einfach so viel billiger, Alter, da kannst du dir ZIG kaufen bevor sich M-Disc rentiert hat. Was glaubst du können deine Nachfahren in 100 Jahren eher lesen: Eine optische Disc, oder eine SATA Platte?

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"