Präsentation: 54.45TiB "Taranis" RAID-6 Array (War: 5.45TB "Helios" RAID-6 Array & 10.9TB Stage 2)

So, und für's Archiv: Das erste Verify/Scrub ist auch durch, selbstverständlich keine Fehler gefunden. Laufzeit bei 12 × 6TB in RAID-6 belief sich auf 29:07:29, also 29 Stunden. Das is ned grade extrem rasant (ca. 550MiB/s), aber der Array wurde ja auch aktiv benutzt in dieser Zeit (ca. 150GiB I/O derweilen) und die Priorität für Hintergrundtasks steht bei nur 20%.

Ist auf jeden Fall tragbar.

Edit: Ah, und hier noch'n normales Foto der finalen Kiste. Ich bitte den extrem beschissenen Farbraum des Bilds zu entschuldigen, die gemischten Lichtquellen (Kalt-, Warm-LED- und Tageszwielicht) waren ein Alptraum.

Und nach ~1 Jahr Betrieb das erste grobe Problem: Der Controller wirft eine Disk aus dem Array. Laut Controllerlogs und SMART Logs hat die Platte aber absolut gar keine Probleme. Also reaktiviert, Rebuild. Dann, vor 2 Tagen: Plötzlich klackts und drei Disks einer kompletten Bay (worin auch der Rebuild war) stecken mit Activity LEDs im Dauerlicht. Kein Zugriff mehr. Nach ~30sec hat's die Delayed Write Errors im Windows zu hageln begonnen.

Maschine Off/On, rannte wieder. Und grade vor einer knappen Stunde ist in der selben Bay eine andere Disk gefallen. Schaut nach einem Problem der Backplane aus. Habe zwar in weiser Voraussicht noch eine fünfte Bay angeschafft für Notfälle, aber daß ich die wirklich brauchen soll?

An den Disks scheint's jedenfalls nicht zu liegen, Verkabelung schaut auch sauber aus...

Pffh, dabei sind's eh passive Bays, also eigentlich nur "dumme" Platinen hinten drin, die kaum was intelligentes können.

Das kann schon noch passieren! Allerdings kann der Areca den Array auch mit Gewalt reaktivieren (wenn die Disk konsistent ist, isses ja kein Problem), soweit ich das auf'm Admininterface gesehen habe. Ein Ärger isses halt einfach.

Najo, eine Ersatzbay hab ich ja wie gesagt. Da werd ich die bestehende wohl tauschen, bzw. die Backplane rüberbauen.

Die zweite Disk die failed ist, sitzt in der selben Bay wie die erste. Und nein, es ist nicht die selbe Platte! Und einmal ist genau diese Bay schon als ganzes komplett failed. Ich denke das issn starker Indikator.

Zudem gibt es keine physischen Oberflächenfehler, keine Seek Errors, keine Probleme mit dem Spin und keine Timeouts. Sowohl Elektronik wie auch mechanische Komponenten der Disks schauen sauber aus. Auch ein Rebuild auf eine betroffene Disk ist fehlerfrei durchgelaufen.

Ich will nicht sagen es wäre "eindeutig", aber ich laufe einfach Mal dem deutlichsten Indiz nach.

AC Probleme würde ich sofort an der USV sehen, und auch auf dem USB Managementinterface vom Corsair Netzteil.

Vom Frame her wirken die Chieftecs ja eigentlich sehr hochwertig. Aber jo, ich werd's einfach demnächst tauschen müssen und aus. Ich seh's auch im Rebuild, daß die entsprechende Bay immer kurz steckt, und die Activity LEDs leuchten bei allen drei Disks der Bay weiter, während die anderen 9 Einschübe derweil kurz dunkel bleiben. Als würde diese eine Bay den Rebuild irgendwie bremsen. Das läuft periodisch so.

Mal schaun. Frische Backups hab ich, viel kann nicht passieren (außer erheblichen Zeitverlustes).

Rebuild wieder abgebrochen, Bay wieder im Lockup. Und *ding ding* die SMS dahergeträllert, Disk Failure, die nächste. Also 2 Disks down, tlw. hat er die zweite gar nicht mehr gesehen und ich mußte sie raus- und wieder reinstecken, sonst war einfach der Einschub dunkel. "Langsam wird's haarig" dachte ich mir dabei. Also Maschine gestern Nacht abgedreht und ins Bett verpflanzt.

Diese ganzen scheiß Probleme. Ich hatte ja auch Performanceschwierigkeiten die letzten Wochen, so wechselhaft zu- und abnehmende Leistung, fiel mir grade wieder ein. Vielleicht hängte das ja zusammen?

Natürlich hat's mir keine Ruhe gelassen, um 5 Uhr Mal aufgestanden für eine Klovisite, schau ich so rein... so dunkel da im Arbeitszimmer und so still... hat mich alles derart gewurmt.. Licht an, begonnen den Rechner zu zerreißen. Bay raus, komplett zerlegt, neue Bay auch zerlegt, Platinen und Lüfter verpflanzt, alles wieder zusammengebaut und reingesteckt. Knapp zwei Stunden Arbeit. So gegen 07:15 war's dann aber wirklich höchste Zeit, da muß ich einfach echt los zur Arbeit.

Edit: Wenn das jetzt echt so durchrennt und danach auch die Leistung wieder passt wie ganz am Anfang, dann kauf ich mir noch eine sechste (!) von den Bays als Spare. Scheinbar sterben die Bays ja flotter als die Disks. Schäden wie Brandflecken, gebrochene Lötstellen oder ähnlich waren aber visuell nicht zu erkennen.

Jo, SAS kanns wie gesagt ned sein. Weil die dritte Disk die failed is war an einem anderen Breakoutkabel. Habe soeben die Stromkabel von Bay 1 (sauber) und Bay 2 (betroffen) durchrotiert. Mal schaun ob als nächstes eine Disk in Bay 1 failed.

Wenns das auch nicht sein sollte, dann kann ich noch die Disks durchtauschen, obwohl das eigentlich nix bringen sollte.. Dann hab ich echt KEINE Ahnung mehr.

Irre aber: Die Daten sind IMMER noch da.. Und intakt.

(Fehlerhaften Rebuild würde ich sofort bemerken, da zerhackts mir die Cryptoscheiße, und es würd gar nichts mehr gehn.)

Man sollte auch dazusagen: Die Maschine wird nicht angefaßt. Die war nach Abschluß des Baus nie wieder offen... Wenn sonst noch jemand Ideen hat, nur her damit!

Edit: Was auch spannend ist: Nach einem Kaltstart ist der Array wieder schnell beim Rebuilden. Also irgendwas "passiert" da, was nicht nur Disks rauswirft, sondern auch noch die nachfolgende Leistung des RAID Arrays drastisch reduziert...

Ich habe den Noctua noch in der Anfangsphase wieder entfernt, und den Originallüfter wieder montiert, weil mir das letzten Endes doch nicht ganz geheuer war, das isses also nicht. Der kleine Fan ist halt etwas laut, aber was solls. Ich schau auch immer wieder Mal auf die Temps, der Areca hat ja einen Haufen Sensoren.

So, die Stromkabel sind von Bay 2 zu Bay 1 gewandert, und umgekehrt.

Bay 1 ist soeben (statt der 2er) ausgefallen. Das Problem "scheint" mit den Stromkabeln gewandert zu sein. Ich nutze die beiden jetzt Mal nicht mehr, und Teile die beiden verbleibenden Stromkabel von Bay 2 auf 1 und 2 auf.

Zur Erklärung: Jede Bay hat 2 Stromkabel. Allerdings läuft eine Bay laut Dokumentation auch mit nur einem Kabel. Also mach ich's jetzt so und versuche es erneut. Wie der Array diesen ganzen Wahnsinn bis jetzt überlebt hat ist mir echt schleierhaft...

Beim 3-Disk Fail muß man die LETZTE zuerst reaktivieren (also die, auf die noch konsistent mit dem RAID Zustand ist), und dann die beiden anderen. Danach kann man den Rebuild 1:1 fortführen. Haarig³, aber es funktioniert. Mal schauen wie lange... Glauben tu ich hier nicht mehr an viel...