OK!!!
Ich möchte hiermit ankündigen, daß ich der Allergeilste auf dem Planeten bin!!!11
Ich steh so auf, und denk mir, jo, ich hol mir ein Bier! Stolper ich ned übers Stromkabel am Boden, voll auf die Schnauze. Dreh ich mich so um und seh... 50% vom RAID haben irgendwie KEINE Elektrizität mehr! Stecker rausgerissen.. awhwhuawuah...
Zum Schaden auch noch die eigene Blödheit! Das brauchst! 
Der Storage Admin Pr0! 
Aber keine dauerhaften Schäden oder?
Aber ja, Einer muss einfach der allergeilste 
auf dem Planeten sein.
Prost Bier 
So, der Rebuild ist durch, wonach er jetzt meint, der Array wäre fertig. Leuchtet mir zwar nicht ein, nachdem das Init nicht Mal durchgelaufen ist, aber wurscht. Init wird eh überbewertet!
Hier Mal HDTune und HDTune Pro auf etwas, das so durchaus der fertige Array sein könnte (weiter unten gibt's Truecrypt), das Standardergebnis kommt dann auch in den HDTune Benchmarkthread.
Es handelt sich wieder um RAID-6, 64kiB Stripe Blockgröße wie auch zuvor schon. Wie immer: Shift+Click zum Vergrößern!
Von links nach rechts die Blockgrößen: 4kiB, 64kiB (HDTune Standard) und 1MiB Reads:
4k ist wie gewohnt "langsam", bei 64k sehen wir seltsame - aber 100% reproduzierbare - Schwankungen in einem bestimmten Bereich des Arrays, und bei 1M geht's richtig rund: Bei einer Blockgröße die breiter als der Stripe selbst ist, scheint die Einstellung "Read and Discard Parity" erstmals das zu tun was sie soll: Sequentielle Zugriffe beschleunigen! Hier verbrennen die Hitachis auch erstmals die Cheetahs mit einer recht konstanten Durchsatzleistung von 1.8GiB/s! Satt, wenn man bedenkt, das mit linearer Skalierung der Disks bei ca. 2GiB/s Ende wäre! Der Array performed hier also wirklich nahe am physikalischen Maximum der Disks. Das 64kiB Ergebnis hingegen ist dank seiner reduzierten Stabilität eher unter den Cheetahs einzuordnen.
Ok, kommen wir zu den Writes. Auch hier hab's Schwankungen, dieses Mal aber interessanterweise bei den höheren Blockgrößen, wohingegen 64k vollkommen stabil war. Auch das ist genau so 100% reproduzierbar. Wie dem auch sei..
Von links nach rechts die Blockgrößen: 64kiB, 512kiB (HDTune Pro Standard) und 1MiB Writes:
64k ist komplett stabil, bei den großen Blöcken sehen wir gegen Ende des Blockdevices starke Schwankungen. Alle Writes liegen im Schnitt über 1GiB/s wenn auch knapp was die 64k angeht. Mit einer satten Blockgröße von 1MiB schreibt der Array im Schnitt mit 1.5GiB/s.
Und zum Abschluß noch eine neue GPT Partition eingerichtet - aligned nach bestem Wissen - und mich an Truecrypt versucht. Das ist direkt SO schnell, daß man ein Full Encrypt durchrennen lassen kann, auch bei dieser Arraygröße (sofern er ned wieder crashed dabei), das hier "sollten" 512b Writes sein:
Keyprints wurden natürlich zensiert. Nach etwa einer halben Stunde Laufen Lassen pendelt sich die Sache bei ~725MiB/s ein. Das reicht natürlich nicht an die theoretischen Transferraten heran, liegt aber in einem gesund hohen Bereich würde ich sagen.
Nur eines ist jetzt trotz AES-NI Beschleunigung etwas spannend... Bei derart hohen Transferraten würgt's der CPU nämlich einfach trotzdem eine rein. Zwar schafft der Xeon X5690 irgendwas zwischen 4-5GiB/s im TC Bench mit Hardwarebeschleunigung, aber bei mehr als 700MiB/s wird das dann halt natürlich trotzdem meß- und spürbar:
Der Preis der Kryptographie, hier in Echtzeit bezahlt für: AES256-XTS.
Trari Trara, Trarumsassa.
PS: Jo, ich war/bin auch am RAM Testen, daher aktuell nur die Hälfte drin.
So, Truecrypt is fehlerfrei durchgelaufen, jetzt kopiert rsync Mal meine Daten rüber. Bis auf die xattrs konnte ich gleich meinen Syncbefehl aus Linux übernehmen, nur eins geht jetzt beim 64-Bit rsync 3.1.1 aus'm Cyygwin auf XP sogar zusätzlich, was mein altes rsync am CentOS Linux noch nicht kann: Total Progress (--progress --info=progress2). Ganz nützlich wenn man 10TB kopiert, weiß man wenigstens ca. wo man grade steht.
Grade schnell is rsync aber ned, über 120MB/s komm ich nicht raus. Klar, die Quelle wird auch schon fragmentiert sein, trotzdem, is auch bei alten Daten ned flotter. Bissl seltsam, hab testweise zugleich am neuen RAID mit Video Demux Mal rumgespielt, und auch mit Atto, und da gingen auch bei laufendem rsync und voller CPU Last durch mehrere x264 Prozesse immer noch 500-700MB/s.
Najo wurscht, ich laß es einfach laufen, danach kommen noch ein paar Benches. 
Edit: Äh?! Mal nachgesehen. Ich denke der rsync Total Progress Meter ist komplett broken, oder ich lese ihn falsch? Der meint er habe 220GB kopiert, dabei liegen schon 600GB am neuen RAID drüben mittlerweile, häh?!
so mein Areca geplagter Kollege 
hab das mal eben schnell überflogen - da hängt ein Corsair AX1200i drin und die Platten haben mit dem NT zu wenig strom bekommen?! (hab ein AX1200 ohne i, an dem hängen 13 Platten, 6 SSDs, ne 980ti@OC (vorher 580 SLI@OC) und nen SR2 mit 2 dicken Xeons und das hat bisher immer dicke gereicht - ok, sind auch nur Hitachi 7200 3TB Platten) - oder hab ich im blöden Kopp wieder die hälfte überlesen?
das mit den mini-Lüftern an den Backplanes kenn ich, das ist totale Scheisse... entweder du musst sau schnell drehende sau laute Lüfter kaufen (nervt) oder die Platten werden zu warm... zum glück hab ich damals ein Lian Li PC-P80N gekauft mit einer dicken Tür in der Front, in der 3 140er Lüfter stecken, die die Platten schön von vorne anpusten (so hab ich mir die kleinen Miefquirle hinten gespart, hab Ruhe und gescheite Temps) - leider gibt es so Gehäuse heute nicht mehr, da wohl kein Markt dafür da ist? Backplanes sind von Raidsonic - http://www.raidsonic.de/products/inter…e_objectID=1134 -> da kommt schön Luft von vorne durch
Im Rechenzentrum hat man das Problem ja in der Regel nicht, da die Racks von vorne mit kühler Luft versorgt werden, will man sich jetzt Zuhause auch was "dickeres" hinstellen kriegt man Temp Probleme, nervt einfach nur
PS: wie warm wird dein Controller? Wenns piept hat er >92°C 
EDIT SAGT:
weiter hinten gelesen (ich sollte son langen Thread nicht eben fix auf Arbeit überfliegen )
- Lüftermod auf dem Areca -> gute Sache, das der Alarm jetzt aus ist, ist halt blöd Ich hab das Teil damals komplett auf WaKü umgebaut (damals gabs von MIPS noch Wasserkühler: http://www.ghclan.de/img-homepage/h…ca/DSC_7709.jpg / http://www.ghclan.de/img-homepage/h…ca/DSC_7706.jpg - + zusätzlich ein Anfitec UCD Classic auf dem anderen Chip - ich hab irgendwo Bilder, lad ich noch hoch ) - wurde halt alles zu warm mit dem SLI noch und kein Platz im Tower und und...
- nochmal zum PC-P80N -> das hat auch noch Staubfilter in der Tür vorne (hab deinen Workaround gesehen ) - wieso bauen die so Gehäuse heute nicht mehr? 
Und das mit dem Kabelmanagement hab ich mir irgendwann gespart, 13 Platten, X Stromkabel, Wakü etc... ist nicht ganz so schlimm, aber schön ist anders
- Gewicht vom Tower - hab ich beim Umzug erst wieder gemerkt und mich gefragt "welcher Volldepp hat den PC zusammen gebaut? Oh!
- Backplanes und Y-Kabel -> ich könnte pro Backplane 3 Stromstecker anschliessen, das sah aber a) scheisse aus b) war dann das Kabelmanagement noch mehr im Arsch c) mit 1auf3 Y-Kabel hab ich dann überlegt, die hängen eh alle am gleichen Strang also sollte ein Stecker doch auch reichen? -> 1x RTFM von den Backplanes später "man muss nur 1 Stromstecker anschliessen" -> evtl. hilft das bei dir mit der Lastverteilung? Bei mir hängen die 3 5er Backplanes je mit 1 Stromstecker nur dran (seit jetzt kA 2 Jahren?) und alles super.
Ich hoffe man kanns lesen, ich tipp immer mal fix nebenbei hier, sorry dafür
ich mach auch mal nen Doppelpost (und sorry, das ich deinen Thread hier belager aber ich hab das Bedürfnis mich mitzuteilen )
Bilder gefunden! (da war ich irgendwie mal am Tower tauschen)
http://abload.de/image.php?img=img_5030iwjz7.jpg
http://abload.de/image.php?img=img_5047xtki4.jpg
damit komm ich dann unter Last auf ne CPU Temp (also die CPU vom Areca) von 36°C und ne Controller Temp von 41°C - und hab meine Ruhe (soviel Ruhe wie man bei 13 Platten halt hat )
Also wenn du mal bockig bist ne WaKü zu bauen und hilfe brauchst 
Das ist natürlich die absolute Endlösung, aber ich will ehrlich gesagt kein Wasser mehr im System, vor allem weil's auch oft länger durchrennt wenn ich nicht vor Ort bin, im schlimmsten Falle 3-4 Wochen. Ich kenne dieses nagende Gefühl der Nervosität noch sehr gut, wenn man einen wassergekühlten Rechner alleine zu Hause läßt, das würde ich mir lieber sparen. 
Laut Areca sollte meine CPU 100°C aushalten, aber Mal schaun wie es dann wirklich ist. Momentan erreicht er die 90°C nicht. Und wenn die Seitenwand Mal drauf ist, dann bekommt er auch noch mehr Extrakühlung, also um den Controller mache ich mir jetzt nicht unbedingt Sorgen.
Die Backplanes kann ich eh sauber verkabeln, aber halt erst wenn das alte RAID draußen ist und ich den Kabelstrang für 4P Molex frei habe. Ich hab einfach zuwenig Stecker am PSU, für'n SATA Powerkabelstrang für's alte RAID mußte ich einen PATA für die Bays opfern, daher die Frankenlösung.
Wie auch immer, rsync ist durch, diff ist durch. Paar Diffs waren zwischen den Arrays zu erwarten, und es schaut auch genau so aus wie gedacht, keine erkennbaren Schäden nach dem Transfer.
"D:\" und "I:\" haben jetzt ihre Plätze getauscht, womit der neue Array erstmals wirklich live ist. Bevor er vollständig ans Netz geht, wird noch ein letztes rsync drübergeblasen um die letzten Files zu syncen die inzwischen am alten Array noch dazugekommen sind.
Dann fehlt nur noch der vorerst letzte Schritt: Shutdown, rausreißen des alten Arrays, nochmal alles ausputzen, dann den Deckel drauf, und fertig sollte er sein!
Die Gelegenheit sollte ich noch für Fotos von den HDDs nutzen.
Edit: Bissl was is ja noch frei.
Post-rsync... Das kleine blaue Dreieck wird noch länger was zu fressen haben!
Mehr Benches:
ATTO 2.47 (der 3.05er will irgendwie nicht, daher die alte Version)
HDTach 3.0.4.0, Short (Klicken zum Vergrößern)
HDTach 3.0.4.0, Long (Klicken zum Vergrößern)
Everest Read Suite (Klicken zum Vergrößern)
Aida64 Read Suite (Klicken zum Vergrößern)
Sooo, ich denke das war's. Man möge mir die fehlenden HDD Bilder verzeihen, aber die Ungeduld war einfach zu groß. Also den 3ware rausgerissen, die Error/Status LED Header am Areca sauber und jetzt Mal in korrekter Reigenfolge gesteckt, die Titan Black hinten rum mit VRAM Kühlern bestückt (das stand auch noch aus), FBM wieder angeschlossen - Gott sei Dank, es funzt.
Und zu guter Letzt nochmal alles ausgeblasen, dann den Deckel drauf und das sollte es wohl hoffentlich gewesen sein!
Vielleicht werd ich irgendwann übermütig und offline den Array für ein paar HDD Pix, Mal schaun.
Grade Lasttests durchrennen lassen, und es schaut absolut top aus. Keinerlei Aussetzer irgendwelcher Art soweit.
So schaut die Last aus, wenn nur die HDDs was tun, nicht aber CPU oder GPU:
Corsair Link zeigt den Verbrauch von einem ASUS P6T Deluxe, einem unübertakteten Xeon X5690 und einer GeForce GTX Titan Black in Idle. Auch im System: Eine Auzentech X-Fi Prelude 7.1 und der Areca ARC-1883ix-12 mit seinem FBM. Dazu ein Kartenleser+FDD, drei BD/DVD±RW Laufwerke und eine Intel 320 SSD mit 600GB. Ajo, und, logisch: Die 12 × 7K6000.(Klicken zum Vergrößern)
Abschließend bleibt für's erste nur zu sagen: So leise wie ich mir gedacht hatte daß die Kiste werden soll, ist sie dann doch nicht geworden! Zwölf 7200er Ultrastars und diesen Sauhaufen an Lüftern hört man durch's LianLi Alupapier dann doch schön durch. Aber immerhin monotoner und weit angenehmer als vorher. Jetzt muß ich mich nur noch an den "Klang" des neuen Arrays bei Zugriff gewöhnen.
Jetzt muß ich mich nur noch an den "Klang" des neuen Arrays bei Zugriff gewöhnen.
Hast du die Möglichkeit das irgendwie gut akustisch einzufangen?
Und hier noch ein paar Nightshots vom fertigen System. Daß es bei den Side Intakes grünlich rausleuchtet war so eigentlich nicht geplant, aber das liegt an der LED Beleuchtung der Titan Black. Ist im realen, abgedunkelten Raum aber auch nur sehr dezent bis kaum zu sehen, vor allem im Vergleich zu den kranken superhellen Power LEDs der Bays.
Die Error-/Status-LEDs wurden hier manuell angewiesen allesamt aufzuleuchten, deswegen sind also auch 12 rote Lichter mit dabei.
Tower im Christbaummodus: Volle HDD Aktivität + manuell aktivierte Error-/Status-LEDs. Die Bays selber hätten auch noch eine rote LED für Lüfterausfall- und Temperaturwarnungen, die läßt sich aber nicht manuell einschalten. Eeh, die drei Blu-Ray LEDs hätte man noch blinken lassen können, aber was soll's (Klicken zum Vergrößern)
Bei den Sidefans, die mir Graka und vor allem den Areca kühl halten leuchtets ein bissl giftig raus, aber in Wahrheit sieht man das eh kaum, anders als die Bilder suggerieren. (Klicken zum Vergrößern)
Sodalla, RAID-6 Controller- und Disküberwachung ist reimplementiert, dieses Mal ohne Perl, dafür mit viel SEHR giftigem Batch (ist recht gruselig), Arecas "cli.exe", SmartMonTools und ein paar GNU Commandline Extras (grep, sed, tr, cut) für die Text-/HTML-Formatierung. Wird wie ursprünglich gehabt alle 24 Stunden updated.
Screenshot (Klicken zum Vergrößern)
Durchs Init, Rebuild und durch die Verschlüsselung sind die Werte bzgl. bereits gelesener und geschriebener Daten natürlich recht hoch. Find's aber nett, daß die SAS Disks das Auslesen der Reads & Writes per SMART zulassen, wie bei einer SSD. Dann braucht man nur mehr alle 12 Werte zusammenzählen für's Gesamtvolumen, so ein Feature wollte ich auch immer schon Mal haben für meinen Array. Vielleicht splitte ich das noch in jeweils zwei Werte, einmal "roh" mit Paritätsdaten, und einmal nur Userdaten...
62°C für die CPU is ja dann am Ende doch ganz vernünftig!
Was ist den Raum- und Casetemperatur? Die HDD Temps sind ja dann doch etwas hoch...Wieviel liest und schreibt er denn so per Tag? Kannst ja nochn einen netten Onlinegraphen programmieren!
Gratulation!
Kann ich... aber will ich? Nein, is mir zu wurscht. Für'n Graphen brauchst eine Datenbank und viel mehr Code, das is mir zuviel Aufwand. Ich kann ja noch ein Startdatum dazuschreiben, damit man durchdividieren kann letzten Endes.
Die HDD Temps wurden im Thread eh schon diskutiert, das liegt ned Mal annähernd an der Umgebungsluft. Selbst wenn die Umgebung 20°C weniger hat (habs getestet), nimmt die HDD Temp nur 3-4°C ab. Umgebung is sowas bei 25°C momentan. Case unklar, aber wird ned weit weg sein.
Die Packdichte der Disks ist für den Einsatz in einem Büroraum einfach zu hoch, noch dazu die Filter. Die Platten kleben ja wirklich direkt aufeinander. Besser wird's kaum mehr ohne sehr hohen statischen Luftdruck auf die Cages, und das spielt's ned. Daher müssen die Disks damit leben, fertig.
mach dir wegen den HDD Temps keinen Kopf, ich hab auch erst gedacht "48-55°C OMGOMG x_X" aber die laufen jetzt seit 2 Jahren so ohne Probleme, insofern...
Besser wirds nicht mit den HDD Cages ohne Klima vorne dran + ordentlich durchzug durch schnelle kleine Lüfter.
