Vorstellung: NAS 2.0 [43.65 TiB]

    Jetzt nach einiger Zeit im Produktivbetrieb ist es an der Zeit euch mein neues NAS vorzustellen.
    Hier seht ihr die Konfiguration der Hardware, sowie die Aufgaben, die es für mich erledigt. Aber zuerst ein kleiner Rückblick auf mein altes NAS.


    NAS 1.0


    Baujahr: 2013 (Oktober)
    Kapazität: 10.91 TiB (12 TB) [RAID 5-Array]
    Systemkonfiguration:

    • AMD Fusion E2-2000 [2x 1.75GHz / 2x 512kB / 18W TDP]
    • Asus E2KM1l-Deluxe [AMD FCH A50M]
    • 2x 4GB Corsair ValueSelect PC3-10667U CL9-9-9-24 (CMV4GX3M1A1333C9)
    • 2x Western Digital Red 750GB (WD7500BFCX)
    • 5x Western Digital Red 3TB (WD30EFRX)
    • 3ware Escalade 9650SE-8LPML
    • FSP Aurum S 400W
    • Fractal Design Node 304


    Alles in allem eine Konfiguration, die mehr auf low cost ausgelegt war. Keine starke CPU und sonst auch eher günstige Komponenten.
    Aber auch sehr portabler durch das kleine Gehäuse, was mit insgesamt 7 HDDs aber komplett voll war.
    Die Verwendung als Medienserver für die eigene Wohnung konnte der Kleine aber bewältigen. Nur, wenn es an die Umrechnung von Videodaten in Echtzeit ging war sofort Schicht.
    Die Leistungsaufnahme betrug ca. 65W.



    NAS 2.0


    Baujahr:

    1. 2016-04: Inbetriebnahme
    2. 2019-04: 10GBe-Upgrade
    3. 2020-09: CPU-Upgrade

    Kapazität: 43.66 TiB (48 TB) [RAID 6-Array]
    Systemkonfiguration:

    • Intel Core i7-4770 [4C/8T / 3.40 GHz / 8 MB L3 / 84 W TDP]
    • Gigabyte GA-Z97-D3H [Intel Z97]
    • 2x 8GB Crucial Ballistix Sport PC3-12800U CL9-9-9-24 (BLS8G3D1609DS1S00)
    • Intel SSD DC S3610 100GB (SSDSC2BX100G401)
    • 10x HGST Deskstar NAS 6TB (H3IKNAS600012872SE)
    • 3ware Escalade 9650SE-12ML + BBU-Module
    • Mellanox ConnectX-3 EN (MCX311A-XCAT)
    • EVGA SuperNOVA G2 750W
    • Nanoxia Deep Silence 6 Rev. B
    • 3x Noctua NF-A14 PWM (Gehäuselüfter)
    • 1x Noctua NF-S12B redux-1200 PWM (CPU-Lüfter)


    Anders als GAT setze ich weiter auf Standardkomponenten. Keine SAS-HDDs, kein Areca RAID-Controller. Der Einsatzzweck braucht es nicht und mein Budget hätte es nicht hergegeben.
    Aber dafür alles ein wenig schneller und stärker. Klein ist er aber nicht mehr. Und mit knapp über 30kg auch kein Leichtgewicht mehr. Dafür hat er nun genug Platz und Leistung, um über Jahre mein Medienserver zu bleiben.
    An was ich noch arbeiten muss ist die Belüftung. Ich wollte leise Lüfter, aber wenn ich meine Noctuas auf kleinster Geschwindigkeit laufen lasse laufen die HDDs außerhalb des empfohlenen Temperaturbereichs. D.h. ein Upgrade auf Lüfter mit mehr Durchsatz bei gleicher Lautstärke muss noch vorgenommen werden, aber das ist erst einmal hinten angestellt.
    Die Leistungsaufnahme beträgt ca. 145 W. Mehr und stärkere Komponenten bringen das mit sich.



    Bilder


    Entschuldigt bitte die schlechte Qualität. Mein Handy musste dafür herhalten.

    Diese sind nun im Anhang des Posts zu finden.



    Einsatzzweck


    Der Einsatzzweck meines NAS ist klein und recht einfach. Zum einen dient er als Datengrab für meine Dateien und zudem als Medienserver.
    Als Basis benutze ich die Linux Distribution Debian Buster (Version 10.x). Softwaretechnisch gibt es nicht viel auf dem System. Neben dem kleinen Webinterface für den RAID-Controller gibt es im Grunde nur noch den Plex Media Server. Dateifreigaben erledige ich via Samba.
    Zudem ist das RAID 6 komplett mittels VeraCrypt verschlüsselt.




    Ein paar Hilfen


    3ware 3DM2 unter Debian 9+


    Seit Debian 9 funktioniert die 3ware 3DM2 WebGUI nicht mehr, mit der man den RAID-Controller steuern kann. Hier eine kleine Anleitung, wie dieser wieder gangbar gemacht wird.

    Als Repo für die Installation habe ich das hwraid gewählt.


    Repo hinzufügen

    Neue Liste erstellen: sudo nano /etc/apt/sources.list.d/3ware.list

    Hinzufügen des Repos: deb http://hwraid.le-vert.net/debian buster main

    Signatur für das Repo hinzufügen: wget -O - https://hwraid.le-vert.net/debian/hwraid.le-vert.net.gpg.key | sudo apt-key add -


    3DM2 installieren

    sudo apt update

    sudo apt install 3dm2


    Fix

    Da vsyscall nun standarmäßig deaktiviert ist, funktionieren einige alte Programme nicht mehr, zu denen auch 3DM2 gehört.

    Issue: hwraid Issue #82

    Fix: Link

    Die Datei /etc/default/grub öffnen: sudo nano /etc/default/grub

    Den Eintrag GRUB_CMDLINE_LINUX_DEFAULT="quiet" in GRUB_CMDLINE_LINUX_DEFAULT="vsyscall=emulate" ändern.

    GRUB aktualisieren: sudo update-grub

    Neustart: sudo reboot



    Meine Samba-Konfigurationsdatei: smb.conf


    Die smb.conf kann hier bearbeitet werden:sudo nano /etc/samba/smb.conf

    Neben viel Schlangenöl, was die Geschwindigkeit erhöhen soll, kann man auch gefahrlos mit macOS-basierten Computern durch die Freigaben browsen, die lästigen .DS-Store-Dateien werden nicht angelegt.

    Schon lustig - unter NAS stellt man sich immer sofort die knubbeligen kleinen Kästen vor und dann sowas :D
    Na dann happy Speichering :spitze:
    Schönes Datengrab :)

    Ah, darauf habe ich ja schon recht lange gewartet! 8) Einige Dinge finde ich interessant bzw. habe ich Fragen dazu. Erstmal fällt mir die DC S3610 auf.. Hast du die wegen des 20nm HET MLC oder wegen der bisherig immer hohen Qualität von Intel SSD Controllern und NAND ausgewählt? Weil sowas liegt bei mir ja auch rum, als geplantes Upgrade für mein Mainsys. Die fällt jedenfalls auf!


    Der Rest schaut eh ca. so aus wie von dir beschrieben, als wir geredet haben - im ICQ denke ich war das. Mir wäre der 3ware ja zu langsam, aber klar, wenn man das Storage sowieso primär an GBit anbindet, dann passt das. RAID-6 ist denke ich auch selbsterklärend, hinsichtlich der Diskanzahl und der potentiellen URE Problematik bei doch relativ großen Disks. die 30kg wundern mich etwas, das ist ja fast soviel wie bei mir mit den schweren Stahlkäfigen, dem PSU voller gefühlter Steine und 12 Disks. ?(


    Die Noctuas, heh, da hast auch die billigen genommen. ;) Aber passt schon, die Lager sind schließlich das wichtige, die Feinheiten an den Blades wohl weniger.


    Eine für mich wichtig anmutende Frage habe ich aber: Wie identifizierst du defekte Disks? Sind die ordentlich durchnummeriert (nach Ports), oder gehst nach Seriennummer? Bei mir war's ja beim alten RAID-6 nach Seriennummer, beim neuen habe ich ja die Error LEDs an den Hotplug Bays vorne. Das war für mich immer eine Hauptproblematik, mit der ich mir NIE mehr blöd herumschlagen wollte. Diese "Wie tausche ich defekte Disks möglichst bequem aus, bestenfalls im Betrieb"-Geschichte...


    Edit: Gott sei Dank hast du etwas weniger Kapa als ich, sonst würde ich mich jetzt ökonomisch schwerst übertölpelt fühlen! :P :D

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Edited once, last by GrandAdmiralThrawn ().

    Quote from GrandAdmiralThrawn


    Edit: Gott sei Dank hast du etwas weniger Kapa als ich, sonst würde ich mich jetzt ökonomisch schwerst übertölpelt fühlen! :P :D


    Ey, Chosen! Nimm die 8TB oder die neuen 10TB Disks. Oder gleich 12 davon xD
    Der liebe GAT muss ja auch mal etwas gebremst werden xD Sonst überholt er noch Google^^


    Aber Cooles System^^

    Ja, die S3610 habe ich genommen um zum einen eine SSD als System-HDD zu haben und zum anderen sollte die auch sehr langlebig sein. War übrigens auch deine Empfehlung ;)
    Bzgl. des Gewichts macht das Gehäuse an sich schon viel aus. Die Seiten sind mit Gummimatten gedämmt. D.h. ich starte nur mit dem Gehäuse bei knapp 21kg :D


    Die HDDs sind sortiert eingebaut. Aufsteigend nach Portnummer und die Kabel beschriftet.
    Sollte ein Fehler auftauchen geht eine Mail an mich raus, die auch auf dem Handy landet, sollte ich mal nicht zu Hause sein.


    Bei den Lüftern muss ich halt noch einmal nachbessern. Ich brauche den Maximaldurchsatz der Noctuas, aber die müssen leiser werden. Sie sind zwar nicht laut, aber man hört sie.
    Verbaut sind aktuell Noctua NF-P14s redux-1200 mit 110m³/h bei 19.6dB laut Hersteller. Wenn da jemand einen Tipp hat, immer her damit.

    Leiser als Noctuas bei gleich hohem Durchsatz? Da muß ich wohl leider passen. Ich mein, nicht daß ich aktuell ein Lüfterexperte wäre oder so, aber ich denke da geht wohl ned mehr viel? 21kg für's Case alleine ist übrigens auch Mal eine Ansage, nicht direkt schwach. 8o


    Ah, und ich kann mir leicht vorstellen, daß ich Intel empfohlen habe bei SSDs, die Erfahrungen sind ja wirklich nach wie vor erstklassig, zumindest solange man bei 100% Intel bleibt (also auch was den Controller angeht). Habe ich die S3610 spezifisch empfohlen? Daran erinnere ich mich nicht mehr, aber es macht wohl durch die Bank Sinn. Ease of Mind.


    @HDD Order: Alles klar. Ist wohl hinreichend brauchbar. Wobei ich schon sagen muß, den Luxus die rote LED vorne leuchten zu sehen, und die HDD nur mehr rausziehen, tauschen und wieder einsetzen zu müssen war mir die Euros definitiv wert, die ich dafür ausgegeben habe. :P

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Da ich mich immer wieder mit dem Thema Lüfter auseinander setze, ob es nun an meinen PCs oder bei fremden PCs ist, sage ich es mal so: Du wirst keine besseren Lüfter mit höherem/gleichen Luftdurchsatz bei gleichzeitig geringerer Lautstärke finden.


    Ich habe das mal geprüft, leider passen bei dir offenbar max. auch nur 140mm Lüfter. Sonst hätte ich tatsächlich zu diesem Lüfter geraten.



    Evtl. ist Be Quiet noch eine Option. Wobei es hier leiser geht, aber dann eben auch der Luftdurchsatz nicht mehr ganz so hoch ist. Lohnenswert wäre evtl. auch, es mit mehr Lüftern zu probieren und am Ende einen Mix aus Noctuas/ Be Quiets zu verwenden. Je nach Einbauort verhalten sich die unterschiedlichsten (leisen) Lüfter unterschiedlich laut/ leise (Vibrationen, Luftverwirbelungen durch Rotordesign etc.).

    Ich habe genau Platz für zwei 140er direkt vor den HDDs in der unteren Fronttür. Dort sind zwei Einschübe für zwei 140x140x25mm Lüfter. Hinten passt genau einer an die Rückwand. Der wird aber nur eingeschraubt.
    Größentechnisch also sehr eingeschränkt.


    Evtl. wäre dieser Lüfter ja etwas: Enermax Apollish Vegas (Link)
    Ich brauch den bloß nicht in Bonbon und ohne LED ;)


    Jemand Erfahrungen damit? Sonst wälze ich mal Reviews.

    Da sind mir doch glatt alle Gehäuselüfter ausgefallen. Kabel für die Versorgung zur Lüftersteuerung war wohl zu stramm und hat sich über die Zeit gelöst.
    Die HDDs hatten ihre 70-80°C bevor ich das System runtergefahren hab.


    Jetzt mach ich mir erstmal Gedanken wie man die Kabel verbessern kann, damit das nicht noch einmal passiert.

    70-80°C... Huiui... Grade nachgesehen, weil ich's nicht mehr wußte: Die Drive Trip Temp ist bei mir auf 85°C laut S.M.A.R.T. Ich frage mich was die Platten eigentlich wirklich tun, wenn die Trip Temp überschritten wird? Bei einer CPU oder GPU isses klar, die schalten sich einfach ab und locken das System um den Chip zu retten. Aber was macht eine Disk? Legt sich die auch einfach schlafen? Wär ja im RAID Fall ja doch recht gefährlich.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Nach knapp 1.300 Stunden ist die erste HDD von HGST mit einigen UREs gesegnet worden und hat mein RAID in den Degraded-Zustand versetzt.
    Keine gute Show, die mir hier präsentiert wird. Baugleiche HDD gekauft und nach knapp 2 Tagen ist der Rebuild auch fertig.


    Jetzt werde ich den RMA-Prozess von HGST einmal testen. Laut Garantieversprechen müsste ich eine Austausch-HDD bekommen, die dann gleich als Spare in den Schrank wandert.
    Und ich hoffe, dass die anderen 9 Platten nicht auf die gleichen Ideen kommen.


    Und was ich sagen muss, dass die E-Mail-Benachrichtigung des 9650SE was richtig feines ist. Kurz und knapp wird gesagt was wo failed und welcher Zustand gerade ansteht.
    Ohne die LEDs, die GAT ein visuelles Feedback geben, ist das die einzige Möglichkeit, ohne dauernd auf das Webinterface zu glotzen. Und das lüppt.



    Zudem warten noch diverse Intel Quad GBit/s NICs auf den Einbau. Zusammen mit Debian 9 und dem dann standmäßig aktiven Samba 4.x wird dann mal die SMB-Multichannel-Geschwindigkeit getestet. Mal schauen, ob das so reibungslos läuft. Bisschen mehr als 112 MB/s wären irgendwie cool. Wobei da nun auch der 9650SE irgendwo limitieren sollte.



    Edit:
    Wenn jemand das Gehäuse aus dem NAS 1.0 braucht, darf er sich gerne melden. Ein kompaktes NAS hat ja schließlich auch was. Vor allem, wenn die Speichergröße der einzelnen Platten steigt.
    http://www.fractal-design.com/…ode-series/node-304-white

    Bitter finde ich das schon, nach nur so kurzer Zeit. Meine zwölf HGSTs haben jetzt ~14500 Stunden auf der Uhr und zeigen null Probleme. Stört mich etwas, weil ich bis auf die 7K3000 eigentlich durch die Bank HGST empfehle, neben Toshiba. Ich hoffe Mal, daß das nur ein unglücklicher Zufall war...


    Vor allem weil du ja eigentlich auch keine "falschen" HDDs ausgewählt hattest, sondern genau die, die perfekt zu deinem Einsatzzweck passen. :(

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Ich bin ja auch zufrieden, solange das bei dieser einen Platte bleibt. Dafür hatte ich null Probleme mit meinem NAS 1.0 (auch wenn ich da WD Reds hatte). Wenn es hier jetzt mal so ist, dann ist es so. Wenn jetzt die anderen Platten alle Nase lang dicke Backen machen werd ich fischig.
    So konnte ich nun einmal den Fehlerfall testen und alles scheint wunderbar geklappt zu haben.


    MTBF 1 Mio. Stunden vs. 1.300 Stunden seh ich grad :)


    Und dass es jetzt nach knapp einem Jahr die 8 TB für den Preis von damals 6 TB gibt. Achja...

    Ich hab auch noch eine Green in einem Buffalo NAS. Die wär innerhalb der ersten 2 Monate gestorben (da wären's dann ca. 200.000 Load-/Unload-Cycles gewesen), wenn wdidle3 nicht wäre. So lebt's jetzt halt schon seit 32.696 Stunden.


    Bei HGST hatte ich halt eine relativ große Sample Size: 50 Platten in Summe, ohne einen einzigen kapitalen Ausfall, mit Ausnahme der einen zur Backupfunktion degradierten Platte, die mir leider im noch drehenden Zustand aus der Hand gerutscht ist, beim Rausnehmen aus dem eSATA Dock.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Da hat echt jemand mehr Pech als wahr sein dürfte.. Es ist schwer zur Verläßlichkeit der HGST NAS 6TB Infos zu finden, aber zumindest einen weiteren User der eine Disk mit kaputten Sektoren aus der frischen Verpackung gezogen hat, habe ich finden können. Wir ham eh vorher geredet im ICQ, mir ist sowas auch Mal mit einer WD Raptor 600GB passiert.


    Vorerst hilft eh nur eins, das Ding gleich wieder umtauschen gehen... :(

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Darf ich mal blöd fragen: War es eine von den umgedreht eingebauten? Früher war das mal ein No-Go...URE traten bei mir auch mal auf als ich ein wackliges Powerkabel hatte, was warm wurde...Wieviel zieht er denn beim Rebuild? Is ja schon ne Extremsituation auch temp.mäßig...gerade im Juli.