Vorstellung: NAS 2.0 [43.65 TiB]

  • Die Lage sollte recht irrelevant sein, solange keine Bewegung im Betrieb stattfindet.
    Die besagten HDDs waren aber auch normal eingebaut.


    Temperaturtechnisch liege ich bei knapp unter 50°C, was im Rahmen ist. Volllast und Sommer.


    Die letzte Platte hat aber mit 370 kaputten Sektoren das RAID verwirrt. Die stammen wohl nicht von einem defekten Kabel, sondern wie GAT vermutet von einem Transportschaden o.ä..

  • Ich denke auch nicht, daß die Temperatur ein Problem ist, bei mir [schaut's ganz ähnlich aus], wobei diese Werte in der Nacht gemessen werden. Unter Tags habe ich auch schon Mal 49°C auf der heißesten Disk gesehen bei 36°C draußen. Kann noch über 50 gehen diesen Sommer denke ich. Ich weiß nicht mehr wer es war, der das explizit hier gesagt hat, aber ich teile die Meinung daß das schon ok ist, solange die Disks keine rapiden Temperaturwechsel mitmachen müssen.


    Zur Montage meint HGST folgendes (für Deskstars, aber das wird bei den anderen wohl nicht viel anders sein):


    Quote from https://www.hgst.com/sites/default/files/resources/DS7K3000_DS5K3000_IG.pdf

    There are many variations of system cases. Hitachi Deskstar drive can be mounted with any side or end vertical or horizontal. Do not mount the drive in a tilted position.


    Also nur "schief" sollte man meiden.


    Was genau meinst mit "das RAID verwirrt"?

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either...

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Edited 2 times, last by GrandAdmiralThrawn ().

  • Ajo, ok! Ich dachte schon es wäre noch irgendetwas seltsames passiert...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either...

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Von Mindfactory habe ich eine frische Platte erhalten, die nun auch wieder im RAID sitzt und vor sich hinwerkelt.
    Hier großes Lob an MF für den sehr schnellen Austausch.


    Und von HGST habe ich auch eine neue Platte bekommen, die sich nun als Ersatzplatte im Schrank befindet. Damit ich beim nächsten Mal (was nun sicherlich nicht wieder auftritt, ich bin nun ja vorbereitet) das RAID schneller wieder zum laufen bringe.

  • Siehst, weil du es sagst... Ich sollte mir auch noch eine Disk einfach hier auf Lager legen. Damit ich schnell tauschen kann im tatsächlichen Ausfallsfalle.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either...

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Schon lustig - unter NAS stellt man sich immer sofort die knubbeligen kleinen Kästen vor und dann sowas :D
    Na dann happy Speichering :spitze:
    Schönes Datengrab :)

    +1


    Habe auch erst an einen kleinen lustigen Würfel gedacht :D :D :D


    RESPEKT Chosen! :respekt: :respekt: :respekt: :thumbsup:

    Diskutiere niemals mit Idioten, sie ziehen dich auf ihr Niveau runter und schlagen dich mit ihrer Erfahrung
    Mein Herzblut:
    AMD 5x86-P75, 64MB-Ram, Voodoo I, Win3.11
    AMD K6-III+ 400 @ 550MHz, 768MB-Ram, Voodoo II SLI, Win98SE
    AMD 3700+, 3072MB-Ram, ATi FireGL X3-256
    , WinXP SP3 (Sockel 754)

  • Kleines Update. Das NAS hat nun eine 10 GBit/s-Anbindung zu meinem Haupt-PC.

    Auf beiden Seiten sitzt nun eine Mellanox ConnectX-3 mit SFP+ und einem Cisco 10GBe-LAN-DAC.


    Maximale Lese-/Schreibrate liegt nun bei ca. 190 MB/s (ca. 1,5 GBit/s).

    GrandAdmiralThrawn : Sind das realistische Werte für meinen alten RAID-Controller mit den HDDs über müsste da weitaus mehr drin sein?


    EDIT:

    Theoretisch sind 9,45 GBit/s drin. Bei 1,1 GB pro Sekunde hab so ein leicht verstörtes Lächeln im Gesicht.

  • Ich habe mit meinem alten 9650SE-8LPML ehrlich gesagt nie viel mehr als 200MiB/s erreicht, siehe folgender, lokaler Test von anno dazumal (hier schon mit XP x64 StorPort statt alten 32-bit SCSIPort Treibern, vormals war es noch empfindlich langsamer als hier zu sehen, nämlich unter 100MiB/s):


    3Ware 9650SE-8LPML mit 8 × HGST Deskstar 7K1000 in RAID-6


    Selbst wenn sich das mit deiner Leistungsmessung nur grob decken sollte, was die Art und Weise der Messung angeht, dürfte doch klar sein, daß der Controller nicht gar so viel mehr packen wird. Es gab zwar Leute, die behauptet haben, mit dem Ding jenseits der 500MiB/s erreicht zu haben, aber praktisch konnte ich so etwas nie nachweisen, auch mit sehr stark linearem I/O und großen Blockgrößen nicht.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either...

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Nachtrag: Nutze ich bei der StorSave-Einstellung Balance statt Protected im RAID-Controller (* ich habe eine BBU) habe ich ca. 205 MB/s.

    Hier endet die Reise wohl. Das sind aber ca. + 100 MB/s, fast + 100%. Damit kann ich leben.


    Dann heißt es nun auf das NAS 3.0 warten :D

  • Eigentlich ist das schon recht langsam für 7200U HDDs. Aber der Contoller limitiert hier wohl.


    Ich habe mit einem Areca 1680 Serie mit BBU und WD Red (3TBs) (5er Raid 5) mit Mellanox ConnectX2(Cisco SFP+ DAC)

    etwa 250 - 330MB/sek.


    Habe aber auch weiter nichts optimiert, die bis zu dreichfache Geschwinidigkeit zu Gigabit LAN reicht mir.

  • Ich meine, der Controller ist 13 Jahre alt, und die Technologie und IP haben schon die zweite Firmenübernahme hinter sich. Für das Alter ist die Leistung vielleicht nicht im absoluten (damaligen) Spitzensegment, aber so verachtenswert isses jetzt auch nicht. Vor allem, weil die 3ware Managementoberfläche und -funktionen schon echt nicht so schlecht sind. Und das gilt auch im Direktvergleich zu meinem 2018er Areca Controller.


    Recht solide ist das Ding auch, nur eine komplette BBU ist mir einmal eingegangen, aber das Gerät saß auch direkt über einem GTX 480 SLI, Rest kann man sich denken.


    Und für GBit Ethernet reicht's sowieso.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either...

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • OK, komische Dinge passieren...


    Vom NAS lesen ist weiterhin zwar schneller als 1 Gbit/s, bei einem Test mit einer großen Datei ca. 160 MB/s im Schnitt (gemessen), aber beim Schreiben auf das NAS habe ich einen enormen Geschwindigkeitsschub bekommen.

    Ich schreibe gerade mit 360-450 MB/s auf das NAS. Die Peaks gehen an die 450 MB/s, wenn ich der Anzeige Glauben schenken darf, aber im Schnitt habe ich 360 MB/s gemessen. Also 65 GB in 180 Sekunden über die Leitung geschickt.


    Das einzige was ich verändert habe war, dass ich jetzt TeraCopy 3 statt 2 benutze, aber seit dem Update geht hier die Post ab beim Schreiben.

    Ich weigere mich, dass an einem Tool festzumachen, dass mir den Kopiervorgang nur etwas komfortabler macht, v.a. bei einem Update, weil ich das Teil bereits seit 5+ Jahren nutze.


    Kann mir das jemand schlüssig erklären?! Ich habe gerade Fragezeichen.

  • Hm, nein. Wieviel RAM hat das Ding denn? Immer noch 16GiB?


    Du könntest einen simplen Systemschreibcachetest durchführen, um zu sehen wie "legit" das ist. Reiß ein SSH Terminal auf, normaler User genügt. Gibt "sync" ein, ohne zu bestätigen. Kopiere eine neue Datei über's Netz drauf, vielleicht 10GiB groß oder sowas. Wenn dein Client sagt "ist durch", drückst am SSH Terminal <Enter>. Ist zwar ein Milchmädchentest, aber je nachdem wie lange sync braucht kann man so ca. einschätzen ob die meisten Daten noch im Systemspeicher liegen, oder wirklich schon auf der Disk.


    Ansonsten schwer zu sagen. Vielleicht hat auch ein Kernelupdate durch neue Treiber irgendwas verändert am NAS? Als nächstes würde ich dann wohl auf dem NAS einen lokalen Sync Write Test durchführen, hier annehmend, daß /tmp/ physikalisch auf dem RAID liegt, nennen wir das "writeBench1M.sh", schreibt 10GiB sync mit Blockgröße 1MiB nach /tmp/test1M.bin raus:

    Code
    1. #!/usr/bin/env sh
    2. dd bs=1M count=10240 if=/dev/zero of=/tmp/test1M.bin
    3. sync


    Dann sowas in der Art, jetzt als root: # cd /tmp/ && chmod +x ./writeBench1M.sh && cat 3>/proc/sys/vm/drop_caches && sync && time ./writeBench1M.sh


    Dann müßtest sehen, ob die Leistung auch lokal durch die Decke geht beim Schreiben. Das Zielverzeichnis mußt vielleicht abändern, ich weiß nicht wie deine Partitionierungen aussehen usw.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either...

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Mal was anderes: [Umlüx] hat sich jetzt 12TB Disks für seinen 9650SE-4LPML bestellt. Bislang gibt es ja mit der letzten "wir können jetzt auch 4TB"-Firmware nur Tests bis 6TB und in einem Fall 8TB. Bald wissen wir ob der Steinzeitcontroller auch 12TB Platten frißt.. Ich bin gespannt.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either...

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • So, Triple Post Action!


    Hier haben wir die Antwort zum Einsatz von WD120EFAX-68UNTN0 12TB Festplatten im 512e Format:


    Blöd gelaufen...


    Der "READ FAILURE" Status ist in den Logs etwas besser abgebildet: DIT status: DRV_HAS_DCB_READ_FAILURE (0xEC).


    Der primäre DCB (Drive Control Block) mit den Metadaten zu einem RAID wird von 3ware Controllern ans Ende der Festplatten geschrieben, eine Backupkopie landet am Anfang. Meine wilde Vermutung: Der Controller versucht einen primären DCB zu finden, der jenseits seines adressierbaren Raums liegt, und fliegt dann auf die Schnauze. Fehler bezüglich des Backup-DCBs haben eigene, dementsprechende Fehlercodes, die hier nicht vorliegen. Wenn wahr, dann müßten 3wares mit der letzten Firmware LBA34 implementieren, was äußerst seltsam wäre, aber 234 × 512b / 1099511627776b = 8TiB. Und unterschiedliche 8TB Platten wurden schon von mehreren Personen erfolgreich getestet.


    Ein Thread [hier] zeigt, daß auch 10TB Platten nicht funktionieren, scheint die Theorie zu bestätigen. Muß natürlich nicht zwingend am LBA liegen, vielleicht ist dem auch sonst was wirres in der Firmware im Weg, was weiß man.


    Aber wenn man so große Disks kauft, darf man nicht damit rechnen, daß sie an einem 3ware 9650SE laufen, auch mit der letzten Firmware nicht.


    Edit: Und hier ist grade eine weitere Bestätigung von Umlüx (Betreiber dieses Systems) gekommen:


    8TB vs. 12TB am 9650SE


    Edit 2: Rechenfehler korrigiert.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either...

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Edited once, last by GrandAdmiralThrawn ().

  • So....Wartungsarbeiten abgeschlossen.

    Neue Gehäuselüfter, die bei gleicher Lautstärke etwas mehr Luft machen. Dazu endlich mal auf Debian 10 (Buster) aktualisiert.


    Und ich habe mich noch einmal dem Thema Schreibgeschwindigkeit gewidmet. GrandAdmiralThrawn , dein Skript macht irgendwie nichts. Pfad habe ich angepasst, aber es tut sich leider nichts.

    Also noch einmal manuell rangegangen. Habe eine 20,75 GiB (21.243,88 MiB) Datei über die 10GBe-Strecke auf das RAID geschrieben. Handgestoppt hat es 55 s gedauert, demnach waren es im Schnitt 386 MiB/s. Direkt nach Abschluss habe ich sync ausgeführt, dies hat 3,4 s gedauert.