Lost FTPs and quasi lost FTPs - Mirroring wanted! [Datenrettungs-Projekt]

  • Ah, das hatte ich leider überlesen! Alles klar, jo!

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Dito bei File #2.

    Viele Grüße

    soggi

  • Avira hat sich jetzt auch gemeldet, zuerst aber noch die Meldung zu den Dateien von http://downloads.dell.com/bios, die ich vergessen hatte einzufügen:

    Zitat
    Datei Ergebnis
    o790c-e05.exe Clean
    o990c-e05.exe Clean
    o990-e04.exe Clean
    t1600e05.exe Clean
    e5520e01.exe Clean

    Nun die Rückmeldung zu den Dateien von ftp.fic.com.tw:

    Zitat
    Datei Ergebnis
    I3CAuto.exe Clean
    http://svb.zip/svb.zip Major.1644

    Viele Grüße

    soggi

  • Wäre dieser Thread btw. nicht besser im "Software" Subforum aufgehoben? Ich such ihn zuallererst immer dort. ;)

    Habe jedenfalls gestern früh mit dem Mirroring des IBM PCCBBS begonnen, leider halt mittels HTTrack, mit halbwegs höflichen Einstellungen. Der Betreiber des Spiegels hat sich leider noch immer nicht zrurückgemeldet. Noch kann ich nicht abschätzen wie riesig das wird, aber bei 20GiB sind wir schon Mal.. Bin gespannt wie fett das Archiv dann wird.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Doppelpostler!

    Das mit dem IBM PCCBBS wird noch dauern. Der Mirror ist... dezent groß. Und mit HTTrack will ich mich halt nicht benehmen wie die ärgste Ursau. Bei 42GiB unkomprimiert sind wir schon. Ich muß das jetzt von der Arbeit (hab's hier im Hintergrund mitlaufen lassen mit WebHTTrack) nach Hause verschieben, weil ich auf meiner Workstation hier nicht mehr genug Platz habe. Das bremst den Vorgang noch zusätzlich etwas.

    Kann also schon noch eine Zeit dauern, ich gehe Mal vorsichtig von 1-2 Wochen aus.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Alter Schwede! :spitze:

    Naja "Software"...hatte auch überlegt, aber hier ist halt schon der im Startpost benannte andere Thread drin und mir geht's eh vorwiegend um die Hardware bzw. hardwarenahe Software.

    Wie sieht's denn aus? Scannt ihr eure Mirrors auch mit AV-Software?

    Und ja, ich muss den Startpost immer noch überarbeiten...

    Viele Grüße

    soggi

  • Bisher nicht, ich habe die .7z auch noch nicht entpackt bei mir, zuerst will ich noch den IBM Mirror hergesaugt bekommen. Ich plane sogar, AV eventuell völlig fallen zu lassen auf meinen Maschinen (ist noch unsicher).

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Kann ich sogar verstehen...das einzige Mal, dass es in den letzten Jahren wirklich genutzt hat, war das Abwehren von Mining Scripts auf diversen Seiten. Die Ressourcen betreffend ist AV-Software schon seit Jahren übel...auch wenn's vor ein paar Wochen/Monaten deutlich besser geworden ist. Vorher brauchte es beim Update von Signaturen schonmal ~1 GB RAM...und so viel steckt grad mal im Rechner.

    Viele Grüße

    soggi

  • So, Projekt und Daten transferiert und Download resumed. Immerhin weiß ich jetzt, daß sich ein Linux/UNIX WebHTTrack Projekt ohne weiteres mit Windows / WinHTTrack austauschen läßt.

    Edit: Bezüglich der im Startpost als "offline" markierten Mirror; Kannst die irgendwohin hochladen? Zu mir oder konstl, egal. Zugang zu meinem FTP hast ja zumindest. Dann lassen sich die auch weiterspiegeln.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Ich würde jetzt ganz faul und salopp einfach mal 2tb zur Verfügung stellen wollen. Muss mich aber noch mal in Ruhe durch die ganzen posts lesen.

    Gruß René Schöneich

    ... ewig am basteln ...

  • Edit: Bezüglich der im Startpost als "offline" markierten Mirror; Kannst die irgendwohin hochladen? Zu mir oder konstl, egal. Zugang zu meinem FTP hast ja zumindest. Dann lassen sich die auch weiterspiegeln.

    Äh GAT...hast die Links in der ersten Spalte übersehen!?

    Ich würde jetzt ganz faul und salopp einfach mal 2tb zur Verfügung stellen wollen. Muss mich aber noch mal in Ruhe durch die ganzen posts lesen.

    Gruß René Schöneich

    Gerne doch, gib einfach nochmal Bescheid!

    Viele Grüße

    soggi

  • Jo, habe ich! Hab nur gesehen: rot - offline, also weg. ;)

    Edit: Einige davon sind .tar Archive, also eher für UNIX/Linux Plattformen gedacht. Da tar.7z wenig Sinn macht (7z läßt sich nicht als tar Dekompressor registrieren, weil es den POSIX Parameter -d nicht unterstützt). Hier würde es mehr Sinn machen, xz zu verwenden, in dem ebenfalls ein LZMA2 Algorithmus verfügbar ist, ich verwende hier üblicherweise Single Thread mit 1.5GiB Dictionary (wie bei 7z, wo das das Maximum darstellt): -9 -e -M 40GiB --lzma2=dict=1536M, unter 7z presse ich so: -m0=lzma2 -mx=9 -md=1536m -mmt=1, braucht knappe 40GiB RAM, wenn das Archiv groß genug wird. Single Thread deswegen, weil es die Kompressionseffizienz noch weiter erhöht und zudem viel RAM spart.

    .tar.xz macht einfach viel mehr Sinn bei den Archiven, wenn die dazu gedacht sind, auf UNIX/Linux Maschinen entpackt zu werden. So bleiben auch POSIX-konforme Metadaten der Dateien erhalten, die 7z fallen lassen würde, wenn man das .tar enpackt und als .7z neu packt. Die Dateien würden trotzdem so gut gepresst wie mit 7zip+LZMA2.

    Edit 2: Den Biostar Server hole ich mir zur Gänze, nicht nur BIOSes und Manuals.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    7 Mal editiert, zuletzt von GrandAdmiralThrawn (27. September 2018 um 13:53)

  • Also ich verstehe jetzt die Information über das Packen nicht...die sind nicht von mir, die Archive, ich habe die auch nur von da gezogen. Die .tar Archive sind außerdem ohne jegliche Kompression - dient wohl nur als Container, damit man eine einzige Datei hat.

    Viele Grüße

    soggi

  • Geht ihr das ganze nicht ein bißchen sehr theoretisch an? Für den Fall dass ihr keine dicke Leitung habt, kann ich es ja die pack Diskussion verstehen.

    ABER:

    Bei mir lagere ich alles as is, ganz normal als zip bzw tar.gz. Auf der einen Seite sehe ich den Sinn schon traffic zu sparen, auf der anderen Seite sind die alten Treiber etc nun nicht die platzfresser. Ganz abgesehen davon dass stark komprimierte verzeichnisse auch CPU beim antivirus verbrauchen.

    Ich würde einfach rsync laufen lassen und max 2TB mirrorn.

    Vielleicht fangen wir auch erst mal an, bevor wir uns noch zu Tode überlegen ?

    ... ewig am basteln ...

  • Äh...wolltest du nicht den ganzen Thread lesen?

    Angefangen ist schon längst und so wie ich das mitbekommen habe, speichern die anderen unkomprimiert. Hier gibt es keine schnelle Leitung (~180 KiB/s DL bzw. ~24 KiB/s UL) und meine verfügbaren Platten gehen nicht über 160 GiB hinaus. Hier gibt es eh nur eine 1 TiB Platte und der Rest ist max. 250 GiB groß. Davon abgesehen ist es immer besser, weniger Traffic zu erzeugen, egal ob einen selbst das gerade juckt. Nicht die Platzfresser? bis zu 70 GiB für einen einzigen FTP Mirror finde ich schon extrem happig

    Zum weiteren (re)organisieren der Sache komme ich frühestens nächste Woche.

    Viele Grüße

    soggi

  • .tar != .tar.gz

    Und das sind .tar, eben nicht .tar.gz!

    Beispiel:

    EA Mirror, grade gepackt. .zip File hat 33GiB. Mein .7z File mit oben genannten Einstellungen hat 16GiB! Noch Fragen? Ich denke da erübrigt sich die Diskussion, oder? ;)

    soggi schlägt eben 7zip mit LZMA2 als Default vor, was auch vernünftig ist. Ich presse nur die .tar mit xz, weil das ebenso vernünftig ist. Weil dann kannst mit $ tar -xJf <datei>.tar.xz entpacken. Mit 7zip geht das nicht, da mußt immer zweistufig arbeiten, und das ist einfach ein Schund. Zudem hat kaum ein Linux oder UNIX Server 7zip vorinstalliert. xz hast aber so gut wie immer, daher das Standard .tar.xz bei den "UNIX" Files, und .7z bei denen, die als .zip oder roh daherkommen.

    Meine Anbindung ist 8/8Mbit. Alleine gestern habe ich 70GiB über meine Leitung rinnen lassen müssen. Da spart man sich (und den anderen) viel Zeit, wenn man ordentlich preßt.

    Daran ist auch nichts "theoretisch"? Brauchst ja nur die .zips entpacken und mit 7zip mit LZMA2 neu verpacken, fertig. Ich geh halt auf's Extrem mit Single Thread und riesigen Dictionary für mehr Dedup. Ich sage aber jetzt nicht, daß sich das jeder antun soll. Wenn ich aber (z.B. bei Konstl) sehe, daß ich eine deutlich kleinere Version eines Archivs habe, dann ersetz' ich seines halt, dann is der Download auch für die anderen schneller.

    Edit: soggi hat mich überholt!

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Wobei ich deine Komprimierungsmethode @min. 40 GiB RAM nicht unterstütze...habe grad max. nen Core2 Duo mit 4 GiB RAM...:topmodel: - meine Einstellung beim Komprimieren ist 64 MB Wortbuchgröße und 64 Wörter. Das ist vertretbar mit paar hundert MiB RAM. Dass du beim EA Mirror damit nochmal 6 GiB eingespart hast, ist schon ziemlich krass (vgl Statpost).

    Die Komprimierung habe ich eh nur für die (schnellere) Verteilung vorgeschlagen, persönlich habe ich sowas auch lieber entpackt rumliegen. Wichtig ist, dass wir alle die selben Daten vorhalten und keine Inkonsistenzen entstehen.

    ...aber wir sind ja eh noch sehr am Anfang der ganzen Sache!

    Viele Grüße

    soggi

  • Is kein Problem, entpacken kannst es ohne Schwierigkeiten auch mit 4G RAM, ich denke mit knapp unter 2G kommt man schon aus. Beim Packen spar ich ned, da wird die ganze Hardware geopfert für noch kleinere Files! ;)

    Wenn ich's hab', wieso ned nutzen!

    Edit: Bei DELL sichere jetzt mehr aus Versehen als Absicht auch mehr als nur die BIOSes. Da sind jetzt auch Handbücher und Treiber mitgegangen. Sind unkomprimiert auch schon 31GiB statt 14GiB, najo. Warum nicht. Mal schaun wie fett das wird.

    Edit 2: Ich versuche mich grade an einem Skript, das mittels wget die Gesamtgröße einer Downloadwebseite eruiert. Mal schaun ob das hinhaut. Dann weiß ich wenigstens, ob ich den DELL Downloader auch gleich nach Hause verschieben darf. ;)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    4 Mal editiert, zuletzt von GrandAdmiralThrawn (28. September 2018 um 11:00)

  • Äh...wolltest du nicht den ganzen Thread lesen?

    Angefangen ist schon längst und so wie ich das mitbekommen habe, speichern die anderen unkomprimiert. Hier gibt es keine schnelle Leitung (~180 KiB/s DL bzw. ~24 KiB/s UL) und meine verfügbaren Platten gehen nicht über 160 GiB hinaus. Hier gibt es eh nur eine 1 TiB Platte und der Rest ist max. 250 GiB groß. Davon abgesehen ist es immer besser, weniger Traffic zu erzeugen, egal ob einen selbst das gerade juckt. Nicht die Platzfresser? bis zu 70 GiB für einen einzigen FTP Mirror finde ich schon extrem happig

    Zum weiteren (re)organisieren der Sache komme ich frühestens nächste Woche.

    Viele Grüße

    soggi

    Ok, ich habe mir jetzt alles durchgelesen, Asche auf mein Haupt!

    Mir war das Vorgehen beim ersten mal doch nicht klar gewesen, aber nun hat es auch bei mir geleuchtet. Allerdings weiß ich nun doch nicht genau, wie du etwas reorganisieren möchtest?

    Ich lasse mich einfach überraschen.

    Wenn ich richtig gelesen habe, könnte ich jetzt konstl s vorverteiler nehmen und auf 2 ftps von mir spiegeln, richtig? Wie komme ich an die Daten? Am liebsten würde ich per rsync/sftp einfach einen mirror bauen, der stur im Hintergrund läuft.

    ... ewig am basteln ...

  • Konstls Mirror ist SFTP/SSH2. Mein eigener ist FTP+TLS. Allerdings wirst kein rsync benutzen können, da Konstls Server keinen Shellzugriff hat (und wohl keinen [entsprechend konfigurierten] rsync daemon). Also nur SFTP.

    Zu meinem Mirror geht dann nur FTP+TLS, der ist aber deutlich langsamer als der Server von Konstl. Für Zugriff schickst einfach eine PM würd' ich sagen. :)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"