Lost FTPs and quasi lost FTPs - Mirroring wanted! [Datenrettungs-Projekt]

  • Ich habe jetzt natürlich nicht alle Lizenzvereinbarungen studiert, aber natürlich ist viel von der Software und den Medien mit Copyrights behaftet. Es gibt mehr als genug Lizenzvereinbarungen da draußen, die das Weiterverbreiten von Software oder Medien durch Dritte untersagen. Und nicht alles ist gleich Mal "Abandonware". Also kann man nicht bei allem nach dem Motto "Wo kein Kläger..." vorgehen, einfach weil es oft noch Nachfolgefirmen gibt, die z.B. durch Übernahmen Rechteinhaber sind. Das Compaq Zeug z.B. würde jetzt HP gehören. Bei Cavedog wäre die Geschichte schon komplexer, da kenne ich mich selber ned im Detail aus, aber irgendwie so: War Tochter von GT Interactive => Übernahme von GT durch Infogrames/Atari => Tochter Humongous führt Cavedog Marke nicht fort => Cavedog 2000 bankrott => Humongous 2005 von Infogrames geschlossen => Die Rechte müßten bei Mutterfirma Atari liegen.


    Da gibt's so wirre und komplexe Unternehmensgeschichten, daß es teilweise gar nicht mehr nachvollziehbar ist (also für mich) wer jetzt wirklich Copyrights auf was hält.


    Wenn ich jetzt mit Copyrights behaftete Software einfach auf archive.org hochlade und damit öffentlich zugänglich mache, ist das natürlich rechtlich gegebenenfalls etwas bedenklich. Das gilt zwar auch für FTP Distribution, aber das ist real betrachtet einfach nicht die selbe Nummer.


    So zumindest meine Sicht auf die Dinge, bin da ja bei weitem kein Experte.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Danke @GAT

    hatte jetzt echt keinen Bock die Erklär-Bär-Wall-of-Text auszupacken.


    Archive.org ist eine Organistation aus San Francisco. Keinen Schimmer was die für Copyrights haben,

    jedoch findet man genug Zeug (z.B. Nintendo ROMs), das dort einfach so angeboten wird.

    Nintendo z.B. ist da recht stark hinterher und es ist definitiv seitens Nintendo nicht erwünscht.


    Inwiefern man nun gefährdet durch Abmahnungen (oder ähnliches) hier in Deutschland/Europa ist, kann ich momentan leider nicht einschätzen.

  • So, ich habe jetzt mit'm neuen 7-Zip 21.06 die Deduplizierungsschraube beim Kompressor angezogen. Damit braucht der beim Packen bis zu 39 GiB RAM, und beim Entpacken ist eine 64-bit Maschine mit mind. 4 GiB RAM vonnöten. Die gesteigerte Kompressionseffizienz und die damit auch höheren Transfergeschwindigkeiten beim Download sprechen für sich.


    So ist z.B. ftp.compaq.com von 139,28 GiB auf 126,62 GiB geschrumpft, nur durch den Einsatz von ein bisserl mehr RAM. Ich vermute Mal, daß nahezu jeder eine 64-bit Maschine mit zumindest 4 GiB RAM wird rumstehen haben um so etwas zu entpacken, daher habe ich mit dem Repack der bestehenden, größeren Archive begonnen. Bei den kleineren macht's keinen Sinn das zu tun, weil für die hat auch die alte, kleinere Hashtabelle beim Komprimieren ausgereicht, um die höchste Effizienz von LZMA2 beim Deduplizieren zu erlangen.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Wollte nur verkünden: HPE ist nun komplett gezogen, inkl. altem Compaq Zeug, auch Itanium, DEC Alpha und UNIX Software. Das sind etwas über 13 TiB. Ich brauche noch zwei 16 TB Festplatten (Mal schauen wie auch immer sich das noch finanzieren läßt), und dann werde ich einen unserer neuen RHV vGPU Hypervisor auf der Arbeit benutzen, um eine VM Instanz mit 8-20 Kernen (je nachdem) und 256 - 640 GiB RAM zu erzeugen um das zu pressen. Dabei kommt eine neue Version von 7-Zip zum Einsatz, die für Block-Level Deduplication eine wahnsinnige Dictionary Size von 3840 MiB unterstützt.


    Erste Tests mit 24 Kernen und 640 GiB RAM wurden bereits durchgeführt. Wahrscheinlich wird die Kompression 1-2 Monate dauern, weil 7-Zip mit LZMA2 einfach weit schlechter hochskaliert als gedacht.


    Zudem werde ich eine Übernahme dieses Threads beantragen, so technisch möglich und nur so lange bis sich soggi aufregt und die Kontrolle zurück will. Leider antwortet er mir seit Monaten auf keinem Kanal, daher mache ich das jetzt. Weil ich scheine (?) der aktivste in diesem Projekt zu sein.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Das ist ja der komplette Wahnsinn xD

    Womit soll man das denn nachher jemals wieder entpacken? Da brennt einem ja die Hütte ab :D


    Respekt an deine Beharrlichkeit :spitze:

  • Entpacken ist kein Thema. Knapp unter 4 GiB RAM brauchst, also eine kleine 64-bit Kiste mit ein bissl RAM genügt. Man wird sowieso nie "alles" entpacken, sondern nur die Dateien, die man braucht. Was weiß ich, vielleicht eine Firmware für eine HPE MSA oder ein Programm für eine HPE Itanium Kiste oder ein BIOS oder sowas. Das kostet ned viel.


    Ich werde auch ein Dirlisting generieren, so wie bisher, damit man eine Textdatei hat, die sich nach Dateien durchsuchen läßt. Dann könnte man z.B. ein File anfordern, das wird dann entpackt und getrennt bereitgestellt. Man muß ja nicht das komplette Monsterpaket runtersaugen. Würde sowieso ewig dauern, das zu spiegeln. Wobei ich einem Mirror natürlich nie abgeneigt bin, aber da braucht es halt langsam aber sicher schon einige an Kapa. Ist ja der ASUS FTP Spiegel auch schon fast 1 TiB groß.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Was macht eigentlich der soggi? Schon ewig nix mehr geschrieben.

    TUSL2-C, PIII-S 1,4GHz, 512MB, Voodoo3 3000 AGP, SB Live!
    TUSL2-C, PIII-S 1,4GHz, 512MB, Voodoo3 3000 AGP, SB Live!
    CUSL2-C, PIII 933MHz, 512MB, Millennium II AGP 4MB, 2x Monster II 12MB, SB Live!
    CUSL2-C, PIII 933MHz, 512MB, Millennium II AGP 4MB, 2x 3D Blaster Voodoo² 12MB, SB Live!
    P3B-F, PIII 800MHz, 512MB, G400 Max 32MB AGP, 2x Monster II 12MB, SB AWE64 Gold
    P2B-F, PIII 600MHz, 512MB, G200 8+8MB AGP, 2x Monster II 8MB, SB 32 PnP

  • Ich habe ihn angeschrieben, aber es ist schon lange her daß ich eine Antwort bekommen habe. Daher habe ich grade ernesto gebeten, mir Editierrechte für den Startpost bzw. den Thread zu geben, falls das technisch einfach genug möglich wäre. Sobald soggi zurückkehrt und das weiterführen will, gebe ich in so einem Falle natürlich gerne sofort wieder ab.


    Aber ich weiß leider auch nicht, was ihn so beschäftigt.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Klar, im ersten Beitrag von soggi. Der eben nicht mehr editiert wird und entsprechend aktualisiert gehören würde. Weil eben schon ein paar neue alte Dinge hinzugekommen sind, die noch nicht drin stehen.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • ja genau, der ist wertlos. Ich hätte zwar noch ein wenig Speicherplatz, aber die Anbindung ist noch sehr lahm. Ich warte fieberhaft auf Fiber könnte man sagen.

    Angeblich bis März soll sich was tun.

  • Wird dir beim Saugen von mir halt nichts helfen, weil ich bin ULTRAlahm angebunden. ;) Aber WENN das Zeug Mal bei dir liegen würde, also zumindest ein Teil, dann wäre der Zugang natürlich auf Anfrage für andere viel schneller möglich. Das is immer gut.


    konstl hatte auch schon Mal Teile gespiegelt. Es gibt halt keinen kompletten Spiegel aktuell, bei mir nicht und anderswo halt auch nicht. Auch nicht wenn man das ultraschwere Zeug wie ASUS und HPE ausklammert.


    Den download.nvidia.com FTP grapsche ich mir auch grade. Sportliche ~500 GiB sind's auch.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • joa Speicherplatz = Kosten. Momentan hat mein 24/7 Server "nur" 18x 600GB 10K SAS HDDs. Also netto um einiges weniger.

    Irgendwann rüste ich natürlich auf, aber momentan ist es noch nicht geplant.


    Ich könnte dann, bis auf HP, alles mirrorn.



    Nebenfrage:

    Ist dir spontan ne möglichkeit bekannt, die Daten zu bestimmten Uhrzeiten zugänglich zu machen?

    Ich sag mal traffic von 18Uhr bis 5Uhr morgens oder so juckt mich nicht...


    Und zum saugen:

    Das wäre auch nicht so schlimm, eine xx TB HDD wäre auch schnell mal hin und hergeschickt.

    hehe oldschool, erinnert mich wieder hieran:

    https://en.wikipedia.org/wiki/IP_over_Avian_Carriers

  • Klar, Postversand ist drin, sollte aber nur sehr selten stattfinden. Weil mittlerweile ist das sehr teuer von hier aus, noch ein paar Euro mehr als bisher. Ich habe grade ein kaputtes Model M (zur Teileausschlachtung) an Bier geschickt. Das kostete schon sportliche 19,50€. :( Da ist mir lahmes Uploaden fast lieber, um ehrlich zu sein.


    Zur Eingrenzung der Transferzeit: Mein Gene6 FTP-Server kann das pro Nutzer, aber der ist halt für Windows. Unter UNIX/Linux geht das auch, z.B. mit [ProFTPd] mit dem Modul [mod_time]. Leider schon etwas veraltet, das Modul, braucht eine alte ProFTPd Version und einen alten Compiler. Blödere Version: Einfach den FTP Service per cron job starten und stoppen, damit er zu Zeiten wo du nichts bereitstellen willst gar nicht erst läuft. Ist halt etwas unsauber. Vielleicht gibt's noch bessere Server, habe schon länger keinen FTPd mehr auf UNIX/Linux betrieben. WU-FTPd z.B. konnte das, aber über dessen Grab wächst schon bald die dreißigste Generation Gras...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Wenn ein Datenretter verschütt geht...


    Dann ist die Datenrettung nicht mehr so gut möglich.

    Der Ersteller dieses Threads, soggi , war leider seit April 2019 nicht mehr bei VoodooAlert anwesend.

    Um die Datenrettung jedoch dennoch am Leben zu halten, wurde der Eingangsbeitrag so editiert als hätte ihn GrandAdmiralThrawn erstellt.

    Zweck dieser Anpassung ist, dass GrandAdmiralThrawn dadurch den Eingangsbeitrag editieren und damit aktuell halten kann.


    Wenn soggi erneut bei VoodooAlert auftaucht, kann dies natürlich wieder rückgängig gemacht werden.

  • Auch hier noch Mal danke! :thumbup: Werde ich dann die nächsten Tage Mal aktualisieren.


    Unterdies hat mir u.a. Igor Pavlov (der 7-Zip Entwickler) einen Hinweis darauf gegeben, wie sich ein großer Kompressionsjob mit riesigem Dictionary besser parallelisieren läßt. Hab's nämlich nur auf 3-5 Kerne Auslastung und 9-12 MiB/s gebracht. Die Lösung liegt im Aufblasen der Solid Block Size. Macht das Dekomprimieren einzelner Dateien etwas zeitaufwendiger (weil immer 64 GiB auf einmal dekomprimiert werden müssen), aber das geht ja noch.


    Das Ergebnis kann sich sehen lassen (hier preßt er mit ~256 GiB im RAM voll mit 33-34 MiB/s vor sich hin beim Test mit kleinerem Datensatz):


    7-Zip mit 3840 MiB Dictionary und 64 GiB Solid Block Size (Klicken zum Vergrößern)


    Jetzt muß mir die Waldfee nur noch zwei 16 TB Platten schenken. :topmodel:

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Edited once, last by GrandAdmiralThrawn ().

  • Ich presse jetzt Mal nVidia zusammen, dann lade/verfrachte ich das heim und danach werde ich Mal die Liste in Post 1 aktualisieren.


    Leider mußte ich ein paar Dateien im PR Bereich umbenennen, weil es doppelte der Art "Index.html" & "index.html" im selben Ordner gibt, die unter UNIX-artigen Systemen kein Problem sind. 7-Zip verweigert es, das zu packen, weil's unter Windows natürlich Konflikte beim Entpacken produzieren würde. Ich bin nach bestem Wissen und Gewissen vorgegangen: Einige Dateien waren .swf Shockwave Flashes, da habe ich geschaut welche der beiden Versionen in welchen HTMLs verlinked waren, und habe dann die nicht verlinkten umbenannt. Jeweils mit einem "_" Prefix. Waren so 6 - 8 Dateien.


    Grindhavoc , habe ich dir schon Mal einen Zugang zu meinem FTP+TLS Server gegeben? Wenn nein, müssen wir das auch noch machen. Wegen Passwort: Da brauchen wir einen sicheren Kanal zum Ausmachen. Ich schlage meinen eigenen IRC vor. Reinconnecten, privaten Chat auf (damits keine Logs gibt), Passwort aushandeln, dann richte ich dir einen User ein.


    Edit: 7-Zip ist spannend. Wenn die Daten suboptimal sind (einzelne große Dateien die wo rumliegen), bremsts den Kompressor stark ein. Für die Parallelität braucht er wirklich viele ca. gleich große Dateien, scheinbar eine pro Thread. Und die Threads blocken dann an irgendeinem Punkt Mal, wo dann alle auf einen der eine große Datei bearbeitet warten müssen. So schaut's zumindest aus.


    Links mit nicht ganz optimalen Daten, rechts mit optimalen (selber Prozeß an unterschiedlichen Zeitpunkten). Mit optimalen Daten geht's dann knapp über die 30 MiB/s wenn sich die Anzeige Mal eingependelt hat, die ist träääge:


      

    Presserei (Klicken zum Vergrößern)


    Ich will auch so viel RAM! Aber leider ist die Kiste etwas außerhalb meiner finanziellen Jagdgründe angesiedelt. ;)


    Edit: Na das war eine Partie... Freitag Nachmittag, 15:30. Endlich ist der Kompressor durch. Nur wie kriege ich jetzt 425 GiB Daten innerhalb kürzester Zeit auf einen mobilen Datenträger? :gadget: Hab's dann mit [split(1)] auf vier meiner schnellsten 128 GB SanDisk USB Disks parallel geteilt, und das gegen 16:30 so mit heim genommen, nachdem alles durch war.


    COPY /B file1+file2+[...]+fileN targetfile hat das gestern zusammengebaut und 7-Zip entpackt grade, um zu testen ob das auch okay ist. Danach wird das Archiv hinzugefügt, und dann gehe ich Mal dank Ernesto's Hilfe die Aktualisierung des Startposts an. :)


    Inzwischen hinzugekommen sind [dank Tweakstone] noch 3Com und Aureal, sowie von anderorts noch downloads.maemo.nokia.com. Aktuell in Arbeit sind grade D-Link und IBM's ps-2.kev009.com FTP Server. Den Aureal FTP hat gestern schon Avenger hier aus'm Forum im VA IRC angefordert, ist schnell gegangen! ;)

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Edited 5 times, last by GrandAdmiralThrawn ().

  • Sodalla, Startpost ist jetzt Mal mit den wichtigsten Informationen aktualisiert. Wird laufend ausgebaut.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Edited once, last by GrandAdmiralThrawn ().

  • Mh, HTTP(S) Indizes sind immer etwas mühsam, weil man halt HTTrack o.ä. braucht. Danke aber trotzdem! Ich denke das isses gut wert aufgenommen zu werden, auch gleich den ganzen FTP. Höher in der Hierarchie liegt dann u.a. auch etwas neuere Software, z.B. für die Matrox Parhelia 512. Uuund kaum zu glauben: Auch [ftp://ftp.matrox.com] ist noch online! :) Das macht das Laden schon ungleich angenehmer.


    Edit: ftp.matrox.com ist geladen und gepackt. Das Archiv wird gerade auf meinen Filer transferiert, wo es noch vor Donnerstag angekommen sein müßte.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    Edited 2 times, last by GrandAdmiralThrawn ().