Lost FTPs and quasi lost FTPs - Mirroring wanted! [Datenrettungs-Projekt]

  • Ich stelle den Thread mal hier rein, da er thematisch gut zum Thread "Links zu Treiberseiten" passt, es wäre schön, wenn ihn ein Moderator anheften könnte (Sticky machen).:spitze:


    Mir ist in den letzten Jahren aufgefallen, dass immer mehr FTPs vom Netz genommen wurden, so wie letztens beim EA FTP, der noch viele alte Spiele Patches enthielt. Genauso bietet z.B. ASUS seit Jahren schon keinen öffentlich zugänglichen FTP mehr an. Damit gehen u.a. viele alte BIOSe, Treiber, Patches und Manuals verloren. Deshalb schlage ich vor, dass wir ein Mirroring Projekt ins Leben rufen - Tweakstone hat mir in einer Konversation den Denkanstoß für den Thread gegeben.


    Falls das irgendwie möglich ist, sowas wie eine Filesharing-Gruppe zu gründen, könnte man das darüber lösen. Ziel ist es dann, dass nur die beteiligten Leute von VA gegenseitig sich FTP mirrors zur Verfügung stellen und diese somit mehrfach gesichert sind (bei den jeweiligen Leuten. Wenn meine Idee so nicht funktioniert, bitte andere Vorschläge bringen.


    Als Format sollten wir .7z/LZMA2/Ultra verwenden, um möglichst kleine Archive zu erstellen.


    Was haltet ihr von der Idee? Den Post habe ich erstmal schnell dahingeschrieben, da ich grad nicht viel Zeit habe.


    Aktuell habe ich bei mir folgendes da:


    FTP Server / HTTP Index / Download Status Files # Größe
    (entpackt)
    Größe
    (.7z - LZMA2/Ultra)
    downloads.dell.com_bios_2016-05-28
    (https://downloads.dell.com/bios/)
    online 9.085 13,6 GiB 6,76 GiB
    ftp.abit.com.tw_2009-01-04
    (https://archive.org/details/archiveteam-ftp_abit_com_tw)
    offline 6.246 13,6 GiB 9,95 GiB
    ftp.aopen.com_bios_2016-11-21
    (ftp://ftp.aopen.com/)
    online 2.290 807 MiB 359 MiB
    ftp.biostar-usa.com_bios_manuals_2016-11-06
    (ftp://ftp.biostar-usa.com/)
    online 1.722 1,03 GiB 605 MiB
    ftp.bluebyte.com_2004-03-03
    (https://archive.org/details/FTP.BLUEBYTE.COM.2004.03)
    offline 370 987 MiB 634 MiB
    ftp.driver.jmicron.com.tw_2016-11-20
    (https://archive.org/details/ftp-driver.jmicron.com.tw)
    (sollte identisch zu dem von mir gezogenen sein)
    offline 126 210 MiB 67,6 MiB
    ftp.ea.com_2012-05-06
    (https://archive.org/details/ftp.ea.com_2012-05-06)
    offline 5.855 33,8 GiB 22,6 GiB
    ftp.lucasarts.com_2013-04-27
    (https://archive.org/details/ftp.lucasarts.com-20130427)
    offline 271 2,45 GiB 2,26 GiB
    ftp.westwood.com_2016-07-17
    (https://archive.org/details/ftp-ftp_westwood_com)
    offline 713 3,12 GiB 2,23 GiB
    Summe - 69,7 GiB 45,5 GiB


    Derzeit in der Queue:

    • download.shuttle.eu/
    • ftp.aopen.com/pub/
    • ftp.fic.com.tw
    • ftp.microsoft.com_2015-02-05
    • ftp.terratec.de_2014-06-11 (in progress)


    Viele Grüße

    soggi

  • Da POSIX Rechtearchivierung bei den Archiven wohl größtenteils keine Rolle spielen dürfte, da 99% von dem Zeug wohl eh nur für Windows sein werden, würde ich 7zip vorschlagen. Spart mit LZMA2 einfach am meisten Platz im Schnitt.


    Private Torrents lassen sich nur per privatem Tracker(server) und entsprechender Accountverwaltung machen. Der Verwaltungsaufwand dafür ist aber wohl nicht zu rechtfertigen, vor allem weil wir hir (denke ich?) niemanden haben, der Erfahrung mit dem Betrieb eines privaten Trackers haben dürfte? Außerdem müßte der Tracker zentral laufen. Daher finde ich den Ansatz mit mehreren FTP Spiegeln statt Torrent besser. Ist auch zugänglicher, weil FTP doch sehr universell ist. Wichtig ist auch, daß man sich auf eine sinnvolle Ordnerstruktur am FTP einigt, und daß man ein automatisiertes Mirroring hinbekommt, damit die Arbeit bzw. der Aufwand für die Betreiber reduziert wird.


    Wenn das nur privat zugänglich sein soll, braucht es aber irgendwie auch noch eine gewisse Sicherheit was die Nutzer und Passwörter angeht, wo auch klar sein sollte, daß dieserlei Zugangsdaten nicht weiterzugeben wären (falls das deine Sorge wäre, soggi). Zudem wäre dann auf FTP+TLS zu achten, nicht mehr nur rohes FTP.


    Eine Teilnahme kann ich aber noch nicht zusichern. Das hängt von etlichen Faktoren ab, u.a. auch von der zu erwartenden Datenmenge.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be!

  • Ich hätte gern einen Spiegel des FTP von DFI. Leider ist der nämlich down...

    I.: (a + b)² = a² + 2ab + b²

    II.: (a - b)² = a² - 2ab + b²

    III.: (a + b) x (a - b) = a² - b²


    DAGEGEN, wenn andere DAFÜR sind.
    DAFÜR, wenn andere DAGEGEN sind.

  • 7-Zip/LZMA2 (.7z) klingt vernünftig, werde ich mal oben umschreiben.


    Die Zugänglichkeit sollte sich erstmal auf hiesige Nutzer beschränken. Mein Gedanke war auch, dass wir die FTP Mirrors via Filesharing austauschen und erstmal auf den lokalen Datengräbern mirrorn. Von Torrent habe ich keinen Plan - wenn das nicht so geht, wie ich mir das denke, nehmen wir halt was anderes. Ich dachte halt an sowas wie eDonkey/eMule damals, allerdings nur für Leute aus der "FTP-Gruppe", die die ge7zippten FTPs teilen. Da müssen wir uns noch einigen. Geht auch sowas wie DC++ über VPN?


    Weiterhin bin ich dafür, dass die originale Ordnerstruktur des FTP erhalten bleibt und falls das mal bereitgestellt werden soll via Internet hat halt jeder FTP seinen eigenen Ordner mit Name + Datum.


    Erstmal sehen, wer überhaupt Interesse hat...


    Die Datenmenge stellt für mich auch noch ein Problem dar...die größte Platte, die ich habe, ist meine ext. 1 TB Platte...ansonsten sowas wie 160 GB IDE, max. 250 oder 500 GB SATA. :topmodel:


    Viele Grüße

    soggi

  • Also ich hab mir auch einige FTP Dumps gezogen, ich sortier die allerdings durch und nehme alles an Daten in mein Live-Datengrab auf. Da das aber ordentlich redundant ist (RAID6) und zusätzlich die Datenmenge auch täglich gebackupped wird, werd ich mir dort keine wild (un-)sortierten FTP Mirrors hinlegen.

    Ich könnte mir die aber nochmal ziehen und auf nen anderes (Offline-) Storage legen, dann ists zumindest mal gesichert und auf Zuruf verfügbar. Irgendwann wollt ich eh noch nen kleenen Web- und FTP Server laufen lassen.

    Irgendwie muss man aber auch mit Strom zumindest ein weenig haushalten, mittlerweile läuft hier echt so einiges 24/7 :topmodel: :topmodel:

  • Bei DC++ mußt ja auch erst Mal einen Hub (=zentralen Server) aufsetzen, der die Authentifizierung erledigt. Das funktioniert zwar anders als bei Torrent, aber am Ende brauchst wieder einen zentralen Server für's Account Management. Zumindest soweit ich DC++ verstehe, ich hab bisher nur einen DC++ Client benutzt, aber noch keinen Hub Server aufgesetzt.


    Ich kenn irgendwie kein simples P2P Sharingprogramm, bei dem man "schnell Mal" eine private Gruppe gründen könnte. Ich mein, vielleicht gibt's sowas, ich kenn halt nur keins. Wenn man erst einen Server aufsetzen und Accounts einrichten muß, kann man auch gleich einen FTP Server hochnehmen, is vielleicht sogar weniger Aufwand.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be!

  • Gibt ja diese gratis DNS Dinger, aber eine reine IP muß auch reichen. Ich würd die Server sowieso alle bei mir im Filezilla als Profile eintragen. ;)


    Speicher könnte ich wohl um die 10TiB spendieren, aber das ist nicht realistisch. Die Menge darf ja das schwächste Glied der Mirrorliste nicht überwuchern. Spiegeln ginge per FXP Transfers direkt zwischen den FTP Servern, das kann normal so gut wie jeder FTPd.


    soggi : Von was für einer Datenmenge reden wir da aktuell überhaupt?

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be!

  • An HP wirst aber ein bißchen sehr viel zu schlucken haben...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be!

  • OK...bevor hier jeder gleich mit ner anderen Idee um die Ecke kommt, sollten wir erstmal die Rahmenbedingungen klären.


    Mein Anspruch wäre:

    • sichern "as it is"
    • einheitliche Datei-/Ordnernamen
    • kongruent halten der files via Filesharing

    Der erste Punkt heißt, es wird so gezogen, wie es vorliegt, irgendwelche Ordnerstrukturen und Dateinamen innerhalb der FTP Mirrors werden nicht geändert und es werden auch keine Dateien aus den Ordnern gelöscht. Wenn nur einzelne Unterordner eines FTPs gesichert werden (wie bei mir Dell/BIOS), wird das im Dateinamen (ge7zippter FTP Mirror) und im Ordnernamen (wenn das jmd irgendwo als Ordnerstruktur bereitstellen will - FTP und/oder HTML-Index) angegeben.


    Damit kommen wir zu Punkt zwei. Die Dateinamen (.7z) und/oder Ordnernamen sollten den Server, wahlweise den Unterordner (falls nur ein Unterordner gesichert wird) und das Datum der Sicherung im Format YYYY-MM-DD enthalten. Somit ist jedem klar, was wann gesichert wurde.


    Beispiele für Datein-/Ordneramen:

    • downloads.dell.com_bios_2016-05-28(.7z)
    • ftp.abit.com.tw_2009-01-04(.7z)

    Da FTP relativ unbequem ist, was das Downloaden von sehr großen Einzeldateien betrifft (zumindest soweit ich weiß), archivierte (ge7zippte) Dateien aber das geringste Volumen und die größte Übertragungsrate ergeben (da einzelne, große Datei), würde ich irgendeine Art von Filesharing, welche Chunks unterstützt, favorisieren.


    Gebt bitte Bescheid, ob ihr so damit einverstanden seid! Die Ergebnisse editiere ich dann in den Startpost.


    -------------------------------------------------


    GrandAdmiralThrawn :

    1. Bei eMule (und Drivate) hat man ne Freundesliste, wäre eine Möglichkeit...müsste man nur schauen, ob man DL/UL auf Freunde beschränken kann, habe lange nichts mehr mit eMule gemacht. Wie oben erwähnt, wäre mir wichtig, dass Chunks unterstützt werden.

    2. Was die Datenmenge betrifft, kann ich dir nichts sagen, ich bin der Meinung, man sollte wegsichern, was wegzusichern geht. Ich bevorzuge BIOSe, Patches, Manuals und Treiber...andere was anderes.

    3. Jo, HP dürfte wie Dell Unmengen an GBs da rumliegen haben.


    lommodore :

    1. Ob ein FTP Mirror jetzt per Domain oder IP erreichbar ist, ist den Leuten hier glaub Latte. :topmodel:

    2. Den Gigabyte FTP gibt's schon ewig nicht mehr, seitdem ich mich dafür interessiere (einige Jahre), war da nix.

    3. Druckertreiber würde ich jetzt nicht zu den unwichtigsten Dingen zählen, da gibt's einige Leute, die uralte Hitschen betreiben.


    Viele Grüße

    soggi

  • Aso, du willst einen GANZEN Server zusammenzippen und als Einzeldatei bereitstellen? Also das finde ich wieder nicht so super. Ganz und gar nicht, um ehrlich zu sein. Ich dachte wir zippen die Dinge einzeln. Also ein BIOS ist ein .7z, eine bestimmte Software ein .7z und ein bestimmter Treiber ein .7z. Den Aufwand kann man minimieren, indem man per Skript drüberfährt.


    So findet man Dinge auch leichter und kommt schneller an seine Daten. Weil wie sag ich dem eMule sonst, daß ich von dem fetten 7z File nur eine bestimmte im Archiv befindliche Datei brauche? Und kann man ein nur teilweise geladenes 7z überhaupt sauber entpacken, selbst wenn man es gezielt stückchenweise laden könnte?


    PS.: Das simple Übertragen von Dateien ist, wofür FTP gemacht wurde. Aus persönlicher Erfahrung kann ich dir sagen, daß das Übertragen von riesigen Files (die größten die ich bisher hatte waren 60-80GiB groß) keinerlei Problem darstellt. Das Protokoll ist nur etwas langsam, wenn man wirklich sehr, sehr viele kleine Dateien überträgt.


    Mit der Datenmenge meinte ich auch die Menge, die du jetzt schon rumliegen hast, weil du hast ja schon einiges. Daher wollte ich gerne wissen, wie groß das aktuell schon bei dir ist.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be!

  • Ich dachte, ich hätte mein Ansinnen klar ausformuliert. :topmodel:


    Also es geht mir erstmal darum diverse FTP Mirrors zu erstellen und diese redundant unter mehreren Leuten hier zu verteilen. Es geht mir nicht darum, irgendwelche Dateien einzeln erreichbar zu machen. Mit den FTP Mirrors kann dann ja jeder selbst machen, was er will - z.B. sie per FTP oder HTML-Index zur Verfügung stellen, damit irgendwelche anderen Leute einzelne Dateien herunterladen können.


    Die schnellste Verbreitung erreicht man meiner Meinung nach dadurch, dass Leute unterscheidliche FTPs oder HTML-Indexe ziehen, diese dann 7zippen und sie mit den anderen Teilnehmern teilen. Da FTP bei vielen (kleinen) Dateien ziemlich langsam ist und meines Wissens nach keine Chunks (Dateifragmente) unterstützt, man also eine Datei vom Anfang bis zum Ende laden muss ohne Disconnect, scheidet es als Verteilungsmittel der Wahl für mich aus. Für Filesharing-Programme wie eMule (und Derivate) sind dagegen große Dateien optimal, da sie Chunks unterstützen und man so einen ge7zippten FTP Mirror über Tage hinweg laden kann (und nur eine Datei selektieren muss). Der zweite Vorteil ist, dass die Dateigröße einfach um einiges minimiert ist (zumindest wenn es um gemischte Inhalte geht).


    Ich muss hier halt auch meine begrenzte Bandbreite von max. 180 KiB/s DL, UL weiß ich grad nicht, mit einzurechnen - da ist es sinnvoll, die Leitung auf Anschlag vollzuballern.


    Zum Umfang der Mirrors, die ich hier habe, kann ich dir grad noch nichts sagen...habe die Analysierung gerade angestoßen.


    Ich würde mich echt freuen, wenn ein derartiges Projekt in Gang käme.


    Viele Grüße

    soggi

  • Ah ok, also du willst nur die initiale Verteilungsphase so lösen, alles klar. Das war mir nicht klar.


    PS.: Da erliegst du noch einer groben Falschinformation, was FTP angeht. Das FTP Protokoll erlaubt es ohne weiteres, Transfers zu pausieren und zu resumen. Das funktioniert auch bei Verbindungsabbrüchen oder Rechnerabstürzen. Das entsprechende FTP Kommando lautet REST, und funktioniert bei ausreichendem Rollback (heutzutage vielleicht ca. 1MiB) ohne Probleme. FTP Clients unterstützen das schon seit wohl ca. 20 Jahren. ;) Ich kann mich nicht Mal mehr an einen Client erinnern, der das nicht könnte...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be!

  • Ich hätte gern einen Spiegel des FTP von DFI. Leider ist der nämlich down...

    Hier behauptet jmd. "I have a full backup of DFI BIOS FTP": https://community.hwbot.org/to…inboards-dfi-epox/?page=2.


    Kannst ihn ja mal kontaktieren!


    soggi : Von was für einer Datenmenge reden wir da aktuell überhaupt?

    Ich editiere das später mal oben rein, unge7zippt sind es aktuell insgesamt 29,3 GiB.


    OK, das wusste ich nicht, dass FTP das auch kann, weil ich bis dato nie eine entsprechende Option irgendwo gesehen habe. Ich habe das bei vielen Dateien immer mit der "schmutzigen" Vorgehensweise umgangen, dass bereits bestehende Files nicht überschrieben und damit auch nicht neu geladen werden (die Indexierung dauert dann je nach Anzahl der Dateien trotzdem ganz schön).


    Die Verteilung unter den interessierten Nutzern soll meiner Vorstellung nach so gelöst werden.


    Aber irgendwie hält sich das Interesse hier scheinbar in Grenzen. :(


    Wenn irgendwelche Fragen bestehen oder jmd. andere Lösungsansätze hat - immer her damit!


    Viele Grüße

    soggi

  • Ich bin halt auch aus Eigeninteresse für FTP, weil ich schon einen Server habe, und auch jeder meiner Rechner Filezilla drauf hat. Damit entstünde kaum Extraaufwand, brauch nur eine FTP Gruppe und ein paar Useraccounts einrichten.


    Bei Verteilung über P2P würde es wohl an dir (als Initiator der Aktion) liegen, eine Software zu finden, die das private Verteilen ermöglicht, ohne dabei unverhältnismäßigen Aufwand betreiben zu müssen. Dann würde ich mir das entsprechende Programm schon installieren für die Dauer der Erstverteilung, und es halt so lange laufen lassen bis alle anfänglichen Interessenten Mal eine Kopie haben.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be!

  • Ich hätte gern einen Spiegel des FTP von DFI. Leider ist der nämlich down...

    Hier behauptet jmd. "I have a full backup of DFI BIOS FTP": https://community.hwbot.org/to…inboards-dfi-epox/?page=2.


    Kannst ihn ja mal kontaktieren!

    Hier schreibt jmd. "Den gesamten Inhalt des DFI FTP kann ich leider aus rechtlichen Gründen nicht einfach komplett irgendwo hochladen.": https://www.hardwareluxx.de/co…9525-60.html#post24811650


    soggi : Von was für einer Datenmenge reden wir da aktuell überhaupt?

    Ich editiere das später mal oben rein, unge7zippt sind es aktuell insgesamt 29,3 GiB.

    Die Daten stehen jetzt oben in einer Tabelle - 11,6 GiB übertragen oder nicht, ist schon ein Unterschied! :topmodel:


    Wenn du das gleich selber hosten willst, wäre es wirklich das sinnvollste, wenn ich es zu dir schicke bzw. du dir das selber ziehst (was anderweitig verfügbar ist).


    Grundsätzlich finde ich den Gedanken, das über sowas wie eMule zu machen, auch der Nostalgie wegen ganz nett - von wegen das Flair von vor 15 Jahren wieder aufkommen lassen, nur dieses Mal ohne Angst vor Abmahnungen. :spitze:


    Viele Grüße

    soggi

  • paar mirrors hab ich auch schon, muss nochmal nachschauen was. glaube Supermicro usw. Auf jedenfall werde ich auch platz Bereitstellen. Mein FTP sollte diese / nächste Woche wieder hochgehen. und ich verteile gerne ein paar Benutzerkonten :) Ich komme halt nur nicht wirklich gross dazu Sachen zu Sortieren etc...

  • FTP-Platz und -Benutzerkonden finde ich generell gut!:spitze:


    -----------------


    Vll habe ich auch gleich zu schnell geschossen und wir sollten erstmal eruieren und rekapitulieren, wer was da hat und das dann (ein)sortieren!?


    -----------------


    Ich habe aus der Tabelle mal die Spalte "Größe .7z/ LZMA2 / Normal" entfernt, da der Speicherplatz-Gewinn durch "Ultra" Komprimierung enorm ist und sich daher meinerseits diese Frage erledigt hat, auch wenn das enorme Zeiten für das (Ent)Packen nach sich zieht.


    Changelog:


    • removed "Größe .7z/ LZMA2 / Normal
    • added "ftp.bluebyte.com_2004-03-03" to table


    Viele Grüße

    soggi