Lost FTPs and quasi lost FTPs - Mirroring wanted! [Datenrettungs-Projekt]

  • 0. Übernahme von soggi

    Achtung: Ich habe dank Ernesto diesen Thread gewaltsam (:topmodel:) übernommen, um ihn weiter warten zu können, nachdem soggi scheinbar nicht mehr hier vorbeischauen möchte oder kann. soggi : Eine Rückgabe dieses Threads ist natürlich auf deinen Wunsch hin sofort möglich!

    Der folgende Textblock stammt noch original von soggi, aktuelle Infos darunter:


    Ich stelle den Thread mal hier rein, da er thematisch gut zum Thread "Links zu Treiberseiten" passt, es wäre schön, wenn ihn ein Moderator anheften könnte (Sticky machen).:spitze:

    Mir ist in den letzten Jahren aufgefallen, dass immer mehr FTPs vom Netz genommen wurden, so wie letztens beim EA FTP, der noch viele alte Spiele Patches enthielt. Genauso bietet z.B. ASUS seit Jahren schon keinen öffentlich zugänglichen FTP mehr an. Damit gehen u.a. viele alte BIOSe, Treiber, Patches und Manuals verloren. Deshalb schlage ich vor, dass wir ein Mirroring Projekt ins Leben rufen - Tweakstone hat mir in einer Konversation den Denkanstoß für den Thread gegeben.

    Falls das irgendwie möglich ist, sowas wie eine Filesharing Gruppe zu gründen, könnte man das darüber lösen. Ziel ist es dann, dass nur die beteiligten Leute von VA gegenseitig sich FTP mirrors zur Verfügung stellen und diese somit mehrfach gesichert sind (bei den jeweiligen Leuten. Wenn meine Idee so nicht funktioniert, bitte andere Vorschläge bringen.

    Als Format sollten wir .7z/LZMA2/Ultra verwenden, um möglichst kleine Archive zu erstellen.

    Was haltet ihr von der Idee? Den Post habe ich erstmal schnell dahingeschrieben, da ich grad nicht viel Zeit habe.

    Aktuell habe ich bei mir folgendes da:



    1. Wie bekommt man Zugriff auf diese Daten, und soll man sie teilen, und wie?

    Zugang kann auf Anfrage (PM oder hier im Thread) per FTP+TLS gegeben werden, mit leider niedriger Bandbreite von 12 Mbit/s in meinem Falle.

    Es ist ausdrücklich erwünscht, vollständige oder teilweise offline oder auch (vor allem!) online Mirror hiervon anzufertigen! Als Clientprogramm für FTP-Zugriff empfehle ich persönlich die freie Software [FileZilla], die auf allen gängigen Betriebssystemen lauffähig ist.

    Es ist anzuraten, keinen anonymen Zugriff auf diese Daten zu gewähren, da es sich hier teilweise um Abandonware handelt, bei der die exakte rechtliche Lage nicht mehr zu klären ist! Ich will euch nichts vorschreiben, aber wenn ihr diese Daten ohne Authentifzierung öffentlich zur Verfügung stellt, liegt das Risiko bei euch! Ich empfehle den Einsatz von FTP Servern mit TLS Verschlüsselung und Benutzerauthentifizierung.


    2. 7-Zip Kompression

    Als Archivierungsprogramm kommt 7-Zip zum Einsatz, weil die meisten Daten für Microsoft Windows gedacht sind, und 7-Zip sehr kompatibel ist (Windows 98 bis 11, per p7zip auf UNIX und Linux). Demzufolge wurde der POSIX-Kompatibilität von Daten für UNIX-artige Systeme keine Priorität gegeben. Vor allem weil FTP-Downloads die entsprechenden POSIX Infos (wie die Ausführbarkeit von Dateien) sowieso oft verloren gehen läßt.

    Mittlerweile habe ich beschlossen, sehr große Archive mit einer Dictionary Größe von 3840 MiB zu komprimieren, um die Blockdeduplizierung effektiver zu machen, und teils noch deutlich kleinere Archive erzeugen zu können. Das zahlt sich bei großen Paketen im hohen zweistelligen Gigabytebereich oder noch deutlich darüber gut aus! Das spart Speicherplatz und Bandbreite. Nachteil ist, daß die Dekompression dieser Monster eine 64-Bit Maschine mit 6 - 8 GiB RAM voraussetzt. Auf einer 32-bit Maschine können diese großen Archive dann nicht mehr entpackt werden.

    Bei extrem großen Archiven setze ich zudem auf eine 64 GiB solid block size, um eine stark parallelisierte Kompression in "endlicher" Zeit zu ermöglichen. Das hat ebenfalls einen Nachteil: Solche Archive können nur "64 GiB am Stück" entpackt werden. Das verlangsamt den Zugriff auf einzelne, aus dem Archiv angeforderte Dateien, ist aber notwendig. Bisher betrifft das nur download.nvidia.com, es wird aber auch für HP/HPE Anwendung finden. Dem Zeitaufwand zur Extraktion einzelner Dateien (5-30 Minuten) gestehe ich hierbei nur eine geringe Priorität zu. So viel Zeit hat man noch. ;)

    Kleinere Archive werden 32-bit kompatibel gehalten.

    Abseits vom größeren Deduplizierungs-Wörterbuch kommt unverändert .7z/LZMA2/Ultra zum Einsatz. Wo zeitlich möglich, wird mit nur einem CPU-Thread komprimiert, um die Kompression noch einen Tick effektiver zu machen.


    3. Liste der Spiegel

    Nun zur seit heute (7. August 2022) und darüber hinaus wieder weiterführend aktualisierten Liste:

    FTP Server / HTTP Index / DownloadStatus des OriginalserversStatus des SpiegelsDateien #Ordner #Größe
    (entpackt)
    Größe
    (.7z - LZMA2/Ultra)
    downloads.dell.com_bios_2016-05-28
    (https://downloads.dell.com/bios/)
    offlineKomplettere Download
    fehlgeschlagen, teilweise
    online
    ????
    download.nvidia.com_2017-04-10.7z
    (ftp://download.nvidia.com)
    offlineonline133.47324.489554,70 GiB424,36 GiB
    download.shuttle.eu_2018-09-11.7z
    (ftp://download.shuttle.eu)
    online, aber durch eine
    Authentifikation abgeschirmt
    online2.1256735,74 GiB5,00 GiB
    downloadcenter.intel.com_2019-09-20.7z
    (https://downloadcenter.intel.com)
    online, aber alte Daten
    wurden entfernt
    online18.9618.620342,35 GiB215,42 GiB
    downloads.maemo.nokia.com_2017-07-18.7z
    (???://downloads.maemo.nokia.com)
    offlineonline33.3595311,42 GiB6,81 GiB
    driver.jmicron.com.tw_2016-11-20.7z
    (https://archive.org/details/ftp-driver.jmicron.com.tw)
    (sollte identisch zu dem von mir gezogenen sein)
    offlineonline12627210 MiB67,6 MiB
    ftp.3com.com_2017-07-14.7z
    (ftp://ftp.3com.com)
    offlineonline59791517 MiB289 MiB
    ftp.3drealms.com_2009-12-24.7z
    (ftp://ftp.3drealms.com)
    offlineonline1395381,80 MiB350,61 MiB
    ftp.abit.com.tw_2009-01-04.7z
    (https://archive.org/details/archiveteam-ftp_abit_com_tw)
    offlineonline6.2461.03213,7 GiB7,14 GiB
    ftp.alphant.com_2009-12-24.7z
    (ftp://ftp.alphant.com)
    offlineonline520151,55 GiB1,24 GiB
    ftp.aopen.com_2020-09-27.7z
    (ftp://ftp.aopen.com/)
    onlineonline13.4294.086199,79 GiB66,84 GiB
    ftp.asus.com.tw_2014-09-17.7z
    (ftp://ftp.asus.com.tw)
    offlineonline102.8739.4681,67 TiB969,27 GiB
    ftp.aureal.com_2017-07-14.7z
    (ftp:/ftp.aureal.com)
    offlineonline9426501 MiB98 MiB
    ftp.aztech.com_2014-08-25.7z
    (ftp://ftp.aztech.com)
    online, aber durch eine
    Authentifikation abgeschirmt
    online1.0691751,32 GiB621 MiB
    ftp.be.com_2009-12-24.7z
    (ftp://ftp.be.com)
    offlineonline1.745363514,53 MiB435,93 MiB
    ftp.biostar-usa.com_2018-09-28.7z
    (ftp://ftp.biostar-usa.com/)
    onlineonline2.43163113,37 GiB10,47 GiB
    ftp.bluebyte.com_2004-03-03.7z
    (https://archive.org/details/FTP.BLUEBYTE.COM.2004.03)
    offlineonline37083988 MiB522 MiB
    ftp.borland.com_2009-12-24.7z
    (ftp://ftp.borland.com)
    offlineonline5652858,38 MiB45,19 MiB
    ftp.cavedog.com_2009-12-24.7z
    (ftp://ftp.cavedog.com)
    offlineonline588121,46 GiB970 MiB
    ftp.compaq.com_2014-07-11.7z
    (ftp://ftp.compaq.com)
    offlineonline114.6796.635222,31 GiB126,62 GiB
    ftp.digital.com_2009-12-24.7z
    (ftp://ftp.digital.com)
    offlineonline37.7124.82629,08 GiB13,43 GiB
    ftp.dlink.de_2022-08-08.7z
    (ftp://ftp.dlink.de)
    onlineonline23.9599.137302,46 GiB198,16 GiB
    ftp.ea.com_2012-05-06.7z
    (https://archive.org/details/ftp.ea.com_2012-05-06)
    offlineonline5.8551.21233,85 GiB13,55 GiB
    ftp.elsa.de_2018-09-28.7z
    (ftp://ftp.elsa.de)
    offlineonline4.6513472,09 GiB1,09 GiB
    ftp.esstech.com_2009-12-24.7z
    (ftp://ftp.esstech.com)
    online, aber durch eine
    Authentifikation abgeschirmt
    online489307350 MiB81 MiB
    ftp.fic.com.tw_2015-01-22.7z
    (ftp://ftp.fic.com.tw)
    offlineonline10.8722.92612,81 GiB4,63 GiB
    ftp.hp.com_2022-05-29.7z
    (ftp://ftp.hp.com)
    onlineonline753.04790.27813,07 TiB10,80 TiB
    ftp.lokigames.com_2017-09-11.7z
    (ftp://ftp.lokigames.com)
    offlineonline1.006713,30 GiB2,53 GiB
    ftp.lucasarts.com_2013-04-27.7z
    (https://archive.org/details/ftp.lucasarts.com-20130427)
    offlineonline27192,45 GiB2,15 GiB
    ftp.matrox.com_2022-08-25.7z
    (ftp://ftp.matrox.com)
    onlineonline8.9961.866136,07 GiB98,42 GiB
    ftp.microsoft.com_2009-12-24.7z
    (ftp://ftp.microsoft.com)
    offlineonline247.43526.2647,96 GiB4,59 GiB
    ftp.netscape.com_2014-06-08.7z
    (ftp://ftp.netscape.com)
    offlineonline9.2972.61120,43 GiB6,76 GiB
    ftp.openwatcom.org_2021-02-14.7z
    (ftp://ftp.openwatcom.org)
    offineonline7222010,91 GiB8,88 GiB
    ftp.pc.ibm.com_2018-10-10.7z
    (ftp://ftp.pc.ibm.com)
    offlineonline154.112712272,92 GiB137,66 GiB
    ftp.rarlab.com_2021-02-15.7z
    (ftp://ftp.rarlab.com)
    onlineonline1.39622,83 GiB1,31 GiB
    ftp.sgi.com_2009-12-24.7z
    (ftp://ftp.sgi.com)
    offlineonline27.2571.1839,60 GiB4,94 GiB
    ftp.team17.com_2009-12-24.7z
    (ftp://ftp.team17.com)
    offlineonline799461,50 GiB0,99 GiB
    ftp.terratec.de_2014-06-11.7z
    (ftp://ftp.terratec.de)
    offlineonline5.8921.71512,33 GiB4,72 GiB
    ftp.tyan.com_2018-12-07.7z
    (ftp://ftp.tyan.com)
    onlineonline, bräuchte aber
    eine Zusammenführung
    16.7702.92560,70 GiB24,71 GiB
    ftp.westwood.com_2016-07-17.7z
    (https://archive.org/details/ftp-ftp_westwood_com)
    offlineonline7131803,12 GiB2,22 GiB
    hobbes.nmsu.edu_2024-02-23.tar.xz
    (ftp://hobbes.nmsu.edu)
    online (ab 2024-04-15 offline)online12.26865618,12 GiB15,75 GiB
    kx-Driver_2018-09-13.7z
    (https://github.com/kxproject/kX-Audio-driver-binaries)
    onlineonline36630249 MiB199 MiB
    NV_DevKit_Riva-TNT-128-ZX.7z
    (Promotion CD ISO)
    -online30225 MiB109 MiB
    saitek.com_2018-12-04.7z
    (ftp://saitek.com)
    onlineonline2.64314820,33 GiB7,34 GiB
    simtel.net_2021-09-25.7z
    (ftp://simtel.net)
    offlineonline19.01797410,39 GiB8,71 GiB
    terratec.ultron.info_2018-09-12.7z
    (http://terratec.ultron.info)
    onlineonline8.5301.95137,19 GiB18,95 GiB
    ubios1.gigabyte.com.tw_2018-09-12.7z
    (ftp://ubios1.gigabyte.com.tw)
    offlineonline1.82907,50 GiB2,16 GiB
    Summe ≈16,74 TiB≈12,96 TiB


    Original in der Queue bei soggi (letzter Stand):

    • download.shuttle.eu/
    • http://ftp.aopen.com/pub/
    • ftp.fic.com.tw
    • ftp.microsoft.com_2015-02-05
    • ftp.terratec.de_2014-06-11 (in progress)


    Viele Grüße

    soggi (und jetzt auch GAT)

    Edit 2022-08-10: Für die Größe der Daten werden IEC-Einheiten jetzt unterstrichen für GiB und sowohl unterstrichen wie fettgedruckt für TiB markiert. Geht darum, daß man schneller erkennen kann, welches Ausmaß die jeweiligen Daten haben.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

    83 Mal editiert, zuletzt von GrandAdmiralThrawn (28. März 2024 um 07:10)

  • Da POSIX Rechtearchivierung bei den Archiven wohl größtenteils keine Rolle spielen dürfte, da 99% von dem Zeug wohl eh nur für Windows sein werden, würde ich 7zip vorschlagen. Spart mit LZMA2 einfach am meisten Platz im Schnitt.

    Private Torrents lassen sich nur per privatem Tracker(server) und entsprechender Accountverwaltung machen. Der Verwaltungsaufwand dafür ist aber wohl nicht zu rechtfertigen, vor allem weil wir hir (denke ich?) niemanden haben, der Erfahrung mit dem Betrieb eines privaten Trackers haben dürfte? Außerdem müßte der Tracker zentral laufen. Daher finde ich den Ansatz mit mehreren FTP Spiegeln statt Torrent besser. Ist auch zugänglicher, weil FTP doch sehr universell ist. Wichtig ist auch, daß man sich auf eine sinnvolle Ordnerstruktur am FTP einigt, und daß man ein automatisiertes Mirroring hinbekommt, damit die Arbeit bzw. der Aufwand für die Betreiber reduziert wird.

    Wenn das nur privat zugänglich sein soll, braucht es aber irgendwie auch noch eine gewisse Sicherheit was die Nutzer und Passwörter angeht, wo auch klar sein sollte, daß dieserlei Zugangsdaten nicht weiterzugeben wären (falls das deine Sorge wäre, soggi). Zudem wäre dann auf FTP+TLS zu achten, nicht mehr nur rohes FTP.

    Eine Teilnahme kann ich aber noch nicht zusichern. Das hängt von etlichen Faktoren ab, u.a. auch von der zu erwartenden Datenmenge.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Ich hätte gern einen Spiegel des FTP von DFI. Leider ist der nämlich down...

    "Du bist und bleibst a Mensch und du kannst eben net deine menschlichkeit überwinden."

    Dennis_50300

  • 7-Zip/LZMA2 (.7z) klingt vernünftig, werde ich mal oben umschreiben.

    Die Zugänglichkeit sollte sich erstmal auf hiesige Nutzer beschränken. Mein Gedanke war auch, dass wir die FTP Mirrors via Filesharing austauschen und erstmal auf den lokalen Datengräbern mirrorn. Von Torrent habe ich keinen Plan - wenn das nicht so geht, wie ich mir das denke, nehmen wir halt was anderes. Ich dachte halt an sowas wie eDonkey/eMule damals, allerdings nur für Leute aus der "FTP-Gruppe", die die ge7zippten FTPs teilen. Da müssen wir uns noch einigen. Geht auch sowas wie DC++ über VPN?

    Weiterhin bin ich dafür, dass die originale Ordnerstruktur des FTP erhalten bleibt und falls das mal bereitgestellt werden soll via Internet hat halt jeder FTP seinen eigenen Ordner mit Name + Datum.

    Erstmal sehen, wer überhaupt Interesse hat...

    Die Datenmenge stellt für mich auch noch ein Problem dar...die größte Platte, die ich habe, ist meine ext. 1 TB Platte...ansonsten sowas wie 160 GB IDE, max. 250 oder 500 GB SATA. :topmodel:

    Viele Grüße

    soggi

  • Also ich hab mir auch einige FTP Dumps gezogen, ich sortier die allerdings durch und nehme alles an Daten in mein Live-Datengrab auf. Da das aber ordentlich redundant ist (RAID6) und zusätzlich die Datenmenge auch täglich gebackupped wird, werd ich mir dort keine wild (un-)sortierten FTP Mirrors hinlegen.

    Ich könnte mir die aber nochmal ziehen und auf nen anderes (Offline-) Storage legen, dann ists zumindest mal gesichert und auf Zuruf verfügbar. Irgendwann wollt ich eh noch nen kleenen Web- und FTP Server laufen lassen.

    Irgendwie muss man aber auch mit Strom zumindest ein weenig haushalten, mittlerweile läuft hier echt so einiges 24/7 :topmodel: :topmodel:

  • Bei DC++ mußt ja auch erst Mal einen Hub (=zentralen Server) aufsetzen, der die Authentifizierung erledigt. Das funktioniert zwar anders als bei Torrent, aber am Ende brauchst wieder einen zentralen Server für's Account Management. Zumindest soweit ich DC++ verstehe, ich hab bisher nur einen DC++ Client benutzt, aber noch keinen Hub Server aufgesetzt.

    Ich kenn irgendwie kein simples P2P Sharingprogramm, bei dem man "schnell Mal" eine private Gruppe gründen könnte. Ich mein, vielleicht gibt's sowas, ich kenn halt nur keins. Wenn man erst einen Server aufsetzen und Accounts einrichten muß, kann man auch gleich einen FTP Server hochnehmen, is vielleicht sogar weniger Aufwand.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Ich könnte ca 500GB-1TB Bereitstellen, sofern man bei FTP bleibt (muss auf nem FreeNAS unkompliziert zum laufen bringbar sein), aber nicht allzu schnell wahrscheinlich ... und nur mit einer numerischen IP, eine Domain hab ich nicht^^

  • Gibt ja diese gratis DNS Dinger, aber eine reine IP muß auch reichen. Ich würd die Server sowieso alle bei mir im Filezilla als Profile eintragen. ;)

    Speicher könnte ich wohl um die 10TiB spendieren, aber das ist nicht realistisch. Die Menge darf ja das schwächste Glied der Mirrorliste nicht überwuchern. Spiegeln ginge per FXP Transfers direkt zwischen den FTP Servern, das kann normal so gut wie jeder FTPd.

    soggi: Von was für einer Datenmenge reden wir da aktuell überhaupt?

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • An HP wirst aber ein bißchen sehr viel zu schlucken haben...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Joa, ich hab mal grob da interessante raussortiert, Druckertreiber z.B. brauchen wir eher nicht ... Aber da ist eh scheinbar nicht wirklich viel zu finden, Filezilla ameint, das wären ca 17GB ...

  • OK...bevor hier jeder gleich mit ner anderen Idee um die Ecke kommt, sollten wir erstmal die Rahmenbedingungen klären.

    Mein Anspruch wäre:

    • sichern "as it is"
    • einheitliche Datei-/Ordnernamen
    • kongruent halten der files via Filesharing

    Der erste Punkt heißt, es wird so gezogen, wie es vorliegt, irgendwelche Ordnerstrukturen und Dateinamen innerhalb der FTP Mirrors werden nicht geändert und es werden auch keine Dateien aus den Ordnern gelöscht. Wenn nur einzelne Unterordner eines FTPs gesichert werden (wie bei mir Dell/BIOS), wird das im Dateinamen (ge7zippter FTP Mirror) und im Ordnernamen (wenn das jmd irgendwo als Ordnerstruktur bereitstellen will - FTP und/oder HTML-Index) angegeben.

    Damit kommen wir zu Punkt zwei. Die Dateinamen (.7z) und/oder Ordnernamen sollten den Server, wahlweise den Unterordner (falls nur ein Unterordner gesichert wird) und das Datum der Sicherung im Format YYYY-MM-DD enthalten. Somit ist jedem klar, was wann gesichert wurde.

    Beispiele für Datein-/Ordneramen:

    • downloads.dell.com_bios_2016-05-28(.7z)
    • ftp.abit.com.tw_2009-01-04(.7z)

    Da FTP relativ unbequem ist, was das Downloaden von sehr großen Einzeldateien betrifft (zumindest soweit ich weiß), archivierte (ge7zippte) Dateien aber das geringste Volumen und die größte Übertragungsrate ergeben (da einzelne, große Datei), würde ich irgendeine Art von Filesharing, welche Chunks unterstützt, favorisieren.

    Gebt bitte Bescheid, ob ihr so damit einverstanden seid! Die Ergebnisse editiere ich dann in den Startpost.

    -------------------------------------------------

    GrandAdmiralThrawn:

    1. Bei eMule (und Drivate) hat man ne Freundesliste, wäre eine Möglichkeit...müsste man nur schauen, ob man DL/UL auf Freunde beschränken kann, habe lange nichts mehr mit eMule gemacht. Wie oben erwähnt, wäre mir wichtig, dass Chunks unterstützt werden.

    2. Was die Datenmenge betrifft, kann ich dir nichts sagen, ich bin der Meinung, man sollte wegsichern, was wegzusichern geht. Ich bevorzuge BIOSe, Patches, Manuals und Treiber...andere was anderes.

    3. Jo, HP dürfte wie Dell Unmengen an GBs da rumliegen haben.

    lommodore:

    1. Ob ein FTP Mirror jetzt per Domain oder IP erreichbar ist, ist den Leuten hier glaub Latte. :topmodel:

    2. Den Gigabyte FTP gibt's schon ewig nicht mehr, seitdem ich mich dafür interessiere (einige Jahre), war da nix.

    3. Druckertreiber würde ich jetzt nicht zu den unwichtigsten Dingen zählen, da gibt's einige Leute, die uralte Hitschen betreiben.

    Viele Grüße

    soggi

  • Aso, du willst einen GANZEN Server zusammenzippen und als Einzeldatei bereitstellen? Also das finde ich wieder nicht so super. Ganz und gar nicht, um ehrlich zu sein. Ich dachte wir zippen die Dinge einzeln. Also ein BIOS ist ein .7z, eine bestimmte Software ein .7z und ein bestimmter Treiber ein .7z. Den Aufwand kann man minimieren, indem man per Skript drüberfährt.

    So findet man Dinge auch leichter und kommt schneller an seine Daten. Weil wie sag ich dem eMule sonst, daß ich von dem fetten 7z File nur eine bestimmte im Archiv befindliche Datei brauche? Und kann man ein nur teilweise geladenes 7z überhaupt sauber entpacken, selbst wenn man es gezielt stückchenweise laden könnte?

    PS.: Das simple Übertragen von Dateien ist, wofür FTP gemacht wurde. Aus persönlicher Erfahrung kann ich dir sagen, daß das Übertragen von riesigen Files (die größten die ich bisher hatte waren 60-80GiB groß) keinerlei Problem darstellt. Das Protokoll ist nur etwas langsam, wenn man wirklich sehr, sehr viele kleine Dateien überträgt.

    Mit der Datenmenge meinte ich auch die Menge, die du jetzt schon rumliegen hast, weil du hast ja schon einiges. Daher wollte ich gerne wissen, wie groß das aktuell schon bei dir ist.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Ich dachte, ich hätte mein Ansinnen klar ausformuliert. :topmodel:

    Also es geht mir erstmal darum diverse FTP Mirrors zu erstellen und diese redundant unter mehreren Leuten hier zu verteilen. Es geht mir nicht darum, irgendwelche Dateien einzeln erreichbar zu machen. Mit den FTP Mirrors kann dann ja jeder selbst machen, was er will - z.B. sie per FTP oder HTML-Index zur Verfügung stellen, damit irgendwelche anderen Leute einzelne Dateien herunterladen können.

    Die schnellste Verbreitung erreicht man meiner Meinung nach dadurch, dass Leute unterscheidliche FTPs oder HTML-Indexe ziehen, diese dann 7zippen und sie mit den anderen Teilnehmern teilen. Da FTP bei vielen (kleinen) Dateien ziemlich langsam ist und meines Wissens nach keine Chunks (Dateifragmente) unterstützt, man also eine Datei vom Anfang bis zum Ende laden muss ohne Disconnect, scheidet es als Verteilungsmittel der Wahl für mich aus. Für Filesharing-Programme wie eMule (und Derivate) sind dagegen große Dateien optimal, da sie Chunks unterstützen und man so einen ge7zippten FTP Mirror über Tage hinweg laden kann (und nur eine Datei selektieren muss). Der zweite Vorteil ist, dass die Dateigröße einfach um einiges minimiert ist (zumindest wenn es um gemischte Inhalte geht).

    Ich muss hier halt auch meine begrenzte Bandbreite von max. 180 KiB/s DL, UL weiß ich grad nicht, mit einzurechnen - da ist es sinnvoll, die Leitung auf Anschlag vollzuballern.

    Zum Umfang der Mirrors, die ich hier habe, kann ich dir grad noch nichts sagen...habe die Analysierung gerade angestoßen.

    Ich würde mich echt freuen, wenn ein derartiges Projekt in Gang käme.

    Viele Grüße

    soggi

  • Ah ok, also du willst nur die initiale Verteilungsphase so lösen, alles klar. Das war mir nicht klar.

    PS.: Da erliegst du noch einer groben Falschinformation, was FTP angeht. Das FTP Protokoll erlaubt es ohne weiteres, Transfers zu pausieren und zu resumen. Das funktioniert auch bei Verbindungsabbrüchen oder Rechnerabstürzen. Das entsprechende FTP Kommando lautet REST, und funktioniert bei ausreichendem Rollback (heutzutage vielleicht ca. 1MiB) ohne Probleme. FTP Clients unterstützen das schon seit wohl ca. 20 Jahren. ;) Ich kann mich nicht Mal mehr an einen Client erinnern, der das nicht könnte...

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Ich hätte gern einen Spiegel des FTP von DFI. Leider ist der nämlich down...

    Hier behauptet jmd. "I have a full backup of DFI BIOS FTP": https://community.hwbot.org/topic/159407-w…fi-epox/?page=2.

    Kannst ihn ja mal kontaktieren!

    soggi: Von was für einer Datenmenge reden wir da aktuell überhaupt?

    Ich editiere das später mal oben rein, unge7zippt sind es aktuell insgesamt 29,3 GiB.

    OK, das wusste ich nicht, dass FTP das auch kann, weil ich bis dato nie eine entsprechende Option irgendwo gesehen habe. Ich habe das bei vielen Dateien immer mit der "schmutzigen" Vorgehensweise umgangen, dass bereits bestehende Files nicht überschrieben und damit auch nicht neu geladen werden (die Indexierung dauert dann je nach Anzahl der Dateien trotzdem ganz schön).

    Die Verteilung unter den interessierten Nutzern soll meiner Vorstellung nach so gelöst werden.

    Aber irgendwie hält sich das Interesse hier scheinbar in Grenzen. :(

    Wenn irgendwelche Fragen bestehen oder jmd. andere Lösungsansätze hat - immer her damit!

    Viele Grüße

    soggi

  • Ich bin halt auch aus Eigeninteresse für FTP, weil ich schon einen Server habe, und auch jeder meiner Rechner Filezilla drauf hat. Damit entstünde kaum Extraaufwand, brauch nur eine FTP Gruppe und ein paar Useraccounts einrichten.

    Bei Verteilung über P2P würde es wohl an dir (als Initiator der Aktion) liegen, eine Software zu finden, die das private Verteilen ermöglicht, ohne dabei unverhältnismäßigen Aufwand betreiben zu müssen. Dann würde ich mir das entsprechende Programm schon installieren für die Dauer der Erstverteilung, und es halt so lange laufen lassen bis alle anfänglichen Interessenten Mal eine Kopie haben.

    1-6000-banner-88x31-jpg

    Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:

    • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700

    [//wp.xin.at] - No RISC, no fun!

    QotY: Girls Love, BEST Love; 2018 - Lo and behold, for it is the third Coming; The third great Year of Yuri, citric as it may be! Edit: 2019 wasn't too bad either... Edit: 2020... holy crap, we're on a roll here~♡!

    Quote Bier.jpg@IRC 2020: "Je schlimmer der Fetisch, desto besser!"

  • Ich hätte gern einen Spiegel des FTP von DFI. Leider ist der nämlich down...

    Hier behauptet jmd. "I have a full backup of DFI BIOS FTP": https://community.hwbot.org/topic/159407-w…fi-epox/?page=2.

    Kannst ihn ja mal kontaktieren!

    Hier schreibt jmd. "Den gesamten Inhalt des DFI FTP kann ich leider aus rechtlichen Gründen nicht einfach komplett irgendwo hochladen.": https://www.hardwareluxx.de/community/f219…ml#post24811650

    soggi: Von was für einer Datenmenge reden wir da aktuell überhaupt?

    Ich editiere das später mal oben rein, unge7zippt sind es aktuell insgesamt 29,3 GiB.

    Die Daten stehen jetzt oben in einer Tabelle - 11,6 GiB übertragen oder nicht, ist schon ein Unterschied! :topmodel:


    Wenn du das gleich selber hosten willst, wäre es wirklich das sinnvollste, wenn ich es zu dir schicke bzw. du dir das selber ziehst (was anderweitig verfügbar ist).

    Grundsätzlich finde ich den Gedanken, das über sowas wie eMule zu machen, auch der Nostalgie wegen ganz nett - von wegen das Flair von vor 15 Jahren wieder aufkommen lassen, nur dieses Mal ohne Angst vor Abmahnungen. :spitze:

    Viele Grüße

    soggi

  • paar mirrors hab ich auch schon, muss nochmal nachschauen was. glaube Supermicro usw. Auf jedenfall werde ich auch platz Bereitstellen. Mein FTP sollte diese / nächste Woche wieder hochgehen. und ich verteile gerne ein paar Benutzerkonten :) Ich komme halt nur nicht wirklich gross dazu Sachen zu Sortieren etc...

  • FTP-Platz und -Benutzerkonden finde ich generell gut!:spitze:

    -----------------

    Vll habe ich auch gleich zu schnell geschossen und wir sollten erstmal eruieren und rekapitulieren, wer was da hat und das dann (ein)sortieren!?

    -----------------

    Ich habe aus der Tabelle mal die Spalte "Größe .7z/ LZMA2 / Normal" entfernt, da der Speicherplatz-Gewinn durch "Ultra" Komprimierung enorm ist und sich daher meinerseits diese Frage erledigt hat, auch wenn das enorme Zeiten für das (Ent)Packen nach sich zieht.

    Changelog:

    • removed "Größe .7z/ LZMA2 / Normal
    • added "ftp.bluebyte.com_2004-03-03" to table

    Viele Grüße

    soggi