Lost FTPs and quasi lost FTPs - Mirroring wanted! [Datenrettungs-Projekt]

0. Übernahme von soggi

Achtung: Ich habe dank Ernesto diesen Thread gewaltsam () übernommen, um ihn weiter warten zu können, nachdem soggi scheinbar nicht mehr hier vorbeischauen möchte oder kann. soggi : Eine Rückgabe dieses Threads ist natürlich auf deinen Wunsch hin sofort möglich!

Der folgende Textblock stammt noch original von soggi, aktuelle Infos darunter:

Ich stelle den Thread mal hier rein, da er thematisch gut zum Thread "Links zu Treiberseiten" passt, es wäre schön, wenn ihn ein Moderator anheften könnte (Sticky machen).

Mir ist in den letzten Jahren aufgefallen, dass immer mehr FTPs vom Netz genommen wurden, so wie letztens beim EA FTP, der noch viele alte Spiele Patches enthielt. Genauso bietet z.B. ASUS seit Jahren schon keinen öffentlich zugänglichen FTP mehr an. Damit gehen u.a. viele alte BIOSe, Treiber, Patches und Manuals verloren. Deshalb schlage ich vor, dass wir ein Mirroring Projekt ins Leben rufen - Tweakstone hat mir in einer Konversation den Denkanstoß für den Thread gegeben.

Falls das irgendwie möglich ist, sowas wie eine Filesharing Gruppe zu gründen, könnte man das darüber lösen. Ziel ist es dann, dass nur die beteiligten Leute von VA gegenseitig sich FTP mirrors zur Verfügung stellen und diese somit mehrfach gesichert sind (bei den jeweiligen Leuten. Wenn meine Idee so nicht funktioniert, bitte andere Vorschläge bringen.

Als Format sollten wir .7z/LZMA2/Ultra verwenden, um möglichst kleine Archive zu erstellen.

Was haltet ihr von der Idee? Den Post habe ich erstmal schnell dahingeschrieben, da ich grad nicht viel Zeit habe.

Aktuell habe ich bei mir folgendes da:

1. Wie bekommt man Zugriff auf diese Daten, und soll man sie teilen, und wie?

Zugang kann auf Anfrage (PM oder hier im Thread) per FTP+TLS gegeben werden, mit leider niedriger Bandbreite von 12 Mbit/s in meinem Falle.

Es ist ausdrücklich erwünscht, vollständige oder teilweise offline oder auch (vor allem!) online Mirror hiervon anzufertigen! Als Clientprogramm für FTP-Zugriff empfehle ich persönlich die freie Software [FileZilla], die auf allen gängigen Betriebssystemen lauffähig ist.

Es ist anzuraten, keinen anonymen Zugriff auf diese Daten zu gewähren, da es sich hier teilweise um Abandonware handelt, bei der die exakte rechtliche Lage nicht mehr zu klären ist! Ich will euch nichts vorschreiben, aber wenn ihr diese Daten ohne Authentifzierung öffentlich zur Verfügung stellt, liegt das Risiko bei euch! Ich empfehle den Einsatz von FTP Servern mit TLS Verschlüsselung und Benutzerauthentifizierung.

2. 7-Zip Kompression

Als Archivierungsprogramm kommt 7-Zip zum Einsatz, weil die meisten Daten für Microsoft Windows gedacht sind, und 7-Zip sehr kompatibel ist (Windows 98 bis 11, per p7zip auf UNIX und Linux). Demzufolge wurde der POSIX-Kompatibilität von Daten für UNIX-artige Systeme keine Priorität gegeben. Vor allem weil FTP-Downloads die entsprechenden POSIX Infos (wie die Ausführbarkeit von Dateien) sowieso oft verloren gehen läßt.

Mittlerweile habe ich beschlossen, sehr große Archive mit einer Dictionary Größe von 3840 MiB zu komprimieren, um die Blockdeduplizierung effektiver zu machen, und teils noch deutlich kleinere Archive erzeugen zu können. Das zahlt sich bei großen Paketen im hohen zweistelligen Gigabytebereich oder noch deutlich darüber gut aus! Das spart Speicherplatz und Bandbreite. Nachteil ist, daß die Dekompression dieser Monster eine 64-Bit Maschine mit 6 - 8 GiB RAM voraussetzt. Auf einer 32-bit Maschine können diese großen Archive dann nicht mehr entpackt werden.

Bei extrem großen Archiven setze ich zudem auf eine 64 GiB solid block size, um eine stark parallelisierte Kompression in "endlicher" Zeit zu ermöglichen. Das hat ebenfalls einen Nachteil: Solche Archive können nur "64 GiB am Stück" entpackt werden. Das verlangsamt den Zugriff auf einzelne, aus dem Archiv angeforderte Dateien, ist aber notwendig. Bisher betrifft das nur download.nvidia.com, es wird aber auch für HP/HPE Anwendung finden. Dem Zeitaufwand zur Extraktion einzelner Dateien (5-30 Minuten) gestehe ich hierbei nur eine geringe Priorität zu. So viel Zeit hat man noch.

Kleinere Archive werden 32-bit kompatibel gehalten.

Abseits vom größeren Deduplizierungs-Wörterbuch kommt unverändert .7z/LZMA2/Ultra zum Einsatz. Wo zeitlich möglich, wird mit nur einem CPU-Thread komprimiert, um die Kompression noch einen Tick effektiver zu machen.

3. Liste der Spiegel

Nun zur seit heute (7. August 2022) und darüber hinaus wieder weiterführend aktualisierten Liste:

Original in der Queue bei soggi (letzter Stand):

• download.shuttle.eu/
• http://ftp.aopen.com/pub/
• ftp.fic.com.tw
• ftp.microsoft.com_2015-02-05
• ftp.terratec.de_2014-06-11 (in progress)

Viele Grüße

soggi (und jetzt auch GAT)

Edit 2022-08-10: Für die Größe der Daten werden IEC-Einheiten jetzt unterstrichen für GiB und sowohl unterstrichen wie fettgedruckt für TiB markiert. Geht darum, daß man schneller erkennen kann, welches Ausmaß die jeweiligen Daten haben.

Da POSIX Rechtearchivierung bei den Archiven wohl größtenteils keine Rolle spielen dürfte, da 99% von dem Zeug wohl eh nur für Windows sein werden, würde ich 7zip vorschlagen. Spart mit LZMA2 einfach am meisten Platz im Schnitt.

Private Torrents lassen sich nur per privatem Tracker(server) und entsprechender Accountverwaltung machen. Der Verwaltungsaufwand dafür ist aber wohl nicht zu rechtfertigen, vor allem weil wir hir (denke ich?) niemanden haben, der Erfahrung mit dem Betrieb eines privaten Trackers haben dürfte? Außerdem müßte der Tracker zentral laufen. Daher finde ich den Ansatz mit mehreren FTP Spiegeln statt Torrent besser. Ist auch zugänglicher, weil FTP doch sehr universell ist. Wichtig ist auch, daß man sich auf eine sinnvolle Ordnerstruktur am FTP einigt, und daß man ein automatisiertes Mirroring hinbekommt, damit die Arbeit bzw. der Aufwand für die Betreiber reduziert wird.

Wenn das nur privat zugänglich sein soll, braucht es aber irgendwie auch noch eine gewisse Sicherheit was die Nutzer und Passwörter angeht, wo auch klar sein sollte, daß dieserlei Zugangsdaten nicht weiterzugeben wären (falls das deine Sorge wäre, soggi). Zudem wäre dann auf FTP+TLS zu achten, nicht mehr nur rohes FTP.

Eine Teilnahme kann ich aber noch nicht zusichern. Das hängt von etlichen Faktoren ab, u.a. auch von der zu erwartenden Datenmenge.

Bei DC++ mußt ja auch erst Mal einen Hub (=zentralen Server) aufsetzen, der die Authentifizierung erledigt. Das funktioniert zwar anders als bei Torrent, aber am Ende brauchst wieder einen zentralen Server für's Account Management. Zumindest soweit ich DC++ verstehe, ich hab bisher nur einen DC++ Client benutzt, aber noch keinen Hub Server aufgesetzt.

Ich kenn irgendwie kein simples P2P Sharingprogramm, bei dem man "schnell Mal" eine private Gruppe gründen könnte. Ich mein, vielleicht gibt's sowas, ich kenn halt nur keins. Wenn man erst einen Server aufsetzen und Accounts einrichten muß, kann man auch gleich einen FTP Server hochnehmen, is vielleicht sogar weniger Aufwand.

Gibt ja diese gratis DNS Dinger, aber eine reine IP muß auch reichen. Ich würd die Server sowieso alle bei mir im Filezilla als Profile eintragen.

Speicher könnte ich wohl um die 10TiB spendieren, aber das ist nicht realistisch. Die Menge darf ja das schwächste Glied der Mirrorliste nicht überwuchern. Spiegeln ginge per FXP Transfers direkt zwischen den FTP Servern, das kann normal so gut wie jeder FTPd.

soggi: Von was für einer Datenmenge reden wir da aktuell überhaupt?

An HP wirst aber ein bißchen sehr viel zu schlucken haben...

Aso, du willst einen GANZEN Server zusammenzippen und als Einzeldatei bereitstellen? Also das finde ich wieder nicht so super. Ganz und gar nicht, um ehrlich zu sein. Ich dachte wir zippen die Dinge einzeln. Also ein BIOS ist ein .7z, eine bestimmte Software ein .7z und ein bestimmter Treiber ein .7z. Den Aufwand kann man minimieren, indem man per Skript drüberfährt.

So findet man Dinge auch leichter und kommt schneller an seine Daten. Weil wie sag ich dem eMule sonst, daß ich von dem fetten 7z File nur eine bestimmte im Archiv befindliche Datei brauche? Und kann man ein nur teilweise geladenes 7z überhaupt sauber entpacken, selbst wenn man es gezielt stückchenweise laden könnte?

PS.: Das simple Übertragen von Dateien ist, wofür FTP gemacht wurde. Aus persönlicher Erfahrung kann ich dir sagen, daß das Übertragen von riesigen Files (die größten die ich bisher hatte waren 60-80GiB groß) keinerlei Problem darstellt. Das Protokoll ist nur etwas langsam, wenn man wirklich sehr, sehr viele kleine Dateien überträgt.

Mit der Datenmenge meinte ich auch die Menge, die du jetzt schon rumliegen hast, weil du hast ja schon einiges. Daher wollte ich gerne wissen, wie groß das aktuell schon bei dir ist.

Ah ok, also du willst nur die initiale Verteilungsphase so lösen, alles klar. Das war mir nicht klar.

PS.: Da erliegst du noch einer groben Falschinformation, was FTP angeht. Das FTP Protokoll erlaubt es ohne weiteres, Transfers zu pausieren und zu resumen. Das funktioniert auch bei Verbindungsabbrüchen oder Rechnerabstürzen. Das entsprechende FTP Kommando lautet REST, und funktioniert bei ausreichendem Rollback (heutzutage vielleicht ca. 1MiB) ohne Probleme. FTP Clients unterstützen das schon seit wohl ca. 20 Jahren. Ich kann mich nicht Mal mehr an einen Client erinnern, der das nicht könnte...

Ich bin halt auch aus Eigeninteresse für FTP, weil ich schon einen Server habe, und auch jeder meiner Rechner Filezilla drauf hat. Damit entstünde kaum Extraaufwand, brauch nur eine FTP Gruppe und ein paar Useraccounts einrichten.

Bei Verteilung über P2P würde es wohl an dir (als Initiator der Aktion) liegen, eine Software zu finden, die das private Verteilen ermöglicht, ohne dabei unverhältnismäßigen Aufwand betreiben zu müssen. Dann würde ich mir das entsprechende Programm schon installieren für die Dauer der Erstverteilung, und es halt so lange laufen lassen bis alle anfänglichen Interessenten Mal eine Kopie haben.