Lost FTPs and quasi lost FTPs - Mirroring wanted! [Datenrettungs-Projekt]

Abbrüche, die mehrere Sekunden bis wenige Minuten dauern, dafür relativ viele davon. Die Bandbreite darf nicht schwanken, die ist bei mir noch vertraglich zugesichert. Die Abbrüche betreffen dann alle 8 Public IP's von mir gleichermaßen. Aber auch längere Abbrüche gibt es öfter als früher. Zudem hat Magenta den UPC DNS kaputt gemacht und unterstützt jetzt kein MX Record Fallback mehr. Das ist eigentlich ein altes Standardfeature für Mailserverredundanz. Magenta Support meinte dazu "Ja, unsere DNS Server sind da ein bißchen komisch konfiguriert, das geht nicht mehr."

Mhm... Genau. Ihr Pisser...

Wenn ich nur eine Alternative hätte hier, dann würde ich wechseln. Leider lebe ich im toten Winkel des nationalen Netzausbaus... Meine Vermutung ist, daß Magenta überhaupt kein Interesse an Festnetzkunden hat, egal ob privat oder Business. Weiters vermute ich, daß man die UPC Infrastrukturen im Land eventuell nur haben wollte, um das geile neue 5G Netz einzuspeisen. Aber das ist wie gesagt nur eine Mutmaßung meinerseits, kein etablierter Fakt.

Zum Glück kann Filezilla Autoresume, und die paar fehlgeschlagenen Downloads von HP schmeiße ich halt zurück an's Ende der Schlange, fertig.

Ich hätte ja noch "A1" als Option, das ist der ehemals staatliche Anbieter der irgendwann Mal zur Post gehört hat (Jahrzehnte her). Die haben einen ziemlich guten Ruf hier was die Technik angeht. Leider meinte der Verkauf zu mir, sie könnten meinen Fall "in ihrem System nicht abbilden". Die sind also nicht flexibel genug, um eine Businessleitung an einen Privatkunden zu verdrehen. Brauchen also eine Steuernummer und ein angemeldetes Gewerbe, sonst geht nichts.

Generell scheint es nicht viele ernsthaftere Homeserverbetreiber zu geben, weil der Umstand als Privatperson eine Businessleitung zu wollen stößt so gut wie immer auf Unverständnis und Verblüffung.

Aber gut, ich muß zugeben, mein letzter Versuch bei A1 ist schon über 5 Jahre her. Vielleicht sollte ich das einfach nochmal probieren...

Ja, das ist machbar. Zugang zu meinem Server wäre per FTP+TLS. Ich empfehle Filezilla als Client. Dein Passwort würde ich dir per IRC geben. Wenn du dafür keinen Client hast oder installieren möchtest, gibt es auch eine Möglichkeit per verschlüsseltem Webchat. Das können wir per PM ausmachen, wie es dir beliebt.

Es sei aber darauf hingewiesen, daß ich mit 8Mbit nur sehr wenig Bandbreite anzubieten habe. Das ist praktisch betrachtet im Optimalfall um die 950kiB/s, wenn sonst nicht grade was stört.

Das ABiT Archiv ist aber eh nur 8.08GiB groß, so wie ich es komprimiert habe.

Wenn das so für dich geht, einfach sagen. Dann richte ich dir das ein und schick' dir eine PM in absehbarer Zeit.

Edit: Grade gesehen, einige der Archive sind wohl zum Zwecke des Erhalts der von FTP abgebildeten POSIX Rechte bei mir per .tar.xz gepreßt. Also dort, wo der FTP halt unter UNIX oder Linux lief. Unter Windows kannst du das mit 7-Zip zweistufig entpacken, einmal das .tar aus dem .tar.xz holen, und dann das .tar zur kompletten Ordner- & Dateistruktur entpacken. Nur zur Info. Manch andere Dumps sind direkt als .7z abgelegt, dazu natürlich auch 7-Zip nutzen. Unter UNIX/Linux tar+xz und p7zip.

BSD tar macht mir das, solange ich f für Angabe der Datei dabei habe, also z.B. xvzf, besser -xvzf. GNU tar unter Linux macht mir das aber nicht, hier wäre folgendes Kommando richtig: tar -xJvf /pfad/zu/datei.tar.xz. -J für xz. Ansonsten glaubt er ich will gzip (z) statt xz und stirbt einfach.

Wobei ich glaube, daß das 3mbryoyo völlig egal sein wird.

So, habe den AOpen FTP nebenher Mal wieder aktualisiert (die alte Version aber auch behalten).

3mbryoyo : Nachdem du schon Zugang hast mögest du dich gerne bedienen, falls es mehr hat als deine Version.

Jetzt ist mir grade was saugeiles aufgefallen.

Hewlett Packard clustered ja ihren FTP per DNS, wie es heutzutage bei HA-Umgebungen so üblich ist. Sprich: Jedes Mal wenn man ftp.hp.com auflöst, kriagt man eine zufällige Server IP raus.

Jetzt liegen im HP Fall (weil die im Webseiten- und FTP-Sektor so kompetent sind, wie wir wissen!) zwei spannende Sachverhalte vor:

1. Viele der Knoten im Cluster existieren gar nicht mehr bzw. sind offline
2. Nicht alle noch aktiven Knoten sind synchron!!

Punkt 1 ist noch egal, das erledigt das automatische Wiederverbinden im FileZilla. Punkt 2 ist jetzt schon ein bißchen problematisch, weil das bedeutet, daß nicht alle FTP Server im Cluster exakt die selben Dateien anbieten!!!

Ich kann also nicht sicher sein, ob mein erstes Dirlisting mir überhaupt eine vollständige Dateiliste gegeben hat! Zudem schlagen natürlich auch permanent Downloads komplett fehl, weil der verbundene Knotenserver wieder Mal ein paar Dateien nicht gehabt hat, die auf dem Server den ich initial gescanned habe drauf waren!

HP, warum du sein so Scheiße?

Jetzt weiß ich nicht ganz sicher was hier zu tun ist... Fehlende Downloads requeue ich einfach, kein Thema, einfach so oft probieren bis ein Knoten sie hergibt. Aber Dateien von denen ich gar nicht Mal weiß daß sie irgendein Knoten vielleicht hat, weil ich halt nicht von jedem Knoten ein Dirlisting habe, da wird's spannend.

Eventuell alle IP's aus dem Log notieren und manuell auf jede IP connecten und eine volle Dirlist mit vollem Resume von jeder einzelnen IP holen? Das wären natürlich mehrere Wochen extra an Zeitinvestition... Aktuell stehe ich bei noch 9.9 TiB ausstehenden Daten von 13.x TiB.

So, grade einen äußerst spannenden FTP Server in Neuseeland gefunden, der auch HTTPS Webzugriff erlaubt. Laut Operator ist der Server per Fibre Heiminternet angeschlossen, der Mensch muß echt einen HAUFEN Speicherplatz sein eigen nennen, man sehe selbst:

Host      : ftp://ftp.zx.net.nz
UN        : anonymous
PWD       : beliebig
Subfolder : /pub/archive/

Webzugriff: https://ftp.zx.net.nz/pub/archive/

Scheint mir eine echte Goldgrube zu sein!

Brauchst eh nur reinschaun, dann siehst es selber, URLs sind ja da. Auf jeden Fall etliche alte FTP Mirrors, darunter einige interessante wie ich zumindest finde. Der Betreiber scheint bis jetzt aktiv alte Software zusammenzutragen. Einen incoming Folder zum Hochladen hat er da auch public.

Was auch lästig ist sind die Metadaten. Sprich: Selbst wenn ich alle paar Millionen Dateien von HP oder IBM habe, heißt das nicht daß ich das benötigte Programm oder den gewünschten Treiber identifizieren kann, wenn jedes einzelne Paket einen Namen wie cp010820.exe und jedes Dokument einen wie c01817285.pdf trägt. Gut, die PDFs kann man volltextindizieren, aber beim Rest isses schwer. Wenn man z.B. Treiber für Karte A und Betriebssystem B in Version C sucht, und man findet diese beschreibenden Metainformationen nirgends mehr, dann wird's auch hart. Besonders schlimm ist da der HP/Compaq Softpaq Downloadmanager, da fehlt das vollkommen.

Eine Liste von hunderttausenden .exe Dateien ist einfach viel zu groß für manuelle Durchschau...

Hinter das Problem müßte man auch noch irgendwie steigen...

Da ich ja grade dabei bin, weitere Spiegel zu erstellen (3DRealms, Cavedog, Team 17, Be Inc., Borland, DEC, Compaq, HP und mehr...), bin ich zu der Ansicht gekommen, daß es absolut Scheiße ist, wenn man diese Archive nicht durchsuchen kann, bevor man sie lädt. Ist ja ok bei kleinen Spiegeln, aber bei sehr großen wird das schnell schmerzhaft, wenn man Stunden oder Tage lädt, nur um dann nicht zu bekommen was man will.

Daher habe ich jetzt am Server einen Unterordner filelists/ eingerichtet. Darin befinden sich Dateilisten für jedes neu hinzukommende Archiv als .txt. Dazu gibt es als .7z und als .tar.xz komprimiert alle Dateilisten gesammelt.

Sowas zu erstellen ist mit 7-Zip auf'm Terminal denkbar einfach: 7z -l archive.7z > archive-filelist.txt

So kann man die Dateiliste laden, durchsuchen, und dann entscheiden ob im Archiv ist, was man will. Das erlaubt es zwar immer noch nicht die Datei direkt zu laden, aber es ist besser als nichts. Eventuell könnte man die .7z Archive auch noch in Unterordner mounten, um das zu ermöglichen. Aber da weiß ich noch nicht, ob es für mein OS passende Software gibt und ob das generell schlau ist.

Edit: Noch schnell ein Batch Skript runtergefetzt, das die Dateilisten für alle .7z Archive im Ordner vollautomatisch erzeugt und auch die Archive mit allen Listen erstellt. Optional mit .tar.xz Unterstützung, die standardmäßig deaktiviert ist. Das macht es Spiegeln einfacher, die Listen auch lokal zu generieren. "generate-filelists.bat" oder so einfach dort hinlegen wo die .7z Dateien auch sind, und dann auf einer Konsole ausführen:

@ECHO OFF
REM :: We need delayed variable expansion for var handling in loops
REM :: and enable extenions explicitly (should be the default though)
SETLOCAL EnableDelayedExpansion EnableExtensions

REM :: Files & folders
SET "listFolder=filelists\"
SET "allListsFile7z=all-filelists.7z"
SET "allListsFileTar=all-filelists.tar"

REM :: Set "haveTarXz" to 1 only if you have tar.exe and xz.exe in
REM :: your user or system search path(s)!
SET "haveTarXz=0"

REM :: Create & prepare subfolder, can handle existing subfolders
IF NOT EXIST "%listFolder%" MKDIR "%listFolder%"
IF EXIST "%listFolder%" (
  IF EXIST "%listFolder%*.txt"   DEL "%listFolder%*.txt" 1>NUL 2>NUL
  IF EXIST "%listFolder%*.7z"    DEL "%listFolder%*.7z" 1>NUL 2>NUL
  IF EXIST "%listFolder%*.tar.*" DEL "%listFolder%*.tar.*" 1>NUL 2>NUL
)

REM :: Loop over .7z archives and generate browsable .txt file lists
ECHO.
<NUL SET /P=Scanning .7z archives and generating file lists
FOR %%I IN (*.7z) DO (
  SET "archiveFile=%%I"
  SET "fileList=!archiveFile:.7z=-filelist.txt!"
  <NUL SET /P=.
  7z.exe l "!archiveFile!" > "!listFolder!\!fileList!"
)

<NUL SET /P"= "
ECHO done & ECHO.

REM :: Create .7z archive containing all lists
ECHO Creating .7z archive containing all lists...
7z.exe a -t7z -m0=lzma2 -mx=9 -m0=lzma2:d128m -aoa -mmt=1 "%listFolder%\%allListsFile7z%" "%listFolder%*.txt"

REM :: Create .tar.xt archive containing all lists, if the
REM :: feature is enabled by setting %haveTarXz% to 1.
ECHO.
IF %haveTarXz% EQU 1 (
  <NUL SET /P=Creating .tar.xz archive containing all lists...
  CD "%listFolder%"
  tar.exe -cf "%allListsFileTar%" *.txt
  xz.exe -9 -e -M 2GiB --lzma2=dict=134217728 "%allListsFileTar%"
  CD ..
  <NUL SET /P"= done" & ECHO.
) ELSE (
  ECHO .tar.xz support disabled, skipping... & ECHO.
)

ECHO All done, terminating.
EXIT /B 0

Es macht nichts, wenn der Ordner vorher schon existiert, ob er leer oder voll ist, oder ob er gar nicht da ist. Macht das Skript alles automatisch.

Nein, das habe zumindest ich nicht vor. Anderen Teilnehmern steht diese Entscheidung natürlich frei, aber ich weiß nicht Mal wie legal das in Bezug auf die ganzen Daten unzähliger Firmen wäre. Die Verteilung läuft daher von meiner Warte aus exklusiv über authentifizierte FTP Zugänge. Sprich: Du sagst du willst Zugang, dann kriegst du Einen Socket (Servernamen plus Port), einen User und ein Passwort und kannst das laden. Und bevorzugt auf deinen eigenen Server für die Weiterverteilung legen, und dort vergleichbare Zugänge anbieten, wenn dir das möglich ist. Ich biete nur das Protokoll FTPS:// an. Also FTP mit erzwungener TLS Verschlüsselung. So gut wie jeder FTP Client kann das, ich empfehle die freie Softare "FileZilla".

Andere Teilnehmer könnten das natürlich auch alles entpackt hosten, und per Skript dazu passendes HTML mit Hyperlinks generieren. Aber dafür habe ich mit 55 TiB Kapazität nicht genug Platz.

Ein Grund für die Spiegelung wäre dann halt auch der, daß mein Server mit 8Mbit/s nun Mal sehr langsam angebunden ist.

Es wäre also schoooon coooool, wenn mehr Leute mitmachen würden.

Vielleicht sollte ich auch eine Übernahme des Threads beantragen, um den ersten Beitrag editieren zu können? Wenn soggi hier Mal wieder auftaucht würde ich natürlich gerne rückübergeben.