Ah, das hatte ich leider überlesen! Alles klar, jo!
Lost FTPs and quasi lost FTPs - Mirroring wanted! [Datenrettungs-Projekt]
-
-
Außerdem: Es gab Rückmeldungen bezüglich der Viren-Alarme @FIC FTP...
Microsoft:
ZitatThank you for your inquiry.
We have reviewed the file and we have removed the detection.
...
Best regards,
Windows Defender Response
Dito bei File #2.
Viele Grüße
soggi
-
Avira hat sich jetzt auch gemeldet, zuerst aber noch die Meldung zu den Dateien von http://downloads.dell.com/bios, die ich vergessen hatte einzufügen:
ZitatDatei Ergebnis o790c-e05.exe Clean o990c-e05.exe Clean o990-e04.exe Clean t1600e05.exe Clean e5520e01.exe Clean Nun die Rückmeldung zu den Dateien von ftp.fic.com.tw:
ZitatDatei Ergebnis I3CAuto.exe Clean http://svb.zip/svb.zip Major.1644 Viele Grüße
soggi
-
Wäre dieser Thread btw. nicht besser im "Software" Subforum aufgehoben? Ich such ihn zuallererst immer dort.
Habe jedenfalls gestern früh mit dem Mirroring des IBM PCCBBS begonnen, leider halt mittels HTTrack, mit halbwegs höflichen Einstellungen. Der Betreiber des Spiegels hat sich leider noch immer nicht zrurückgemeldet. Noch kann ich nicht abschätzen wie riesig das wird, aber bei 20GiB sind wir schon Mal.. Bin gespannt wie fett das Archiv dann wird.
-
Doppelpostler!
Das mit dem IBM PCCBBS wird noch dauern. Der Mirror ist... dezent groß. Und mit HTTrack will ich mich halt nicht benehmen wie die ärgste Ursau. Bei 42GiB unkomprimiert sind wir schon. Ich muß das jetzt von der Arbeit (hab's hier im Hintergrund mitlaufen lassen mit WebHTTrack) nach Hause verschieben, weil ich auf meiner Workstation hier nicht mehr genug Platz habe. Das bremst den Vorgang noch zusätzlich etwas.
Kann also schon noch eine Zeit dauern, ich gehe Mal vorsichtig von 1-2 Wochen aus.
-
Alter Schwede!
Naja "Software"...hatte auch überlegt, aber hier ist halt schon der im Startpost benannte andere Thread drin und mir geht's eh vorwiegend um die Hardware bzw. hardwarenahe Software.
Wie sieht's denn aus? Scannt ihr eure Mirrors auch mit AV-Software?
Und ja, ich muss den Startpost immer noch überarbeiten...
Viele Grüße
soggi
-
Bisher nicht, ich habe die .7z auch noch nicht entpackt bei mir, zuerst will ich noch den IBM Mirror hergesaugt bekommen. Ich plane sogar, AV eventuell völlig fallen zu lassen auf meinen Maschinen (ist noch unsicher).
-
Kann ich sogar verstehen...das einzige Mal, dass es in den letzten Jahren wirklich genutzt hat, war das Abwehren von Mining Scripts auf diversen Seiten. Die Ressourcen betreffend ist AV-Software schon seit Jahren übel...auch wenn's vor ein paar Wochen/Monaten deutlich besser geworden ist. Vorher brauchte es beim Update von Signaturen schonmal ~1 GB RAM...und so viel steckt grad mal im Rechner.
Viele Grüße
soggi
-
So, Projekt und Daten transferiert und Download resumed. Immerhin weiß ich jetzt, daß sich ein Linux/UNIX WebHTTrack Projekt ohne weiteres mit Windows / WinHTTrack austauschen läßt.
Edit: Bezüglich der im Startpost als "offline" markierten Mirror; Kannst die irgendwohin hochladen? Zu mir oder konstl, egal. Zugang zu meinem FTP hast ja zumindest. Dann lassen sich die auch weiterspiegeln.
-
Ich würde jetzt ganz faul und salopp einfach mal 2tb zur Verfügung stellen wollen. Muss mich aber noch mal in Ruhe durch die ganzen posts lesen.
Gruß René Schöneich
-
Edit: Bezüglich der im Startpost als "offline" markierten Mirror; Kannst die irgendwohin hochladen? Zu mir oder konstl, egal. Zugang zu meinem FTP hast ja zumindest. Dann lassen sich die auch weiterspiegeln.
Äh GAT...hast die Links in der ersten Spalte übersehen!?
Ich würde jetzt ganz faul und salopp einfach mal 2tb zur Verfügung stellen wollen. Muss mich aber noch mal in Ruhe durch die ganzen posts lesen.
Gruß René Schöneich
Gerne doch, gib einfach nochmal Bescheid!
Viele Grüße
soggi
-
Jo, habe ich! Hab nur gesehen: rot - offline, also weg.
Edit: Einige davon sind .tar Archive, also eher für UNIX/Linux Plattformen gedacht. Da tar.7z wenig Sinn macht (7z läßt sich nicht als tar Dekompressor registrieren, weil es den POSIX Parameter -d nicht unterstützt). Hier würde es mehr Sinn machen, xz zu verwenden, in dem ebenfalls ein LZMA2 Algorithmus verfügbar ist, ich verwende hier üblicherweise Single Thread mit 1.5GiB Dictionary (wie bei 7z, wo das das Maximum darstellt): -9 -e -M 40GiB --lzma2=dict=1536M, unter 7z presse ich so: -m0=lzma2 -mx=9 -md=1536m -mmt=1, braucht knappe 40GiB RAM, wenn das Archiv groß genug wird. Single Thread deswegen, weil es die Kompressionseffizienz noch weiter erhöht und zudem viel RAM spart.
.tar.xz macht einfach viel mehr Sinn bei den Archiven, wenn die dazu gedacht sind, auf UNIX/Linux Maschinen entpackt zu werden. So bleiben auch POSIX-konforme Metadaten der Dateien erhalten, die 7z fallen lassen würde, wenn man das .tar enpackt und als .7z neu packt. Die Dateien würden trotzdem so gut gepresst wie mit 7zip+LZMA2.
Edit 2: Den Biostar Server hole ich mir zur Gänze, nicht nur BIOSes und Manuals.
-
Also ich verstehe jetzt die Information über das Packen nicht...die sind nicht von mir, die Archive, ich habe die auch nur von da gezogen. Die .tar Archive sind außerdem ohne jegliche Kompression - dient wohl nur als Container, damit man eine einzige Datei hat.
Viele Grüße
soggi
-
Geht ihr das ganze nicht ein bißchen sehr theoretisch an? Für den Fall dass ihr keine dicke Leitung habt, kann ich es ja die pack Diskussion verstehen.
ABER:
Bei mir lagere ich alles as is, ganz normal als zip bzw tar.gz. Auf der einen Seite sehe ich den Sinn schon traffic zu sparen, auf der anderen Seite sind die alten Treiber etc nun nicht die platzfresser. Ganz abgesehen davon dass stark komprimierte verzeichnisse auch CPU beim antivirus verbrauchen.
Ich würde einfach rsync laufen lassen und max 2TB mirrorn.
Vielleicht fangen wir auch erst mal an, bevor wir uns noch zu Tode überlegen ?
-
Äh...wolltest du nicht den ganzen Thread lesen?
Angefangen ist schon längst und so wie ich das mitbekommen habe, speichern die anderen unkomprimiert. Hier gibt es keine schnelle Leitung (~180 KiB/s DL bzw. ~24 KiB/s UL) und meine verfügbaren Platten gehen nicht über 160 GiB hinaus. Hier gibt es eh nur eine 1 TiB Platte und der Rest ist max. 250 GiB groß. Davon abgesehen ist es immer besser, weniger Traffic zu erzeugen, egal ob einen selbst das gerade juckt. Nicht die Platzfresser? bis zu 70 GiB für einen einzigen FTP Mirror finde ich schon extrem happig
Zum weiteren (re)organisieren der Sache komme ich frühestens nächste Woche.
Viele Grüße
soggi
-
.tar != .tar.gz
Und das sind .tar, eben nicht .tar.gz!
Beispiel:
EA Mirror, grade gepackt. .zip File hat 33GiB. Mein .7z File mit oben genannten Einstellungen hat 16GiB! Noch Fragen? Ich denke da erübrigt sich die Diskussion, oder?
soggi schlägt eben 7zip mit LZMA2 als Default vor, was auch vernünftig ist. Ich presse nur die .tar mit xz, weil das ebenso vernünftig ist. Weil dann kannst mit $ tar -xJf <datei>.tar.xz entpacken. Mit 7zip geht das nicht, da mußt immer zweistufig arbeiten, und das ist einfach ein Schund. Zudem hat kaum ein Linux oder UNIX Server 7zip vorinstalliert. xz hast aber so gut wie immer, daher das Standard .tar.xz bei den "UNIX" Files, und .7z bei denen, die als .zip oder roh daherkommen.
Meine Anbindung ist 8/8Mbit. Alleine gestern habe ich 70GiB über meine Leitung rinnen lassen müssen. Da spart man sich (und den anderen) viel Zeit, wenn man ordentlich preßt.
Daran ist auch nichts "theoretisch"? Brauchst ja nur die .zips entpacken und mit 7zip mit LZMA2 neu verpacken, fertig. Ich geh halt auf's Extrem mit Single Thread und riesigen Dictionary für mehr Dedup. Ich sage aber jetzt nicht, daß sich das jeder antun soll. Wenn ich aber (z.B. bei Konstl) sehe, daß ich eine deutlich kleinere Version eines Archivs habe, dann ersetz' ich seines halt, dann is der Download auch für die anderen schneller.
Edit: soggi hat mich überholt!
-
Wobei ich deine Komprimierungsmethode @min. 40 GiB RAM nicht unterstütze...habe grad max. nen Core2 Duo mit 4 GiB RAM... - meine Einstellung beim Komprimieren ist 64 MB Wortbuchgröße und 64 Wörter. Das ist vertretbar mit paar hundert MiB RAM. Dass du beim EA Mirror damit nochmal 6 GiB eingespart hast, ist schon ziemlich krass (vgl Statpost).
Die Komprimierung habe ich eh nur für die (schnellere) Verteilung vorgeschlagen, persönlich habe ich sowas auch lieber entpackt rumliegen. Wichtig ist, dass wir alle die selben Daten vorhalten und keine Inkonsistenzen entstehen.
...aber wir sind ja eh noch sehr am Anfang der ganzen Sache!
Viele Grüße
soggi
-
Is kein Problem, entpacken kannst es ohne Schwierigkeiten auch mit 4G RAM, ich denke mit knapp unter 2G kommt man schon aus. Beim Packen spar ich ned, da wird die ganze Hardware geopfert für noch kleinere Files!
Wenn ich's hab', wieso ned nutzen!
Edit: Bei DELL sichere jetzt mehr aus Versehen als Absicht auch mehr als nur die BIOSes. Da sind jetzt auch Handbücher und Treiber mitgegangen. Sind unkomprimiert auch schon 31GiB statt 14GiB, najo. Warum nicht. Mal schaun wie fett das wird.
Edit 2: Ich versuche mich grade an einem Skript, das mittels wget die Gesamtgröße einer Downloadwebseite eruiert. Mal schaun ob das hinhaut. Dann weiß ich wenigstens, ob ich den DELL Downloader auch gleich nach Hause verschieben darf.
-
Äh...wolltest du nicht den ganzen Thread lesen?
Angefangen ist schon längst und so wie ich das mitbekommen habe, speichern die anderen unkomprimiert. Hier gibt es keine schnelle Leitung (~180 KiB/s DL bzw. ~24 KiB/s UL) und meine verfügbaren Platten gehen nicht über 160 GiB hinaus. Hier gibt es eh nur eine 1 TiB Platte und der Rest ist max. 250 GiB groß. Davon abgesehen ist es immer besser, weniger Traffic zu erzeugen, egal ob einen selbst das gerade juckt. Nicht die Platzfresser? bis zu 70 GiB für einen einzigen FTP Mirror finde ich schon extrem happig
Zum weiteren (re)organisieren der Sache komme ich frühestens nächste Woche.
Viele Grüße
soggi
Ok, ich habe mir jetzt alles durchgelesen, Asche auf mein Haupt!
Mir war das Vorgehen beim ersten mal doch nicht klar gewesen, aber nun hat es auch bei mir geleuchtet. Allerdings weiß ich nun doch nicht genau, wie du etwas reorganisieren möchtest?
Ich lasse mich einfach überraschen.
Wenn ich richtig gelesen habe, könnte ich jetzt konstl s vorverteiler nehmen und auf 2 ftps von mir spiegeln, richtig? Wie komme ich an die Daten? Am liebsten würde ich per rsync/sftp einfach einen mirror bauen, der stur im Hintergrund läuft.
-
Konstls Mirror ist SFTP/SSH2. Mein eigener ist FTP+TLS. Allerdings wirst kein rsync benutzen können, da Konstls Server keinen Shellzugriff hat (und wohl keinen [entsprechend konfigurierten] rsync daemon). Also nur SFTP.
Zu meinem Mirror geht dann nur FTP+TLS, der ist aber deutlich langsamer als der Server von Konstl. Für Zugriff schickst einfach eine PM würd' ich sagen.
-