Backup paedml mitbringen, Tauschverzeichnisse wiederherstellen

[Rüdiger Kupper]

Hallo jens,
sieht aus, als hättest Du den Fachschaftstauschordner wiederhergestellt?

[Rüdiger Kupper]

bringe die Platte morgen mit. Heute gab es bereits eine Irritation: Die Abitur-Nachtermine 2014 und 2015 lagen im Fachschaftstauschordner Mathe. pal hat kem darauf verwiesen, zur Vorbereitung ihres Abikurses, doch die Dateien sind nicht mehr da.

Zumindest der Fachschaftsordner muss wiederhergestellt werden.

[bau]

Wie besprochen:
Wir stellen den Fachschaftsordner wieder her und weisen die Kollegen darauf hin, dass dieser in den nächsten Weihnachtsferien wieder aufgeräumt werden wird. Dauerhafte Speicherung geht dann nur noch, wenn die Dateien pgmadmin überantwortet werden. -> Kollegenschulung

[bau]

Äh nein!

[Rüdiger Kupper]

Hm? Aber die Daten scheinen wieder da zu sein...?

[bau]

Nun, das kann definitiv nicht sein - sieht vielleicht nur so aus?

[Rüdiger Kupper]

Die Kollegen vermissen die Dateien auf dem Tauschserver, vor allem Curricula etc. Wäre wichtig, die Daten aus dem Backup möglichst bald wiederherzustellen. (Besser gesagt: die alten Dateien, die nicht mehr im Tauschordner liegen, wiederherstellen -- neue oder geänderte Dateien natürlich liegen lassen! Müsste mit einem geeigneten 'rsync'-Aufruf möglich sein.

Wenn es dann wieder etwas ruhiger geworden ist, überlegen wir uns eine Methode, die Daten auf Aktualität zu prüfen.

@bau

Kannst Du bitte mal die Backup-Platte irgendwo beim paedml hinmounten (bitte ro), wo ich darauf zugreifen kann?

[Rüdiger Kupper]

Ich bin dabei, den Inhalt des Lehrertauschordners (zunächst) aus dem Backup vom 1.9.2015 wiederherzustellen.

• Backup-Platte per SATA angeschlossen, gemountet wie unter AdminRaid beschrieben (read-only).
• Auf dem paedml komplette Sicherungskopie des jetzigen Lehrertauschordners angelegt und read-only gemacht: /home/share/teachers--2016-09-30
• Wiederherstellen der Daten aus dem Backup in den aktuellen Lehrertauschordner.
  • Option --update bedeutet, dass Dateien, die existieren und jünger sind, als diejenige im Backup, nicht überschrieben werden. -- Alles, was seit der Aufräumaktion neu im Tauschordner angelegt wurde, bleibt also erhalten.
  • Option --numeric-ids, weil ich nicht hunderprozentig sicher bin, dass alle Nutzernamen richtig gemappt werden (die Platte hängt nicht direkt am paedml, sondern an einem Computerraumrechner). Die IDs müssen ja aber die richtigen sein.
  • Option --acls, weil die Linuxmusterlösung ACLs benutzt, um die Leserechte zu organisieren. (Bei der Option --xattr für extended file attributes war ich mir nicht sicher -- werden die bei uns benutzt?)
  • Option -a, um alle Besitzrechte und Modifikationszeiten zu erhalten.

Aufruf:

# rsync -a --acls --numeric-ids --update --progress /mnt/backup-home/share/teachers/ paedml:/home/share/teachers/

Das wird jetzt eine Weile dauern (64GB).

[Rüdiger Kupper]

Die Wiederherstellung ist durchgelaufen und alles sieht gut aus.
-- Abgesehen vom Umstand, dass die Home-Partition des paedml jetzt komplett voll ist. Die Daten liegen jetzt ja auch doppelt dort: Die neueren Dateien in /home/share/teachers--2016-09-30 und die älteren in den dachboden-Verzeichnissen der einzelnen Nutzer.

@bau

Bis Montag müssen wir wieder Platz auf der home-Partition haben, sonst bekommen die Nutzer Probleme.

• kann ich das Backup des Tauschordners auf einen anderen Rechner verschieben? Wohin am besten?
• Die Verzeichnisse ~/__dachboden/tauschen-2016-2-10 der Nutzer könnten ja wieder gelöscht werden. Aber erst, wenn wir auch die anderen Tauschordner wiederhergestellt haben!

@bau,pal,ort

Ich brauche jetzt einen sanity-check. Bitte schaut in den Lehrertauschordner und berichtet, ob alles normal aussieht, insbesondere:

• die alten Ordner und Dateien sind wieder da
• die nach Februar neu angelegten Dateien sind noch da
• Dateien, die nach Februar noch im Tauschordner waren, und die Ihr danach verändert habt, sind noch im aktuellen Zustand (und nicht auf dem Stand von Februar)
• die Modifikationszeitpunkte der Dateien stimmen
• Dateien, die Euch gehören, könnt ihr auch verändern. In Ordnern, die Euch gehören, könnt Ihr neue Dateien anlegen.

Wenn das alles gut aussieht, stelle ich als nächstes die Projekttauschordner wieder her. Ob wir dann auch mit dem Schultauschordner so verfahren wollen, müssen wir besprechen.

Nach der Wiederherstellaktion müssen wir uns dann ein Verfahren ausdenken, die Tauschordner aufzuräumen. Ich schlage aber eins vor, das nicht so invasiv ist, wie das derzeitige Skript von bau :-). Könnte das Skript vielleicht lieber eine Liste von Dateien erstellen, statt die Dateien direkt zu verschieben? pal hatte außerdem vorgeschlagen, die Fachschaftsordner von den Fachleitern aufräumen zu lassen. Aber es gibt ja noch viel mehr als nur die Fachschaftsordner...

[Rüdiger Kupper]

@jas

Bitte auch mal den Lehrertauschordner checken, s.o.

[Rüdiger Kupper]

Ich bin mit dem Projekttauschordner identisch verfahren (Backup und dann Wiederherstellen mit rsync). So hat die SMV wenigstens mal ihre Dateien wieder.

[bau]

Ich würde die anderen Tauschlaufwerke (außer teachers) keinesfalls wiederherstellen.
Falls etwas fehlt, können wir das on-demand aus der Sicherung herholen.
Die Dateien sind ja auch nicht verloren sondern lagern im dachboden/tauschen2016-2-10/ Ordner, wir sollten nur die User darauf hinweisen (regelmäßig? wöchentlich?), dass da was in deren dachboden-VZ lagert.

[Rüdiger Kupper]

Folgende Überlegungen:

Projekttauschordner

Der Projekttauschordner ist schon wiederhergestellt, was auch wichtig war, weil dort z.B. die SMV und alle Arbeitskreise ihre Dateien liegen hatten. Die Dateien in diesen Ordnern gehörten vielen verschiedenen Nutzern, es ist also nicht so einfach, mal schnell in seinem Dachboden nachzusehen und die Dateien wieder hinzuschieben. Wer soll z.B. dafür zuständig sein, die Ordnerstruktur wieder anzulegen?

Die Nutzer müssen schon darauf vertrauen können, dass die Dateien, die sie anderen in den Tauschordnern zur Verfügung stellen, auch dort bleiben. Das betrifft nicht nur die Lehrer!

Klassentauschordner

Hier stimme ich Dir zu, die Klassentauschordner sind ja ohnehin nur für den Austausch innerhalb eines Schuljahres gedacht. ich weiß auch gar nicht, ob die sich einfach wiederherstellen ließen -- wurde dort denn nun zu Schuljahresbeginn der Inhalt "nach oben verschoben"? Wie war das noch?

Schultauschordner

Ist natürlich ein Batzen und es liegt unglaublich viel Mist drin. Aber:
Ich denke schon, das viele Kollegen, Kurse, AGs, etc. der Einfachheit halber den Schultauschordner genutzt haben, statt ein Projekt in der Schulkonsole anzulegen (die wenigsten wissen, wie das geht).

Beispiel: Wir hatten dort z.B. ja auch unsere Dateien für den Microcontroller-Kurs liegen, und es hat mir letztes Jahr bereits Stress gemacht, als die auf einmal nicht mehr dort lagen. Einige der Dateien gehörten mir, andere Dir, es ist also nicht so einfach, schnell mal in seinem Dachboden nachzusehen und die Dateien wieder hinzuschieben. Außerdem ist die gesamte Struktur der Subordner verlorengegangen.

Ich z.B. baue meist recht tiefe Ordnerstrukturen, um Material sinnvoll zu sortieren. In meinem __dachboden/-Verzeichnis liegen seit der Aufräumaktion 4008(!) Dateien. Soll ich die wirklich von Hand durchsehen, mich erinnern, wo in welchen Unterordner die warum lagen und wieder hinkopieren? No way! Das hab ich seit Februar nicht gemacht und möchte es auch nicht machen.

Also, ich denke, wir müssen auch den Schultauschordner zurückholen -- dann aber natürlich wieder aufräumen, nur etwas sinnvoller als letztes mal. Wie genau, müssen wir noch überlegen.

(Vorschlag: Ich könnte mir vorstellen, dass die Nutzer tatsächlich eine Mail mit den Dateinamen erhalten, die ein gewisses Alter überschreiten. Damit sie dann auch wirklich aktiv werden, könnten wir z.B. einen "behalten-Order" einrichten, wohin die Nutzer die Ordner verschieben sollen, die erhalten bleiben sollen. Nach einer Frist werden die alten Dateien im Tauschordner dann gelöscht und wir schieben die Dateien im "behalten"-Ordner zurück in den Tauschordner.
Ist aber nur eine erste Idee...)

[bau]

Halt - Stop - das Script hatte leider eine Fehlfunktion und hat alles in den Ordner tauschen-[Datum] im HomeVZ des Users gesteckt - so war das nicht vorgesehen! Normalerweise erstellt das Script die komplette Ordnerstruktur im HomeVZ des Users und kopiert die Dateien da hinein.

Ich würde vorschlagen, dass das Script zunächste einmal eine Auflistung erstellt, welche Daten in den Tauschlaufwerken zum Kopieren in das HomeVZ der User anstehen. Wenn wir für jeden Ordner einen Ansprechpartner eintragen, dann kann sowohl der User, der eingestellt hat, als auch der Ansprechpartner reagieren. Geben wir den Usern einen Monat Zeit, dann wird die Aktion ausgeführt. Wenn die Liste vorliegt, dann stelle ich mir das so vor, dass im Kepler-Login eine Auswahl pro Datei möglich ist: 1. diesmal erhalten, 2. erhalten für weitere 1,2 oder 3 Jahre ohne Nachfrage, 3. ins HomeVZ sichern (Standard), 4. Löschen - In der Form: Dateien per Auswahlkästchen markieren (auch komplette Ordner?) und Aktion auswählen. Speichern in Datenbank und nach einem Monat ausführen.

Zum Schultauschordner:
Ich würde wie gesagt nur auf Anfrage Dateien im Schultausch wiederherstellen. Alle Dateien befinden sich im dachboden, wer da was vermisst, soll sich bitte melden. Ich hatte diesen Aufruf bereits im Frühjahr an alle Lehrer gesendet - bei mir kam nie was an. Um die Dateien der SuS mache ich mir im Schultausch überhaupt keine Sorgen!

[Rüdiger Kupper]

Replying to bau:

Halt - Stop - das Script hatte leider eine Fehlfunktion und hat alles in den Ordner tauschen-[Datum] im HomeVZ des Users gesteckt - so war das nicht vorgesehen! Normalerweise erstellt das Script die komplette Ordnerstruktur im HomeVZ des Users und kopiert die Dateien da hinein.

Ja, das ist mir schon klar. Das ist auf jeden Fall schonmal sehr viel besser, weil man dann "ordnerweise" entscheiden kann, was zurückkopiert werden soll.
Ein Problem, das bleibt, ist: Wer soll den Ordner wieder einrichten, wenn in einem Ordner Dateien mehrerer Nutzer lagen?

Ich würde vorschlagen, dass das Script zunächste einmal eine Auflistung erstellt, welche Daten in den Tauschlaufwerken zum Kopieren in das HomeVZ der User anstehen. Wenn wir für jeden Ordner einen Ansprechpartner eintragen, dann kann sowohl der User, der eingestellt hat, als auch der Ansprechpartner reagieren. Geben wir den Usern einen Monat Zeit, dann wird die Aktion ausgeführt. Wenn die Liste vorliegt, dann stelle ich mir das so vor, dass im Kepler-Login eine Auswahl pro Datei möglich ist: 1. diesmal erhalten, 2. erhalten für weitere 1,2 oder 3 Jahre ohne Nachfrage, 3. ins HomeVZ sichern (Standard), 4. Löschen - In der Form: Dateien per Auswahlkästchen markieren (auch komplette Ordner?) und Aktion auswählen. Speichern in Datenbank und nach einem Monat ausführen.

Ja, das wäre super! Wenn Du das programmiert bekommst, sehr gut.

Zum Schultauschordner:
Ich würde wie gesagt nur auf Anfrage Dateien im Schultausch wiederherstellen. Alle Dateien befinden sich im dachboden, wer da was vermisst, soll sich bitte melden. Ich hatte diesen Aufruf bereits im Frühjahr an alle Lehrer gesendet - bei mir kam nie was an.

Das liegt aber, glaube ich, auch daran, dass das Durchsehen der Dateien im Dachboden wegen des Skriptfehlers so mühsam war, dass es einfach niemand gemacht hat.

Um die Dateien der SuS mache ich mir im Schultausch überhaupt keine Sorgen!

Nun, ich hab mir schon Sorgen gemacht, als ich am Ende des Schuljahres die Noten für die NwT-Präsentationen machen wollte, die die Schüler zu Anfang des Kurses dort hingelegt haben! Die gehörten den Schülern, lagen also in deren Dachboden-Verzeichnissen. Da musste ich ziemlich viel herumsuchen.

Aber warum machen wir es nicht einfach so: Schultauschordner aus Backup wiederherstellen (z.B. in Ruhe am nächsten Wochenende), die Dachböden löschen, und dann lassen wir Dein Skript direkt wieder über den Schultauschordner laufen. Dann bekommen die Nutzer die selben Dateien wieder in die Dachböden -- aber jetzt mit der richtigen Ordnerstruktur. Ich glaube, dann wird die Akzeptanz besser sein, die Dachböden mal eben durchzusehen.

[Rüdiger Kupper]

@bau

Steckt da jetzt eine Platte im proxmoxpaedml, die ich für Backups nutzen kann? Momentan sind viele Kollegen nahe an oder über ihrer Quota. Das liegt natürlich daran, dass durch das Wiederherstellen des Lehrertauschordners nun die dortigen Dateien doppelt vorhanden sind (im Tauschordner und im Dachboden der Nutzer). Ich würde die Dachboden-Dateien gerne aus den Homeverzeichnissen herausschieben und irgendwo zwischenlagern, bis wir sicher sind, sie nicht mehr zu brauchen. Eine große freie Platte wäre da genau richtig.

[bau]

Yep - seit 16.30 Uhr - hast du ja bemerkt - /dev/sde mit 750GB

[Rüdiger Kupper]

Ich habe jetzt die Sicherungskopien der Ordner /home/share/{teachers,projects,school} auf die Backupplatte im proxmoxpaedml verschoben. Ebenso die Verzeichnisse tauschen-2016-2-10 aus den Homeverzeichnissen der Nutzer.

Den Schultauschordner habe ich auf die selbe Weise wiederhergestellt wie teachers und projects. (Alle Dateien -- filtern nach Besitzergruppe ist mit rsync nicht so leicht möglich.)

Dort war aber auch viel weniger als erwartet: Zum Zeitpunkt, wo die Platte entnommen wurde (August 2015), war der Schultauschordner erstaunlich schlank: 873MB). Viel mehr Speicher haben zu der Zeit die Klassentauschordner belegt: 3,6GB. Die Klassentauschordner sind jetzt die einzigen Tauschordner, die ich nicht wiederhergestellt habe -- und das ergäbe wohl auch wenig Sinn, die auf dem Stand von August 2015 wiederherzustellen.

Auf der Home-Partition des paedml ist jetzt wieder bequem Platz: 103GB frei.

@bau

Bis wann kannst Du Dein Skript so ändern, dass es den Nutzern eine Auswahlliste der Dateinamen präsentiert?

[Rüdiger Kupper]

Kein Lehrer ist jetzt mehr über seiner Quota. Schüler allerdings jede Menge.

[bau]

Das Script wir mich etwa einen halben Tag Arbeit kosten - ich habe keine Ahnung, wann ich mal wieder so viel Zeit haben werde.

Die Schüler over Quota sollten wir informieren. Vor allem müssen die wissen, was da wo liegt!
Da hattest du doch dieses "Quick and dirty" Script, welches nach Files sucht. Das ist noch vorhanden nur nicht mehr aktiviert. Das könntest du ja einmal durchlaufen lassen und dann das Ergebnis per Mail an die SuS mit einem deutlichen Hinweis, dass sie aufräumen müssen schicken (also alle - oder?).