Massiver Netzwerkausfall: Krisenintervention

Am 12.3.2020 erlitten wir einen Totalausfall des Netzwerks an allen Keplerschulen: am Gymnasium, der Werkrealschule, der Grundschule.

Diese Seite sammelt alle verfügbaren Informationen, welche Ausfälle dieser Art in Zukunft vermeiden, unwahrscheinlicher machen oder die Behebung des eingetretenen Krisenfalls beschleunigen können.

Bericht kup 12.3.20

• 7:45: ich erhalte einen Anruf aus dem Sekretariat, „wir haben ein riesiges Problem“.

Analyse: unsere Sekretärinnen haben die Wichtigkeit des Problems richtig beurteilt und die richtigen Maßnahmen ergriffen: Telefonanruf an kup & bau.

• 7:50: kup sieht die letzte bestätigte Botschaft von CheckMK: CRITICAL: host cisco0027 down.

• 7:53: Bestätigung, dass im Sekretariat (und damit vermutlich im ganzen Schulverwaltungsnetz) kein Computer mehr Netzwerkzugang hat.

• 7:55: bau ist per Handy nicht erreichbar. Nachrichten auf Mailbox und per SMS hinterlassen.

• 8:00: erste Analyse zeigt, dass im ganzen Schulhaus keine einzige Netzwerkverbindung mehr funktioniert.

Analyse: Wir müssen dringend dafür sorgen, dass ein Problem im Schülernetz nicht das Verwaltungsnetz betreffen kann. Die Netze müssen besser voneinander getrennt werden, notfalls ultimativ physikalisch.

• 8:05: erste Maßnahme von kup: Zentralen Switch cisco0027 neu starten. Keine Verbesserung.

• 8:10: Weiter kein Kontakt zu bau.

Einschätzung: Sehr schwerwiegendes Netzwerkproblem, sämtlicher Unterricht und sämtliche Verwaltung betroffen.

• 8:15: Anruf bei Conetis: Kurze Verwirrung („Sie müssen zuerst ein Support-Ticket bei Baumgärtner erstellen!" — „Äh, nein, Herr Baumgärtner ist nicht da und niemand kann auf irgend einem unserer Server irgend etwas tun, also auch kein Ticket erstellen, und selbst wenn, dann würde ich es nur selbst bekommen.“)

Anweisung von Conetis: Zentralen Switch cisco0027 erneut neu starten (das war berichteter Weise schon geschehen und hatte keinen Effekt), gleichzeitig den zentralen Server paedml neu starten (dafür gab es keinen erkennbaren Anlass und diese Maßnahme hat sich später als hinderlich erwiesen.).

Nach Anweisung durchgeführt. Ergebnis: Am Switch keinerlei Veränderung. Zentraler Server paedml startet nicht mehr (wie sich später herausstellt keinerlei Bezug zum Netzwerkproblem. Dieses Problem hätte komplett vermieden werden können, wenn man auf den (nicht angezeigten) Neustart des Servers verzichtet hätte.)

• 8:25 kup erreicht bau auf Handy.

Weder bau noch kup haben eine Erklärung, schätzen die Symptome aber gleich ein.

Erste Vermutung: Switch cisco0027 dysfunktoonal.

Nach Auskunft von bau ist die direkte Art, den Switch zu erreichen, eine serielle Verbindung per Kabel.

Problem: Weder das Kabel, noch der nötige Seriell-zu-USB-Adapter ist im Serverraum vorhanden.

• 8:30 kup vertröstet die vor 5.28 wartenden Eltern und bittet um Geduld. Die Eltern haben bis dahin vor der geschlossenen Tür gewartet und sind verständlicherweise nicht amüsiert.

Maßnahme: den Raum aufschließen, damit die Eltern sich wenigstens hinsetzen können. Die Eltern beruhigen und das nötigste erklären.

Zukünftig: Das hätten andere Mitglieder des Netzwerkteams tun können.

• 8:40 Um eine serielle Verbindung zum zentralen Switch herzustellen benötigt kup das Programm »minicom«, das auf seinem Laptop nicht installiert ist.

Zukünftig: Dieses Programm muss auf allen Admin-Rechnern installiert sein

Problem: Es gibt nirgends im Schulhaus einen Rechner mit Internetverbindung.

Lösung: kup stellt mit seinem privaten Handy eine Mobilfunkverbindung im Lehrerzimmer her und gibt sie als WLAN-Hotspot frei. Über die Verbindung installiert er das benötigte Programm.

Zukünftig: Die Dienst-Laptops von bau und kup haben Mobilfunkmodule. Wir benötigen SIM-Karten für Mobilfunkzugang, um in genau solchen Fällen weiter Internetzugang zu haben (kann die Schule für wenig Geld bei jedem Anbieter abschließen).

• 8:50 kup hat sich die nötige Hardware (serielles Kabel und Seriell-zu-USB-Interface) aus den Schränken vor 1.10 und dem NwT-Wagen, der zur Zeit im Stützpunkt in U1 steht, zusammengesucht.

Damit verbindet er sich mit dem zentralen Switch cisco0027.

Das nötige Programm erfordert spezielle Konfiguration, die unbekannt ist. Bau liefert telefonisch die nötigen Informationen.

Damit gelingt die Kommunikation zum Switch.

Für den Login ist ein Passwort nötig, das kup nicht kennt. Bau gibt die nötigen Informationen telefonisch.

• 9:00 kup ist auf dem einzigen Gerät im Netzwerk angemeldet, das noch funktioniert: dem zentralen Switch cisco0027.

Problem: Die cisco-Switche verwenden ein proprietäres Betriebsystem, das nur entfernt mit Unix zu tun hat. Ein Linux-Nutzer hat keine Chance, die erforderlichen Befehle zu erraten.

Lösung: bau kommuniziert sein Spezialwissen per Telefon.

• 9:10: kup hat administrativen Zugang zum zentralen Switch cisco0027 über ein serielles Kabel von seinem Laptop zum Switch im Serverreraum.

• 9:15: In telefonischer Absprache mit bau prüft kup verschiedene Verbindungen zwischen den Switches im Netzwerk.

Parallel dazu analysieren wir das Problem des nach Neustart nicht mehr startenden paedml-Servers: Der Virtualisierer meldet: „Cannot allocate memory for client.” Ursache unbekannt.

Einschätzung: Weiter kritisch, weder administratives noch pädagogisches Netzwerk funktionieren. Der zentrale Schulserver startet nicht mangels Speicher.

• 9:25 Weder bau noch kup haben einen Erklärungsansatz. Die Verbindung des zentralen Switches zu den anderen Switches kommt und geht beliebig.

• 9:40: wir entwickeln die Hypothese, dass eine Netzwerkschleife vorliegen könnte.

• 9:45: kup unterbricht die Hardwareverbindung zum kompletten Verwaltungsnetz (siehe unten)

nach kurzzeitigem Optimismus erweist sich, dass das Problem weiter besteht.

• 9:55 wir fahren fort, weitere Netzwerkverbindungen vom Switch hardwaremäßig zu unterbrechen. Wir beginnen mit den Glasfaserverbindungen.

Keine Unterbrechung löst unser Problem.

• 10:10: Wir sind jetzt zuversichtlich, dass die Störung von Interface 4 kommt, also den langsamen Netzwerkverbindungen in die Räume des Kepler-Gymnasiums.

• 10:15: wir beginnen eine binäre Suche auf allen Verbindungen des Interface 4 und prüfen nach jeder Veränderung, ob vom cisco0027 der unmittelbar verbundene Switch der Werkrealschule erreichbar ist.

Der Vorgang ist manuell sehr aufwändig, erfordert viel Zeit und ist potentiell gefährlich.

• 10:40: Wir identifizieren den störenden Anschluss und verfolgen ihn nach 1.09. Wir sind jetzt sind sicher, dass die Störung in 1.09 liegt.

• 10:45 kup findet eine Netzwerkschleife am Switch am Lehrerrechner in 1.09 und entfernt sie.

• Ab diesem Zeitpunkt arbeitet das Netzwerk normal, alle Interfaces am Switch sind wieder aktiv.

• 10:50: bau und kup widmen sich dem zweiten (unnötig erzeugten) Problem: unser Schulserver startet nicht.

• kup hat den Host proxmoxpaedml bereits nebenbei neu gestartet. Keine Veränderung: cannot allocate memory.

• bau hat inzwischen (da das Netzwerk wieder normal arbeitet) externen Zugang zum Schulnetz erlangt.

• bau editiert die Konfiguration der virtuellen Maschine 100 (paedml). Setzt virtuellen Speicher von 16GB auf 14GB zurück.

• Virtuelle Maschine startet jetzt. Schulserver paedml ist nach wenigen Minuten hochgefahren.

• Jetzt scheinen alle wichtigen Maschinen im Schulnetzwerk zu arbeiten.

• Test in 10.10 zeigt: ein Rechner bootet, kup kann sich erfolgerich anmelden.

• große Erleichterung.

• 11:00: kup startet mit Hilfe von lehm alle Rechner in 5.28 neu, Eltern können ab jetzt wieder Anmeldungen vornehmen.

• 11:05 Nachfrage im Sekretariat ergibt, dass das Verwaltungsnetz immer noch dysfunktional ist.

• 11:10 kup verbindet im Serverraum den vergessen gegangenen Netzwerk-Bond zum Verwaltungsnetz manuell (siehe oben).

• 11:15 alles gut.

---

Die Inhalte dieser Wiki-Seite erscheinen, (wo anwendbar und nicht anderweitig angegeben), unter einer Creative-Commons-Lizenz CC BY NC SA 3.0 Germany. Urheber: Fachkräfte des Kepler-Gymnasiums Freudenstadt.