Gluster: Gefahr von Split-Brain

[Rüdiger Kupper]

Wir hatten beschlossen, unsere vier Gluster-Server halbe/halbe aufzuteilen: Je zwei sind Spiegelserver und erhöhen dadurch die Ausfallsicherheit und Performance. Und damit haben wir noch immer den doppelten Speicherplatz eines einzelnen Servers verfügbar.

Nun wird beim Replica-Level 2 vor dem „Split-Brain“-Szenario gewarnt. Immerhin ist die Warnung so eindringlich, dass man GlusterFS mit 2 Replicas nur einrichten kann, wenn man eine explizite Warnung ausdrücklich übergeht.

Ich bin einstweilen dennoch bei dem Plan geblieben. Die einfachste Abhilfe wäre, noch ein Serverpaar wie unsere jetzigen aufzustellen und den Replica-Level auf 3 zu eröhen. (Ohne Zugewinn an Speicherplatz.) Das wird im Gluster-Manual empfohlen.

Split-Brain tritt auf, wenn die Spiegelserver-Paare voneinander getrennt werden, etwa durch ein Netzwerkproblem. Beide Server denken dann, der jeweils andere ist down und arbeiten unabhängig weiter. Da Dateizugriffe verteilt mal auf den einen, mal auf den anderen Server gehen, entstehen zwei getrennte Welten von Dateisystemen. Wird die Netzverbindung wiederhergestellt, versuchen nun beide Server, die Änderungen mit dem (vermeintlich ausgefallenen) anderen zu konsolidieren, was aber nicht möglich ist.

Info:

• ​https://docs.gluster.org/en/latest/Administrator-Guide/Split-brain-and-ways-to-deal-with-it/
• ​https://docs.gluster.org/en/latest/Troubleshooting/resolving-splitbrain/

[bau]

Ich habe im Bücherkeller noch zwei T3500-Workstations stehen - Platten müssten wir zukaufen (muss aber vorher mal den Bestand checken).

[Rüdiger Kupper]

Wenn es nur darum geht, das Split-Brain-Szenario zu vermeiden, gibt es auch eine "billigere" Lösung: Gluster kann sog. "Arbiter"-Server verwenden. Die speichern gar nicht die echten Dateien, sondern lediglich die Metadaten, die gebraucht werden, um das Dateisystem nach einem Ausfall wieder konsistent zu machen. Solange dann immer mindestens zwei der drei Knoten miteinander verbunden bleiben, gibt es immer eine "Mehrheit", anhand der Gluster später entscheiden kann, welches die "richtigen" Daten zu Konsolidierung sind.

Vielleicht können wir die zwei Workstations als solche "Arbiter" nutzen. Oder natürlich, wenn wir den Plattenplatz haben, auch als vollständige Knoten. Würde dann immerhin noch ein wenig Performancegewinn bringen.

[Rüdiger Kupper]

Mit Umstellung auf replica 3 erledigt.