DIVERA 24/7 Göttingen - Geschichte beachten

Die Skalierung von Systemkomponenten des Alarmservers war erfolgreich. Sie sind nun redundanter, sodass wir uns erhoffen, dass diese Art von Störung nicht mehr zu einem Ausfall der Alarmierung führt.

Die weiteren Funktionstests und Überprüfungen waren erfolgreich, und auch das Monitoring ist unauffällig.

Die Ursache der Störung trat am 30.01. gegen 15:20 Uhr auf. Leider hat das Monitoring nicht gegriffen, weil die E-Mails zum Alarmserver weiter angenommen wurden, dahinterliegend eine Systemkomponente aber in einen Zustand geraten ist, in dem die E-Mails nicht weiterverarbeitet wurden.

Diese Systemkomponente ist leider als eine der extrem wenigen bislang nicht ausreichend redundant ausgelegt.

Wir konnten die Störung dann nach einer Meldung, um 08:44 Uhr beheben. Wir arbeiten daran, die hinter dem Alarmserver liegende Systemkomponente redundanter auszulegen. Hierzu werden wir kurzfristige Wartungsarbeiten durchführen, die keinen Einfluss auf die Systemverfügbarkeit haben.

Die Störung des Alarmservers konnte behoben werden, E-Mails werden jetzt wieder korrekt ausgewertet und lösen Alarmierungen aus.

Wir führen nun weitere Funktionstests aus, und überwachen das System auf Auffälligkeiten.

Die Ursache wurde identifiziert, wir arbeiten an der Behebung des Problems.

Die Ursache für die Störung wurde ausgiebig analysiert. Dabei kam es bei einem der redundanten Server um 15:24 Uhr zu einem technischen Ausfall, wodurch die darauf befindlichen Dienste auf die restlichen verfügbaren Server verschoben wurden.
Da auf diesem Server auch einer der Frontend-Proxy lief, wurde Traffic der über den Loadbalancer zu diesem Server geroutet wurde innerhalb der 4 Minuten abgewiesen. Als der Loadbalancer den Zielserver entfernte und auf anderen Servern der Dienst wieder zur Verfügung stand, war die Störung um 15:28 Uhr behoben.

Wir arbeiten nun daran zu überprüfen, ob die Zeit verkürzt werden kann, in der der Loadbalancer den Teilausfall der Zielsysteme erkennt und entsprechend reagiert.

Unsere Funktionstests waren erfolgreich, es gibt aktuell keine weitere Beeinträchtigung des Dienstes.

Die Analyse schreitet voran, wir informieren hier, sobald es Neugikeiten gibt.

Der Dienst hat sich selbstständig wieder geheilt, es war kein Eingreifen durch die IT notwendig. Die Störung des Dienstes startete um 15:24 Uhr und hielt bis 15:28 Uhr an. Währenddessen konnten keine Anfragen angenommen werden.

Wir monitoren weiter die Infrastruktur, und diagnostizieren die Ursache.