Urlaub an der ostfriesischen Küste

 

Hinweis zum Server-Crash

Nach über 13 Jahren im Hosting bei einem Berliner Provider und unzähligen Updates des VP Servers durch den Provider ohne das es zu größeren Störungen kam, passierte es nun doch am 30. September 2020: Nach dem letzten Patchday konnten kaum Ressourcen für die VPS-Instanz reserviert werden, das Mailsystem konnte mit größter Mühe für einiger Stunden reaktiviert werden. Alle weiteren Prozesse wurden aufgrund Speichermangels beendet, so dass die weiteren Dienste wie das CMS (Webseite) nicht ausgeführt werden konnten. Ab dem 8. Oktober war  der Server dann insgesamt nicht mehr erreichbar (DoS).

Hier eine kleine Chronik der  Ereignisse:

30. September 2020 23 Uhr: VP Server wird vom Provider gepatcht, System rebootet und nichts funktioniert (OOM Fehler)

1. Oktober 2020 8 Uhr Anruf beim Support in Berlin, Info: "warten sie mal ein paar Stunden ab, das System stabilisiert sich dann"

1. Oktober 2020 12 Uhr: Noordsee.de "stürzt" immer noch ab, erneuter Anruf beim Support und Eröffnung eines Tickets für die Technik mit detaillierten Infos zur Problem

1. Oktober 2020 16 Uhr: Info vom technischen Support via Mail "löschen Sie alte Dateien vom Server". Nun, die HDD Belegung zeigt 11% von 200 GB, Inodes sind mit 4% belegt -> das nenne ich kein "volles" System

2. Oktober 2020 8 Uhr: Quellcode und sonstige Dateien entfernt, System läuft immer noch mit OOM-Fehlern. Alle nicht notwendigen Prozesse wurden deaktiviert, so dass nur noch das Mailsystem ausgeführt wird mit dem Ergebnis 50 MB Speicher von 4 GB belegt zu haben. Der Server läuft in diesem Zustand ein paar Stunden, bevor es erneut zu Speicherfehler kommt und rebootet werden muss. Ein 5,- EUR Bastelcomputer kann da mehr als ein Server für monatlich 9,- Euro miete.

2. Oktober 2020 13 Uhr: Nachfrage beim Support, "die Technik arbeitet an der Störung, wird Montag behoben"

2. Oktober 2020 14 Uhr: System wurde im Recovery-Modus gestartet und 25 GB Datensicherung durchgeführt

3. Oktober 2020 10 Uhr: Nach mehreren Stunden Datensicherung wurde das System aus dem Recovery-Modus wieder "normal" gestartet mit der Ergebnis, dass der VPS nun gar nicht mehr bootet, obwohl keine Änderungen durchgeführt wurden.

3. Oktober 2020 12 Uhr: Bestellung eines neuen Root-Servers bei einem neuen Provider aus Karlsruhe

4. Oktober 2020 10 Uhr: Neuer Root-Server wurde vom neuen Provider bereitgestellt, es kann los gehen!

4. Oktober 2020 11 Uhr: Erneuter Reboot-Versuch des alten Systems, Server weiterhin nicht erreichbar

4. Oktober 2020 12 Uhr: Beginn der Migration von Noordsee.de vom Berliner Provider zum Karlsruher Provider

4. Oktober 2020 20 Uhr: Mailsystem wieder erreichbar, alle Postfächer migriert

5. Oktober 2020 23 Uhr: Endlich! Die Noordsee.de Webseite wieder erreichbar (Wetterstation und Webcam werden noch nicht aktualisiert).

7. Oktober 2020 13 Uhr: E-Mail an den Service Desk des Providers. Innerhalb von einer Stunde werden ich von einem Mitarbeiter des 1st Levels zurückgerufen. Er bat mich um Logdateien für die Technik. Nun, wenn der Server nicht startet und keine Logs geschrieben werden, kann man schlecht mit Logdateien dienen. Offensichtlich ist der Provider völlig mit der Situation überfordert und spielt den Ball an den Kunden zurück und damit auf Zeit.

8. Oktober 2020 8 Uhr: Ich sende die letzten Einträge aus syslog und messages an den Service Desk. Der Service Desk bedankt sich und leitet die Logeinträge an die DC-Technik weiter.

11. Oktober 2020: Der Webcam-Download und die Wetterstation-Daten werden wieder auf Noordsee.de angezeigt, nachdem der Prozess für den neuen Server angepasst wurde.

12. Oktober 2020 13 Uhr: Am Mittag wurde der Support des Berliner Providers erneut per E-Mail kontaktiert mit der dringenden Bitte um Klärung.

12. Oktober 2020 17 Uhr: Ich erhielt einen Rückruf mit der Information, dass der Server leider nicht wieder in Betrieb genommen werden könnte, da die neu eingespielte Version des Host OS (Virtuozzo) das Gastbetriebssystem nicht mehr länger unterstützt. Es wäre schön gewesen, wenn man a) vorab darüber informiert worden wäre, dass der Patch den Server unbrauchbar macht und b) auf diese Information nicht fast zwei Wochen hätte warten müssen. Der Support gab mir den Tipp, eine Datensicherung durchzuführen und den Server neu aufzusetzen.

16. Oktober 2020: Der VP Server wurde beim Berliner Provider gekündigt.

TL;DR:

Es stellte sich nach fast zwei Wochen in der internen Klärung des Berliner Providers heraus, dass durch die Systemaktualisierung des Virtuozzo-Hosts (in der Verantwortung des Provider) das Gastsystem (Noordsee.de) unstartbar gemacht wurde und eine Erreichbarkeit nicht wiederhergestellt werden kann.