Im vorherigen Artikel haben wir erläutert, warum die Verfügbarkeit eines kritischen Systems nicht nur eine IT-Kennzahl ist, sondern den Ertrag der gesamten Investition in Digitalisierung und Softwareentwicklung beeinflusst. Diesmal gehen wir eine Ebene tiefer: Was muss unserer Erfahrung nach vorhanden sein, damit der Betrieb auch beim ersten schwerwiegenden Vorfall zuverlässig funktioniert?

Wie professionell ein System betrieben wird, zeigt sich nicht im Normalbetrieb, sondern dann, wenn etwas ausfällt.

Es ist zwei Uhr morgens. Das Monitoring meldet Fehler. Einige Nutzer können eine Transaktion nicht abschließen. Noch ist unklar, ob die Ursache in der Anwendung, der Infrastruktur, der Cloud oder einem Drittanbieterdienst liegt.

Genau in solchen Momenten zeigt sich, ob ein Unternehmen den Betrieb tatsächlich im Griff hat oder sich nur darauf verlässt, dass sich schon jemand um das Problem kümmern wird.

Der Go-live sollte nicht der erste Moment sein, in dem das Betriebsteam unter die Haube schaut

Bei MoroSystems betrachten wir den Betrieb nicht als Dienstleistung, die erst nach Abschluss der Entwicklung beginnt. Wir bereiten ihn bereits während der Entwicklung vor.

„Unser Operations-Team ist von Anfang an in die Systementwicklung eingebunden – schon bei Konzeption und Architektur. Hier prüfen wir, ob das fertige System gemäß unseren Standards und den individuellen Anforderungen des Kunden betrieben werden kann, ohne später tiefgreifende und kostspielige Änderungen vornehmen zu müssen“, erklärt Radek Teichmann, CTO von MoroSystems.

Wir müssen die Architektur, Datenbanken, Drittanbieterintegrationen, Infrastruktur und Deployment-Prozesse verstehen. Wir müssen wissen, welche Komponenten für den Service kritisch sind, was gesichert werden muss und woran wir erkennen, dass sich ein Systemteil nicht korrekt verhält.

Vor der Produktivsetzung bereiten wir deshalb unter anderem Logging, Monitoring und Alerting, Health Checks, Deployment-Verfahren, Smoke Tests, Backups, Zugriffsberechtigungen, Betriebsdokumentation und Disaster-Recovery-Szenarien vor.

„Wir wollen verhindern, dass beim Go-live einfach ein Paket über den Zaun geworfen wird. Entwicklung und Betrieb sind unterschiedliche Disziplinen, doch Wissen muss zwischen ihnen fließen“, ergänzt Jiří Bartoš, Head of Operations bei MoroSystems.

Monitoring ist nutzlos, wenn niemand weiß, was nach einem Alarm zu tun ist

Unsere Arbeit endet nicht mit der Einrichtung des Monitorings. Das ist erst der Anfang.

Jiří erläutert: „Ein System kann CPU-Auslastung, Arbeitsspeicher, Festplattenbelegung, Anwendungsfehlerraten oder die Verfügbarkeit angebundener Dienste perfekt messen. Wenn ein Alarm aber nur eine E-Mail an ein Postfach schickt, das jemand am nächsten Morgen öffnet, ist das Problem nicht gelöst.“

Die technische Erkennung muss daher mit klarer Verantwortung verbunden sein.

Wenn das Monitoring ein relevantes Problem erkennt, muss es automatisch an eine festgelegte Person in Rufbereitschaft eskalieren. Diese muss den Vorfall beurteilen und reagieren können.

Dafür braucht es nicht nur technisches Fachwissen, sondern auch Kenntnisse des konkreten Systems.

Deshalb verwendet unser Operations-Team standardisierte Betriebsanleitungen, sogenannte Runbooks. Für vorhersehbare Situationen legen wir konkrete Schritte fest, mit denen sich Probleme prüfen und beheben lassen.

Dazu gehören etwa das Erhöhen von Ressourcen, der Neustart einer einzelnen Komponente oder eine andere zuvor getestete Maßnahme.

Ein Punkt ist dabei besonders wichtig: Der Betrieb darf nicht von einer einzelnen Person abhängen, die „alles im Kopf hat“.

Damit wir dauerhaft – auch rund um die Uhr – Leistungen erbringen können, brauchen wir Vertretungsregelungen, Rufbereitschaftspläne, Wissensaustausch und standardisierte Abläufe.

Der wichtigste Prozess? Incident Management

Bei MoroSystems halten wir Incident Management für den wichtigsten Bestandteil unseres gesamten Betriebsservices.

Das ist nachvollziehbar: Bei einem Incident erfüllt Software ihren eigentlichen Zweck teilweise oder vollständig nicht mehr.

Unser Ziel besteht dann darin, den Service so schnell wie möglich wiederherzustellen.

Der Ablauf ist grundsätzlich einfach: Das Monitoring erkennt das Problem, der zuständige Operations Engineer wird alarmiert, eine erste Analyse und Gegenmaßnahmen folgen. Erfordert der Vorfall tiefere Anwendungskenntnisse oder Codeänderungen, wird er an den Entwicklungssupport eskaliert.

Während des gesamten Prozesses muss auch der Kunde wissen, was passiert.

Jiří fasst es so zusammen: „Der Kunde kauft hier vor allem die Gewissheit, in guten Händen zu sein. Nicht, weil wir eine Welt ohne Störungen versprechen, sondern weil bei einem Vorfall ein klar definiertes Team und ein erprobter Prozess bereitstehen.“

Kunden sollten nicht selbst Lieferanten koordinieren und Systemausfälle beheben müssen

Moderne Anwendungen bestehen aus vielen Komponenten. Cloud-Infrastruktur, Datenbanken, Frameworks, Bibliotheken, Zahlungsdienste, Identitätsanbieter und weitere externe Systeme sind heute Standard. Das bedeutet auch, dass die Ursache eines Vorfalls nicht unbedingt in der von uns entwickelten Anwendung liegt.

Verantwortung für den Betrieb zu übernehmen kann aus unserer Sicht nicht bedeuten, beim ersten Hinweis auf eine externe Ursache zu sagen: „Das ist nicht unser Problem.“

Die Person in Rufbereitschaft ist zunächst dafür verantwortlich, den Service wiederherzustellen. Ist dafür eine Eskalation an einen Cloud-Anbieter, einen anderen Lieferanten oder das Entwicklungsteam erforderlich, sollte sie diese koordinieren.

Der Kunde sollte nicht mitten in einem Ausfall mehrere Technologiepartner anrufen müssen, um herauszufinden, wer zuständig ist.

53 Minuten, die zeigen, wie wertvoll Vorbereitung ist

Ein realer Vorfall aus unserem Betrieb verdeutlicht dieses Prinzip.

Betroffen war eine Plattform mit Zehntausenden Nutzern. Eine ihrer zentralen Funktionen ermöglicht den Kauf und die Einlösung von Gutscheinen.

Eines Tages begann eine Softwarekomponente eines Drittanbieters, Datenbankverbindungen fehlerhaft zu verwalten. Verbindungen wurden nicht mehr an den Pool zurückgegeben. Nach und nach fielen deshalb mehrere wichtige Dienste aus.

Für die Nutzer war die Auswirkung klar: Beim Kauf oder Einlösen eines Gutscheins erschien eine Fehlermeldung, und Zahlungen funktionierten nicht.

Die Ursache war deutlich weniger offensichtlich.

Die Datenbank selbst funktionierte einwandfrei. Das Problem lag im Verhalten einer Bibliothek, die weder wir noch der Kunde entwickelt hatten.

Das automatisierte Monitoring erkannte die steigende Fehlerzahl und alarmierte den Operations Engineer in Rufbereitschaft. Er untersuchte den Vorfall, identifizierte einen blockierten Verbindungspool in einem bestimmten Service und führte einen Rolling Restart durch.

Zwischen Erkennung und Wiederherstellung des Services vergingen rund 53 Minuten.

„Die Einhaltung des SLA durch eine angemessene Reaktion ist nicht der eigentliche Kern dieser Geschichte. Entscheidend war, dass jemand die Architektur gut genug kannte, um die Ursache einzugrenzen, Verantwortung für die Lösung übernahm und nicht erst stundenlang klären musste, wer sich überhaupt kümmern soll“, ergänzt Bartoš.

Mit der Wiederherstellung des Services ist die Arbeit nicht beendet

Das erste Ziel des Incident Managements ist klar: Das System muss wieder funktionieren.

Wenn wir es dabei belassen, kann dasselbe Problem eine Woche später erneut auftreten.

Deshalb folgt auf einen Workaround oder die Behebung eines Vorfalls eine Ursachenanalyse: Was genau ist passiert? Warum? Und was können wir verändern?

Das Ergebnis kann eine Codekorrektur, eine Infrastrukturänderung, ein neuer Alarm oder eine Ergänzung des Runbooks sein.

Hier muss sich der Betrieb aus unserer Sicht mit der kontinuierlichen Weiterentwicklung der Anwendung verbinden.

Ein Incident ist mehr als ein Problem: Er liefert auch Erkenntnisse darüber, wie sich das System unter realen Bedingungen verhält.

Guter Betrieb hält ein System deshalb nicht nur am Laufen. Er macht es Schritt für Schritt widerstandsfähiger.

Ein Backup, das sich nicht wiederherstellen lässt, vermittelt keine Sicherheit

Ähnlich gehen wir mit Backups um.

Es genügt nicht, ein Häkchen hinter die tägliche Sicherung einer Datenbank zu setzen. Wir müssen wissen, welche Daten und Komponenten für die Wiederherstellung wichtig sind, wie die Backups geschützt werden und wie der Wiederherstellungsprozess tatsächlich funktioniert.

Deshalb erstellen wir Disaster-Recovery-Pläne und überprüfen, ob sowohl Backups als auch Alarmierung wie vorgesehen funktionieren.

Gerade heute reicht es nicht, nur das Produktivsystem zu schützen. Auch die Backups selbst müssen gesichert sein, damit sie beispielsweise bei einem Sicherheitsvorfall nicht einfach zusammen mit dem Produktivsystem gelöscht werden können.

Dasselbe Prinzip gilt für Zugriffsverwaltung, Zertifikatsmanagement, Sicherheitsupdates und andere Betriebsbereiche.

Sicherheit ist für uns keine einmalige Maßnahme beim Launch einer Anwendung. Sie ist Teil ihres täglichen Betriebs.

Der Nutzen der Digitalisierung entsteht durch den Einsatz von Software – nicht durch ihre Entwicklung

Zum Schluss noch ein Gedanke für alle, die über Digitalisierung und Softwareentwicklung nachdenken.

Software zu entwickeln reicht nicht aus.

Sie muss auch über Jahre professionell und auf hohem Niveau betrieben werden. Dazu gehört, dass sie richtig bereitgestellt, überwacht, aktualisiert, abgesichert, wiederhergestellt und weiterentwickelt wird.

Der eigentliche Wert der Digitalisierung entsteht nicht während der Softwareentwicklung. Er entsteht, wenn Software genutzt wird.

Professionelles Betriebsmanagement ist die Disziplin, die dafür sorgt, dass Software diesen Wert möglichst zuverlässig und langfristig liefern kann.

Vielen Dank für Ihr Interesse an der Rendite von Softwareinvestitionen.

Ihr Tomáš