„Wir müssen das Krankenhaus aufgeben“

In der Nacht vom 14. auf den 15. Juli 2021 erhielt Nico Meinhardt, IT-Leiter des St.-Antonius-Hospitals in Eschweiler, einen Anruf des Geschäftsführers mit der bis zu diesem Zeitpunkt undenkbaren Information: „Fahren Sie alle Systeme runter, wir müssen das Krankenhaus aufgeben.“ 

Das St.-Antonius-Hospital in Eschweiler war von der Flutkatastrophe im Sommer 2021 massiv betroffen: 300 Patienten mussten evakuiert werden, mehrere Etagen standen unter Wasser und die gesamte IT-Hardware war zerstört.

Im Interview berichtet Nico Meinhardt als IT-Verantwortlicher des Hauses von der Katastrophennacht und darüber, wie sie es geschafft haben, trotz Flutung des Rechenzentrums keine patientenrelevanten Daten in CGM MEDICO zu verlieren.

„Es war Nachmittag als wir uns mit der Geschäftsführung und dem technischen Leiter die Situation auf dem Gelände angesehen haben. Zu diesem Zeitpunkt hatte die Inde bereits einen deutlich höheren Wasserpegel“, berichtet Meinhardt. Eschweilers Fluss hat üblicherweise einen Wasserstand von unter 40 Zentimetern, zu diesem Zeitpunkt lag er bereits bei ca. zwei Metern.

Das Krankenhaus ist für den Hochwasserfall gerüstet, die Spundwände wurden montiert und boten damit Schutz bis zu einem Wasserpegel vom 3,40 Metern – der bisher höchste Pegelstand der Inde betrug 2,40 Meter im Jahre 1967. „Da unser Rechenzentrum im Keller in einem Luftschutzbunker mit zwei massiven Türen untergebracht ist, habe ich mir zu diesem Zeitpunkt auch nur bedingt Sorgen gemacht“, so Meinhardt weiter. Nachdem das Wasser jedoch stetig weiterstieg – ungefähr 10 Zentimeter pro Stunde – stieg auch die Sorge des IT-Leiters. Nach wie vor jedoch nicht wegen der Befürchtung, das Rechenzentrum könnte geflutet werden, sondern vielmehr vor einem plötzlichen Stromausfall und davor, die Systeme nicht mehr kontrolliert runterfahren zu können.

Gegen halb vier Uhr nachts kam dann der Anruf des Geschäftsführers: „Fahren Sie alle Systeme runter, wir müssen das Krankenhaus aufgeben“. 

Die IT-Abteilung hatte danach eine gute halbe Stunde Zeit, um alles runterzufahren. Anschließend wurde der gesamte Strom abgeschaltet, selbst der Notstromgenerator konnte nicht mehr betrieben werden. Einzig die Intensivstation wurde mit einem Generator der Feuerwehr betrieben, „ansonsten war hier alles duster“. 

Zu diesem Zeitpunkt war das 400-Betten-Haus voll belegt. Aufgrund des Hochwassers war es bereits nicht mehr möglich, den Personalwechsel von Spät- zu Nachtschicht zu vollziehen und so musste das gesamte Personal zwei Schichten hintereinander arbeiten – in einer Extremsituation und bis auf die Intensivstation auch ohne Strom.

„Und dann ist das Wasser über uns hereingebrochen. Durch beide Kellergeschosse, in den Park, in die Stadt. Das Krankenhaus war eine Insel, das Wasser kam bis zur Türschwelle im Erdgeschoss und da war dann glücklicherweise Schluss. Aber beide Untergeschosse, inklusive des Rechenzentrums im unteren der beiden, und alles drumherum stand komplett unter Wasser. Da konnte man gar nichts mehr tun, da ging es nur noch um die Patientenversorgung.“

Evakuierung mit vollständigen Patientendaten dank IT-Ausfallsystem.

Am nächsten Tag hatte die sichere Evakuierung der Patienten oberste Priorität. Jedoch war auch zu diesem Zeitpunkt noch kein einfaches Reinkommen ins Krankenhaus möglich. Sowohl medizinisches Personal als auch Nico Meinhardt und sein Team wurden hierfür von der Feuerwehr mit einem Pritschenwagen durch das Hochwasser der Stadt ins Krankenhaus gebracht.

Die IT-Abteilung um Nico Meinhardt war primär vor Ort, um die Evakuierung der Intensivstation zu unterstützen. „Unsere Aufgabe war es, patientenrelevante Daten, wie Laborbefunde, Arztbriefe, OP-Berichte oder auch Medikation, zu generieren, damit diese bei der Verlegung mitgegeben werden können. So sollte sichergestellt werden, dass die nächstbehandelnden Kliniken alle wichtigen Informationen für die weiteren Behandlungen verfügbar haben“, so Meinhardt.

Möglich war dies dank eines umfassenden Ausfallsystems. Vor der Flutkatastrophe lag das Rechenzentrum im Luftschutzbunkerbereich im Kellerbereich. Dort war das Herzstück der IT mit der gesamten Hardware, der Serverhardware, dem KIS-System, der KIS-Datenbank, dem Netzwerkhauptverteiler etc. untergebracht. Parallel dazu gab es in der zweiten Etage des Haupthauses einen Raum, in dem das KIS-System als Ausfallsystem noch einmal gesichert ist, und zwar als live gespiegelte Version. Ziel des Systems ist es, bei Problemen mit dem Kern-KIS ein zweites System mit stets aktuellen Daten zu haben, mit dem ein Notfallbetrieb möglich ist – an eine Flutkatastrophe hatte in Eschweiler zum Zeitpunkt der Anschaffung niemand gedacht. 

Darüber hinaus werden Daten wie PACS-Bilder, KIS-Datenbank oder auch Patientenakten noch einmal in Speichercubes der Firma FastLTA in redundanter Ausführung sowohl im Rechenzentrum als auch im zweiten Stock gesichert. Zusätzliche Backups wurden im Tresor aufbewahrt. Da am Morgen nach der Katastrophe noch kein Strom vorhanden war, konnte zu diesem Zeitpunkt noch auf keines dieser Systeme zugegriffen werden. Für die Evakuierung kam daher ein zusätzliches Element zum Tragen: „Als weiteren Speicherort sichern wir in regelmäßigen Zeitabständen Daten aus Fieberkurve oder Medikation, Befunde oder auch Laborberichte auf einem NAS ab. Normalerweise nutzen wir das nur, wenn wir aufgrund eines Hotfixes oder System Releases eine Downtime im KIS haben. Aber an diesem Morgen haben wir die Box genommen, sind damit zur Intensivstation gegangen, haben sie angeklemmt, die Daten ausgedruckt und den Patienten mitgegeben. So konnten wir die Patientenversorgung sicherstellen – natürlich im zweiten Schritt dann auch auf der Normalstation“.

Ein gut gesichertes Rechenzentrum – vollkommen zerstört

Nach drei Tagen war es Nico Meinhardt erstmals wieder möglich, begleitet von der Feuerwehr, das Kellergeschoss zu betreten. Seine stille Hoffnung, der Serverraum könnte durch den Luftschutzbunker gesichert gewesen sein, löste sich beim Anblick des Raumes jedoch sofort in Luft auf. „Alles geflutet, alles voller Schlamm, alles kaputt. Das ganze Netzwerk war hin. Ich dachte, das dauert mindestens sechs Monate, bis hier mal wieder Bits und Bytes durch die Gegend jagen.“

Meinhardt hatte sich schon vor der Begehung auf den schlimmsten Fall eingestellt und sich mit Partnern, Dienstleistern und vielen weiteren Firmen in Verbindung gesetzt. Dank großem Engagement und kreativen Lösungen von allen Beteiligten ist es gelungen, innerhalb von zehn Tagen einen Rechenzentrumscontainer zu bekommen. Vier Tage später stand die Logistik für Server, nach ungefähr vier Wochen kamen die ersten Server.

Und dann ging es ans Restoren. Für die KIS-Umgebung gab es das Ausfallsystem aus der zweiten Etage, dort waren alle Daten vollständig vorhanden. Zudem gab es Backups auf Disks und Magnetbändern. Darüber hinaus wurden alle Server aus dem Rechenzentrum geborgen, auseinandergebaut, 261 Festplatten ausgebaut, katalogisiert und an einen Spezialisten zur Wiederherstellung geschickt. So wurden nach und nach alle Daten wieder hergestellt und ein voll funktionsfähiges Rechenzentrum im Container aufgebaut.

Wiedereröffnung der Klinik mit „Emergency-KIS"

„Aber noch bevor wir den Rechenzentrumscontainer und die neuen Server hatten, war das KIS-Ausfallsystem für uns enorm wichtig. Wir haben das Standby-System aus der zweiten Etage – wir nennen es das „Emergency- KIS“ – genommen und in einen großen Konferenzraum gestellt. Damit haben wir dann gemeinsam mit CGM eine kleine IT-Basis aufgebaut. Unser Ziel war es, möglichst schnell wieder ein funktionsfähiges KIS aufzubauen.“

Denn bereits am dritten Tag nach der Flutkatastrophe wurde wieder produktiv gearbeitet. Das St.-Antonius-Hospital verfügt über eine große onkologische sowie eine Dialyse-Abteilung. In diesen beiden Abteilungen wurde direkt wieder ambulant behandelt – und dafür war das KIS unbedingt notwendig. Das eigentliche „Emergency-KIS“ hat so den Klinikbetrieb bis zur Lieferung der neuen KIS-Hardware unterstützt – sogar bei der offiziellen Wiederaufnahme des stationären Betriebs am 4. Oktober 2021 – knappe drei Monate nach der Katastrophe. Die Lieferung der Hardware erfolgte dann am 12. Oktober.

Das Ausfallsystem hatte noch eine weitere wichtige Funktion: Neben der Sicherung der Patientendaten und -versorgung hat es auch eine wirtschaftliche Seite. „Das Haus musste durch fehlende Einnahmen erstmal aus eigener Tasche leben. Die Gehälter der Mitarbeiter wurden weiterhin bezahlt, die Fördergelder waren zwar angekündigt, jedoch noch nicht verfügbar. Für die Liquidität war es daher sehr wichtig, dass wir das System wieder zügig bereitstellen, um bis zu diesem Zeitpunkt noch nicht abgerechnete Fälle einzureichen. So konnten wir – im wahrsten Sinne des Wortes – unseren Kopf über Wasser halten“, so Meinhardt.

Aktuell ist das Rechenzentrum des St.-Antonius-Hospital noch immer im Container untergebracht. Die Planungen für die Zukunft laufen aber schon auf Hochtouren. So gibt es bereits einen neuen Netzwerk-Hauptverteiler-Standort in einer der oberen Etagen. Und das neue Rechenzentrum wird auch wieder in einem Container Platz finden, dann aber nicht mehr im Keller, sondern deutlich luftiger auf einem der Dächer. Und natürlich verfügt es über ein umfassendes Ausfallsystem. 

„Es ist einfach eine rationale Entscheidung. Wir werden die Daten auch wieder an zwei Standorte legen, zudem sichern wir sie noch in einer privaten Cloud und lösen damit den Tresor als dritten Standort ab. Ich kann nur jedem empfehlen, das IT-Ausfallkonzept von CGM zu nutzen, um arbeitsfähig zu bleiben, auch wenn das System mal ausfällt oder die Hardware kaputt geht. Das ist ein durchdachtes Konstrukt, in das es sich lohnt zu investieren und es genauso aufzubauen – auch wenn man nicht in der Nähe des Wassers ist. Das Konzept hat wirklich funktioniert. Wir haben es ja bewiesen.“

Das Sankt-Antonius-Hospital Eschweiler (SAH) im Zentrum der Stadt Eschweiler ist mit seinen 14 Fachkliniken und 12 interdisziplinären Kompetenzzentren das größte konfessionelle Krankenhaus in der Städteregion Aachen. Die Einrichtung ist seit 1. Oktober 1977 akademisches Lehrkrankenhaus der RWTH Aachen und beschäftigt rund 1300 Mitarbeiter. Seit August 2018 ist das St.-Antonius-Hospital eine eingetragene gemeinnützige GmbH, deren Alleingesellschafter die „Stiftung Katholische Kirchengemeinde St. Peter und Paul Eschweiler“ ist.

Im Rahmen einer Studie des renommierten F.A.Z.-Institutes in Frankfurt am Main im Jahr 2020 wurde das SAH auf Platz 1 der bundesdeutschen Krankenhäuser mit einer Bettenzahl zwischen 300 und 500 eingestuft und darf sich „Bestes Krankenhaus Deutschlands“ nennen.