Die Wahrscheinlichkeit für einen Cyberangriff ist heutzutage enorm gross. Die Frage ist nicht ob, sondern wann dieser Angriff stattfindet.
Die Notfallkonzepte und Krisenpläne vieler Firmen sind auf Ereignisse wie zum Beispiel Pandemien oder Brandfälle ausgerichtet. Wir möchten anhand eines Praxisbeispiels festhalten, welche spezifischen Punkte bei einem Cyberangriff in solchen Konzepten beachtet oder ergänzt werden sollten.
In diesem Blog schildern wir einen live erlebten Angriff vom Frühling 2022 und führen die aus unserer Sicht wichtigsten Learnings für die Krisenbewältigung auf.
#Link direkt zu den Learnings.
Erlebnisbericht
Ich erinnere mich noch genau, wie alles begann: Ein friedlicher Moment am Samstag morgen um 8:00 Uhr, als ich einen Kaffee auf der Terrasse genoss und die Morgensonne auf mich scheinen liess. Doch dieses ruhige Bild wurde jäh unterbrochen, als der damalige IT-Leiter mich anrief und mir eine schockierende Nachricht übermittelte; unsere Systeme waren durch Verschlüsselung kompromittiert worden.
Da ich erst vor zwei Wochen als Senior IT System Engineer in diesem Unternehmen begonnen hatte, war mein erster Gedanke, es könnte sich um eine Art Test handeln. Doch mein Vorgesetzter versicherte mir, dass dies weder eine Übung noch ein Scherz sei. Schnell befand ich mich vor Ort im Unternehmen. Der Serverraum war ungewohnt still, da alle Kabel von unserem IT-Leiter gezogen worden waren, um den Angriff zu stoppen. Es war unübersehbar, dass dies keine Übung war, sondern eine bevorstehende Krise. Alle privaten Pläne für das Wochenende wurden unverzüglich verworfen.
Der Mitarbeiter im Pikett-Dienst während der Nacht mit jener verhängnisvollen Entdeckung, erhielt einen Anruf aus unserem 24-Stunden-Betriebsbüro, mit der Meldung, dass die Systeme nicht mehr erreichbar seien. Er loggte sich über VPN ein und stellte schnell fest, dass etwas nicht stimmte. Auf dem Dateiserver war eine AnyDesk-Sitzung geöffnet, angemeldet mit dem Benutzernamen „Youtube“. Im Dateiverzeichnis entdeckte er ein unverschlüsseltes persönliches Anschreiben:
Zu diesem Zeitpunkt waren bereits alle anderen Dateien verschlüsselt. Daraufhin beschloss er, sämtliche Server herunterzufahren. Die Angreifer, die zu diesem Zeitpunkt noch im System aktiv waren, bemerkten seine Absichten und warfen ihn aus dem System. Er konnte sich nicht erneut einloggen! Daher entschied er zu dieser frühen Morgenstunde, gegen 4:00 Uhr, ins Büro zu fahren und sofort alle Systeme vom Strom zu trennen. Um 9:00 Uhr trafen die letzten IT-Mitarbeiter ein. Nach einer kurzen Information und Beratung entschieden wir, welche Massnahmen als Erstes ergriffen werden sollten:
Der Krisenstab wurde einberufen, die Bundespolizei über das Nationale Zentrum für Cybersicherheit (NCSC) wurde hinzugezogen, und weitere IT-Spezialisten einer externen Firma wurden aktiviert.
Um 12:00 Uhr fand die erste Krisensitzung mit allen Beteiligten statt. Schnell wurde ein Vorgehensplan entwickelt. Dank eines vorhandenen Notfallkonzepts, dass zwar auf Stromausfälle und Pandemien ausgerichtet war, jedoch auch hier zum Tragen kam, konnten wir alle erforderlichen Schritte umgehend einleiten.
Die Medien wurden auf die Situation aufmerksam. Unsere Kunden bemerkten, dass alle Informationssysteme ausgefallen waren. Der Krisenstab kümmerte sich um die interne und externe Kommunikation. Wir bemühten uns, den Medien so wenig Informationen wie möglich zu liefern und sie dazu anzuleiten, möglichst wenig zu berichten. Dies gelang uns auch. Wir wollten den Hackern keine Genugtuung durch öffentliche Berichte verschaffen. Unser Ziel war es, ihnen das Gefühl zu vermitteln, dass ihr Angriff nicht von Erfolg gekrönt war.
Während dessen versammelte sich die gesamte IT-Abteilung mit den externen Spezialisten im grössten Besprechungsraum. Es sah aus wie bei einer LAN-Party: Kabel und Switches lagen auf dem Tisch, alle hatten ihre Notebooks dabei. Wir nannten den Raum anfangs „WAR Room“ (Work And Resolve). Dieser Name sollte später noch eine Bedeutungsumwandlung erfahren.
Mit erster Priorität wollten wir feststellen, ob die Hacker unser „immutable“ Backup verschlüsseln konnten. Zu dieser Zeit meldete sich die Bundespolizei und informierte uns aufgrund der Analyse des persönlichen Anschreibens darüber, dass ihnen die Hackergruppe „BlackCat“ bekannt ist. Deren Vorgehensweise beinhaltet unter anderem, Hintertüren einzubauen und über diese erneut anzugreifen, selbst wenn es uns gelingen sollte, eine Wiederherstellung durchzuführen.
Diese Information war äusserst wertvoll für uns. Wir wussten nicht, wie weit die Angreifer in unsere Systeme eingedrungen waren und ob auch die Firewall kompromittiert war. Daher entschieden wir uns dazu, alle Firewall-Regeln zu deaktivieren und das Netzwerk von Grund auf neu aufzubauen.
An dieser Stelle seien die beiden wichtigsten Hilfsmittel erwähnt: Backup-Server und Kaffeemaschine!
Der Linux-Kernel vom Backup Storage war beschädigt, aber nicht verschlüsselt. Somit wurde klar, dass die Hacker versucht hatten, unseren Backup-Storage zu zerstören. Nachdem wir das Linux-Betriebssystem neu installiert hatten, konnten wir den Backup-Storage überprüfen und aufatmen: Alle geschützten, unveränderlichen Backups waren unversehrt und konnten nicht überschrieben werden. Ein Hauch der Erleichterung lag in der Luft. Zum ersten Mal lächelten wir wieder und waren voller Zuversicht.
Die Kaffeemaschine arbeitete ebenfalls auf Hochtouren und wurde zu unserem besten Freund!
Wir richteten zunächst eine sogenannte RED-Zone ein: In diesem Netzwerk gab es lediglich Zugang zu zwei Antivirenherstellern, um Signaturen herunterzuladen. Hier wurden später alle wiederhergestellten Server auf Herz und Niere geprüft! Dies geschah sowohl mit Hilfe der Antivirensoftware als auch manuell, anhand der Angriffspfade, die wir aus der ersten forensischen Analyse kannten. Durch das Erfassen der Hash-Signaturen verhinderten wir die erneute Ausführung der Verschlüsselung über die EXE-Datei. Es stellte sich zudem heraus, dass die Angreifer bereits seit Januar 2022 (seit über 4 Monaten) in unserem System aktiv waren.
Auch die ESX-Umgebung war verschlüsselt worden! Zuerst installierten wir diese neu und stellten dann die Active Directory-Server wieder her. Diese mussten sorgfältig überprüft werden, um kompromittierte Konten zu identifizieren. Auch die DNS-Server wurden genau unter die Lupe genommen, da die Angreifer auch hier diverse Adressen umgeleitet hatten. Es war offensichtlich, dass die Hacker einen Domain-Admin-Zugriff hatten und sich ausgiebig austoben konnten.
An diesem Tag 1 wurden die ersten Mitarbeiter gegen 22 Uhr nach Hause geschickt, damit sie sich erholen konnten; denn anstrengende und lange Tage lagen noch vor uns! Zwei Stunden nach Mitternacht beschlossen wir übrigen ebenfalls, eine Schlafens-Pause einzulegen. An den folgenden Tagen erschienen wir Mitarbeiter jeweils so um 6 Uhr und arbeiteten durch bis 24 Uhr.
Am 2. Tag gab es bereits erste Erfolge: Nachdem wir das ERP-System wiederhergestellt und überprüft hatten – zweifellos der wichtigste Server – stellten wir fest, dass wir lediglich einen Tag an Datenverlust zu beklagen hatten.
Die nächste Krisensitzung stand an und dabei wurde das weitere Vorgehen festgelegt.
Zum Glück waren die M365-Cloudanwendungen nicht betroffen. Daher funktionierten SharePoint, Teams und die E-Mail-Kommunikation weiterhin reibungslos. Dieser Umstand erleichterte den laufenden Betrieb erheblich.
Die Nicht-IT-Mitarbeiter wurden über den Stand der Dinge informiert und mit Ausnahme einiger weniger Personen wurden alle weiteren gebeten, von zu Hause aus zu arbeiten oder ihre Überzeit zu kompensieren. Das Personalplanungsbüro und die Leitstelle konnten auf den Papierbetrieb umstellen, um das Tagesgeschäft aufrechtzuerhalten und die Auswirkungen auf die Kunden möglichst gering zu halten.
Alle Passwörter wurden neu erstellt, alle MFA-Konten mussten erneut registriert werden. Die MFA-Registrierung wurde auf den Standort Schweiz beschränkt. Jeder Mitarbeiter erhielt sein neues Passwort persönlich von uns. Dieses durfte in den ersten Tagen nicht geändert werden, damit wir die Protokolle weiterhin auf Anomalien überwachen konnten.
Währenddessen arbeiten wir im „WAR Room“ daran, einen Server nach dem anderen wiederherzustellen oder neu zu installieren.
Wir nutzten die Gelegenheit, um gleichzeitig die Betriebssysteme, bei denen es ohne grösseren Aufwand möglich war, auf den neuesten Stand zu bringen. Die Softwaren wurde neu installiert und die Daten wiederhergestellt. Wir führten auch eine erweiterte Netzwerksegmentierung durch. Das Routing über die Switches wurde komplett deaktiviert. Stattdessen übernahm dies die Firewall und es wurden nur noch Punkt-zu-Punkt-Verbindungen geöffnet. Eine sogenannte „ALL-Regel“ existierte nicht mehr.
Dies war der Stand am Tag 3, Sonntag um 24 Uhr. Wir hatten viel erreicht, aber es gab noch viel zu tun.
In den darauffolgenden Tagen brachten wir nach und nach alle Systeme wieder online. Die Sicherheitssysteme wurden massiv ausgebaut; die Netzwerksegmentierung, die Firewall, die Active Directory – alles wurde optimiert. Dies passierte zwar etwas spät, aber es war auch eine einmalige Gelegenheit: Ein Ransomware-Angriff hat nicht nur Nachteile… zumindest aus IT-Sicht! Diese positive Einstellung behielten wir bei … und natürlich auch die enge Verbindung zur Kaffeemaschine!
Unser „WAR Room“ wurde in „TEAM Event Raum“ umbenannt, denn die Teamarbeit aufgrund des Angriffs hatte das IT-Team zusammengeschweisst. Alle zogen an einem Strang. Selbst heute, über ein Jahr nach dem Angriff, hat keiner von uns Lust auf Homeoffice, weil wir vor Ort als Team einfach unschlagbar sind!
Auch andere Abteilungen erlebten Ähnliches: Alle arbeiteten Hand in Hand, mit dem Verständnis, dass die IT möglicherweise noch nicht wie gewohnt funktioniert und Improvisation erforderlich war.
Eine Woche nach dem Ransomware-Angriff waren wir bereits zu 80% wieder einsatzbereit. Alle Mitarbeiter waren zurück im Büro und arbeiteten nahezu wie gewohnt weiter.
Wir haben einen Angriff erlebt, viel daraus gelernt und so unsere Cyber Security weiterentwickelt.
Learnings:
Von Anfang an stand fest, dass wir die Erpresser nicht bezahlen würden, und dies erwies sich als die richtige Entscheidung. Die geforderte Summe der Erpresser war um ein Vielfaches höher als die Gesamtkosten für die Wiederherstellung, einschliesslich der bereits erwähnten Netzwerkverbesserungen.
Natürlich war das nicht verschlüsselte Backup ein grosser Vorteil und zeigt, wie enorm wichtig es ist. Die Backup Infrastruktur gilt als besonders schützenswert. Ein Backup Konzept 3-2-1 bewährt sich nach wie vor. Zusätzlich ist darauf zu achten, dass Storages Immutable Snapshots oder vergleichbare Verfahren beherrschen.
Auch bestätigte sich, dass unser Notfallkonzept standgehalten hat. Wir konnten den Betrieb aufrechterhalten und sind mit einem blauen Auge davongekommen. Wir haben dieses Konzept um das Thema Cyberware-Angriff erweitert.
Unsere Ersten Sofort-Massnahmen waren: Krisenstab/alarmieren, Polizei/NCSC verständigen, Externe IT-Spezialisten verständigen, Bankkonten sperren lassen.
Wir haben gelernt, wie wichtig es ist, verschiedene Dokumente getrennt und offline (z.B. verschlüsselter USB-Stick) zu sichern. Dazu gehören die Passwortdatenbank, die Liste aller Anwendungen und ihrer Hauptverantwortlichen sowie alle Kontaktdaten der Branchensoftware-Hersteller. Ein Berechtigungskonzept ist ebenfalls unerlässlich. Wenn diese Daten offline verfügbar sind, erleichtert dies enorm eine vollständige Wiederherstellung der gesamten Infrastruktur.
Unsere betriebsrelevanten Kernprozesse wie die Einsatzplanung der Mitarbeiter und Fahrzeuge müssen auch ohne IT funktionieren. Zusätzlich muss man dies von Zeit zu Zeit üben.
Wertvolle weitere Informationen für Unternehmen (admin.ch)
Mitwirkende von diesem Blogbeitrag:
Jürg Widmer
Andi Bögli
Lorenz Knüsel
