Analyse-Tools auf Konzern-Niveau erfordern meist auch ein Konzern-Budget – oft ein Ausschlusskriterium für Non-Profits. Wir haben einen Workaround gefunden. Durch die Automatisierung unserer Infrastruktur auf MS Fabric betreiben wir unsere Datenanalyse heute für unter 50 CHF pro Monat. Hier erfahren Sie, wie wir leistungsstarke Datenfunktionen zum Preis eines Fitness-Abos erhalten haben.
Komplexe Daten, kleines Budget Lösungen für Datenspeicherung und -analyse werden heute immer zugänglicher. All-in-One-Superprodukte, serverlose Berechnungen, Pay-as-you-go-Modelle, Low-Code/No-Code-Lösungen sowie die rasante Entwicklung von KI ermöglichen den Einsatz solcher Technologien nicht nur in Großkonzernen. Auch kleine Unternehmen können sie heute zu akzeptablen Preisen nutzen.
Ich möchte meine Erfahrungen bei der Implementierung einer Data-Warehouse-Lösung auf Basis von MS Fabric für eine kleine Organisation teilen. Ich arbeite in einer Non-Profit-Organisation, die sich der Innovationsförderung in der Lebensmittelindustrie widmet. Unsere Mission ist es, Startups sowie etablierte Unternehmen bei Innovationsprojekten zu unterstützen und große Netzwerk-Events zu organisieren.
Aus Datensicht entsteht so ein bunter Mix an Informationen: Wir verwalten CRM-Datensätze von tausenden Marktteilnehmenden, verfolgen den Fortschritt verschiedener Innovationsprojekte und verarbeiten Ticketing-Daten unserer Events. Auch wenn wir kein „Big Data“ im Terabyte-Bereich verarbeiten, erfordert die Komplexität unserer Datenquellen eine professionelle Data-Warehouse-Lösung. Doch anders als große Konzerne haben wir kein riesiges IT-Budget.
Weg von manueller Excel-Arbeit Vor der Automatisierung mussten meine Kolleginnen und Kollegen manuell arbeiten und Daten aus den Systemen in verschiedene Excel-Dateien herunterladen. Das kostete viel Zeit. Aufgrund der Fülle an Aufgaben konnten wir die Zahlen bestenfalls alle zwei Wochen aktualisieren.
Unsere Wahl fiel daher auf MS Fabric. Es vereint Speicher, Data Engineering und Visualisierung in einer einzigen Web-Oberfläche. Dieser „All-in-One“-Ansatz ist perfekt für kleine Teams, da wir nicht fünf verschiedene Produkte verwalten müssen. Zudem ist das Preismodell recht transparent: Man zahlt eine kleine Gebühr für den Speicher plus für jede Stunde, in der die MS Fabric-Instanz läuft.
So funktioniert unser Setup Für die Datenaufnahme und -verarbeitung gehen wir wie folgt vor: Um die Daten zu erhalten, nutze ich Jupyter Notebooks. Für diejenigen, die den Begriff nicht kennen: Das sind digitale Notizblöcke, in denen ich Python-Code schreiben kann, um Daten direkt aus unseren verschiedenen Software-Tools abzurufen („fetch“). Das bietet weit mehr Flexibilität als Standard-„Drag-and-Drop“-Importer.
Sobald die Daten im System sind, nutze ich Dataflows (Workflow Gen2), um sie zu bereinigen und zu organisieren – zum Beispiel, um stornierte Event-Anmeldungen herauszufiltern – bevor sie schließlich in unserem Reporting-Dashboard landen. Sind die Daten strukturiert, nutze ich Power BI für die Visualisierung und die MS Fabric Pipeline (ähnlich wie ADF) für die Zeitplanung der Aufgaben.
Der Trick mit dem „Lichtschalter“ Der Haken an der Sache: Die MS Fabric-Instanz den ganzen Monat laufen zu lassen, würde ca. 300 CHF kosten. Das ist in unserem Fall ziemlich viel. Die gute Nachricht ist jedoch: Es lässt sich optimieren!
Mit Microsoft Power Automate kann man das Ein- und Ausschalten der Instanz genau planen („scheduling“), sodass sie nur dann läuft, wenn man sie wirklich braucht. Das ist der entscheidende Vorteil, der uns hilft, Geld zu sparen und die Nutzung von MS Fabric für eine Organisation wie meine überhaupt erst ermöglicht.
In unserem Fall läuft die Instanz 1 Stunde pro Nacht, 5-mal pro Woche – sowie immer dann, wenn ich tagsüber aktiv damit arbeite. Wichtig ist dabei nur: Nicht vergessen, sie nach getaner Arbeit wieder auszuschalten.
Der Kompromiss: Import-Modus Natürlich gibt es einen Trade-off. Wir nutzen Power BI im sogenannten „Import-Modus“. Das bedeutet, wir machen während dieser einen Stunde in der Nacht einen „Schnappschuss“ der Daten und speichern ihn im Bericht.
Ein solches Setup wäre eine Katastrophe für Bereiche wie die Logistik, wo man Daten in Echtzeit verfolgen muss. Aber für unseren Zweck – die Analyse langfristiger Projekttrends und vergangener Event-Statistiken – ist es ein riesiger Fortschritt.
Dieses Setup ermöglicht uns die Nutzung von MS Fabric für weniger als 50 CHF pro Monat. Dieser Preis beinhaltet bereits die Kosten für die Power BI-Lizenz.
Ein letzter Tipp: MS Fabric kann in den ersten 60 Tagen kostenlos genutzt werden. Nutzen Sie diese Zeit so gut wie möglich, um alle wichtigen Workflows und Modelle einzurichten.
Dieser Blog wurde ursprünglich auf Englisch verfasst und mit Hilfe von KI ins Deutsche übersetzt.
