Am 4. November 2019 veröffentlichte Microsoft „Azure Synapsis Analytics“, den Nachfolger von Azure SQL Data Warehouse. Die Analytik-Plattform soll neue Massstäbe setzen und verarbeitet Daten im Petabyte-Bereich. Sie vereint grosse Data Lakes, Data Warehousing, Datenpipelines, Datenintegration und End-to-End-Analysen in einem Service.
Daten sind das neue Gold
So oder ähnlich lauten viele Überschriften von Artikeln, wenn sich das Thema um Big Data oder Business Intelligence dreht. Doch wie schürft man dieses Gold? Um Daten, vor allem riesige Mengen oder aus verschiedenen Quellen zu verarbeiten, braucht es Werkzeuge. Seit Jahren hat sich der Einsatz von Data Warehouse-Systemen bewährt. Betrieben wird das Data Warehouse üblicherweise On-Premise im eigenen Rechenzenter. Seit ein paar Jahren stellen verschiedene Cloud-Anbieter Plattformen zur Verfügung, auf welchen die Systeme in die Cloud verlagert werden können. So auch Microsoft, welche mit dem „Azure SQL Data Warehouse“ 2015 sein erstes Data Warehouse in der Cloud anbot. Nun wurde vor ein paar Tagen an der Ignite, der jährlichen Entwickler-Konferenz von Microsoft, der Nachfolger präsentiert. Momentan befindet sich Azure Synapse Analytics noch in der Preview Phase, soll aber schon bald zur allgemeinen Verfügung stehen.
Was ist neu?
Die wichtigsten Neuerungen hören sich vielversprechend an. So wurde der Core vom Data Warehouse von Grund auf neu gebaut und verwendet jetzt das Cluster Computing Framework Apache Spark. Synapse Analytics ist das Ergebnis, eine Reihe von Analyse-Workloads unter einen Hut zu bringen. Zum einen das Data Warehouse, Data Lake, Machine Learning, Power BI und die Datenpipelines, mit welchen die Daten zwischen den einzelnen Diensten ausgetauscht werden.
Diese Kombination ist unter anderem für Anwendungsfälle interessant, bei welchen sich das Thema um Big Data dreht. Azure Synapse Analytics bietet somit weitere Möglichkeiten für Data Scientisten.
“Simply unmatched, truly limitless: Announcing Azure Synapse Analytics” [3]
Unübertroffen und grenzenlos lautet die Überschrift in der öffentlichen Ankündigung auf der Webseite von Microsoft. Scheinbar sind das keine leeren Worte, denn an der Ignite wurde die Leistungsfähigkeit des neuen Produkts auf eindrückliche Art bei einer Demonstration vorgeführt. Eine SQL-Abfrage gegen rund 3 Petabytes an relationalen und nicht-relationalen Daten wurde innerhalb von 9 Sekunden erfolgreich ausgeführt. Die gleiche Abfrage wurde mit einem identischen Setup mit dem Konkurrenz-Produkt Google BigQuery ausgeführt, welche jedoch um den Faktor 75 langsamer war. Auch bei der Skalierbarkeit konnte Synapse gegenüber der Konkurrenz Punkten. 10’000 konkurrierende Abfragen konnte das System mühelos stemmen, wohingegen die Systeme AWS Redshift und Google BigQuery in die Knie gingen.
https://www.youtube.com/watch?v=xzxjpQSvDEA&feature=emb_title
Nebst den erwähnten Punkten bietet Synapse Analytics noch weitere Neuerungen. Interaktive Visualisierungen und die Möglichkeit, Machine Learning-Modelle über verteilte Rechencluster zu trainieren und zu verarbeiten sind weitere Highlights. Die Kopplung mit Power BI und die Integration von Streaming-Daten, um nur einige zu nennen.
Gamechanger
„Azure Synapse changes the game around analytics“ [4]
Ob die neue Plattform wirklich ein Durchbruch in der Datenanalytik ist, wird sich in der Zukunft zeigen. Die Grundlage hat Microsoft geschaffen und das Produkt muss sicherlich noch reifen, ist es ja noch in der Preview-Phase. Auf jeden Fall bietet Synapse Analytics spannende Möglichkeiten und ich kann es kaum erwarten, selbst damit zu arbeiten.
Quellen
[1] Titelbild: https://pixabay.com/de/illustrations/nerven-zellen-dendriten-sepia-346928/
[2] Microsoft Azure: https://azure.microsoft.com/en-us/blog/azure-sql-data-warehouse-is-now-azure-synapse-analytics/
[3] Zitat von Rohan Kumar Corporate Vice President, Azure Data Microsoft
[4] Zitat von Microsoft CEO Satya Nadella anlässlich der Keynote Ignite 2019
Weiterführende Links
Offizielle Ankündigung von Azure Synapse Analytics:
https://azure.microsoft.com/en-us/blog/simply-unmatched-truly-limitless-announcing-azure-synapse-analytics/
Produktseite von Azure Synapse Analytics:
https://azure.microsoft.com/de-de/services/synapse-analytics/
Vision Keynote with Satya Nadella | Microsoft Ignite 2019:
https://www.youtube.com/watch?v=jnUiJi4hts4&t=1467s
