BI & ETL Developer

Das mittelständische Unternehmen hat bis dato ihr gesamtes Unternehmens- Controlling, Reporting und die Datenanalyse mit Excel- Files und einer nicht funktionalen Qlik- View Anwendung betrieben. Dies war aufwandstechnisch sowie performancemäßig kaum tragbar.

Eine angestrebte Lösung mit Qlik View, das von einem externen Beratungsunternehmen entwickelt wurde, schien technisch sowie auch logisch den Anforderungen der Abteilungen nicht zu entsprechen, deren Druck Daten und Analysen zu liefern, wöchentlich stieg. Ursprünglich als reiner Projektleiter engagiert, der nur zwischen Anforderer und externen Firmen koordinieren sollte, mutierte der Auftrag schnell zu einer Gesamtverantwortung der Unternehmens- BI, um Standards zu schaffen, mit der unternehmensweit DWH- und BI- Tätigkeiten ausgeführt werden sollten. Somit entschieden wir uns für eine komplette Neuaufstellung aller datentechnischen Aktivitäten auf Basis des MS SQL Servers und der Microsoft BI Produktpalette.

Nachdem wir mit einer einzelnen DWH- Anwendung nach dem Dimensional Modelling Ansatzes und unter Anbindung eines SSAS- Tabular Cubes als BI- Front End für Power- User den größten Druck lindern konnten, haben wir im weiteren Verlauf des mittlerweile 2 ½ Jahre dauernden Projektes 4 weitere DWH- Projekte in die Unternehmens- BI integrieren können.

Als Front- End wird neben den SSAS Tabular Cubes mittlerweile auch PowerBI für eine breite Masse der Anwender benutzt.

Mittlerweile beinhaltet das Projekt mehrere BI- Entwickler, die nach den damals definierten Standards- und Frameworks (u.a. das von mir entwickelte und ins Unternehmen gebrachte LechLog- Framework für das Job- und Datenmonitoring sowie dem LechLog_DataModeller für die Tabellenmodellierung) weiterentwickeln.

Aktueller Stand:

ich mich mit meiner neu gegründeten Firma (Onecept) auf mehr Projekte von neuen Kunden sowie auf meine Mitarbeiter konzentrieren möchte.

Des Weiteren schreitet die Teil- Migration in der Cloud (Azure) voran, Projekte und Teilprojekte werden mit immer agileren Vorgehensweisen umgesetzt, da die Teams am wachsen sind, sowie beschäftigen uns für immer komplexere Analysen mit Machine Learning (Azure ML, Python) und DataScience.

Meine Aufgabe

Mein Part bestand aus der Auswahl, Bedienung und Projektverantwortung aller technischen und modellierungstechnischen Aspekte, die Aufrechterhaltung des Betriebs, Einschulung von neuen Verantwortlichen sowie die Definition von Standards.

Team

Das Team bestand/besteht aus: Elija Lechner (Techn.Projektleitung und Entwicklung), Controlling- Abteilungsleiter (Fachliche Projektleitung), Controlling- Mitarbeiter mit spezifischen Einzelverantworungen, BI- Entwickler.

Technik

Datenbanksystem: MSSQL Server, Azure SQL

ETL- Modellierung: Microsoft Integration Services

Tabellenmodellierung: LechLog_TableModeller

Job- und Datenmonitoring: LechLog

Cubes: Microsoft Analysis Services (Tabular)

Front End: Excel mit Cube- Anbindung, PowerPivot

ML: Azure ML, Python

Ziel war der Aufbau einer einheitlichen Unternehmensplattform, die alle relevanten Daten hält sowie zur Auswertung bereitstellt. Zum Zeitpunkt meines Eintrittes hat man sich schon für die Verwendung von Amazon Redshift entschieden, sowie für Matillion als ETL Tool und Looker als Datenexplorations- Tool.

Die Entwicklungen an einer einheitlichen Datenplattform waren mit einer Entwicklungszeit von 8 Monaten zwar schon recht weit fortgeschritten, doch in Summe kaum brauchbar. Aus diesem Grund entschieden wir uns das Projekt neu aufzusetzen und streng nach Kimball ein Datawarehouse zu modellieren.

Kurz vor Fertigstellung des Projektes zog der Investor der Firma sein Geld zurück und stellte für 50 von 50 Mitarbeitern die Kündigung aus, womit das Projekt leider nie komplett fertig gestellt wurde.

Meine Aufgabe

Meine Aufgabe war es die Datenquellen anzuzapfen und logisch in einem Datawarehouse zu modellieren, sowie in einem CORE einen Single Point of Truth zu schaffen, auf dem alle Reporting Prozesse aufsetzen können.

Team

Das Team bestand aus mir, einem externen Looker Entwickler und dem IT Chef.

Technik

Datenbanksystem: AWS Redshift

ETL- Modellierung: Matillion

Front End: Looker

Weiterentwicklung einer Datawarehouselösung für eine der größten Supermarktketten in Deutschland. Die Beraterfirma für die ich tätig war, betreute die unternehmensweite Datawarehouselösung. Das Datawarehouse wurde mittels Microsoft SQL Server und der Microsoft APS (auch unter PDW Parallel Datawarehouse bekannt) gelöst. Grund für die Nutzung der PDW war das enorm hohe Datenvolumen mit mehreren Tabellen um die 55 Milliarden Datensätzen, die stetig und schnell anwuchsen.

Darüber hinaus ging es um die Weiterentwicklung der beiden 1 ½ TB großen Cubes, auf denen ein großer Teil des Konzernreportings des Unternehmens aufbaute.

Meine Aufgabe

Meine Aufgabe bestand vor allem aus der Weiterentwicklung der gesamten Lösung aufgrund von neuen Anforderungen der Fachabteilungen, Neuerstellung und Anpassung von SSIS Paketen, Prozeduren und Modellierungsaufgaben.

Team

Das Team bestand aus 5 Entwicklern, einem technischen Leiter und einem Projektleiter, wobei die Aufgaben in ETL und SQL Modellierung, Cube Anpassungen, Deployment und Reports gestalten aufgeteilt war. Ich wurde hauptsächlich für die ETL und SQL Entwicklung in SSIS und Prozeduren sowie teilweise der Cube Anpassung eingesetzt.

 Technik

Datenbanksystem: PDW (APS), MSSQL Server

ETL- Modellierung: Microsoft Integration Services

Cubes: Microsoft Analysis Services

Front End: Reporting Services

Sonstiges: C#, Excel-Tabellen- Modellierungs- Tool (Eigenentwicklung)