Azure/Databricks Data Engineer

Das Projekt zielt darauf ab, die Netzkostenberechnung und das Datenmanagement für europäische Energiemärkte durch moderne ETL-Prozesse und Cloud-Lösungen zu optimieren. Mit Azure Data Factory und Azure Databricks werden Daten aus Quellen wie REST-APIs, Excel, CPMS und Salesforce integriert und aufbereitet. Ziel ist die Bereitstellung transparenter Netzkostenmodelle sowie die Unterstützung von Echtzeit-Analysen und Reporting. Dabei werden strukturierte und unstrukturierte Daten genutzt, um verwertbare Erkenntnisse für fundierte Entscheidungen zu liefern.

Meine Aufgaben umfassten:

-  Entwicklung und Umsetzung von Netzkostenberechnungsmodellen für mehrere europäische Energiemärkte unter Einhaltung regulatorischer Anforderungen.
-  Umsetzung von ETL-Prozessen zur Datenmigration sowie zur Integration und Aufbereitung von Daten aus verschiedenen Quellen (REST-APIs, Excel, CPMS, Salesforce) mithilfe von SQL, Python (Pandas, Spark) sowie Azure Data Factory und Databricks.
-  Enge Zusammenarbeit mit globalen Teams und lokalen Marktexperten zur Abstimmung von fachlichen und technischen Anforderungen.
-  Erstellung von Analysen, Reports und Visualisierungen in Jupyter Notebooks und Power BI, Pflege technischer Dokumentation und Durchführung von Wissenstransfer im Team.

Das Projekt zielt darauf ab, durch die Analyse und Entwicklung von Daten Use Cases die Transparenz und Steuerung der IT-Abteilung eines großen Energieversorgers zu verbessern. Dabei werden komplexe Datenlösungen entwickelt und mit Best Practices in Cloud-Datenplattformen wie Azure Data Lake und Azure Synapse Analytics umgesetzt. Zudem werden aus strukturierten und unstrukturierten Daten attraktive Produkte für verschiedene Konsumenten bereitgestellt.

Meine Aufgaben umfassten:

▪ Aufnahme, Analyse und fachliche Entwicklung verschiedener Daten Use Cases für die datengetriebene Transparenz und Steuerung der IT-Abteilung
▪ Entwicklung, Implementierung und Support komplexer Datenintegrations und Datenaufbereitungslösungen
▪ Entwicklung von attraktive Daten-Produkte aus (un-)strukturierten Daten und Bereitstellung für verschiedene Konsumenten (z.B. als Dataset, API oder Report)
▪ Enge Zusammenarbeit mit dem BI-Team und anderen Abteilungen zur Erfassung der Datenanforderungen und zur Sicherstellung der Datenverfügbarkeit

Das Ziel dieses Projekts war die Analyse und Optimierung der bestehenden Datenpipelines, die ursprünglich als Dataflows programmiert wurden, mit dem Ziel, diese in Notebooks umzuwandeln. Dies sollte die Flexibilität für zukünftige Datenmigrationsprozesse erhöhen. Zusätzlich umfasst das Projekt die Entwicklung, Implementierung und Wartung von ETL-Prozessen zur Integration von Daten aus verschiedenen Quellsystemen in die BI-Plattform.

Meine Aufgaben umfassten:

▪ Analyse und Optimierung der Datenpipelines zur Gewährleistung einer effizienten Datenverarbeitung und Speicherung
▪ Entwicklung, Implementierung und Wartung von ETL-Prozessen zur Übertragung von Daten aus unserem Vergleichsportal und anderen Quellsystemen in unsere BI-Plattform
▪ Design und Optimierung von Datenmodellen zur Unterstützung der Datenanalyse und des Reporting
▪ Erstellung von technischen Dokumentationen und Schulung anderer Teammitglieder in Bezug auf Datenprozesse und -tools