Data Engineer / Data Architect mit Schwerpunkt Cloud-Lösungen und Datenplattformen

Anbindung & Harmonisierung (IT-Governance-Tools / Common Data Model)

• Quellsysteme anschließen: SAP (Einkauf), Ivalua, HR-Systeme, On-Prem-Datenbanken und APIs über Hub-&-Spoke an die zentrale Plattform angebunden.
  Beispiel: Lieferanten-/Bestell­daten aus SAP & Ivalua angebunden, technische Metadaten und Ownership in das Governance-Zielmodell überführt.
• Common Data Model (CDM): Domänenobjekte (z. B. Supplier, Contract, Asset) gemeinsam mit den Produktverantwortlichen der Quellsysteme und dem Governance-Team harmonisiert.
  Beispiel: Mapping-Guides und Validierungs­regeln erstellt, damit Governance-Reports und Katalogeinträge konsistent sind.

Schnittstellen (ETL/ELT) & Medallion-Pipelines in Databricks

• Pipelines (Ingest → Refine → Serve): Medallion-Architektur auf Databricks mit Delta Lake umgesetzt.
  Beispiel: Bronze-Ingest via CDC aus SAP-Tabellen, Silver-Bereinigung/Standardisierung, Gold-bereitstellung für Power BI, SQL Warehouse und ML/GenAI-Apps.
• Mehrformat-Ingestion: Metadata-getriebene Orchestrierung in ADF aufgebaut (modulares Framework) für SQL, CSV, Excel, APIs, Parquet, XML – mit automatischem Policy-Enforcement.
  Beispiel: Einheitliche Ingest-Pfade je Quelle, inkl. Schemakontrolle, Typ-Normalisierung und Logging.

Modellierung & Performance

• Dimensional & 3NF: Analytics-Modelle als Star/Snowflake, operative Lese­muster in 3NF.
  Beispiel: Einkaufs-Data Mart (Fakt: Orders; Dimensionen: Supplier, Material, Zeit) für KPI-Reporting.
• Historisierung & Time-Travel: SCD1/2-Schicht als wieder­verwendbarer Baustein implementiert.
  Beispiel: Änderungen in Lieferantenstammdaten versioniert, Audits & Trendanalysen ermöglicht.

Governance, Lineage, PII & Qualität

• Unity Catalog: Mandanten-/Domänenstruktur gespiegelt, RBAC/ABAC, Data Lineage, Audit-Logs.
  Beispiel: Rollen & Policies entlang der Organisationsstruktur (19 Fachbereiche) definiert; SCIM-Provisioning für Nutzer-/Gruppenverwaltung.
• PII & Compliance: PII-Handling aus HR und Zutrittsmanagement (Maskierung, Zweckbindung, Aufbewahrung).
• Data Contracts & DQ: Verträge für Schemas, SLAs und DQ-Regeln eingeführt; Health-Checks und KPI-Dashboards für Transparenz.

Orchestrierung, Streaming & Sonderfälle

• Schema-Evolution & „Late/Dirty Data“: Konfliktbehandlung in Ingest-/Refine-Stufe, automatische Reconciliation & Alerts.
• Streaming: Nahe Echtzeit-Pipelines für Building-Management-Systeme (Telemetrie) in Delta-Tabellen konsolidiert.

Azure/Databricks-Stack & Entwicklung

• Azure Databricks: Delta Lake, Unity Catalog, Workflows, SQL Warehouse, Delta Live Tables (DLT).
• Azure Data Factory (ADF): Orchestrierung, Parametrisierung, Wiederverwendung – Framework-Bausteine für neue Quellen.
• Storage: ADLS Gen2 / Blob; CI/CD (Azure DevOps, GitHub Actions), Terraform für IaC.
• Sprachen/Libs: Python, SQL, PySpark; Tests mit pytest, Typisierung/Linting.
• Account-Betrieb: Workspace-Security, Cluster Policies, Kostenkontrolle; Skalierung auf zusätzliche Business Units.

Zusammenarbeit, Doku & Enablement

• Kooperation: Enge Arbeit mit IT-POs der Quellen und dem Governance-Team; Priorisierung nach Business Value.
• Doku & Veröffentlichung: Technische/­funktionale Dokumentation, Runbooks, Playbooks; regelmäßige Updates.
• Enablement: Schulungen/„Show & Tell“, Vorlagen & Templates für Self-Service in Domänenteams.

Konkrete Referenzen aus Projekten

• Modernisierung Cloud-Plattform, Einführung Unity Catalog, Etablierung Medallion inkl. DQ/Lineage.
• Geschäftsorientierte Lösungen mit HR/Einkauf/Finance; Integration SAP, Ivalua, APIs; klare Schnittstellen & Ownership.
• ESG-Analytics: Technische Projektleitung, Architektur audit-fähig ausgerichtet.

Sprachen: Englisch, Deutsch und Französisch fließend.