IT

2711-AB: Senior Data Engineer – AWS Glue & Snowflake (m/w/d)

remote,  Deutschland100% RemoteFreiberuflichStart 1/2026Dauer 6 Monate60% Auslastung
Eingestellt von
SPS Consulting & Services GmbH
Ansprechpartner
Ulrich Wenzel
Projekt-ID
2944573
AirflowAmazon Web ServicesArchitekturJiraAutomatisierungTest AutomationContinuous IntegrationDagsETLDatenmodellFehlerbehandlungFehleranalyseIdentitätsmanagementInfrastrukturPythonSachgüterproduktionPerformance-TuningScrumSchreiben von DokumentationScalaSoftwareanforderungsanalyseLagerverwaltungStreamingTechnische DokumentationTestfallDaten- / DatensatzprotokollierungDatenverarbeitungSoftwareverteilungSnowflakeApache SparkBackendGitPytestAWS GlueDSGVODatabricks

Beschreibung

+++ Bewerbungen bitte nur an projektbewerbung@sps-cs.de +++

Projektstart: Januar 2026
Projektende: Dezember 2026, Option auf Verlängerung
Voll-und Teilzeit möglich

Sie sind verantwortlich für die konzeptionelle und technische Umsetzung einer vollautomatisierten Datenverarbeitungs-/ETL-Pipeline innerhalb des AWS-Glue / Snowflake-Ökosystems und arbeitet als Entwickler(in) im dreiköpfigen SCRUM-Sprint-Setting. Die Verantwortung umfasst Design, Implementierung, Test, Automatisierung, Monitoring, Fehlerbehebung und Übergabe (Repository + Dokumentation) sowie Knowledge Transfer an das interne Team.

  1. Entwicklung einer produktionsreifen Datenverarbeitungspipeline (AWS Glue + Snowflake) nach vorliegenden funktionalen und nicht-funktionalen Anforderungen.
  2. Implementierung von Spark-Jobs (inkl. GraphX-Komponenten) in Scala und/oder Python.
  3. Aufbau und Pflege von Datenmodellierung / Harmonisierungsschichten, Lade- und Transformationslogik.
  4. Erstellen von Apache Airflow-DAGs zur Orchestrierung, Scheduling und Alarmierung (inkl. Self-healing / Retry-Strategien).
  5. Entwicklung und Ausführung von Unit-, Integrations- und E2E-Tests; Lieferung eines Testberichts (Testfälle, Ergebnisse, Defekte).
  6. Aufbau technischer Monitoring-Dashboards und SLO-Monitoring; aktive Fehleranalyse und Behebung (Jira-Tickets).
  7. Erstellung umfassender technischer Dokumentation (Architektur, Datenfluss, Konfiguration, Run-Books).
  8. Durchführung von Wissenstransfer in Sprint-Meetings (Coach/Rollout für internes Team).
  9. Übergabe von Code & Artefakten via Repository an BI zur weiteren Nutzung.
Muss-Anforderungen:
  1. Mindestens 5+ Jahre Berufserfahrung als Data Engineer / Backend Engineer mit Schwerpunkt Datenpipelines.
  2. AWS Glue (inkl. Glue jobs, job bookmarks, IAM, Glue Catalog).
  3. Snowflake (Warehousing, Schemas, Performance-Tuning, COPY/STREAM/Task Konzepte).
  4. Apache Spark (Produktionserfahrung), Erfahrung mit GraphX für Graph-Operationen.
  5. Programmiersprachen: Scala (bevorzugt) und Python (alternativ/ergänzend).
  6. Orchestrierung: Apache Airflow (DAG-Design, Operatoren, Scheduler, Alerts).
  7. CI/CD für Datencode (z. B. Git, Pipelines; Erfahrungen mit Infrastruktur-as-Code von Vorteil).
  8. Testautomatisierung: Unit, Integration, E2E (z. B. PyTest, ScalaTest, Mocking für Data-Jobs).
  9. Logging & Monitoring: Erfahrung mit Tools/Methoden zur SLO-Messung, Alerting & Performance-Monitoring.
  10. Erfahrung mit gängigen Datenwerkzeugen: DBT, Databricks (Kenntnisse von DBT/Databricks von Vorteil)



Datenschutzhinweis
Wenn Sie mit uns per E-Mail Kontakt aufnehmen, verarbeiten wir die von Ihnen übermittelten personenbezogenen Daten (z. B. Name, Adresse, Kontaktdaten sowie Angaben zu Ihrer Qualifikation, Ausbildung, Tätigkeit, Lebenslauf und Profil, Referenzen) ausschließlich zur Bearbeitung Ihrer Anfrage und zur Vertragsanbahnung gemäß Art. 6 Abs. 1 lit. b DSGVO. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung unter: https://www.sps-cs.de/impressum-datenschutzerklaerung/

Bewerben