Senior Data Engineer

Rastatt, Deutschland

Deutschland +2

M.Sc. Communication and Media Engineering (Hochschule Offenburg)

Rastatt, Deutschland

Deutschland +2

M.Sc. Communication and Media Engineering (Hochschule Offenburg)

Profilanlagen

Skills

JavaAPIsAirflowAmazon Web ServicesMicrosoft AzureBash ShellBusiness IntelligenceBig DataCloud ComputingDatenbankenContinuous IntegrationETLData MigrationData VaultData WarehousingRelationale DatenbankenDatenbank DesignDatenbankentwicklungDatenbankabfragenDatenbank-SchemaDevopsDimensionale ModellierungAmazon DynamodbJ2EEGithubGroovyJava SEPythonMariadbMicrosoft Sql-ServerMysqlOracle Data Service IntegratorOnline Transaction ProcessingOracle DatabasesRedisPower BiAnsibleSQLSQL Server Reporting ServicesSQL Server Integration ServicesSQL Server Analysis ServicesSubversionTalendTypescriptAWS CdkDocker ContainerData Build Tool (dbt)GrafanaApache SparkAWS ECSGitlabGitDatenbank-MigrationAmazon RdsPysparkAWS AuroraDebezium.ioAWS GlueStar-SchemaApache KafkaBitbucketCloudwatchRestful ApisTerraformAmazon Elastic Mapreduce (EMR)DockerJenkinsAmazon Redshift

Ergebnisorientierter Data Engineer mit umfassender End-to-End-Erfahrung über den gesamten Data-Engineering-Lifecycle - von der Infrastrukturbereitstellung über Datenmodellierung, ETL-/ELT-Pipelines und Data Warehousing bis hin zur Cloud-Architektur. Nachweisliche Erfolge in der Konzeption und Implementierung leistungsstarker, skalierbarer Datenplattformen für unterschiedlichste Organisationen.

Technische Kenntnisse

Programmier- und Skriptsprachen: Python, Java, SQL, Bash, Groovy, Typescript
Cloud-Plattformen: AWS, Azure
Datenbanken: Microsoft SQL Server, MySQL, MariaDB, Oracle, Amazon Aurora, Redshift, DynamoDB, Redis
Datenmodellierung & Data Warehousing: OLTP-Datenbankdesign, Data Vault 2.0, Dimensionale Modellierung (Star/Snowflake-Schema, Kimball-Methodik)
Big-Data-Technologien: Apache Spark, Kafka, Iceberg, Amazon Kinesis, Data Firehose, EMR
Datenmigration: AWS Database Migration Service (DMS), Debezium
ETL/ELT & Orchestrierung: SQL Server Integration Services (SSIS), Oracle Data Integrator (ODI), Talend Open Studio, AWS Glue, dbt, Apache Airflow
DevOps & CI/CD: Docker, Jenkins, Terraform, Ansible, AWS CDK, Amazon ECS, Git (GitLab, Bitbucket, GitHub), Subversion (SVN), Jenkins
Datenvisualisierung & BI Tools: Power BI, Amazon QuickSight, SQL Server Reporting Services
Monitoring & Logging: Grafana, OpenSearch, Amazon CloudWatch
APIs & Integration: REST APIs

Sprachen

DeutschverhandlungssicherEnglischMuttersprache

Projekthistorie

Data Engineering Consultant (freiberuflich)

Chargecloud GmbH, Köln (Deutschland)

Energie, Wasser und Umwelt

50-250 Mitarbeiter

Architekt einer skalierbaren Data-Lake- und Analyseplattform mit Apache Iceberg, vollständig neu aufgebaut
Konzipierte Datenreplikation von RDS MariaDB zu einem S3-basierten Data Lake und Amazon Redshift mittels AWS DMS und MSK; erhöhte Datenverfügbarkeit für Reporting und reduzierte RDS-Leistungsengpässe um 30 %
Implementierte Audit-Log-Ingestion mit Amazon Kinesis Data Firehose, Streaming nach OpenSearch und S3 für fortgeschrittene Analysen und langfristige Speicherung
Entwickelte sichere, skalierbare RESTful APIs mit AWS API Gateway und Amazon Cognito zur autorisierten Datenabfrage
Entwickelte AWS-Bedrock-basierte KI-Agenten, um dem Top-Management Ad-hoc-Analysen auf dem Data Lake zu ermöglichen
Entwarf eine fehlertolerante Datenverarbeitungsarchitektur mit Amazon ECS und automatischem Skalieren von Task-Definitionen, die eine nahtlose tägliche Verarbeitung von Datensätzen über verteilte containerisierte Dienste zur Synchronisation von Ladestationsdaten und API-Integration ermöglicht

Kernkompetenzen: AWS CDK (Typescript), GitLab CI/CD, Apache Iceberg, Python, SQL, Datenmodellierung, AWS DMS, MSK, Kinesis Data Firehose, Amazon OpenSearch Serverless, Amazon API Gateway, Amazon S3, Redshift, AWS Glue, Lambda, DynamoDB, RDS MariaDB, AWS Bedrock, Amazon ECS, Bash.

Cloud Data Engineer (Festanstellung)

Trubridge GmbH, Mannheim (Deutschland)

Internet und Informationstechnologie

< 10 Mitarbeiter

Entwickelte skalierbare Datenpipelines mit Apache Airflow und temporären AWS-EMR-Clustern, CI/CD-Integration via GitLab, zur täglichen Verarbeitung von 500 GB NLP-Daten; erreichte 99,9 % Verfügbarkeit und reduzierte die Laufzeit um 40 % gegenüber herkömmlichen Python/AWS-Glue-Prozessen
Arbeitete eng mit Data Scientists zusammen zur Definition komplexer Datenanforderungen; bereitgestellte, kuratierte Datensätze verbesserten die Modellgenauigkeit
Entwickelte Grafana-Dashboards zur Visualisierung von Metriken aus AWS CloudWatch, EMR und Airflow; ermöglichte proaktives Monitoring der NLP-Pipeline mit 99,9 % Betriebszeit

Kernkompetenzen: Terraform, GitLab CI/CD, Python, SQL, Datenmodellierung, Amazon S3, AWS Glue, Lambda, DynamoDB, Amazon EMR, Airflow, Amazon CloudWatch.

Kunde: Feb 2022 – Juli 2023 Swiss Life, Hannover (Deutschland)
Data Migration & Reporting Specialist (freiberuflich)

Leitete Migration von geschäftskritischen, lokalen SQL-Server-Datenbanken (2 TB) zu AWS Aurora MySQL mit AWS DMS; erzielte vollständige Datenintegrität ohne Verlust
Automatisierte Infrastrukturbereitstellung mit Terraform und Bitbucket Pipelines; reduzierte Deployment-Zeit und beseitigte manuelle Konfigurationsfehler
Entwarf eine Reporting-Datenbank auf Amazon RDS SQL Server; entwickelte optimierte Stored Procedures zur Datenaufbereitung und schnelleren Berichterstellung
Entwickelte Power-BI- und SSRS-Reports, die 5 internen Abteilungen fundierte Entscheidungsgrundlagen lieferten

Kernkompetenzen: Terraform, Bitbucket pipelines, Python, SQL, Datenmodellierung, Amazon S3, Lambda, AWS DMS, Flyway, Amazon Aurora MySQL, Amazon RDS for SQL Server.

Kunde: Apr 2023 – Dez 2023 Deutsche Bahn AG, Frankfurt (Deutschland)
DataOps Engineer (freiberuflich)

Leistete kritischen Support für interne Kunden bei AWS-basierten Data-Science- und Engineering-Projekten; optimierte Datennutzung, löste Probleme und stellte Infrastruktur gemäß SLA bereit
Entwickelte robuste Architektur zum Integrationstesten von Terraform-AWS-Modulen mit Python und Boto3; beschleunigte die Validierung für über 5 interne Teams
Automatisierte Test-Workflows mit GitLab CI/CD zur kontinuierlichen Prüfung von AWS-Infrastrukturmodulen; reduzierte Fehler um 70 % und erhöhte die Betriebssicherheit

Kernkompetenzen: Terraform, Ansible, GitLab CI/CD, Python, Amazon S3, AWS Glue, Lambda, DynamoDB, Amazon EMR, Airflow, Amazon CloudWatch, Amazon RDS, Grafana, Apache Spark, Bash.

Business Intelligence Engineer (Festanstellung)

Riverty (ehemalsArvato Financial Solutions ), Baden-Baden (Deutschland)

Banken und Finanzdienstleistungen

1000-5000 Mitarbeiter

Entwickelte ELT-Lösungen auf Oracle-Basis mit Oracle Data Integrator (ODI) zur Verarbeitung von >50 GB täglicher Daten
Architekt einer Jenkins-basierten CI/CD-Pipeline zur Automatisierung von Data-Warehouse-Rollouts; reduzierte Bereitstellungszeit um 60 % und eliminierte 90 % manueller Eingriffe
Entwickelte Java- und Groovy-Skripte zur Erweiterung von ODI-Workflows und Jenkins-Pipelines; automatisierte Datenvalidierungen und senkte die Fehlerquote um 80 % bei über 10 Produktiv-Releases

Kernkompetenzen: Jenkins, Subversion, PL/SQL, ELT, Datenmodellierung, Oracle Data Integrator (ODI), Oracle Database, Java, Groovy

Zertifikate

Kontaktanfrage

Einloggen & anfragen.

Das Kontaktformular ist nur für eingeloggte Nutzer verfügbar.

Registrieren Anmelden