29.10.2025 aktualisiert
100 % verfügbar
Senior Data Platform Engineer
Hamburg, Deutschland
Weltweit
B.Sc. InformatikSkills
Amazon Web Services (AWS)Data EngineeringPythonJavaSQLApache AirflowAzure DatabricksAzurePlatform Engineering
- Java, Scala, Python, SQL
- Spring Boot, JDBI, Spring, JPA
- RabbitMQ, Messaging, Microservices
- Apache Spark, Databricks, Airflow
- FastAPI, SQLAlchemy, Haystack, Alembic, Langchain, Huggingface
- Cloudformation, Terraform, Docker
- AWS: EC2, ECS, Fargate, RDS, DynamoDB, S3, SQS, SNS, StepFunctions, Lambda, AWS Batch, Athena, Data Pipeline, Serverless, EMR
- Azure
- Github Actions, Jenkins, Airflow 2, Airflow 3.x, Gitlab CI/CD
- MariaDB, MySQL, PostgreSQL, AWS Redshift
- GPDR, DSGVO
Sprachen
DeutschMutterspracheEnglischMuttersprache
Projekthistorie
Tätigkeit:
- Einführung von Airflow / Ablösen der custom ETL solution
- Entwicklung vom Datawarehouse
- Entwicklung von der Customer Data Platform
- Entwicklung von ETL Strecken von externen quellen in das Datawarehouse
- Anbindung von Plenigo, Salesforce, Adobe Marketing Cloud
- Konzipierung von Reportings und neuen KPIs
- Python, SQL, SQLAlchemy
- AWS (EC2, Lambda, Serverless, S3, Redshift, SWF, Sagemaker, ECS Fargate, VPC)
- Airflow
Implementing an internal Chatbot using Langchain.
- Integrating internal data sets for retrieval
- Integrating RAG for better results
- Securing data for different teams/departments with a multi tenant paradigm
- Anbindung der Adobe Privacy API
- Debugging innerhalb des GCP Kubernetes Clusters
- Exploratives Requirements Engineering
- Features planen und implementieren
- Anbindung der internen Azure Blob Storage und Queue