06.03.2024 aktualisiert
100 % verfügbar
Data & Kubernetes Engineer
Ulm, Deutschland
Ulm +50 km
Master of ScienceSkills
KubernetesMicrosoft AzureDevOpsKafkaData ModelingdbtAirflowCI/CDPythonJavaIaCETL/ ELTAzure Data FactoryKubeflowArgo CD Azure PipelinesTerraformApache SparkAmazon AWSAWS GlueAWS AthenaTensorflow
Als erfahrener Data Engineer habe ich bereits an ganz unterschiedlichen Projekten gearbeitet, darunter die Erfassung und Verarbeitung von Millionen täglicher Transaktionen für einen großen Einzelhändler, die Erfassung von Telemetriedaten von Hunderten von Microservices sowie den Aufbau einer IoT Datenplattform. Vor kurzem habe ich eine Zertifizierung für Data Engineerung auf Microsoft Azure abgeschlossen (DP-203).
In den letzten drei Jahren lag mein Hauptaugenmerk auf der Entwicklung, dem Aufbau und der Wartung einer produktionstauglichen On-Premise-Kubernetes-Infrastruktur für Microservices und Machine Learning. Ich verfüge über mehr als sechs Jahre Erfahrung im Betrieb von Dateninfrastruktur (z. B. Kafka, Airflow, Spark) auf Basis von Kubernetes.
Die Umsetzung von DevOps-Prinzipien ist ein wichtiger Teil meiner Arbeit. Zuletzt habe ich die Deployment-Prozesse für einen Kunden mithilfe von GitOps und Argo CD deutlich verbessert.
Als erfahrener Programmierer in Java und Python löse ich gerne komplexe Probleme. Ein Beispiel ist der Entwurf und die Implementierung einer eigenen Query-Language für Benutzer ohne technischen Hintergrund. Derzeit wende ich Large Language Models (LLMs) an, um eine Schnittstelle in natürlicher Sprache für Datenbanken und APIs zu erstellen und so die Interaktion von Endbenutzern mit Daten weiter zu vereinfachen.
In den letzten drei Jahren lag mein Hauptaugenmerk auf der Entwicklung, dem Aufbau und der Wartung einer produktionstauglichen On-Premise-Kubernetes-Infrastruktur für Microservices und Machine Learning. Ich verfüge über mehr als sechs Jahre Erfahrung im Betrieb von Dateninfrastruktur (z. B. Kafka, Airflow, Spark) auf Basis von Kubernetes.
Die Umsetzung von DevOps-Prinzipien ist ein wichtiger Teil meiner Arbeit. Zuletzt habe ich die Deployment-Prozesse für einen Kunden mithilfe von GitOps und Argo CD deutlich verbessert.
Als erfahrener Programmierer in Java und Python löse ich gerne komplexe Probleme. Ein Beispiel ist der Entwurf und die Implementierung einer eigenen Query-Language für Benutzer ohne technischen Hintergrund. Derzeit wende ich Large Language Models (LLMs) an, um eine Schnittstelle in natürlicher Sprache für Datenbanken und APIs zu erstellen und so die Interaktion von Endbenutzern mit Daten weiter zu vereinfachen.
Sprachen
DeutschMutterspracheEnglischgutFranzösischGrundkenntnisse
Projekthistorie
- Entwicklung von Pipelines zur zuverlässigen Sammlung und Aufbereitung von Telemetriedaten von 100+ Microservices in Test- und Produktionsumgebungen.
- Auslösen von Alerts falls Probleme von Clustern oder Anwendungen in den Daten erkennbar werden.
- Bereitstellung von Dashboards zur Visualisierung der Daten.
- Installation und Wartung der nötigen Dateninfrastruktur.
- Implementierung von Datenpipelines mit AWS Glue für die Sammlung und Aufbereitung von Transaktionsdaten mehrerer Konten via REST-API
- Aufbau eines Data Lakes mit Lake Formation und Amazon S3.
- Analyse der Kontodaten mit Athena.
- Automatisierung der Bereitstellung mit IaC (CDK).
Skills: Glue / Athena / S3 / Spark / Python / Lake Formation / IAM / CDK
- Entwurf, Umsetzung und Wartung einer On-Premise-Kubernetes-Infrastruktur (10+ Cluster) für den produktiven Einsatz.
- Automatisierung der Bereitstellung von Clustern durch Infrastructure as Code (IaC)-Praktiken.
- Einrichtung von Cluster-Management-Software, um auch hybride Cloud-Strategien zu ermöglichen.
- Installation und Wartung von Machine Learning-Infrastruktur in lokalen Kubernetes-Clustern (z.B. Apache Spark, Tensorflow und Jupyter-Notebooks).
- Empfehlung zur Migration in die Public Cloud für Datenanalysen und Machine Learning, um flexibler zu werden und besser skalieren zu können.
- Vergleich verschiedener Cloud-Anbieter (AWS, Azure, GCP) für den Kunden
- Aussprache einer Empfehlung für GCP (Vertex AI Workbench, Big Query) auf Grundlage der bestehenden Anforderungen.
- Einführung von GitOps-Deployments auf Basis von Argo CD.
- Verbesserung bestehener CI/CD-Pipelines um die Vorteile von Kubernetes voll auszunutzen, beispielsweise durch die Einführung von Review-Deployments für Feature-Branches.
- Unterstützung von Softwareentwicklungs- und Infrastrukturteams bei der Einführung einer DevOps-Kultur.