30.07.2024 aktualisiert
20 % verfügbar
Big Data Engineer
Menden, Deutschland
Menden +25 km
Informationstechnik Schwerpunkt InformatikSkills
JavaAgile MethodologieAirflowAmazon S3Bash ShellBig DataContinuous IntegrationETLDevopsAmazon DynamodbEclipseGroovyMapReduceIntellij IDEAJava Database ConnectivityJunitPythonPostgresqlMicrosoft Visual StudioMongodbMysqlOracle FinancialsScrumPrometheusScalaSQLFile Transfer Protocol (FTP)GrafanaApache SparkAWS ECSCloudformationData LakeApache KafkaApache NifiGraphqlCloudwatchTerraformPyramidDockerJenkinsMicroservices
Data Engineer, AWS Cloud, Big Data, AWS ECS, agile Methoden, Apache Airflow, Airflow, Amazon DynamoDB, S3, Kafka, NiFi, SPARK, Bash, CloudFormation, CloudWatch, CI/CD, Datenanalysen, Data Lake, Datenbanken, Datenmanagement, Datenverarbeitung, DevOps, Docker, ETL-Prozesse, Eclipse, SFTP, Grafana, GraphQL, Groovy, IntelliJ, Java, JDBC, Jenkins, JUnit, MapReduce, Microservices, Visual Studio Code, MongoDB, MySQL, Oracle, PostgreSQL, Prometheus, Python, SQL, Scala, Scrum, Terraform
Sprachen
DeutschMuttersprache
Projekthistorie
Beim Aufbau eines layerbasierten Data Lakes in AWS verarbeitete ich Daten mit EMR oder Glue und orchestrierte die Beladungsstrecken mithilfe von Airflow. Ich lud Daten aus diversen Quellen und führte individuelle ETL-Jobs in Docker-Containern auf AWS ECS aus. Eng arbeitete ich mit Fachbereichen zusammen, um individuelle Probleme effizient zu lösen, und baute eine Benachrichtigungslösung mittels AWS SNS und Lambda auf.
Für das Permission Management setzte ich Lake Formation ein und managte verschiedene AWS-Accounts, RDS-Datenbanken sowie User-Gruppen. Ich stellte den Datenschutz sicher und pflegte das S3-Lifecycle-Management, um Daten gemäß EU-DSGVO zu löschen. Zudem übernahm ich DevOps-Tätigkeiten und betrieb und wartete die entwickelten Technologien.
Ich kümmerte mich um die Backups für EC2-Instanzen und richtete ein Monitoring-System mit AWS CloudWatch, Prometheus, Grafana, SNS und RDS ein. Ebenso führte ich Jenkins mit Groovy-Skripten zum Deployment verschiedener Umgebungen ein und managte die AWS-Infrastruktur mithilfe von Terraform. Außerdem setzte ich PoC-Umgebungen wie Tableau oder Pyramid auf EC2 auf und administrierte diese während der Testphase.
Für das Permission Management setzte ich Lake Formation ein und managte verschiedene AWS-Accounts, RDS-Datenbanken sowie User-Gruppen. Ich stellte den Datenschutz sicher und pflegte das S3-Lifecycle-Management, um Daten gemäß EU-DSGVO zu löschen. Zudem übernahm ich DevOps-Tätigkeiten und betrieb und wartete die entwickelten Technologien.
Ich kümmerte mich um die Backups für EC2-Instanzen und richtete ein Monitoring-System mit AWS CloudWatch, Prometheus, Grafana, SNS und RDS ein. Ebenso führte ich Jenkins mit Groovy-Skripten zum Deployment verschiedener Umgebungen ein und managte die AWS-Infrastruktur mithilfe von Terraform. Außerdem setzte ich PoC-Umgebungen wie Tableau oder Pyramid auf EC2 auf und administrierte diese während der Testphase.
Beim Aufbau einer Machine-Learning-Plattform in AWS plante und betrieb ich eine Infrastruktur zur Verarbeitung von ML-Daten mit Amazon SageMaker, nutzte NiFi für die Beladung und füllte den Feature-Store mittels Spark-Jobs. Ich orchestrierte die Umgebungen mit Apache Airflow, führte Jenkins mit Groovy-Skripten zum Deployment verschiedener Umgebungen ein und managte die AWS-Infrastruktur mit CloudFormation.
In einem Showcase entwarf und implementierte ich eine AWS-basierte Datenplattform, die Daten aus verschiedenen Systemen wie REST streamt und verarbeitet. Ich baute ein Kafka-Cluster auf EC2-Instanzen auf, entwickelte Kafka-Producer und -Consumer und setzte eine Aurora-RDS-Instanz auf. Weiterhin verarbeitete ich Daten mit Spark und visualisierte Sentiment-Analysen mittels ELK-Stack. Zusätzlich schulte ich Mitarbeiter im Big-Data-Umfeld.