Data Engineer

Erstellung einer API-Schnittstelle, die es ermöglicht, folgende AI-basierte Anfragen durchzuführen, unter Verwendung des Azure OpenAI Service mit GPT 3.5/4 und dem Aufbau des Services mithilfe von LangChain:

1. Email Classification:
   • Klassifizierung eingehender E-Mails, um diese automatisch an die richtige Stelle im Unternehmen weiterzuleiten. Die E-Mails werden zur besseren Weiterverarbeitung in Kategorien wie Feedback, Aktion notwendig (Ja/Nein), oder Spam eingeteilt.
   • Evaluierung der Ergebnisse mit einem Testdatenset, unter Verwendung von Metriken wie Accuracy, Precision, Recall und F1-Score, mit Unterstützung durch MLFlow.
2. AI-supported Case Summary:
   • Erstellung einer Zusammenfassung von Kunden-E-Mails und deren Anhängen unter Berücksichtigung rechtlicher Richtlinien.
   • Evaluierung der Zusammenfassungen anhand von Rouge-1, Rouge-2 und weiteren gängigen Metriken wie Correctness, Faithfulness, Context Relevancy, Guideline Adherence und Embedding Semantic Similarity.
3. Answer Customer Questions (RAG):
   • Beantwortung häufig gestellter Kundenfragen, die mithilfe von Benutzerhandbüchern und anderen Ressourcen beantwortet werden können.
   • Evaluierung der Antworten anhand von Rouge-1, Rouge-2 sowie weiteren Metriken wie Correctness, Faithfulness, Context Relevancy, Guideline Adherence und Embedding Semantic Similarity.

Vorteile der Lösung:

• Schnellere Antwortzeiten auf Kundenanfragen.
• Entlastung der Mitarbeiter durch Automatisierung wiederkehrender Aufgaben.
• Übersichtliche Auswertung der Modell-Ergebnisse in einem Grafana-Dashboard.

Kenntnisse: Microsoft Azure , OpenAIService , ChatGPT, Langchain, MLFlow, Python, Confluence

- Aufbau des Greenfield Projektes (Databricks, Azure Monitoring, Delta Lake)
- Aufbau eines Data Warehouses
- Berechnen der Kennzahlen in Databricks
- Erstellen eines Monitoring Dashboards
- Erstellen eines PowerBI Berichts
- Schulen von Mitarbeiter in Bezug auf Azure

Kenntnisse: Serverless Computing · Englisch · Azure Data Lake · Azure Databricks · Azure DevOps · Microsoft Power BI

- Historisierung des Data Warehouses
- Anpassen des Workloades der Data Factory
- Berechnen der neuer Kennzahlen des Krankheitsberichts mit T-SQL
- Erstellen eines Krankheitsbericht in PowerBI

Kenntnisse: Serverless Computing · Azure Data Factory · Azure DevOps · Microsoft Power BI · SQL Azure · TransactSQL (T-SQL)