07.10.2025 aktualisiert
nicht verfügbar
Interim CTO, GenAI / LLM Expert
Düsseldorf, Deutschland Diplom-Informatik
Skills
B2B SaaS, Technical Leadership, Thought Leadership, LLM, Gen AI, AI, TypesScript, Node.js, Java,
Sprachen
DeutschverhandlungssicherEnglischverhandlungssicherRussischMutterspracheUkrainischgut
Projekthistorie
Ein deutsches Enterprise-Softwareunternehmen entwickelt eine Integrationsplattform, mit der komplexe Unternehmenssysteme effizient miteinander verbunden werden können. Zentrales Element dieser Plattform ist eine eigene deklarative Sprache zum Erstellen von Daten-Mappings innerhalb der Integrationen.
Da diese Mappings in der Praxis sehr komplex werden und bestehende Implementierungen oft migriert werden müssen, wird ein AI-Agent entwickelt, der:
- automatisch neue Daten-Mappings generieren kann,
- bestehende Mappings analysiert und in die neue Sprache überführt,
- nahtlos in die bestehenden Entwicklungs- und Integrationstools eingebunden ist.
Meine Rolle umfasst:
- Architekturkonzeption des Gesamtsystems für den AI-Agenten,
- Entwicklung des Agenten mit Fokus auf generative KI und semantische Datenmodellierung,
- Integration in die Entwicklungs-Toolchain der Plattform, um eine reibungslose Nutzung durch Entwickler:innen zu ermöglichen.
- OpenAI & Anthropic (Claude/Claude Code) für Sprachmodelle,
- LangChain als Orchestrierungsframework,
- moderne Tooling- und Entwicklungsumgebungen für die Einbettung des Agenten.
- Python, TypeScript
- Vektordatenbanken
Ziel des Projekts
Entwicklung eines intelligenten Chatbots für ein Unternehmen, der natürliche Sprache versteht, Unternehmensdaten nutzt und mit Kunden und Mitarbeitenden interagiert – z. B. im Kundenservice, HR oder IT-Support.
- 1. AnforderungsanalyseZielgruppen definieren (Kunden, Mitarbeitende, Partner)
- Use Cases: z. B. FAQ, Ticket-Erstellung, HR-Anfragen, Produktempfehlungen
- Datenschutzanforderungen prüfen (DSGVO, Betriebsrat)
- 2. Technologie- und ToolauswahlAuswahl eines geeigneten LLM (siehe unten)
- Hosting: Cloud (Azure, AWS, GCP) oder On-Premises
- Integration: CRM, ERP, Wissensdatenbanken, Slack, MS Teams
- 3. ModellarchitekturBasis: GPT-4, Claude, LLaMA, Mistral oder Gemini
- Feintuning vs. Retrieval-Augmented Generation (RAG)
- Prompt Engineering: Templates, Kontextsteuerung
- Multilingualität berücksichtigen (je nach Zielgruppe)
- 4. DatenmanagementAufbau von Wissensquellen (FAQ, PDFs, interne Dokumentation)
- Datenanreicherung: Semantische Suche (z. B. mit Vektordatenbanken wie Pinecone, Weaviate)
- Zugriffsbeschränkung: Rollen, Rechte
- 5. Entwicklung und IntegrationFrontend: Webchat, Mobile App, MS Teams Bot, Voice (optional)
- Backend: API-Gateway, Authentifizierung (z. B. Azure AD, OAuth2)
- Logging, Feedback-Funktion, Analytics
- 6. Testen & ValidierungDialogfluss-Tests, Fallback-Logik
- Security-Tests (Injection, Prompt Leakage)
- Pilotbetrieb mit kontrollierter Nutzergruppe
- 7. Rollout & BetriebMonitoring (Antwortqualität, Systemverfügbarkeit)
- Iterative Verbesserung (Feedback, Modelloptimierung)
- Technologie-Transformation: Entwicklung und Implementierung einer Strategie zur Migration von herkömmlichen Machine-Learning-Modellen auf Large Language Models (LLMs), um die Leistungsfähigkeit der bestehenden Technologie zu erhöhen.
- Architektur-Optimierung: Analyse der bestehenden Software-Infrastruktur und Integration von LLMs, um die Basis für die Implementierung eines AI-Agents zu schaffen.
- Entwicklung eines AI-Agents: Konzeption, Design und Implementierung eines KI-gestützten Agents, der autonome Entscheidungen trifft und Geschäftsprozesse optimiert.
- Innovationsmanagement: Einführung neuer Technologien und Methoden zur Verbesserung der KI-Kompetenzen des Unternehmens, einschließlich fortschrittlicher Prompt-Engineering-Techniken und adaptiver Modell-Optimierung.
- Technologien und Frameworks: Einsatz moderner Tools wie PyTorch, TensorFlow, Hugging Face Transformers, LangChain, OpenAI API, Kubernetes für skalierbare Deployments sowie MLOps-Plattformen wie MLflow und Weights & Biases.
- Cross-funktionale Zusammenarbeit: Enge Zusammenarbeit mit Datenwissenschaftlern, Entwicklern und Geschäftseinheiten, um sicherzustellen, dass die AI-Lösungen unternehmensweit effektiv eingesetzt werden können.
- Skalierte das Engineering-Team von 5 auf 30 Fachkräfte und etablierte eine leistungsstarke Organisation, die den wachsenden technischen Anforderungen des Unternehmens gerecht wird.
- Begleitete das Unternehmen erfolgreich durch umfassende Sicherheits-Compliance-Prüfungen und erlangte dabei Zertifizierungen wie SOC 2 und ISO 27001, wodurch die Vertrauenswürdigkeit und Glaubwürdigkeit gegenüber Enterprise-Kunden gestärkt wurde.
- Leitete die Entwicklung einer cloudbasierten Plattform, die die Betriebskosten erheblich reduzierte und gleichzeitig die Kundenerfahrung nachhaltig verbesserte.