IT Experte

In diesem Projekt mussten teils umfangreiche Änderungen / Erweiterungen an einer bestehenden Pipelinesteuerungssoftware umgesetzt werden. Technologisch beinhaltete dies Anpassungen an Schema und Funktionalität der eingesetzten Echtzeitdatenbank. Ein großer Fokus wurde auf das Erzielen einer Testabdeckung von 100% durch Unit Tests und der automatisierten Testfallabdeckung durch Funktionale- oder Integrationstests. Im Projekt wurde sehr streng und professionell nach SCRUM gearbeitet.

• Implementierung von Kundenanforderungen für eine Pipelinesteuerung
• Beratung und Aufzeigen strategischer Skalierungspotenziale der Gesamtarchitektur.
• Analyse und Implementierung von Änderungen am Schema und der Funktionalität einer proprietären Echtzeitdatenbank.
• Umfangreiches Testen der Implementierung auf verschiedensten Test-Leveln mittels Unit Tests, Integrationstests, funktionalen Tests und manuellen Tests.
• Coaching des Kunden in agilen Entwicklungsmethoden und Softwareentwicklungsansätzen.

In diesem Projekt mussten beliebig strukturierte Quelldateien mit diversen personenbezogenen Daten im CSV Format in eine Staging-Datenbank importiert werden. Basierend auf einer Konfiguration werden bestimmte Datenanteile mittels diverser, selbstentwickelter Anonymisierungsalgorithmen so unkenntlich gemacht, dass spätere Rückschlüsse auf die Originaldatensätze nicht mehr möglich sind. Dabei erlauben die Konfigurationsmöglichkeiten das Verknüpfen zusammengehöriger Spalten, sowie den Ausschluss definierter Werte. Am Prozessende werden die Ursprungsdaten inkl. der anonymisierten Daten in eine produktive Zieldatenbank transferiert, welche dem Schema der Quelldateien entspricht, jedoch in den konfigurierten Spalten statt der Originalwerte die anonymisierten Werte enthält.

• Analyse von Quell-CSV-Dateien und effiziente Übertragung von vielen Millionen Datensätzen in die Staging Datenbank
• Entwicklung eines erweiterbaren, konfigurierbaren Anonymisierungssystems bestehend aus diversen „Anonymisierern“, wie bspw. Mischen, Datums-Anonymisierer, Rundungs-Anonymisierer und weiteren.
• Übertragung und Vereinigung von Original- sowie anonymisierten Daten in eine Zieldatenbank.

In diesem Projekt musste eine Datenbankarchitektur geschaffen werden, welche die sichere und performante Datenhaltung von bis zu 20 Milliarden Datensätzen unter Beachtung der Datenintegrität sicherstellt. Zusätzlich mussten Importer entwickelt werden, die mehrere CSV Dateien im Gesamtvolumen einiger Millionen Datensätze, bestehend aus Stamm- und Preisdaten, innerhalb weniger Sekunden zur weiteren Verarbeitung in die Datenbank transportieren. Die Daten mussten in der Datenbank vollständig versioniert gehalten werden, um dem Kunden rückwirkend zur Inbetriebnahme für jeden gewünschten Zeitpunkt das gültige Datenuniversum rekonstruieren zu können. Die entwickelten Stored Procedures beinhalteten:

• die Verwaltung und Eingliederung neuer und vorhandener Daten in das Versionierungssystem
• die Identifikation fehlender Preishistorien auf Instrumentenebene
• die Identifikation von Löchern in der Preishistorie
• das Archivieren nicht mehr benötigter Historien im Rahmen rechtlicher Rahmenbedingungen

Die beschriebene Toolchain musste so entwickelt werden, dass eine automatisierte Ausführung mittels eines Batchservers in angemessener Zeit ermöglicht und sichergestellt werden konnte.