ComAp: 1 Billion Telemetriedatensätze in der Cloud als Basis für modernes Reporting
Adoki übertrug die Telemetriedaten von 60.000 Kunden aus den vergangenen 15 Jahren in Azure Data Explorer. Die Migration großer Datenmengen erfolgte vollautomatisch. Die bestehende Geschäftslogik blieb dabei vollständig erhalten.
Telemetriedatensätze
Altdatenbankinstanzen
Herausforderung
Herausforderung: Altdaten erschweren die Modernisierung
Lösung
Umsetzung: Automatisierte, metadatengesteuerte Migration verteilter Daten
Wir entwickelten die Migrationsstrategie und planten den gesamten Ablauf, um jederzeit die volle Kontrolle über die Datenmigration zu behalten.
- Adoki steuerte und koordinierte alle Schritte der Migration.
- PostgreSQL erfasste die Metadaten und dokumentierte den Fortschritt der Migration.
In den ersten drei Monaten erfassten wir die historischen Kundendaten aus allen Quelldatenbanken, exportierten den Großteil der Daten und legten genau fest, welche Daten migriert werden mussten. Anschließend konzentrierten wir uns auf drei zentrale Bereiche:
Verarbeitung historischer Daten
Wir bereinigten, transformierten und aggregierten die Zeitreihendaten. Dabei stellten wir sicher, dass sie sowohl strukturell als auch inhaltlich mit den neu erfassten. Daten übereinstimmten.
Überführung in das neue Datenmodell
Anhand der bestehenden Geschäftsregeln passten wir die Daten an die neue Struktur in Azure Data Explorer an.
Skalierung der Migration
Da die tatsächliche Datenmenge deutlich größer war als ursprünglich angenommen, erhöhten wir die Verarbeitungskapazität der Lösung schrittweise.
Das Kundenteam konzentrierte sich vollständig auf die Transformationslogik, die Datenqualität und die Überprüfung der Ergebnisse.
Impact
Datengrundlage für Analysen, weitere Digitalisierung und neue Entwicklungen
In der Cloud haben wir eine zentrale, leicht zugängliche Datenbasis geschaffen. Sie ermöglicht die Modernisierung von Reporting, Monitoring und Kunden-Dashboards sowie die Entwicklung neuer Anwendungsfälle für Datenanalysen. Damit wurde eine wichtige Voraussetzung für ComAps weitere Daten- und KI-Projekte geschaffen.
Was ComAp an dem Projekt besonders schätzte:
Volle Kontrolle über die Migration:
Mit Adoki behielt ComAp jederzeit den Überblick über den gesamten Migrationsprozess. Das Unternehmen konnte den Fortschritt und die Ergebnisse für jeden einzelnen Kunden in Echtzeit verfolgen.
Schnellere Migration mit geringem Ressourcenaufwand
Dank Adastras metadatengesteuerter ETL-Plattform musste ComAp kein eigenes Migrationstool entwickeln. Das sparte Zeit und Ressourcen.
Daten für neue Anwendungen nutzbar
Die historischen Telemetriedaten sind nicht mehr an das Altsystem gebunden. Sie stehen jetzt für neue Anwendungen in den Bereichen Datenanalyse, Datenverarbeitung und KI zur Verfügung.
