ŠKODA AUTO: datové přenosy na analytické platformě komplexně řídí a monitoruje nástroj Adoki od Adastry
serverů využívá řešení implementované Adastrou
TB činí celková kapacita datového úložiště
měsíce zabralo napojení nástroje Adoki na požadované datové zdroje
Adastra ve ŠKODA AUTO vybudovala v letech 2018-19 on-premise Datovou analytickou platformu (DAP) pro vizualizaci dat a realizaci sofistikovaných úloh pokročilé analytiky a umělé inteligence, která pracuje s velkými datovými objemy.
Datová analytická platforma ve ŠKODA AUTO v detailu
Platforma nachází ve ŠKODA AUTO uplatnění v oblasti Výroby a logistiky, Kontroly kvality, na Marketingu, Technickém vývoji nebo v oddělení Garance, které využívá řešení chytrého skórování garančních požadavků určených k fakturaci.
Platforma dále umožňuje například vyhodnocovat loajalitu zákazníků, predikovat jejich chování, odhadovat jejich potřeby a tomu přizpůsobovat nabídku produktů a služeb.
Podle Jiřího Bočka, product ownera Datové analytické platformy, se potenciál skrývá především v kombinování dat z různých oddělení a hledání vazeb mezi jednotlivými ukazateli.
Zájem o její využívání s potřebou zpracovávat data postupně roste, a to jak v rámci ŠKODA AUTO, tak i v rámci koncernu Volkswagen Group. Dnes se už jedná o platformu hybridní, využívající ŠKODA Datové centrum v Mladé Boleslavi a cloud.
Co o nás říká zákazník
zabralo napojení nástroje Adoki na požadované datové zdroje
konsolidovalo většinu ostatních ETL nástrojů a technologií
přenosy platforma kontroluje a zaznamenává do auditovatelné historie
IT specialista spravuje všechny datové přenosy
on-premise a cloudového prostředí
Adoki poskytuje všem přenosům kompletní servis na úrovni metadat
U systémů zohledňuje performance a datovým specialistům ŠKODA AUTO nabízí intuitivní front-end.
V úvodní fázi projektu jsme synchronizovali 40 datových přenosů z 8 klíčových databází automobilky. Po půl roce bylo přenosů téměř 2krát tolik, po roce už 5krát více a jejich počet stále roste. Z hlediska objemu Adoki konzistentně přenáší stovky GB dat a zajišťuje jim úplnou data governance.
Všechny datové přenosy spravuje prostřednictvím Adoki jediný IT specialista.
Kombinujeme on-premise a cloudové prostředí
Mezi výhody on-premise části patří
- velká kapacita (149 TB, což je zhruba 300 disků běžných notebooků)
- rychlost zpracování dat
- rozmanitost využívaných formátů
- bohatá sada nástrojů pro reporting, analytiku a umělou inteligenci
Na cloudu zase uživatelé ze ŠKODA AUTO oceňují:
- neomezenou kapacitu pro ukládaná data
- snadné škálování
- neustále aktuální nabídku analytických nástrojů
- dostupnost GPU strojů pro výpočetně náročné operace a další
S rostoucím zájmem o nahrávání a ukládání dat do této platformy stála ŠKODA AUTO před otázkou, jak řídit datové přenosy z různých systémů firmy na DAP a i zpět, a dále mezi on-premise a cloudovou částí DAP. Situace před nasazením nástroje Adoki vyžadovala zapojení celého týmu specialistů a neposkytovala plný uživatelský servis.
Nastavení přenosů se např. dalo realizovat pouze ručně, každý přenos bylo třeba nově nakonfigurovat a parametrizovat, chybělo zasílání notifikací o ukončení přenosu. Doprogramování nových funkcionalit by sice bylo možné, ale finančně nákladné. Právě proto ŠKODA AUTO přistoupila k implementaci nástroje Adoki, který centrálně řídí a monitoruje přenosy dat. Adoki bude cílově využíváno i pro přenosy mezi on-prem a cloud částí DAP.
Datové přenosy probíhají několikrát denně
První velkou úlohou Adoki byla integrace dat z 8 výrobních databází automobilky do DAP. Dnes na ni integruje data z mnoha dalších relačních systémů jako MS-SQL, Oracle, PostgreSQL, SAP HANA, ale i nerelačních systémů jako Jira.
- V průměru se replikují stovky GB dat za měsíc.
- Jednotlivý přenos se uskuteční do 3 minut.
K datovým přenosům zpočátku docházelo 3krát za den, po ukončení výrobních směn, nyní probíhají několikrát denně, ad-hoc, podle potřeb a požadavků byznysu.
- Transfery probíhají dávkově: menší tabulky se nahrávají celé, velké transakční tabulky pak inkrementálně.
- DAP a Adoki slouží v případě výrobních dat i k archivačním účelům.
V rámci iniciačního plnění, kdy se na DAP nahrávala historická data (u některých tabulek už z roku 2016), se Adoki muselo vypořádat s násobně vyššími datovými objemy. Jednotlivé přenosy přesto netrvaly déle než 5 minut. Po přenosu dat z primárních systémů a kontrole, že celý proces kompletně proběhl, mohou datoví specialisté data ze zdrojových systémů bez obav smazat a uvolnit jejich kapacitu.
Zavedení Adoki bylo nákladově efektivnější než podpora a rozvoj tehdejšího řešení
Nástroj ve ŠKODA AUTO spravuje jediný specialista a řídí datové přenosy do stovek cílových tabulek. Náklady na zavedení Adoki byly cenově efektivnější než podpora a další rozvoj aktuálně používaného řešení.
Adoki zrychlilo, standardizovalo a zefektivnilo datové přenosy z klíčových systémů do DAP.
Funguje zcela automatizovaně a bez jakýchkoli omezení – nelimituje počet ani velikost přenášených tabulek a nenutí ŠKODA AUTO přenášet jen vybrané zdroje.
Současně také zajišťuje konzistenci dat a datových struktur ve zdrojovém i cílovém prostředí.
Auditovaný a monitorovaný přenos, na který stačí jeden specialista
Všechny přenosy dat jsou auditovatelné a monitorované. Pokud v jejich průběhu dojde k chybě či přerušení, nástroj okamžitě upozorní správce přenosu, který identifikovaný přenos snadno dohledá a spustí znovu.
Všechny datové přenosy, dnes jich je 250 za den, uřídí jediný člověk, a to mj. i proto, že nástroj využívá metadata a parametrizaci.
Adoki přenáší data rychle, bezpečně, proces přenosu pokrývá end-to-end. Zajišťuje také, že se datové přenosy automaticky optimalizují, aby dosahovaly co největšího výpočetního výkonu a neomezovaly provoz zdrojových databází.
Nástroj je díky propracovanému grafickému rozhraní uživatelsky přívětivý a intuitivní.
I proto proběhlo zaučení specialistů, kteří s nástrojem pracují, v rámci jednoho dne. Po vyškolení konfigurují datové přenosy zcela samostatně, nezávisle na administrátorovi Adoki. Jednodušší přenosy zvládnou uživatelé nastavit do jedné hodiny, ty komplexnější během jednoho dne.
