Integrace dat v Azure

Využijte hybridní integraci dat a vytvořte jediný zdroj pravdy pro všechna data.

Modernizace analytických možností

V dnešní době, kdy jsou k dispozici moderní cloudové platformy jako služby (PaaS), již nejsou firmy limitovány v kapacitách úložiště nebo výpočetním výkonu pro zpracování OLAP workloadů. Společnosti mají možnost shromažďovat, ukládat a analyzovat data z více systémů než kdykoliv předtím. Kvalita analytických řešení se nyní posuzuje na základě rychlosti jejich implementace a škálovatelnosti.

Výhody integrace dat v Azure

Snadno rozšiřitelný

Díky procesu načítání dat, který probíhá na základě metadat, jsou pravidly řízené pipeline rychle nasaditelné a snadno se učí. Metadata mohou být uložena v libovolném SQL enginu a udržována pomocí základních SQL příkazů. Nové tabulky lze namapovat během několika minut a přidat do stávajících úloh. To umožňuje jedné pipeline načítat stovky tabulek ze zdroje do data lake a do cílových tabulek konzistentním způsobem. Pipeline lze přepnout tak, aby zvládaly návrhové vzory ETL nebo ELT, a mohou běžet jak paralelně, tak sekvenčně tak, aby se zachovala konzistence cizích klíčů ve vrstvě cílového datového skladu.

Auditovatelná historie

Díky poklesu cen za cloudové úložiště se nyní otevírá možnost vytvořit plně auditovatelný data lake pro širokou škálu use casů. Z provozního hlediska lze kompletní auditovací historii přenést do prostředí pro analýzu logů. Azure nabízí integrované funkce pro vytváření upozornění a podporuje spojení s běžně používanými nástroji Security Information and Event Management (SIEM), což zajišťuje ucelený přehled o všech analytických procesech od úložiště, přes datové pipeline, až po analytický engine.

Škálovatelnost

Systém lze rozšířit nebo snížit během několika minut. Úprava velikosti vyhrazeného fondu SQL, clusteru Databricks nebo integračního runtime clusteru Synapse je často stejně jednoduchá jako posunutí posuvníku nebo jeden řádek PowerShellu. Různá prostředí lze nastavit na různé úrovně výpočetního výkonu a některá prostředí lze v době, kdy se nepoužívají, zcela pozastavit, aby se snížily náklady. Díky použití Massively Parallel Processing (MPP) architektury vyhrazený pool SQL Synapse snadno řeší objemy terabajtů nebo petabajtů dat.

Zabezpečení

Celé řešení může být poskytnuto jako PaaS (Platforma jako služba), což eliminuje potřebu neustálých aktualizačních cyklů. Azure integruje víceúrovňové zabezpečení přímo do svých služeb. Začíná pokročilou detekcí hrozeb pro identifikaci a plynulou reakci na útoky typu DDoS. Microsoft nabízí pokročilé síťové zabezpečení s flexibilními a bezpečnými řešeními směrování a firewallu. S privátním koncovým bodem můžeme odstranit veřejný přístup. Přístup a autorizace jsou založeny na skupinách v Active Directory s řízením přístupu na základě rolí, které poskytují metodu aplikace principu nejmenšího přístupu. Všechna data jsou v Azure vždy šifrována , a to i při přenosu. Všechna citlivá data jsou bezpečně uložena v Azure Key Vault.

Připravenost CI/CD

Veškerý kód lze uchovávat v systému správy verzí a nasazovat prostřednictvím pipeline CI/CD (Continuous Integration/Continuous Deployment). Díky nativní integraci s Azure DevOps lze nasazení snadno nastavit, a to i v případě ochrany pomocí privátních koncových bodů. Revize kódu, pull requesty, vícenásobné větve a flexibilní nastavení projektů lze snadno upravovat. Ve spojení s Azure Boards lze projekty spravovat od shora dolů až po jednotlivé úkoly a řídit je podle waterfall modelu nebo agilní metody. S integrací do pipeline CI/CD lze nasazení automaticky spustit, kontrolovat a auditovat.

Náš workflow pro příjem dat

Adastra má workflow pro příjem dat, které umožňují zpracovávat data z různých typů zdrojů a vzorů načítání. Náš framework řízený metadaty umožňuje snadné vytváření a udržování stovek tabulek, souborů nebo API koncových bodů. S drobnými úpravami může framework řídit vzory ETL nebo ELT pro jakýkoliv potenciální cílový stav. Mezi běžné případy použití patří architektura data lake s více přístupy, která končí datovým martem ve stylu Kimball, datovým skladem ve stylu Inmon nebo data lake či datovým trezorem na platformě Databricks.

Metodika integrace dat Azure

Popíšeme současný stav podnikové architektury a síťování, katalogujeme stávající architekturu a služby Azure. Prověříme současnou architekturu datového reportingu.

  • Zmapování současného stavu vůči navrhované budoucí architektuře s cílem modernizovat datové a BI systémy, umožnit pokročilou analytiku a zlepšit provoz BI.
  • Určení řešení HA/DR odpovídajících potřebám klienta
  • Zmapujeme vrstvy pro surová data, staging, modelování a data pro analytický reporting.
  • Určení síťových a bezpečnostních řešení
  • Rozhodněte se pro vyhovující BI řešení.

Adastra doporučuje implementovat datové zóny pro analytiku v Azure. IT odborníci/data scientisté budou mít přístup k datům z libovolné zóny v závislosti na případu použití. Obchodní analytici budou mít přístup k datům pouze z připravené zóny, a to pomocí Power BI bez nutnosti kódování.

  • Stávající stav, cílový datový model, nasezení Azure, zavedení governance, integrace nástrojů (datová kvalita, identifikace referenčních dat pro podporu procesů datové kvality kritických dat v doméně ).
  • Landing zóna: automatické nahrávání
  • Iterace v provizní zóně: : návrh řešení, vývoj automatizovaných pipeline, vývoj modelů, nasazení
  • Architektura sítě: nejlepší dostupné řešení zabezpečení a ochrany citlivých dat
  • Azure DevOps: Využití Azure DevOps ve všech fázích správy životního cyklu aplikace
  • Obnova po havárii: Zásady zálohování a řešení pro zotavení po havárii
  • Předání znalostí a přechod

Frequently Asked Questions

Databricks poskytuje prémiové prostředí za konkurenceschopný poměr cena/výkon. 

Ne, zvládneme  multicloudové prostředí. 

Azure poskytuje nástroje a flexibilitu pro snadné zpracování různých datových cest.

Mám zájem o nezávaznou schůzku