MPSV: Datový slovník vznikl díky AI během dní, popisuje data nasbíraná za 30 let

Zorientovat se rychle v labyrintu desítek databází a vytvořit datový slovník, který bude použitelný pro AI nástroje

Kolik dat se za tři desetiletí nashromáždí v jedné organizaci? V případě Ministerstva práce a sociálních věcí (MPSV) jde o desítky databází, více než 13 tisíc tabulek a více než 100 tisíc sloupců. Každý systém i tým zanechal svoji stopu – různá pojmenování, odlišné struktury i popisy. Pro nové zaměstnance bylo zaškolení otázkou týdnů a orientace v datech výsadou expertů. Navíc je potřeba i businessu (věcné sekce, Úřad práce, ČSSZ) dát do ruky nástroj, který jim pomůže s pochopením, jakými daty jejich organizace disponuje.

Modernizace státního IT, požadavky na transparentnost, digitalizace služeb i tlak na datovou analytiku znamenají, že je potřeba mít o datech přehled, rozumět jim a umět je bezpečně sdílet i propojovat. Jenže zmapovat tak rozsáhlý a komplikovaný systém by klasickou cestou trvalo roky pečlivé ruční práce a bylo by nutné ho neustále udržovat.

Centrální datový katalog – když spolupracují dataři, doménoví experti a AI inženýři, je hotový během pár dní

MPSV spojilo síly s Adastrou a uspořádalo společně s firmou Microsoft pilotní hackathon. Během hackathonu spolupracovali datoví analytici, AI experti i interní tým MPSV, který vnesl klíčovou doménovou znalost.

Pomocí velkých jazykových modelů (LLM) dokázal AI tým automatizovaně:

• analyzovat a rozdělit stovky tabulek a tisíce sloupců na „byznysové“ a „technické“,
• najít a deduplikovat desítky různých názvů pro stejná data,
• vytvořit tzv. meta-sloupce, které sjednocují a popisují data dané agenty (např. státní sociální politika, oblast zaměstnanosti a jiné)

Vznikl tak byznysový datový slovník – centrální katalog mapující jaké informace MPSV schraňuje v dané agendě, kde konkrétní data najít a jak jsou mezi sebou propojená. Vznikl tím systém, který je na jedné straně nástrojem pro business, ale stále si zachovává explicitní vazbu na fyzický datový model, což je užitečné pro diskusi nad jakýmkoliv zadáním mezi business a datovým analytikem.

Zatímco manuálně by tato práce zabrala roky, jazykový model zvládá porozumět, popsat a zpřístupnit data v řádu hodin až jednotek dnů. Pak je třeba validovat tyto výsledky, což probíhalo pomocí náhodných výběrů nižších stovek nově vytvořených pojmů / sloupců a jejich komentářů. Hodnocení probíhalo ručně, známkovalo se jako ve škole. Průměrná známka oscilovala mezi 1,5 – 1,7.

Jak vypadá použití slovníku v praxi?

Dříve:

Onboarding nového zaměstnance do práce s daty MPSV znamenal týdny až měsíce práce s dohledáváním kontextů, vztahů a vazeb napříč systémy a tabulkami.

Dnes:

Nově příchozí díky slovníku ihned vidí, v jakých databázích jsou konkrétní údaje, jak spolu souvisí a k čemu slouží. Onboarding se tak výrazně zkracuje.

Dříve:

Business nevěděl, s jakými daty vůbec může počítat. Fyzický datový model by pro svůj technický původ a komplikovanost nevhodným nástrojem pro tuto úlohu.

Dnes:

Business má přes PowerBI přehled, jaké logické položky se nacházejí v jeho doméně / agendě a může je například i full textově vyhledávat.

Byznysový datový slovník pro AI nástroje, analytiku, reporting i zákonnou evidenci dat

Přehledné zmapování dat do byznysového datového slovníku otevírá MPSV nové možnosti:

• Slovník je základ pro budoucí vývoj AI nástrojů: např. chatbotů pro přirozené dotazování se na data bez nutnosti znát všechna schémata.
• Usnadňuje modernizaci stávajících systémů: odhalení redundantních sloupců a struktur znamená, že při rozvoji není třeba migrovat vše, ale jen přesně mapované položky.
• Akceleruje datovou analytiku a reporting: např. pro predikce vyplácených dávek, modelování návratu klientů nebo doporučování pracovních nabídek.
• Pomáhá plnit legislativní povinnosti evidence dat: úřad dokáže přesně doložit, jaká data spravuje a kde se nacházejí.
  Pro MPSV jsou data klíčovým aktivem pro budoucí rozvoj služeb i pro modernizační a AI projekty. Jejich zmapováním a zpřístupněním v datovém slovníku učinilo ministerstvo zásadní krok k pružnému zavádění moderních technologií.