Historie a současnost datových skladů GE Money ČR

Transkript

1 Historie a současnost datových skladů GE Money ČR Ing. Vladimír Klement GE Money ČR IDC Business Intelligence Roadshow

2 Agenda Může v dnešní době fungovat finanční instituce bez BI? Vývoj a historie datových skladů v GE Money. Dynamika společnosti a vazba na BI řešení. Kvalita dat a dostupnost dat. Omezení používání dat dané zákonem. Může být vývoj datového skladu ukončen? Co je možné očekávat v blízké budoucnosti?

3 Může v dnešní době fungovat finanční instituce bez BI? Finance Risk Pricing produktů, stanovení poplatku, výběr poplatku. Profitabilita zákazníka, účtu. USGAAP, IFRS, Audit (Accounting( ). Podklady pro modelování a analýzy. Modely pro scoring. Řízení a sledování odpisu. Externí registry (bankovní, nebankovní). Marketing Výběr zákazníků pro XSell. Data mining. Sledování úspěšnosti kampaní. Operations Sales HR Sledování výkonnosti operátorů a procesů. Jak dlouho trvá vyřízení žádosti od doručení? Jak jsou úspěšní operátoři v prodeji po telefonu? Reporty pro operátory. Poskytování bankovních inmací Policie, soudy, exekuce, fin.. úřady. Incentivní model, sledování plnění plánu Reporty pro pobočkovou sít. Výsledky podle regionů, obchodních míst. m Kalkulace provizí pro externí partnery. Specializovaný pro sledování pracovních úvazků, odměň, dovolené, vazba na docházku, knihu jízd apod. Compliance AML (Anti( Money Laudendering) Evidence pro zákon 101 na ochranu osobních dat. Collections Dostupné kontakty zákazníka, podklady pro vymáhání. Výsledky procesu vymáhání důležité pro risk (analýzy a modelování chování produktů). Security IT Audit Archiv událostí, rekonciliace.

4 Vývoj a historie datových skladů Historie Komplikovaný přístup k datům Připravené sestavy Produkční systémy... První fáze Specialista na daný systém Uživatelé Extrakty DW Lepší, ale... Připravené sestavy Business Critical System Zkušený analytik Uživatelé Současnost, datamarty a prostředí pro reporting Budoucnost Extrakty DW Load Detailní data Předpřipravená data Analytik Rep. Další kroky vývoje Publikování reportů Snadné Portál, připravené sestavy Uživatelé Extrakty DW Předpřipravená data Analytik Napočtená data Snadné, kompletní, přesné Samoobslužný portál Uživatelé

5 Vývoj a historie datových skladů Datové zdroje Zpracování dat Uložení dat Uživatelé Banka Karty Staré portf. Ostatní Žádosti Multiservis Banka Multiservis Internet b. Auto žádosti Auto Hypotéky Manuální vstup Extrakty soubory Extrakty DB tabulky DataHUB External tables External tables Externí tabulky ETL kód: - Transmace - Zpracování - Kalkulace - Kontroly ETL ETL ETL AML DataMart DW Banka D+2 DW MTS D+1 DW Auto D+1 DW SK D+1 Metadata AutoCredit Auto SK Business Objects - publikování rep. Interní uživatelé Ad-Hoc dotazy, analýzy, reporting Data Marts (S2S, HR, Accounting ) Bankovní inmace Externí Kredit Bureau 3 rd

6 Vývoj a historie datových skladů Technologie SUN Server, AMD Opteron 4 x CPU, 2.4 GHz, 32 GB RAM Red Hat Linux 4 Diskové pole IBM Shark,, dostupná kapacita pro DW 16TB Oracle RDBMS Dvě shodná prostředí pro Disaster recovery CASE, Metadata v Oracle Designer 9i ETL Jobs,, založeno na SQL a PL/SQL s využitím Oracle DB vlastností (partitions,( analytical functions, external tables apod). 5 produkčních databází, 1 databáze s repository,, 1 databáze na výměnu extraktů. Velikost všech databází téměř 9 TB. 12 hlavních zdrojových systémů, více než 750 interface tabulek. Více než 80 interface souborů. Velikost denních extraktů ~ 7 GB.

7 Vývoj a historie datových skladů GE Money Bank GE Money Multiservis GE Money Auto Počáteční analýza srpen 1999 leden 2001 květen 2001 Začátek implementace listopad 1999 březen 2001 červenec 2001 První produkční zpracování Historie dat od Současná velikost DB 3,5 TB 2,5 TB 0,7 TB Tabulek Sloupců Uživatelů DW_DAILY_TRANS_FACTS řádků DW_DAILY_FINANCIAL_FACTS řádků GE Money Slovensko 0,8 TB

8 Příklad historie

9 Metadata Metadata - Oracle Designer 9i Interface tabulky Logický model - entity, atributy, komentáře, popisy (česky, anglicky) Business Rules,, pravidla pro výpočty Mapování Fyzický model - tabulky, sloupce, indexy Implementace, storage parametry, definice partitions Pohledy Role, privilegia ETL Moduly, SQL a PL/SQL kódy Verzování,, konfigurace

10 Logický model Multidimensional Star Schema Dimenze (s historií, bez historie) Fakta Denní (2 měsíce,, 6 měsícům ěsíců, s koncem měsíce) Měsíční Transakční

11 Logický model CUSTOMER HISTORY # CUSTH_SEQUENCE * CUSTH_LAST_FLAG POS HISTORY # POSH_SEQUENCE * POSH_LAST_FLAG CCD ACCOUNT HISTORY # CCACCH_SEQUENCE * CCACCH_LAST_FLAG Daily CC Account Fact Daily CC Account Fact Daily CC Account Fact Customer Hist POS Hist CC Account Hist PRODUCT # PROD_KEY * PROD_ID * PROD_DESC * PROD_GROUP_CODE * PROD_GROUP_DESC * PROD_TYPE_CODE * PROD_TYPE_DESC... TIME # TIME_KEY * TIME_ID * TIME_DAY_CODE * TIME_DAY_DESC * TIME_WEEK_CODE * TIME_WEEK_DESC * TIME_DECADE_CODE * TIME_DECADE_DESC... Daily CC Account Fac Product Daily CC Account Fac Time DAILY CC ACCOUNT FACT * DCAF_RETAIL_CTD_COUNT * DCAF_RETAIL_CTD_BAL * DCAF_RETAIL_LTD_COUNT * DCAF_RETAIL_LTD_BAL * DCAF_CASH_CTD_COUNT * DCAF_CASH_CTD_BAL * DCAF_CASH_LTD_COUNT * DCAF_CASH_LTD_BAL * DCAF_RETAIL_RETURNS_CTD_COUNT * DCAF_RETAIL_RETURNS_CTD_BAL * DCAF_RETAIL_RETURNS_LTD_COUNT * DCAF_RETAIL_RETURNS_LTD_BAL * DCAF_TOTAL_BAL * DCAF_CASH_BAL * DCAF_MEMO_CR_BAL * DCAF_MEMO_DB_BAL * DCAF_MEMO_BAL * DCAF_MEMO_CASH_BAL * DCAF_PREPAYMENT_BAL * DCAF_LIMIT_AVAIL_AMT * DCAF_LIMIT_AVAIL_CASH_AMT... Applicatio Currency Card Logo Daily CC Account Fact CARD LOGO # CARDLOGO_KEY * CARDLOGO_CODE * CARDLOGO_DESC * CARDLOGO_BIN * CARDLOGO_TYPE * CARDLOGO_COMMERCIAL_FLAG * CARDLOGO_INTERNATIONAL_FLAG... Daily CC Account Fac APPLICATION # APP_KEY * APP_ID * APP_RECEIVED_DATE * APP_PURCHASE_PRICE * APP_REQUESTED_DOWNPAYM_AMOUNT * APP_REQUESTED_DOWNPAYM_PERC * APP_REQUESTED_TERM * APP_REQUESTED_INSTALLMENT... Daily CC Account Fac CURRENCY # CURR_KEY * CURR_CODE * CURR_DESC * CURR_CONVER_FLAG * CURR_LOCAL_FLAG * CURR_DW_SOURCE_SYSTEM * CURR_DW_VALID_FROM_DATE * CURR_DW_VALID_TO_DATE...

12 Logický model CUSTOMER # CUST_KEY * CUST_ID * CUST_LAST_SEQ * CUST_CONTACT_ADDRESS * CUST_PERMANENT_ADDRESS * CUST_EMP_ADDRESS * CUST_OTHER_ATTRIBUTES has has primary applicant CUSTOMER APPLICATION * CUSTAPP_REL_TYPE_CODE * CUSTAPP_REL_TYPE_DESC * CUSTAPP_WEIGHT_FACTOR * CUSTAPP_CONTACT_ADDRESS * CUSTAPP_PERMANENT_ADDRESS * CUSTAPP_EMP_ADDRESS * CUSTAPP_OTHER_ATTRIBUTES has APPLICATION # APP_KEY * APP_ID * APP_STATUS_CODE * APP_STATUS_DESC * APP_STATUS_DATETIME * APP_ENTERED_DATETIME * APP_CLOSED_DATETIME * APP_SENT_DATETIME * APP_OTHER_ATTRIBUTES source approved applied on requested of of PRODUCT # PROD_KEY * PROD_ID derived from has has has CUSTOMER ACCOUNT # CUSTACC_VALID_FROM * CUSTACC_VALID_TO * CUSTACC_LAST_FLAG * CUSTACC_REL_TYPE_CODE * CUSTACC_REL_TYPE_DESC * CUSTACC_WEIGHT_FACTOR primary applicant has ACCOUNT # ACC_KEY * ACC_ID * ACC_LAST_SEQ * ACC_STATUS_CODE * ACC_STATUS_DESC * ACC_OPENED_DATE * ACC_CLOSED_DATE * ACC_CONTACT_ADDRESS * ACC_OTHER_ATTRIBUTES approved requested applied on of of of of of POS # POS_KEY * POS_ID history in history in CUSTOMER HISTORY # CUSTH_SEQ * CUSTH_VALID_FROM * CUSTH_VALID_TO * CUSTH_LAST_FLAG * CUSTH_CONTACT_ADDRESS * CUSTH_PERMANENT_ADDRESS * CUSTH_EMP_ADDRESS * CUSTH_OTHER_ATTRIBUTES primary account ACCOUNT HISTORY # ACCH_SEQ * ACCH_VALID_FROM * ACCH_VALID_TO * ACCH_LAST_FLAG * ACCH_STATUS_CODE * ACCH_STATUS_DESC * ACCH_OPENED_DATE * ACCH_CLOSED_DATE * ACCH_OTHER_ATTRIBUTES requested approved applied on history in POS HISTORY # POSH_SEQ * POSH_VALID_FROM * POSH_VALID_TO * POSH_LAST_FLAG

13 Logický model Base Data Accounts (TRAN, TIME, LOAN), Account Status Customers, Currencies, POS, Products, Addresses General Ledger, CDR Accounts, Off Balance Sheet Collaterals & Pledging Cost Centers, Officers, Operators Daily Transactions, User Defined Transaction Types Daily Payment Schedule Facts Daily After Maturity Payments Daily Forex & Market Rates

14 Logický model Profitabilita zákazníka Sales plány (Kalkulace a porovnání na ruční vstup) Karty Žádosti Konsolidace zákazníka a zákon 101 ADC alternativní distribuční kanály Vymáhání Kreditní karty XSell,, Campaign Management

15 Co je možné očekávat v blízké budoucnosti? Real time unifikace a konsolidace zákazníka (vs D+2) Segmentace, House Holding Data HUB, Message HUB Near realtime DWH Business Objects Reporting, Business Cockpit

16 Co je možné očekávat v blízké budoucnosti?

17 Otázky?