Historie a současnost datových skladů GE Money ČR Ing. Vladimír Klement GE Money ČR IDC Business Intelligence Roadshow 2007 30. 10. 2007
Agenda Může v dnešní době fungovat finanční instituce bez BI? Vývoj a historie datových skladů v GE Money. Dynamika společnosti a vazba na BI řešení. Kvalita dat a dostupnost dat. Omezení používání dat dané zákonem. Může být vývoj datového skladu ukončen? Co je možné očekávat v blízké budoucnosti?
Může v dnešní době fungovat finanční instituce bez BI? Finance Risk Pricing produktů, stanovení poplatku, výběr poplatku. Profitabilita zákazníka, účtu. USGAAP, IFRS, Audit (Accounting( ). Podklady pro modelování a analýzy. Modely pro scoring. Řízení a sledování odpisu. Externí registry (bankovní, nebankovní). Marketing Výběr zákazníků pro XSell. Data mining. Sledování úspěšnosti kampaní. Operations Sales HR Sledování výkonnosti operátorů a procesů. Jak dlouho trvá vyřízení žádosti od doručení? Jak jsou úspěšní operátoři v prodeji po telefonu? Reporty pro operátory. Poskytování bankovních inmací Policie, soudy, exekuce, fin.. úřady. Incentivní model, sledování plnění plánu Reporty pro pobočkovou sít. Výsledky podle regionů, obchodních míst. m Kalkulace provizí pro externí partnery. Specializovaný pro sledování pracovních úvazků, odměň, dovolené, vazba na docházku, knihu jízd apod. Compliance AML (Anti( Money Laudendering) Evidence pro zákon 101 na ochranu osobních dat. Collections Dostupné kontakty zákazníka, podklady pro vymáhání. Výsledky procesu vymáhání důležité pro risk (analýzy a modelování chování produktů). Security IT Audit Archiv událostí, rekonciliace.
Vývoj a historie datových skladů Historie Komplikovaný přístup k datům Připravené sestavy Produkční systémy... První fáze Specialista na daný systém Uživatelé Extrakty DW Lepší, ale... Připravené sestavy Business Critical System Zkušený analytik Uživatelé Současnost, datamarty a prostředí pro reporting Budoucnost Extrakty DW Load Detailní data Předpřipravená data Analytik Rep. Další kroky vývoje Publikování reportů Snadné Portál, připravené sestavy Uživatelé Extrakty DW Předpřipravená data Analytik Napočtená data Snadné, kompletní, přesné Samoobslužný portál Uživatelé
Vývoj a historie datových skladů Datové zdroje Zpracování dat Uložení dat Uživatelé Banka Karty Staré portf. Ostatní Žádosti Multiservis Banka Multiservis Internet b. Auto žádosti Auto Hypotéky Manuální vstup Extrakty soubory Extrakty DB tabulky DataHUB External tables External tables Externí tabulky ETL kód: - Transmace - Zpracování - Kalkulace - Kontroly ETL ETL ETL AML DataMart DW Banka D+2 DW MTS D+1 DW Auto D+1 DW SK D+1 Metadata AutoCredit Auto SK Business Objects - publikování rep. Interní uživatelé Ad-Hoc dotazy, analýzy, reporting Data Marts (S2S, HR, Accounting ) Bankovní inmace Externí Kredit Bureau 3 rd
Vývoj a historie datových skladů Technologie SUN Server, AMD Opteron 4 x CPU, 2.4 GHz, 32 GB RAM Red Hat Linux 4 Diskové pole IBM Shark,, dostupná kapacita pro DW 16TB Oracle RDBMS 10.2.0.2 Dvě shodná prostředí pro Disaster recovery CASE, Metadata v Oracle Designer 9i ETL Jobs,, založeno na SQL a PL/SQL s využitím Oracle DB vlastností (partitions,( analytical functions, external tables apod). 5 produkčních databází, 1 databáze s repository,, 1 databáze na výměnu extraktů. Velikost všech databází téměř 9 TB. 12 hlavních zdrojových systémů, více než 750 interface tabulek. Více než 80 interface souborů. Velikost denních extraktů ~ 7 GB.
Vývoj a historie datových skladů GE Money Bank GE Money Multiservis GE Money Auto Počáteční analýza srpen 1999 leden 2001 květen 2001 Začátek implementace listopad 1999 březen 2001 červenec 2001 První produkční zpracování 20.2.2000 16.5.2001 25.9.2001 Historie dat od 31.12.1999 31.12.1995 1.9.2001 Současná velikost DB 3,5 TB 2,5 TB 0,7 TB Tabulek 275 209 99 Sloupců 7831 6985 5844 Uživatelů 315 300 160 DW_DAILY_TRANS_FACTS - 949 691 389řádků DW_DAILY_FINANCIAL_FACTS - 3 363 668 344řádků GE Money Slovensko 0,8 TB
1 800 000 1 600 000 1 400 000 1 200 000 1 000 000 800 000 600 000 400 000 200 000 0 12.06 04.07 08.07 08.06 04.06 12.05 08.05 04.05 12.04 08.04 04.04 12.03 08.03 04.03 12.02 08.02 04.02 12.01 08.01 04.01 Příklad historie 12.99 04.00 08.00 12.00
Metadata Metadata - Oracle Designer 9i Interface tabulky Logický model - entity, atributy, komentáře, popisy (česky, anglicky) Business Rules,, pravidla pro výpočty Mapování Fyzický model - tabulky, sloupce, indexy Implementace, storage parametry, definice partitions Pohledy Role, privilegia ETL Moduly, SQL a PL/SQL kódy Verzování,, konfigurace
Logický model Multidimensional Star Schema Dimenze (s historií, bez historie) Fakta Denní (2 měsíce,, 6 měsícům ěsíců, s koncem měsíce) Měsíční Transakční
Logický model CUSTOMER HISTORY # CUSTH_SEQUENCE * CUSTH_LAST_FLAG POS HISTORY # POSH_SEQUENCE * POSH_LAST_FLAG CCD ACCOUNT HISTORY # CCACCH_SEQUENCE * CCACCH_LAST_FLAG Daily CC Account Fact Daily CC Account Fact Daily CC Account Fact Customer Hist POS Hist CC Account Hist PRODUCT # PROD_KEY * PROD_ID * PROD_DESC * PROD_GROUP_CODE * PROD_GROUP_DESC * PROD_TYPE_CODE * PROD_TYPE_DESC... TIME # TIME_KEY * TIME_ID * TIME_DAY_CODE * TIME_DAY_DESC * TIME_WEEK_CODE * TIME_WEEK_DESC * TIME_DECADE_CODE * TIME_DECADE_DESC... Daily CC Account Fac Product Daily CC Account Fac Time DAILY CC ACCOUNT FACT * DCAF_RETAIL_CTD_COUNT * DCAF_RETAIL_CTD_BAL * DCAF_RETAIL_LTD_COUNT * DCAF_RETAIL_LTD_BAL * DCAF_CASH_CTD_COUNT * DCAF_CASH_CTD_BAL * DCAF_CASH_LTD_COUNT * DCAF_CASH_LTD_BAL * DCAF_RETAIL_RETURNS_CTD_COUNT * DCAF_RETAIL_RETURNS_CTD_BAL * DCAF_RETAIL_RETURNS_LTD_COUNT * DCAF_RETAIL_RETURNS_LTD_BAL * DCAF_TOTAL_BAL * DCAF_CASH_BAL * DCAF_MEMO_CR_BAL * DCAF_MEMO_DB_BAL * DCAF_MEMO_BAL * DCAF_MEMO_CASH_BAL * DCAF_PREPAYMENT_BAL * DCAF_LIMIT_AVAIL_AMT * DCAF_LIMIT_AVAIL_CASH_AMT... Applicatio Currency Card Logo Daily CC Account Fact CARD LOGO # CARDLOGO_KEY * CARDLOGO_CODE * CARDLOGO_DESC * CARDLOGO_BIN * CARDLOGO_TYPE * CARDLOGO_COMMERCIAL_FLAG * CARDLOGO_INTERNATIONAL_FLAG... Daily CC Account Fac APPLICATION # APP_KEY * APP_ID * APP_RECEIVED_DATE * APP_PURCHASE_PRICE * APP_REQUESTED_DOWNPAYM_AMOUNT * APP_REQUESTED_DOWNPAYM_PERC * APP_REQUESTED_TERM * APP_REQUESTED_INSTALLMENT... Daily CC Account Fac CURRENCY # CURR_KEY * CURR_CODE * CURR_DESC * CURR_CONVER_FLAG * CURR_LOCAL_FLAG * CURR_DW_SOURCE_SYSTEM * CURR_DW_VALID_FROM_DATE * CURR_DW_VALID_TO_DATE...
Logický model CUSTOMER # CUST_KEY * CUST_ID * CUST_LAST_SEQ * CUST_CONTACT_ADDRESS * CUST_PERMANENT_ADDRESS * CUST_EMP_ADDRESS * CUST_OTHER_ATTRIBUTES has has primary applicant CUSTOMER APPLICATION * CUSTAPP_REL_TYPE_CODE * CUSTAPP_REL_TYPE_DESC * CUSTAPP_WEIGHT_FACTOR * CUSTAPP_CONTACT_ADDRESS * CUSTAPP_PERMANENT_ADDRESS * CUSTAPP_EMP_ADDRESS * CUSTAPP_OTHER_ATTRIBUTES has APPLICATION # APP_KEY * APP_ID * APP_STATUS_CODE * APP_STATUS_DESC * APP_STATUS_DATETIME * APP_ENTERED_DATETIME * APP_CLOSED_DATETIME * APP_SENT_DATETIME * APP_OTHER_ATTRIBUTES source approved applied on requested of of PRODUCT # PROD_KEY * PROD_ID derived from has has has CUSTOMER ACCOUNT # CUSTACC_VALID_FROM * CUSTACC_VALID_TO * CUSTACC_LAST_FLAG * CUSTACC_REL_TYPE_CODE * CUSTACC_REL_TYPE_DESC * CUSTACC_WEIGHT_FACTOR primary applicant has ACCOUNT # ACC_KEY * ACC_ID * ACC_LAST_SEQ * ACC_STATUS_CODE * ACC_STATUS_DESC * ACC_OPENED_DATE * ACC_CLOSED_DATE * ACC_CONTACT_ADDRESS * ACC_OTHER_ATTRIBUTES approved requested applied on of of of of of POS # POS_KEY * POS_ID history in history in CUSTOMER HISTORY # CUSTH_SEQ * CUSTH_VALID_FROM * CUSTH_VALID_TO * CUSTH_LAST_FLAG * CUSTH_CONTACT_ADDRESS * CUSTH_PERMANENT_ADDRESS * CUSTH_EMP_ADDRESS * CUSTH_OTHER_ATTRIBUTES primary account ACCOUNT HISTORY # ACCH_SEQ * ACCH_VALID_FROM * ACCH_VALID_TO * ACCH_LAST_FLAG * ACCH_STATUS_CODE * ACCH_STATUS_DESC * ACCH_OPENED_DATE * ACCH_CLOSED_DATE * ACCH_OTHER_ATTRIBUTES requested approved applied on history in POS HISTORY # POSH_SEQ * POSH_VALID_FROM * POSH_VALID_TO * POSH_LAST_FLAG
Logický model Base Data Accounts (TRAN, TIME, LOAN), Account Status Customers, Currencies, POS, Products, Addresses General Ledger, CDR Accounts, Off Balance Sheet Collaterals & Pledging Cost Centers, Officers, Operators Daily Transactions, User Defined Transaction Types Daily Payment Schedule Facts Daily After Maturity Payments Daily Forex & Market Rates
Logický model Profitabilita zákazníka Sales plány (Kalkulace a porovnání na ruční vstup) Karty Žádosti Konsolidace zákazníka a zákon 101 ADC alternativní distribuční kanály Vymáhání Kreditní karty XSell,, Campaign Management
Co je možné očekávat v blízké budoucnosti? Real time unifikace a konsolidace zákazníka (vs D+2) Segmentace, House Holding Data HUB, Message HUB Near realtime DWH Business Objects Reporting, Business Cockpit
Co je možné očekávat v blízké budoucnosti?
Otázky?