IBM hardwarova infrastruktura pro dlouhodobou archivaci dat Rudolf Hruška IBM, Information Infrastructure Leader 1 Digitalizace a archivace očima IBM
Agenda Big data aneb lavina nestrukturovaných dat Infrastrukturní ekosystém pro archivaci Výzvy pro vysoce škálovatelné systémy Scale-out storage architektury Problematika degradace datových nosičů Budoucnost a příklady řešení pro big data storage 2 Digitalizace a archivace očima IBM
Realita digitálního světa a big data 44-násobný růst za 10 let Vytvoření, uložení a replikace informací Nestrukturovaná Data 2009 800 Exabytes 2011 1,800 Exabytes 2020 35,000 Exabytes Zdroj: IDC s Digital Universe Study 3 Digitalizace a archivace očima IBM
This is the problem that IBM File Services solutions are designed to solve 4 Digitalizace a archivace očima IBM
Dvě tváře archivace - proč archivovat? Je to praktické - Space Management Přesunout staré neaktivní soubory na méně drahou archivní storage, tudíž snížit čas zálohování a snížit náklady na infrastrukturu Udržet výkon produkčních aplikací Je to nutné - Data Retention Compliance Ochránit dlouhodobě obsah s tzv. Non-Erasable, Non-Rewriteable storage řešením (NENR / WORM) a prokázat compliance s předpisy Ochránit dlouhodobě digitalizované či digitálně vytvořené archiválie v rámci LTP Long Term Preservation archive 5 Digitalizace a archivace očima IBM 5 3/15/2013
Infrastrukturní ekosystém pro archivaci Zdroje pro archivaci E-Mails Files ERP Database PACS Paper Voice Management Connectors and converters Enterprise Content Management (indexing, classification, search & discovery, information management) Archivní Storage Archive Storage (compliance & protection, tiered storage, data management) 6 6 Digitalizace a archivace očima IBM
Koncept Open Archival Information Systems OAIS Archival Information System Hardware, software a organizace sdílející zodpovědnost za získání, uchování a sdílení informací Referenční model pro dlouhodobou prezervaci digitálních informací Založen na základě prací NASA pro astronomická data a jejich uchování ISO 14721 : 2002 7 7 Digitalizace a archivace očima IBM
Výzvy pro vysoce škálovatelné storage systémy Enormní množství souborů Kapacitní nároky Škálovatelný výkon Search, Discovery, Analysis Backup & Archivace Migrace dat Spolehlivost, odolnost a management systémů Napájení, prostor, chlazení Náklady 8 Digitalizace a archivace očima IBM
(animated chart) Jak IBM doporučuje konsolidovat velká data transformace pro geograficky rozptýlené storage kapacity a Cloud High-End Workstations Benefits: Clustered Auto-failover Application Servers Database Global Virtual File Server capability Auto-Tiered Storage Global namespace Protocols Management CIFS Central NFSEnd Users Administration HTTPS Monitoring FTP File Mgmt Availability Data Migration Replication Backup NAS File Servers High performance petabyte scale Tiered storage De-dup VTL Or tape High perf. Data Copies Underutilized segmented capacity Scan engine Automated movement between 9 Digitalizace tiered a archivace storage pools očima IBM
IBM Scale-Out architektury systémů pro Big Data General Parallel File System User LAN Real time Compression Open protokoly I/O Node I/O Node I/O Node I/O Node I/O Node... desítky, stovky Nodes GPFS InfiniBand Ethernet misc StoragePod StoragePod HSM / Tiered Storage... desítky, stovky Petabytes Storage pool Virtualization XiV, Storwize V7000, SVC 10 Digitalizace a archivace očima IBM Deduplication VTL ProtecTIER / Tape
Problematika degradace datových nosičů 11 Digitalizace a archivace očima IBM
Na co uložit? Analogové uložení Malby v jeskyních desetitisíce let Hliněné destičky tisíce let Papír 500 let Microfilm 200 let Digitální uložení a média MagneticTapes 10-30 let Optical Disks 30-50 let Magnetic Disks 3-5 let Solid State Disks 10-15 let Budoucí média...? Nutnost kontinuálních migrací bez narušení bezpečnosti a konzistence záznamu Záznamové systémy se vyvíjejí rychleji než média 12 12 Digitalizace a archivace očima IBM
Použití kombinovaného řešení disky a pásky Store 250TB with 25% Growth Rate over 10 Years Scenario: Store 250TB 25% Growth Rate Over 10 Years 10 Year TCO Analysis Choosing the Right Hardware and Software for Data Protection, Mesabi Group http://h20195.www2.hp.com/pdf/4aa1-4339enw.pdf 13 13 Digitalizace a archivace očima IBM
Budoucnost a příklady řešení pro archivaci a big data storage 14 Digitalizace a archivace očima IBM
Německá knihovna ukládá národní dědictví na IBM Scale-out NAS Deutsche Nationalbibliothek ukládá knihy, časopisy, digitální média (CDs, ), elektronické publikace Intenzivní digitalizace Očekává potřebu 800+ terabytů kapacity do 2014 v jednom single file systému Zákazník hledal velmi velké a škálovatelné storage řešení IBM Scale-out NAS s GPFS a Tivoli Storage Manager pro zálohování a archivaci Problematika dlouhodobého digitálního uložení a prezervace národního kulturního dědictví 15 Digitalizace a archivace očima IBM
IBM postavila největší storage systém na světě pro superpočítače 120 petabytový drive 200.000 disků 10x větší než cokoliv postavené dříve Vyvinuto v IBM výzkumných laboratořích v Almadenu v Kalifornii Schopnost uložení trilionů souborů GPFS cluster, high speed indexování, high density disky, vodní chlazení, vysoká dostupnost a odolnost Výkonnější simulace reálných globálních jevů a komplexních systémů (klimatické modely, počasí ) 16 Digitalizace a archivace očima IBM
Budoucí trendy pro Big Data storage technologie Virtualizace Scale Out architektury Masivní paralelní processing Single Name space Správa metadat file systémů je klíčová Efektivní využití a správa fyzických storage médií (SSD, HDD, tape, future media) 17 Digitalizace a archivace očima IBM
Děkuji za pozornost! Rudolf Hruška Information Infrastructure Leader IBM Systems & Technology Group rudolf_hruska@cz.ibm.com 18 Digitalizace a archivace očima IBM