Microsoft SQL Server 2016

Transkript

1 Microsoft SQL Server 2016

2 Mission-critical performance Operational analytics In-Memory OLTP Query Store Native JSON Temporal Tables Always encrypted Row-level security Dynamic data masking Performance Security AlwaysOn Avaiability Groups Availability TempDB configuration Scalability 2

3 Deeper insights across data Polybase Enhanced SSIS Enhanced Analysis Services Data Tools in Visual Studio Enhanced MDS Access any data Scale and manage Datazen Enhanced Reporting Services Mobile BI and RS R integration Analytics libraries Advanced analytics 3

4 Instalace MS SQL 2016 Novinky a změny PolyBase Query Service for External Data Vyžaduje JRE 7.51 nebo vyšší

5 PolyBase Novinky a změny Se zvyšujícím se objemem nestrukturovaných nebo jen částečně strukturovaných dat volí zákazníci cenově dostupnou variantu distribuovaných a škálovatelných systémů jak Hadoop nebo různá Cloud řešení (např. Azure Storage) PolyBase Umožňuje integraci externích dat s SQL Serverem PolyBase je T-SQL front end, který umožňuje dotazování dat uložených v Hadoop nebo Azure Blob Storage

6 PolyBase Jak začít? 1. Download Virtual Machine (Hyper-V, Vmware, VirtualBox) 2. Nebo Microsoft Azure Blob Storage 3. Změna uživatelského účtu dle technologie v konfiguračním souboru a restart služeb (Hadoop.config) C:\Program Files\Microsoft SQL Server\MSSQL13.MSSQLSERVER\MSSQL\Binn\Polybase\Settings\Hadoop.config CREATE EXTERNAL DATA SOURCE hadoop_eds WITH ( TYPE = HADOOP, LOCATION = 'hdfs:// :8050' ); CREATE EXTERNAL FILE FORMAT CSV WITH ( FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS ( FIELD_TERMINATOR = '\t', DATE_FORMAT = 'MM/dd/yyyy' ) );

7 PolyBase CREATE EXTERNAL TABLE sample_07 ( code nvarchar(255), description nvarchar(255), total_emp int, salary nvarchar(255) ) WITH ( LOCATION = '/apps/hive/warehouse/sample_07', DATA_SOURCE = hadoop_eds, FILE_FORMAT = CSV ) SELECT * FROM dbo.sample_07

8 Instalace MS SQL 2016 Novinky a změny Number of Temp DB files Initial Size Autogrowth Analysis Services PowerPivot Mode

9 Upgrade Advisor 2016 Preview 1.1 Oproti předchůdcům je k dispozici v dostatečném předstihu Nová grafika Scenarios Stretch Database Advisor Database Upgrade Analyzer Analysis Services Upgrade Advisor Integration Services Upgrade Advisor Reporting Services Upgrade Advisor Active Seznam probíhajících nebo ukončených analýz

10 Management Studio 2016 Automatic / Manual Update check Edit Top 200 Rows lze i z pohledu Dříve často končilo chybou Možnost vypnutí varovné zprávy o neuložených dotazech při vypnutí SSMS Activity Monitor Active Expensive Queries Informace čte ze systémového pohledu sys.dm_exec_requests

11 Management Studio 2016 Live Query Statistics Při ladění výkonu dotazu často vyžaduje analýzu exekučního plánu. Problém : Který z operátorů exekučního plánu je náročný na zdroje systému (CPU, IO, Time)?

12 Management Studio 2016 Live Query Statistics Tool bar Include Live Query Statistics Slouží pro ladění výkonu dotazů a debugging Zobrazuje průběh vykonávaného dotazu Tečkované spojnice pro vykonávané operace Plné spojnice označují dokončené operace Používá systémový pohled sys.dm_exec_query_profiles Dostupný od MS SQL 2014 a proto lze tuto funkci využít i oproti starší verzi Použití vyžaduje SET STATISTICS PROFILE ON nebo SET STATISTICS XML ON Přesnost zobrazených informací je závislá na Estimated Number of Rows

13 Maintenance Plans SQL SQL 2016

14 Maintenance Plans

15 Maintenance Plans

16 Query Store Pro každý spuštěný dotaz je vytvořen plán, ve kterém je obsažen postup (operace, pořadí, předpoklad) fyzického vykonání dotazu. Tento plán je uložen o paměti pro další použití. Problém : Plán se může měnit nebo může být z paměti odstraněn Změnou objektu (tabulka, index), změnou statistik, nedostatkem paměti V paměti je uložen vždy poslední plán a informace o jeho použití Jak zjistit podobu předchozích plánů a výkon dotazu s jejich použitím? Jak vynutit předchozí optimální plán? Data Collector, Plan Guide ale

17 Query Store Automaticky monitoruje a ukládá výkonnostní informace o T-SQL dotazech a jejich plánech Slouží především pro : Analýzu použitých zdrojů dotazy na úrovni konkrétní databáze (CPU, IO, Memory) Identifikace náročných dotazů v daném časovém rámci Zjištění frekvence vykonání jednotlivých dotazů Nalezení příčiny výkonnostních problémů dotazu, porovnání různých plánů daného dotazu, vynucení použití plánu

18 Query Store

19 Query Store

20 Temporal Tables Po spuštění příkazu SELECT je vrácen jeho výsledek zpracovaný z dat, která se v době vykonávaného dotazu nacházela v tabulce. Problém : Jaký by byl výsledek příkazu SELECT, který by byl spuštěn před hodinou, včera, před týdnem? Jak se změnila datová množina za uplynulou hodinu? Které ze zákazníků změnil svou adresu za uplynulý rok? Jak rychle opravit omylem změněné řádný na předchozí stav? Řešení : Dříve - Change Data Capture, Change Tracking, Database Snapshot, Restore Database ale MS SQL Temporal Tables

21 Temporal Tables Jedná se o tabulku, která automaticky zaznamenává životní cyklus každého řádku Umožňuje vykonání dotazu nad verzí řádků, která se v tabulce nacházela v definovaném čase Použití : Porozumění trendům v čase Sledování změn v datech Audit Správa slowly changing dimension Rychlá obnova řádků při chybě aplikace/uživatele DDL DML Query Temporal Query CREATE TABLE ALTER TABLE INSERT UPDATE DELETE MERGE SELECT * FROM temporal FOR SYSTEM_TIME AS OF FROM TO BETWEEN AND CONTANED IN

22 Temporal Tables Základní fakta Temporal Table Nasazení Uložení Omezení Podpora Query Historická tabulka: Nemá PRIMARY KEY Nemá IDENTITY Nemá triggery Nemá FOREIGN KEY Nelze TRUNCATE pokud je temporal zapnuto Omezené replikace

23 Temporal Tables Temporal table (actual) Temporal table (history) Old versions UPDATE DELETE Temporal query

24 Temporal Tables CREATE TABLE dbo.products (ProductID int PRIMARY KEY, Name varchar(50), ListPrice decimal(8,2), Color varchar(30), StartTime datetime2 GENERATED ALWAYS AS ROW START NOT NULL, EndTime datetime2 GENERATED ALWAYS AS ROW END NOT NULL, PERIOD FOR SYSTEM_TIME (StartTime, EndTime) ) WITH (SYSTEM_VERSIONING = ON (HISTORY_TABLE = dbo.productshistory)); GO

25 Temporal Tables V SSMS není historická tabulka zobrazena samostatně Pouze pokud je SYSTEM_VERSIONING = OFF Aktuální a historická tabulka mají vlastní a samostatné: Indexy Statistiky Check constrainty (nelze u historické tabuky) Triggery (nelze u historické tabuky, u aktuální pouze AFTER) Partition configuration Oprávnění

26 Temporal Tables Temporal Query FROM dbo.products FOR SYSTEM_TIME AS Row Row End RowStart AND RowEnd FROM dbo.products FOR SYSTEM_TIME Row End RowStart AND RowEnd 26

27 Temporal Tables Temporal Query FROM dbo.products FOR SYSTEM_TIME Row End RowStart AND RowEnd FROM dbo.products FOR SYSTEM_TIME Row Start Row RowStart AND RowEnd 27

28 Dynamic Data Masking Telefonicky kontaktujete svou banku a operátor Vás pro ověření totožnosti požádá o poslední číslice z rodného čísla. Problém : Rodné číslo, číslo OP, pasu, číslo zdravotního pojištění, platební karty a další, jsou bezpečnostně citlivé informace. Tato citlivá data jsou často uložena v databázi Zpřístupnění citlivých informací je bezpečnostní riziko Aplikace při práci s daty musí dodržovat bezpečnostní standardy Řešení : Aplikačně zajistit zobrazení pouze části, nutné pro identifikaci (funkce, procedura apod.) Dynamic Data Masking 28

29 Dynamic Data Masking SELECT FirstName, LastName, Address, NationalIDNumber, LoginID, PhoneNumber FROM [dbo].[customers] Telefonicky kontaktujete svou banku a operátor Vás pro ověření totožnosti požádá o poslední číslice z rodného čísla.

30 Dynamic Data Masking ALTER TABLE dbo.customers ALTER COLUMN NationalIDNumber ADD MASKED WITH (FUNCTION = 'partial(0,"xxxxxxxx",3)');

31 Dynamic Data Masking ALTER TABLE dbo.customers ALTER COLUMN Address ADD MASKED WITH (FUNCTION = ' ()');

32 Dynamic Data Masking ALTER TABLE dbo.customers ALTER COLUMN LoginID ADD MASKED WITH (FUNCTION = 'default()');

33 Dynamic Data Masking Odstranění maskování sloupce : ALTER TABLE dbo.customers ALTER COLUMN Address DROP MASKED; Oprávnění : GRANT UNMASK TO AppOperator REVOKE UNMASK TO AppOperator Omezení datových typů : (var)binary, image xml uniqueidentifier, sql_variant rowversion (timestamp), hierarchyid geometry, geography

34 Jason Voorhees fiktivní hororová postava z filmu Pátek třináctého

35 Podpora JSON SELECT * FROM dbo.orders FOR XML AUTO <dbo.orders SalesOrderID="43659" CustomerID="29825" OrderDate=" T00:00:00" ProductID="776" OrderQty="1" LineTotal=" " /> <dbo.orders SalesOrderID="43662" CustomerID="29994" OrderDate=" T00:00:00" ProductID="764" OrderQty="3" LineTotal=" " /> [ ] { }, { } SELECT * FROM dbo.orders FOR JSON AUTO "SalesOrderID":43659, "CustomerID":29825, "OrderDate":" T00:00:00", "ProductID":776, "OrderQty":1, "LineTotal": "SalesOrderID":43662, "CustomerID":29994, "OrderDate":" T00:00:00", "ProductID":764, "OrderQty":3, "LineTotal":

36 JSON Dostupnost ve všech edicích Oproti XML není v MS SQL 2016 datový typ a nemá speciální indexy Ukládáme ho jako tradiční string (char/varchar) Rozšířená podpora v T-SQL FOR JSON AUTO, FOR JSON PATH ISJSON() JSON_QUERY() JSON_VALUES() JSON_MODIFY() OPENJSON() [ { }, { } ] "SalesOrderID":43659, "CustomerID":29825, "OrderDate":" T00:00:00", "ProductID":776, "OrderQty":1, "LineTotal": "SalesOrderID":43662, "CustomerID":29994, "OrderDate":" T00:00:00", "ProductID":764, "OrderQty":3, "LineTotal":

37 JSON SELECT * FROM Orders FOR JSON AUTO SELECT * FROM OPENJSON(@json) [ ] { }, { } "SalesOrderID":43659, "CustomerID":29825, "OrderDate":" T00:00:00", "ProductID":776, "OrderQty":1, "LineTotal": "SalesOrderID":43662, "CustomerID":29994, "OrderDate":" T00:00:00", "ProductID":764, "OrderQty":3, "LineTotal":

38 Row-Level Security Při konfiguraci oprávnění máme možnost v případě tabulky přidělit SELECT, INSERT, UPDATE, DELETE. V případě SELECT a UPDATE můžeme přidělit oprávnění na konkrétní sloupce. Nelze však uživatelům přidělit oprávnění na úroveň řádků. Problém : Zdravotnickému personálu, který používá aplikaci pro správu pacientů, chceme zpřístupnit pouze řádky s pacienty, o které se starají Řešení : Filtrování řádků tabulky na programové úrovni (View, Stored Procedure, Function, aplikačně) SQL Server 2016 Row-Level Security 38

39 Row-Level Security

40 Row-Level Security CREATE FUNCTION int) RETURNS TABLE WITH SCHEMABINDING PF CREATE SECURITY POLICY PacientsPolicy ADD FILTER PREDICATE dbo.limitpacientsaccess(nurseid) ON dbo.pacients, ADD FILTER PREDICATE dbo.limitpacientsaccess(nurseid) ON dbo.person WITH (STATE = ON); P SP

41 Row-Level Security CREATE FUNCTION int) RETURNS TABLE WITH SCHEMABINDING AS RETURN ( SELECT 1 AS OK FROM dbo.person WHERE ( NurseID AND Name = USER_NAME() ) OR IS_MEMBER(N'HeadNurse') = 1 OR IS_SRVROLEMEMBER(N'sysadmin') = 1 );

42 Row-Level Security Problémy : Uživatel může provést INSERT řádku, který mu díky Security Policy nebude zpřístupněn Vhodně napsaným dotazem můžeme dedukovat, jaká data jsou v nepřístupných řádcích Pozor na CONTEXT_INFO() při použití v Predicate funkci Dochází ke změně exekučního plánu vlivem vykonání tabulkové funkce a tím možnému ovlivnění výkonu Predicate Function je vytvořena s WITH SCHEMABINDING Nejprve je u dotazu vyhodnocena klauzule WHERE a pak je na výsledek aplikována Security Policy Momentálně není podpora pro : Indexované pohledy nad tabulkou se Security Policy Nelze aplikovat na In-Memory OLTP tabulky Change Data Capture funguje ale podpora bude pravděpodobně odstraněna

43 Always Encrypted V případě uložení senzitivních dat do databáze je často požadována jejich ochrana formou šifrování. Otázka : Jaké máme možnosti šifrování dat v SQL Serveru? Odpověď : Transparent Data Encryption (TDE) Šifrovací funkce EncryptBy a DecryptBy SQL Server 2016 Always Encrypted 43

44 Always Encrypted

45 Always Encrypted Column Master Key Encryption Key, který chrání column encryption key Column Encryption Key Šifruje data ve zvolených sloupcích Konfigurace šifrování sloupce tabulky Deterministic Totožná data mají totožnou šifrovanou podobu Možno využít při spojování, indexování, lookup operace Randomized Totožná data mají vždy rozdílnou šifrovanou podobu Bezpečnější, ale s omezeným použitím (nelze indexovat apod.) Connection String -.NET Framework 4.6 Column Encryption Setting = enabled;

46 Always Encrypted CREATE COLUMN MASTER KEY DEFINITION [AlwaysEncryptedMasterKey] WITH ( KEY_STORE_PROVIDER_NAME = N'MSSQL_CERTIFICATE_STORE', KEY_PATH = N'LocalMachine/My/4AD6DFD C3DBF1EC11E C08AE684' ) CREATE COLUMN ENCRYPTION KEY [AlwaysEncryptedColumnKey] WITH VALUES ( COLUMN MASTER KEY DEFINITION = [AlwaysEncryptedMasterKey], ALGORITHM = 'RSA_OAEP', ENCRYPTED_VALUE = 0x C006F )

47 Always Encrypted LastName NVARCHAR(32) COLLATE Latin1_General_BIN2 ENCRYPTED WITH ( ENCRYPTION_TYPE = DETERMINISTIC, ALGORITHM = 'AEAD_AES_256_CBC_HMAC_SHA_256', COLUMN_ENCRYPTION_KEY = AlwaysEncryptedColumnKey ) NOT NULL, Salary int ENCRYPTED WITH (COLUMN_ENCRYPTION_KEY = AlwaysEncryptedColumnKey, ENCRYPTION_TYPE = Randomized, ALGORITHM = 'AEAD_AES_256_CBC_HMAC_SHA_256') NOT NULL, SELECT ID, LastName,Salary FROM dbo.encryptedtable

48 Always Encrypted Data size (MB) Duration (sec) ,5 5,3 Encrypted Unencrypted Encrypted Unencrypted Insert 100k řádků Random Read

49 AlwaysOn Avalability Groups 49

50 AlwaysOn Avalability Groups AlwaysOn AG podporuje Standard edice MS SQL 2016 s následujícím omezením : Pouze jedna databáze v Availability Group Databáze nemůže být na Secondary replice read-only a není podporován Listener Load Balancing Listener 1 primary replica, 8 secondary replicas, 3 synchronnous, 3 automatic failover 2012 : 1 primary replica, 4 secondary replicas, 2 synchronnous, 1 automatic failover 2014 : 1 primary replica, 8 secondary replicas, 2 synchronnous, 1 automatic failover Podpora pro Distribued Transaction Coordinator (MSDTC) Vyžaduje Windows Server 2016 Technival Preview 2 AG musí být vytvořena s WITH DTC_SUPPORT = PER_DB a takto nastavit existující Podpora pro SSIS Catalog 50

51 AlwaysOn Avalability Groups

52 In-Memory OLTP Přehled rozdílů verzí SQL Server 2014 SQL Server 2016 Maximální velikost 256 GB 2 TB LOB datové typy (varbinary(max), [n]varchar(max)) Nelze Ano Transparent Data Encryption (TDE) Ne Ano Checkpoint Threads 1 1 pro kontainer ALTER PROCEDURE / sp_recompile Nelze Ano Nested native stored procedure calls Nelze Ano Natively compiled scalar functions Nelze Ano ALTER TABLE Nelze (DROP/CREATE) Částečně podporováno (offline, 2 x memory) DML Triggers Nelze Částečně podporováno Index nad NULLable sloupcem Nelze Ano Non-BIN2 collation v klíči indexu Nelze Ano 52

53 In-Memory OLTP Přehled rozdílů verzí SQL Server 2014 SQL Server 2016 Foreign Keys Nelze Ano Check a UNIQUE constraints Nelze Ano Parallelism Ne Ano OUTER JOIN, OR, NOT, UNION, DISTINCT, EXISTS, IN Nelze Ano MARS Ne Ano Management Studio Table Designer Ne Ano Subqueries ve všech klauzulích SELECT Ne Ano Podpora bulit-in matematických funkcí Omezená Všechny 53

54 Real-Time Operational Analytics Aneb proč to říci jednoduše, když to lze skrýt za obecný název? Tabulka v databázi může být často předmětem jak OLTP operací tak analytických dotazů. Oba typy operací se zásadně liší ve způsobu práce s daty a je tedy obtížné zajistit výkon obou typů operací. Problém : Rowstore vs. Columnstore Rowstore Rowstore (btree) indexy jsou vhodné pro OLTP operace, kdy se pracuje s filtry (seek) Nadměrné množství rowstore indexů zpomaluje modifikace Pokus o indexování obou typů operací končí často degradací výkonu Columnstore Optimální pro velké datové objemy a analytické operace (výpočty, agregace, scan operace) Znemožňují existenci Rowstore indexů nebo vynucují Read-only stav tabulky Nepodporují seek operace Jak optimalizovat oba typy přístupů k jediné tabulce? 54

55 Columnstore Index Přehled rozdílů verzí SQL Server 2012 SQL Server 2014 SQL Server 2016 Bach mode paralelních operací Ano Ano Ano Bach mode single-thread operací Ne Ne Ano Archivní komprese Ne Ano Ano Snapshot/Read Committed Snapshot transakce Ne Ne Ano Columnstore index v rámci definice tabulky Ne Ne Ano AlwaysOn podpora columnstore Ano Ano Ano AlwaysOn readable secondary podpora read-only columnstore Ano Ano Ano AlwaysOn readable secondary podpora updatable columnstore Ne Ne Ano Read-only nonclustered columnstore Ano Ano Ano* (*read-only FG) Updatable clustered columnsotre Ne Ano Ano Rowstore a clustered columnstore index společně nad tabulkou Ne Ne Ano

56 Columnstore Index Přehled rozdílů verzí SQL Server 2012 SQL Server 2014 SQL Server 2016 Columnstore nad memory-optimized tabulkou N/A Ne Ano Nonclustered columnstore s filtrem Ne Ne Ano Nad tabulkou může být vytvořen jeden updatable nonclustered columnstore index Memory-optimized tabulka může mít jeden columnstore index Tabulka může mít PRIMARY KEY i FOREIGN KEY zároveň s clustered columnstore indexem Pro odstranění smazaných řádků z columnstore indexu postačí operace REORGANIZE (online) Zvýšení výkonu při práci s columnstore indexy SORT, COUNT, SUM, AVG, MIN, MAX atd. String compare

57 Real-Time Operational Analytics

58 Strech Database Automaticky umísťuje data z tabulky do Azure SQL Database Komunikace zajištěna přes LinkedServer Verze CTP 2 Kopíruje celou tabulku Časté chyby v SSMS Velké množství omezení 58

59 Strech Database EXEC sp_configure 'remote data archive',1 RECONFIGURE CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'Pa$$w0rd'

60 Strech Database

61 Strech Database

62 Strech Database

63 Přehled novinek v oblasti BI Reporting Services Nové typy grafů Tree Map Chart Sunburst Chart 63

64 Přehled novinek v oblasti BI Reporting Services Přizpůsobení zobrazení parametrů v reportu 64

65 Přehled novinek v oblasti BI Reporting Services Export do PowerPoint HTML 5 Rendering Engine 65

66 Přehled novinek v oblasti BI Integration Services Vlastní úroveň logování balíčků v SSIS katalogu RuntimeLineage loging level Lze vybrat logované události 66

67 Přehled novinek v oblasti BI Integration Services Podpora AlwaysOn AG Databáze SSIS katalogu (SSISDB) může být součástí AlwaysOn Availability Group a tím zrcadlena na sekundární servery Incremental package deployment Lze nasazovat pouze jeden nebo několik SSIS balíčků namísto nasazení celého projektu Jména sloupců, ve kterých vznikla chyba při Data Flow Při směrování Error výstupu v rámci Data Flow byl dostupný pouze číselný identifikátor sloupce, ve kterém nastala chyba Nově je několik metod, jak zjistit jméno sloupce (Script, DiagnosticEx logging atd.) Nová role pro čtení výstupu logování Pouze členové role ssis_admin měli přístup k výstupu logování K tomuto účelu je k dispozici nová role ssis_logreader Podpora pro OData V4 a Power Query Data source 67

68 Přehled novinek v oblasti BI Analysis Services DAX variables mohou ukládat výsledek výrazu v pojmenované proměnné Tato proměnná pak může být použita jako argument dalších výrazů DirectQuery generuje jednodušší dotazy, které mají vyšší výkon Paralelní zpracování tabulek s dvěma a více částmi (partitions) Cílem je zvýšení výkonu Snazší instalace Analysis Services Power Pivot Mode for Sharepoint NUMA optimalizace pro Tabular model 68

69 Přehled novinek v oblasti BI Analysis Services Nové Date a Time funkce CALENDAR, CALENDARAUTO, DATEDIFF Nové Filter funkce ADDMISSINGITEMS, SUBSTITUTEWITHINDEX Nové informační funkce ISONORAFTER Nové matematické funkce ACOS, ACOSH, ASIN, ASINH, ATAN, ATANH, COS, COSH, RADIANS, DEGREES, PI COMBIN, COMBINA, EVEN, EXP, GCD, ISO.CEILING, LCM, MROUND, ODD, PRODUCT, PRODUCTX, QUOTIENT Nové statistické funkce BETA.DIST, BETA.INV, CHISQ.INV, CHISQ.INV.RT, CONFIDENCE.NORM, CONFIDENCE.T EXPON.DIST, GEOMEAN, GEOMEANX, MEDIAN, MEDIANX PERCENTILE.EXC, PERCENTILE.INC, PERCENTILEX.EXC, PERCENTILE.INC SIN, SINH, SQRTPI, TAN, TANH, XIRR, XNPV Ostatní nové funkce CONCATENATEX, GROUPBY, INTERSECT, ISEMPTY, NATURALINNERJOIN, NATURALLEFTOUTERJOIN SUMMARIYECOLUMNS, UNION 69

70