Verzování a publikace dat na webu za pomoci PostgreSQL

Transkript

1 Prague PostgreSQL Developers' Day 2013 Verzování a publikace dat na webu za pomoci PostgreSQL Jan Pěček

2 Kdo jsem? Jan Pěček Programátor PostgreSQL Jyxo, s.r.o. (Blog.cz) MAFRA, a.s. - Internet Trading PHP, Java... pokladník CSPUG, o.s. pokročilý uživatel Student

3 Pár informací...

4

5

6 Obsah Proces schvalování Přihlášený uživatel Verzování údajů Publikace dat, evoluce Přechod na PostgreSQL

7 Agenda Proces schvalování Přihlášený uživatel Verzování údajů Publikace dat, evoluce Přechod na PostgreSQL

8 Proces schvalování ADMIT

9 Proces schvalování ADMIT

10 Stavy záznamu zakázáno Úprava, operátor - schváleno Nový, klient - neschváleno Úprava, operátor - kontrola Úprava, klient - neschváleno Firma, a.s. Nový, operátor - neschváleno Úprava, klient - kontrola Nový, operátor - schváleno Import - schváleno Spuštěno - schváleno

11 Nové stavy záznamu Smazáno Čeká na schválení Firma, a.s. Schváleno

12 Schvalování Hlídání změn Kontrola údajů Různá práva Rozdělení odpovědnosti

13 Agenda Proces schvalování Přihlášený uživatel Verzování údajů Publikace dat, evoluce Přechod na PostgreSQL

14 Problém uživatele ADMIT user / passwd DB login / heslo

15 Problém uživatele DB User = login Temp tabulka PL/Perl custom_variable_classes

16 DB User = login Jednotky uživatelů + Jednoduše získaný uživatel Tisíce uživatelů Uložení údajů Dvojí přihlašování do DB Bezpečnost Ošetření v aplikaci Přidávání uživatelů

17 Temp tabulka CREATE TEMPORARY TABLE tmp_vars ( name varchar(10) PRIMARY KEY, value varchar ); INSERT INTO tmp_vars VALUES ('userid', 42); DECLARE userid int; BEGIN SELECT value INTO userid FROM tmp_vars WHERE name = 'userid';

18 PL/Perl Global Values CREATE FUNCTION set_var(name text, val text) RETURNS text AS $$ if ($_SHARED{$_[0]} = $_[1]) { return 'ok'; } else { return "cannot set shared variable $_[0] to $_[1]"; } $$ LANGUAGE plperl; CREATE FUNCTION get_var(name text) RETURNS text AS $$ return ($_SHARED{$_[0]}; $$ LANGUAGE plperl; SELECT set_var('userid', 42); SELECT get_var('userid');

19 custom_variable_classes postgresql.conf: custom_variable_classes = 'myvar' SET myvar.userid = 42; PERFORM set_config('myvar.userid'::text, '42'::text, false); DECLARE userid int; BEGIN SELECT current_setting('myvar.userid') INTO userid;

20 Porovnání rychlosti 60 52,99 48,95 50 Time [ms] 40 31, ,29 26,42 Time per request Elapsed time ,34 0 PL/Perl Session TEMP table $ ab -n 200 -c 100 ' Requests Number: 200 Concurrency Level: 100 $ php TYPE.php SELECT TYPE_setvar('userId', '42'); SELECT TYPE_getvar('userId')

21 Agenda Proces schvalování Přihlášený uživatel Verzování údajů Publikace dat, evoluce Přechod na PostgreSQL

22 Verzování dat Kdo? Kdy? Původní hodnota Nová hodnota ID položky #123

23 Schéma databáze

24 Revize Operace v tabulce = 1 revize #rev. 15 Seskupování revizí Schválení / odmítnutí revize #rev. 13 Kompletní historie #rev. 11 Revertování změn Rekonstrukce stavu #rev. 14 #rev. 12 #rev. 10 #rev. 9

25 Tabulka změn CREATE TABLE journal ( firm_id integer, revision integer DEFAULT 1, tablename varchar NOT NULL, changes changeset[] NOT NULL, itemid integer, create_user_id integer, process_user_id varchar, created timestamp NOT NULL, processed timestamp, confirmed boolean, PRIMARY KEY(firm_id, revision) );

26 Typ changeset CREATE TYPE changeset ( colname varchar, oldvalue varchar, newvalue varchar ); CREATE FUNCTION changeset_op_eq (changeset[], varchar) RETURNS boolean AS $$ SELECT count(*) > 0 FROM (SELECT unnest($1) AS col) x WHERE (col).colname = $2; $$ LANGUAGE sql; CREATE OPERATOR = ( PROCEDURE = changeset_op_eq, LEFTARG = changeset[], RIGHTARG = varchar, NEGATOR =!= );

27 Záznam změn ADMIT AFTER INSERT AFTER UPDATE BEFORE DELETE add_revision(firm_id, changes)

28 Uložená data journal firm_id revision tablename changes itemid create_user_id process_user_id created processed confirmed firm_web {"(url,, null :22:53 null null

29 Schválení změn ADMIT confirm_revision(firm_id, revision) process_revision(firm_id, revision, true)

30 Zamítnutí změn ADMIT decline_revision(firm_id, revision) revert_revision(firm_id, revision) process_revision(firm_id, revision, false)

31 Revertování firm_phone INSERT EXECUTE 'DELETE FROM ' tablename ' WHERE id = ' quote_literal(itemid); id firm_id phone type journal firm_id revision tablename changes itemid firm_phone {"(phone,, )","(type,,1)"} 4

32 Revertování firm_phone DELETE EXECUTE 'INSERT INTO ' tablename '(id) ' 'VALUES (' quote_literal(itemid) ');' EXECUTE 'UPDATE ' tablename ' SET ' array_to_string( sqldata, ', ') ' WHERE id = ' quote_literal(itemid); id firm_id phone type journal firm_id revision tablename changes itemid firm_phone {"(phone, ,)","(type,1,)"} 4

33 Revertování firm_phone UPDATE sqldata := array_append( sqldata, format( '%I = %L', changes.colname, changes.oldvalue ) ); EXECUTE 'UPDATE ' tablename ' SET ' array_to_string( sqldata, ', ') ' WHERE id = ' quote_literal(itemid); id firm_id phone type journal firm_id revision tablename changes itemid firm_phone {"(phone, , )"} 4

34 Úskalí revertování NOT NULL, UNIQUE, FOREIGN KEY Smazat? Vložit? Upravit? Item ID název sloupce id category_id Výjimky z pravidel Konzistence Ťuk ťuk, rekurze address_id firm_id tag_id language_id daynum

35 Agenda Proces schvalování Přihlášený uživatel Verzování údajů Publikace dat, evoluce Přechod na PostgreSQL

36 Trocha historie MySQL Firebird MySQL MySQL MySQL

37 Publikace dat VIEWs takeit topkontakt publish

38 Publikace dat ADMIT events publish memcached

39 Ve vývoji PostgreSQL MySQL PostgreSQL PostgreSQL

40 Publisher nyní events Publisher PHP MySQL takeit MySQL topkontakt MySQL publish PostgreSQL topkontakt

41 Publisher nově confirm_revision(firm_id, revision) ADMIT events

42 Publisher nově events publish_firm(firm_id) Publisher python MySQL publish PostgreSQL publish PostgreSQL topkontakt

43 Databáze publish Spojení zdrojů dat Denormalizace SELECT * Optimalizace pro čtení (indexy) Předzpracovaná data Zdroj pro fulltext (a další) Zdvojená data Rozdílnosti FROM firm; SELECT * FROM category; SELECT * FROM product; SELECT * FROM firm_data;

44 Agenda Proces schvalování Přihlášený uživatel Verzování údajů Publikace dat, evoluce Přechod na PostgreSQL

45 Přechod na PostgreSQL Přepis aplikací Nová struktura nová technologie Návrat k Databázi Využít dostupné možnosti Normalizace, čištění Příprava pro další rozvoj

46 Technologie pgbouncer DB1 pgbouncer haproxy DB2 ADMIT pgbouncer DB3

47 Aplikace PHP >=5.3 & Nette 2 Frameworky (dibi, Doctrine2) Úprava vrstvy v modelu Cache vrstva Optimalizace (EXPLAIN)

48 Agenda Proces schvalování Přihlášený uživatel Verzování údajů Publikace dat, evoluce Přechod na PostgreSQL

49 Co říci závěrem DB může znát uživatele aplikace Verzování dat přímo uvnitř DB Rekonstrukce stavu dat Publikace uvnitř DB nožičky not směrem dolů

50 Otázky...

51 Děkuji za pozornost