Minimalizace zpoždění - přenosy pro spolupráci v kultuře Sven Ubik, CESNET Jiří Navrátil, Jiří Melnikov, Martin Kolbe, Zdeněk Trávníček, Martin Kolbe CESNET Community Forum Praha, 3. června 2014
Motivace Sdílení obrazu, zvuku a dalších typů informací s dostatečně malým zpožděním umožní distanční spolupráci v řadě oblastí Nejvyšší zpoždění pro pocit okamžité reakce je přibližně 150 ms [1], ale závisí na aplikační oblasti [1] ITU-T Recommendation G.114 - One-way transmission time, ITU-T Study Group 12, May 2003
Souhra v hudbě Velmi vysoké nároky na nízké zpoždění celého řetězce: 7.5 ms rozpoznatelné 15 ms komfortní 30 ms silné omezení výrazových prostředků (rubato, )
Síť Trondheim Kalifornie 85 ms Londýn 15 ms 22 ms Praha 16 ms Japonsko 135 ms Atény
Hardware pro vysílání / příjem Zařízení MVTP-4K (Modular Video Transmission Platform) Zpracování signálu v real-time systému s FPGA obvodem Přidané zpoždění od cca 3 ms v režimu bez komprese a 5 snímků v režimu s kompresí JPEG 2000 Až 2x 4K video a 96x zvukových kanálů HD-SDI vstupy a výstupy, 1G/10G připojení do sítě
Využití v medicínském vzdělávání Živé přenosy operací z lékařských přístrojů na kongresy V ČR, Evropě, USA, Asii,. 3D HD přenos Ústi n.l. Banská Bystrica Nx 3D přenos Oční festival Zlín 4K přenos ČR - Tchajwan 4K přenos ČR Denver, USA
Využití ve zpracování multimediálních materiálů Demonstrace distanční spolupráce při postprodukci
Vzdálena 3D postprodukce v reálném čase http://www.ces.net/doc/press/2011/pr110211.html
Aplikace v kultuře Souhra hudebníků přes síť pro distanční výuku, zkoušky před představením Distribuovaná kulturní představení výměna kulturních zkušeností Vzdálené mixování zvuku vysílání živých koncertů bez mobilního studia Vzdálený přístup ke kulturním artefaktům přístup k muzeálním sbírkám pro studium a výzkum
Projekt emusic 18-měsíční projekt v rámci OpenCall výzvy projektu GN3plus Partneři - 3 akademické sítě (CESNET, GARR, JANET) - 3 školy múzických umění (HAMU v Praze, Conservatorio Tartini v Terstu, Edinburgh Napier University) Cíl: ověřit podmínky pro distanční spolupráci v múzických uměních na evropské úrovni, s využitím služby Bandwidth on Demand (BoD) https://intranet.geant.net/jra0/emusic/sitepages/home.aspx
Geant Symposium, únor 2015 Prague, laboratoř SAGElab Cca 1000 km Prague Vienna Bratislava Athens, Megaron Conference Center Athens
Marry keys quartet v Praze (piano, bicí, saxofon, zpěv) Sebastiano Frattini v Aténách (housle) Jazzový styl hudby Hudba
Hudba
Klasická hudba Praha - Londýn Praha: Hudební a taneční fakulta Akademie múzických umění (HAMU) Londýn: Royal College of Music (RCM) Vzdálenost: cca 1000 km Technika: MVTP-4K HAMU RCM
Hudba 1) J. Brahms: Violin concerto in D major Op. 77, 1st movement 2) M. Ravel: La Cigane Matouš Pěruška housle Alison Rhind - piano Praha Londýn
Síť
Tanec a zpoždění Experimentální ověření ve spolupráci s tanečníky, výměna virtuálního míče Laboratoř SAGElab Výrazně vyšší schopnost akceptace zpoždění, přibližně 250 ms
Dance with delay
Distribuovaná představení Dancing in space, pro APAN 38 na Tchahjwanu, srpen 2014 Účastníci v Praze, Barceloně, Miami and Tchajwanu APAN38 NanTou 20G Chicago 10G Miami 20G Amsterdam 10G 10G Prague Barcelona Taipei 10G 20G NanTou
Umělecké osobnosti Hudební trio v HAMU Praha Stage 2 Dancing in Space Artists on Prague site Cellista v Miami Ivan Vokac V. Cello Ivan Vokac is a graduate of Prague Conservatory of Music. For the time being Ivan is studying with Prof. Miroslav Petras at the Academy of Performing Arts in Prague. Jan Mracek Violin Choreografie a tanec v Barceloně Lukas Klansky Piano Andrew Larson New World Symphony Tanec na Tchajwanu Alain Baumann Rosa Sánchez Victoria Macarte Live video interaction Choreography Dance Yi Tzu Lee Winnie
Snímání a projekce obrazu CZ Trio Praha US Cellist Miami Normal Background Barcelona BC Dancer Black Background Tchajwan TW Dancer Composed Picture
Hlavní jeviště v Nantou, Tchajwan Music in Miami: Musical trio in Prague Dance in Barcelona Dance in Taiwan
Hlavní jeviště v Nantou, Tchajwan
Představení mezi ČR, Španělskem, Brazílií a Jižní Koreou Daejeon, South Korea Prague, Czech Republic Barcelona, Spain Bahia, Brasil
Synchronizace obrazu a zvuku From BR 4 3 Dancer ES From KR network audio video From ES 3 Dancer BR 4 From KR I2CAT Max6 Synapse 1 Chamber Music Local view From ES 5 4 From local 2 From CZ 4 Max6 Synapse From BR 5 UFBA CZ 2 Dancer MVTP-4K KR MVTP-4K Max6 Synapse I2CAT UFBA
Představení mezi ČR, Španělskem, Brazílií a Jižní Koreou Hudební trio na HAMU Praha, 4K video Avataři tanečníků Tanečnice na Tchajwanu Tanečníci v Barceloně a Salvadoru
Představení mezi ČR, Španělskem, Brazílií a Jižní Koreou
Dálkový přístup ke sbírkovým předmětům Experimentální ověření dálkového přístupu k Langweilově modelu Prahy Model byl vytvořen v letech 1826-37 Antonínem Langweilem Měřítko 1:480, cca 2000 budov, asi polovina již není v původní podobě Langweilův model Prahy je sbírkovým předmětem ve správě Muzea hl.m. Prahy.
Digitální model Realizováno ve spolupráci společnosti Visual Connection a Katedry počítačové grafiky a interakce FEL ČVUT 244 000 fotografií, 20 TB dat, 8100 hodin práce Fotografie jsou rozmnoženinou sbírkového předmětu ve správě Muzea hl.m. Prahy, www.langweil.cz
Dálkový přístup
Dálkový přístup Interaktivní průchod částí modelu na univerzitě v San Diegu, USA
Vysílací / přijímací technika, příklad uspořádání 4K kamera 6G-SDI to 4xHD-SDI 6G-SDI audio embedder MVTP-4K audio vstup 1G/10G připojení studio mixer 4xHD-SDI to HDMI HDMI 4xHD-SDI audio dis-embedder 4K TV 2x XLR balanced audio výstup
Zpoždění kamery Flash light Photodetector SDI - analog Dvojkanálový osciloskop
Zpoždění kamery Canon Legria M56 (spotřební HDMI kamera): video delay 100 ms GoPro Hero4 Black Edition: video delay 60 ms Blackmagic Design 4K: video delay 60 ms Sony XC-HR70 (analog): video delay 25 ms
Zpoždění TV / projektoru SDI - HDMI / DVI video generator, SDI output SDI - analog Photodetector Dvojkanálový osciloskop
Zpoždění TV / projektoru ACER Full HD LCD monitor HDMI input DVI input video delay 16 / 36 ms Projector Optoma LH501 (Full HD) HDMI / DVI / analog input video delay 60 ms
Technologické shrnutí Technologie pro přenosy obrazu a zvuku s velmi nízkým zpožděním i pro kritické aplikace je k dispozici Požadavky na síť mohou být vysoké (cca 5 Gbps pro nekomprimovaný 4K obraz), ale jsou realizovatelné v mezinárodním měřítku
Pozorování Pořadí důležitosti pro spolupráci v múzických uměních je 1) dobrý zvuk, 2) pocit přítomnosti ostatních umělců a 3) dobrý obraz Dobrý zvuk znamená nejen malé zpoždění, ale i kvalitu snímání a reprodukce a srovnatelné dynamické, prostorové a časové charakteristiky lokálního a vzdáleného zvuku Využití pro výuku, zkoušky, kulturní výměnu, přístup ke kulturnímu dědictví
Děkuji za pozornost! Sven Ubik ubik@cesnet.cz