Semestrální projekt Hear me. Intermediální tvorba a technologie 1

Transkript

1 Semestrální projekt Hear me Intermediální tvorba a technologie 1 ČVUT FEL FAMU Karel Antonín Anastasia Kozitsyna Jiří Nižník Dina Chernova

2 1. Úvod Cílem naší instalace je zprostředkovat jejím návštěvníkům kontakt napříč časem. Pocit z prožitku něčeho už uplynulého a možnost nevědomě zanechat svoji "stopu" pro další návštěvníky. Základní pojmy: 1.návštěvník osoba, která momentálně interaguje s instalací 2.stopa záznam zvuku a polohy návštěvníka 3.převlékárna samostatná místnost, propojená dveřmi s hlavní místností Funkce instalace: Naše instalace je založena na interakci jednoho návštěvníka s imaginárním zdrojem zvuku v uzavřeném, tmavém prostoru. Zdrojem zvuku bude zvukově prostorová rekonstrukce skutečné osoby = stopa. Hlavním konceptem je reakce člověka, jehož smyslové vjemy budou silně omezeny, na pohybující se osobu (a osoby) ztvárněnou pouze zvukem. Tato reakce bude zvukově zaznamenána u hlavy a chodidel pomocí bezdrátové techniky. Návštěvník se bude pohybovat v určené místnosti a jeho přesná poloha bude snímána a zaznamenána kamerou. Tyto informace se využijí pro ztvárnění další postavy, se kterou bude interagovat následující posluchač. Postava bude simulována v softwaru pro přepočítání zvuku ve 3D prostoru. Zvuk bude následně k návštěvníkovi přenášen přes bezdrátová prostorová sluchátka. Tato sluchátka a zvuková technika určená pro snímání zvuku se umístí uvnitř výstroje, která bude omezovat motoriku a vizuální vjem osoby. Toto opatření je nutné ze čtyř důvodů: Realistické přenesení zvuku vzhledem k poloze návštěvníka, snadnější obrazové snímání pohybu, omezení vidění a psychologický efekt. Předpokládáme, že se návštěvníci budou kvůli těmto omezení a psychickém tlaku pohybovat pomalu a obezřetně. K tomuto účelu bude sloužit upravená šermířská maska s fixovaným krkem. K noze bude připevněn chránič určitého typu se zvukovou záznamovou technikou. Výstroj bude nasazena vně uzavřené místnosti (v převlékárně ). Návštěvník vstoupí do převlékárny, kde na něj budou umístěny nezbytné senzory (helma s mikrofonem a sluchátky). Dostane po nasazení výstroje pouze jednu instrukci: Jdi za světlem. Následně mu bude pokynuto, aby vešel do místnosti. Prostor, ve kterém se posluchač bude pohybovat je uzavřená čtvercová místnost 4x4 s jedním vchodem (dveře), v jejímž středu bude umístěn velice slabý zdroj světla. Zdroj světla se pomalu rozsvítí až poté, co bude posluchač uvnitř prostoru a zavřou se za ním dveře. Zvukový a obrazový záznam začne s otevřením dveří. Po několika desítkách sekund do místnosti vpustíme stopu předchozího návštěvníka (její vstup do místnosti bude označen zvukem otevírajících se dveří místnosti). Návštěvník bude mít nyní

3 možnost sledovat její pohyb prostřednictvím naslouchání zvuku v prostoru. Nyní už je na posluchači, jak se zachová. Po určitém, stále se zmenšujícím časovém intervalu (30s, 20s, 20s,10s, 5s, 2s, 2s, 1s) přidáváme další postavy. Délka jedné iterace bude okolo dvou minut. V poslední fázi se k postavám přidává i dronový zvuk, který graduje a postupně se přibližuje k posluchači, až se dostává na téměř neúnosnou hranici. V tomto momentu všechna reprodukce i záznam utichá, v místnosti se rozsvítí světlo a otevřeme dveře. Jinými slovy: Po odchodu návštěvníka z místnosti bude i jeho stopa (pozice a zvuk, nahrávaný během jeho návštěvy) přidán do paměti instalace, takže nyní bude i on jeden z mnoha návštěvníků, kteří se budou neviditelně procházet onou místností. 2. Popis a princip fungování imaginární zvukové postavy vzhledem k posluchači. Jedna iterace bude mít tyto tři části: 1.Příprava. Navlečení diváka do masky. Tato část se odehrává před vstupem do místnosti. 2.Vpuštění diváka do místnosti. Cílem této části je nechat diváka přizpůsobit se prostředí navyknout si na místnost tak, aby polevila počáteční nervozita z nového prostředí. Ne však až tak dlouho, aby se začal nudit. V průběhu této části nebude spouštěn žádný zvukový výstup. 3.Vpuštění "imaginárního diváka" (nahrávku z předchozí iterace) do místnosti. Začátek této části bude oznámen spuštěním zvuku otevření dveří aniž by se tyto dveře v místnosti opravdu otevřely. 4.Ukončení představení. Zhasnutí světla, ukončení zvukového výstupu. Otevření dveří. 3. Záznam a reprodukce zvuku. K výpočtu patřičného zvukového výstupu (adaptaci nahraného zvuku mikrofonem pro aktuální pozici návštěvníka) využijeme knihovnu IrrKlang ( ). Ta umožňuje nejen určit pozici zvukového "zářiče" (místo, kde jsme nahráli zvuk v předchozí "iteraci") a posluchače (místo, kde stojí nynější návštěvník, který uslyší zvukový výstup), ale i aplikovat

4 různorodé efekty na tento zvukový výstup. Z těch, které jsou pro nás užitečné, mohu jmenovat například dopplerův jev. Zvuk je zaznamenán všesměrovým bezdrátovým mikrofonem, který je umístěný na divákovi. Signál z tohoto mikrofonu nahráváme prostřednictvím zvukové karty a jejího A/D převodníku do počítače, který ho uloží (buďto v operační paměti nebo na pevném disku). Tento zvukový záznam bude poté dalšímu návštěvníkovi pouštěn do sluchátek (poté, co projde simulací prostoru prostřednictvím knihovny IrrKlang). Tzn. během každého představení nahráváme zvuk z mikrofonu zároveň s přehráváním již nahraného zvuku (z předchozího představení) do sluchátek návštěvníka. 4. Záznam, analýza a aplikace trackingu. Pohyb každého návštěvníka po celou dobu v místnosti bude sledován a zaznamenáván. Místnost bude relativně tmavá, proto tracking bychom chtěli řešit pomocí 3 IR diod a kamery bez IR filtru. (Stačila by jedna kamera, pokud bude mít dostatečně velké zorné pole. Ale záleží na tom, jakou místnost budeme mít k dispozici. Situace je zjednodušena: místnost je stálá, nepotřebujeme ani obrysy postavy) V každý okamžik budou vidět 3 výrazné body. Diody budou upevněny na helmě ve tvaru písmena V. Je třeba dat pozor na rozumné rozmístění diod, a to tak, aby žádné z nich nic nepřekáželo (kamera musí vidět všechny 3; ale chvilkovou ztrátu trackingu by mohl zvládnout například Kalmanův filter ). Výstupem jsou souřadnice bodů, ze kterých lze vypočítat úhel natočení hlavy. Hodnoty budou předány aplikaci, která vytvoří prostorový zvuk. Jednou z možností realizace zpracování je použití Raspberry PI. Výhodou je, že jak samotnou deska, tak i kameru a součástky si

5 lze půjčit na fakultě. (měla by zvládat i zpracování zvuku, ale je potřeba zkoušet) Kdyby se to nepodařilo, budeme používat počítač. 5. Design místnosti a převlékárny. Místnost, ve které by probíhal daný projekt, by měla být buď čtvercová nebo obdélníková. S rozměry 4x4 metrů nebo více. V pokoji uprostřed by se nacházel slabý zdroj světla proto, aby se účastník mohl orientovat v prostoru a aby nedošlo k žádným úrazům a zraněním. Zároveň bude slabé světlo (které vrhá četné stíny na zdi) působit i na psychiku návštěvníka. Zde je několik variant vyhovujících pokojů: 1. Polstrovaná místnost. Vybrali jsme tuto variantu hlavně kvůli případné neopatrnosti v chození po pokoji se slabým zdrojem světla. A také kvůli atmosféře, kterou vytváří pokoj s tématem blázinec. 2. Oprýskaný starý pokoj. Daný pokoj byl vybrán námi kvůli nádechu starosti a horroru. Pokoj by měl být prázdný.

6 Co se týče převlékárny, měla by to být obyčejná bílá místnost pro to, aby účastník nedostával žádné předsudky ohledně toho, co ho může čekat. 6. Rozpočet 1.Maska:

7 2.Pronájem mikroportů a záznamového zařízení: /den 3.Pronájem místnosti:??? 4.Sluchátka: IR diody, 3: Kč 6.(IR kamera: Kč) Pozn.: Maska, mikroporty, nahrávací zařízení i sluchátka budou možná zapůjčeny zdarma. 7. Porovnání s jinými projekty 1. Podobným projektem byla jedna z prvních instalací ITT, která zahrnovala tmavou místnost s umístěnými reproduktory, které tvořily vícekanálový systém. V této místnosti projížděli imaginární automobily jako na dálnici (pouze zvuk). V momentě, kdy vešel návštěvník do správného místa (místnost byla sledována buďto kamerou nebo impuls vyslal určitý druh senzoru), spustil se sampl přijíždějícího auta, které prudce brzdí a přejíždí návštěvníka. Spojení mezi našimi projekty je jasné: omezení vizuálního vjemu, zaměření se na prostorový zvuk a snímání polohy návštěvníka. Díky zvuku také oba projekty vytváří iluzi pohybujících se objektů (auta x lidé) a návštěvníci se zvukem mohou interagovat i když v každé instalaci jiným způsobem. Hlavním rozdílem je přenos zvuku, kde my využíváme sluchátek pro přesnější určení zdroje zvuku a více imerzivní pocit. 2. Dalším podobným projektem je představení REMINISCENCIA od dvou umělkyň Cristiny Maldonado & Bethany Lacktorin. Je to projekt, zaměřený pouze na jednoho diváka. Sedící posluchač dostává sluchátka, ze kterých slyší mnoho různých zvuků. Tím vytváří a zkoumá specifické zvukové prostředí a probouzí svoji zvukovou paměť. Uživatel je vystaven množství zvukových podnětů; cílem je, aby se odpoutal od běžného způsobu vnímání a posléze propojením takto nabytých zážitků si vytvořil novou, velmi osobní sluchovou paměť. Daný projekt je velmi podobný našemu tím, že také klade důraz na vnímání zvuků a vytváření si zvukového prostředí na základě minulých zkušenosti. Také je prováděn v tmavé místnosti. Rozdíl projektu REMINISCENCIA s naším je, že náše instalace hlavně zdůrazňuje přítomnost jiného člověka a také umožňuje pohyb po místnosti.

8 8. Závěr Cílem instalace bude spojení dvou samostatných časových okamžiků v jeden.