VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ. Fakulta elektrotechniky a komunikačních technologií BAKALÁŘSKÁ PRÁCE

Transkript

1 VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ Fakulta elektrotechniky a komunikačních technologií BAKALÁŘSKÁ PRÁCE Brno, 2018 Vojtěch Matoušek

2 VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY FAKULTA ELEKTROTECHNIKY A KOMUNIKAČNÍCH TECHNOLOGIÍ FACULTY OF ELECTRICAL ENGINEERING AND COMMUNICATION ÚSTAV AUTOMATIZACE A MĚŘICÍ TECHNIKY DEPARTMENT OF CONTROL AND INSTRUMENTATION AUTOMATIZOVANÝ PŘEPIS HUDEBNÍ SKLADBY DO NOTOVÉHO ZÁPISU AUTOMATIC MUSIC TRANSCRIPTION BAKALÁŘSKÁ PRÁCE BACHELOR'S THESIS AUTOR PRÁCE AUTHOR Vojtěch Matoušek VEDOUCÍ PRÁCE SUPERVISOR Ing. Petr Petyovský, Ph.D. BRNO 2018

3 Bakalářská práce bakalářský studijní obor Automatizační a měřicí technika Ústav automatizace a měřicí techniky Student: Vojtěch Matoušek ID: Ročník: 3 Akademický rok: 2017/18 NÁZEV TÉMATU: Automatizovaný přepis hudební skladby do notového zápisu POKYNY PRO VYPRACOVÁNÍ: Cílem je navrhnout a realizovat základní metody pro automatizovaný přepis hudební skladby do notového zápisu. 1. Proveďte literární průzkum současných přístupů k automatizovanému přepisu hudební skladby do notového zápisu. Prostudujte dostupné aplikace realizující přepis hudebních skladeb, definujte jejich možnosti a omezení. 2. Proveďte rešerši referenčních online hudebních skladeb dostupných jako testovací databáze. Zvolte některou z nich, případně navrhněte a vytvořte vlastní testovací databázi hudebních skladeb s existujícím notovým zápisem. 3. Na základě nastudovaných znalostí navrhněte vlastní metodu pro automatizovaný přepis do notového záznamu. Navrhněte způsob ověření funkčnosti metody. 4. Realizujte navrženou metodu transkripce skladby do notového záznamu. 5. Vyhodnoťte úspěšnost a efektivitu navržené metody na zvolené testovací množině. 6. Definujte limitní parametry pro navrženou metodu transkripce (náročnost skladby, počet současně hrajících nástrojů, výpočetní výkon). 7. Realizujte finální aplikaci umožňující automatický přepis hudební skladby do notového zápisu. 8. Zhodnoťte dosažené výsledky a navrhněte další možná řešení vedoucí k lepším výsledkům. DOPORUČENÁ LITERATURA: [1] Klapuri, A. and Davy, M.: Signal Processing Methods for Music Transcription, Springer-Verlag, New York, 2006, ISBN [2] Schörkhuber, Ch. & Klapuri, A.: Constant-Q transform toolbox for music processing. Proc. 7th Sound and Music Computing Conference Termín zadání: Termín odevzdání: Vedoucí práce: Konzultant: Ing. Petr Petyovský, Ph.D. doc. Ing. Václav Jirsík, CSc. předseda oborové rady UPOZORNĚNÍ: Autor bakalářské práce nesmí při vytváření bakalářské práce porušit autorská práva třetích osob, zejména nesmí zasahovat nedovoleným způsobem do cizích autorských práv osobnostních a musí si být plně vědom následků porušení ustanovení 11 a následujících autorského zákona č. 121/2000 Sb., včetně možných trestněprávních důsledků vyplývajících z ustanovení části druhé, hlavy VI. díl 4 Trestního zákoníku č.40/2009 Sb. Fakulta elektrotechniky a komunikačních technologií, Vysoké učení technické v Brně / Technická 3058/10 / / Brno

4 ABSTRAKT Tento článek se zabývá automatizovaným přepisem hudební skladby do notového záznamu Fourierovou transformací s logaritmickým měřitkem a konstantní Q transformací. Vysledkem práce je aplikace, ktera převede hudební nahrávku, ve zvukovém formátu WAVE do MIDI souboru. Následně můžeme MIDI soubor převést do hudební notace pomocí vhodného nástroje. Algoritmus pro automatizovaný přepis hudební skladby do notového záznamu umí převádět polyfonní skladby, kde se hraje více tónu v jeden čas, s jednoduchým rytmem. KLÍČOVÁ SLOVA Automatizovaný přepis hudební skladby do notového záznamu, Fourierova transformace s logaritmickým frekvenčním rozlišením, konstantní Q transformace ABSTRACT This article deals with the automatic music transcription into the music notation by Fourier transform with logarithmic scale and constant Q transform. The result of this work is application, which converts the music records, in the WAVE music file, into the MIDI file. Then MIDI file can convert into the music notation by appropriate tool. Algorithm for automatic music transcription can converts polyphonic music record, where plays more tones at one time, with simple rhythm. KEYWORDS automatic music transcription, Fourier transform with logarithmic scale, constant Q transform MATOUŠEK, Vojtěch. Automatizovaný přepis hudební skladby do notového záznamu. Brno, 2018, 57 s. Bakalářská práce. Vysoké učení technické v Brně, Fakulta elektrotechniky a komunikačních technologií, Ústav automatizace a měřicí techniky. Vedoucí práce: Ing. Petr Petyovský, Ph.D.

5 PROHLÁŠENÍ Prohlašuji, že svou bakalářskou práci na téma Automatizovaný přepis hudební skladby do notového záznamu jsem vypracoval samostatně pod vedením vedoucího bakalářské práce a s použitím odborné literatury a dalších informačních zdrojů, které jsou všechny citovány v práci a uvedeny v seznamu literatury na konci práce. Jako autor uvedené bakalářské práce dále prohlašuji, že v souvislosti s vytvořením této bakalářské práce jsem neporušil autorská práva třetích osob, zejména jsem nezasáhl nedovoleným způsobem do cizích autorských práv osobnostních a/nebo majetkových a jsem si plně vědom následků porušení ustanovení S 11 a následujících autorského zákona č. 121/2000 Sb., o právu autorském, o právech souvisejících s právem autorským a o změně některých zákonů (autorský zákon), ve znění pozdějších předpisů, včetně možných trestněprávních důsledků vyplývajících z ustanovení části druhé, hlavy VI. díl 4 Trestního zákoníku č. 40/2009 Sb. Brno podpis autora

6 PODĚKOVÁNÍ Rád bych poděkoval vedoucímu bakalářské práce panu Ing.Petru Petyovskému, Ph.D. za odborné vedení, konzultace, trpělivost a podnětné návrhy k práci. Brno podpis autora

7 Obsah Úvod 10 1 Průzkum trhu s transkripčními programy 12 2 Základní pojmy Hudební signál Vlastnosti hudebních signálů Výška a barva tónu Délka tónu Hlasitost tónu Způsoby hudební reprezentace Zvukový formát WAVE Zvukový formát MIDI Moderní hudební notace Metody transkripce hudby Diskrétní Fourierova transformace - DFT Rychlá Fourierova transformace (FFT) Funkce časových oken Obdelníkové okno Hammingovo a Hannovo okno Blackmanovo okno Fourierova transformace s logaritmickým frekvenčním rozlišením Konstantní Q transformace (CQT) Optimalizace CQT pomocí filtru dolní propust a podvzorkováním Autokorelační funkce (ACF) Návrh metody pro transkripci hudby Detekce not Detekce rytmu Dosažené výsledky metody Databáze akordů Databáze skladeb s rytmem Limitní parametry metody 46 7 Popis aplikace pro transkripci hudby 48

8 8 Závěr 50 Literatura 53 Seznam symbolů, veličin a zkratek 55 Seznam příloh 56 A Obsah přiloženého CD 57

9 Seznam obrázků 2.1 Ukázky hudební reprezentace signálu Formát souboru WAVE [11] Příklad značení jednotlivých klíčů Pozice not v notových klíčích Příklady předznamenání Takty Délky not a pomlk Výšky not Příklady křížků a béček Různé typy fourierovy transformace dle typu vstupního signálu [17] Eulerův vzorec pro úhel φ [14] Grafické znázornění obdelníkového okna [16] Grafické znázornění Hammingova okna [16] Grafické znázornění Hannova okna [16] Grafické znázornění Blackmanova okna [16] Ukázka Fourierovy transformace harmonických složek signálu na logaritmické frekvenční ose [15] Hodnota autokorelační funkce na okně signálu noty A 4 [7] Příklad vstupního signálu Grafické znázornění úspěšnosti detekce not v jednotlivých oktávách - v každé oktávě analyzováno 80 skladeb Grafické znázornění úspěšnosti detekce not v jednotlivých akordech Grafické znázornění počtu chybně analyzovaných tónů v jednotlivých oktávách - v každé oktávě analyzováno 80 skladeb Originální notový zápis s vytvořeným notovým zápisem analyzované skladby Heart of Courage Originální notový zápis s vytvořeným notovým zápisem analyzované skladby Stay With Me Originální notový zápis s vytvořeným notovým zápisem analyzované skladby Blokové schéma aplikace

10 Seznam tabulek 2.1 Popis výpočtu MIDI indexu Midi indexy jednotlivých not Srovnání vlastností CQT a DFT [15] Složení a váhy jednotlivých not v akordech Úspěšnost detekce not v jednotlivých oktávách - v každé oktávě analyzováno 80 skladeb Úspěšnost detekce not v jednotlivých akordech Počet chybně analyzovaných tónů v jednotlivých oktávách - v každé oktávě analyzováno 80 skladeb

11 Úvod Transkripce neboli přepis je rozšířeným fenoménem a v hudbě má několik různých významů. Transkripce může být považována za úpravu či nové zpracování notového zápisu původní skladby nebo přepis starší notace do dnešního notového záznamu. Třetí význam, který je předmětem této bakalářské práce, je přepis hudební nahrávky do notového zápisu [3]. Moderní algoritmy hudební analýzy jsou na vysoké úrovni, ale zatím žadný algoritmus nedokáže uspokojivě nahradit v přepisu hudební nahrávky do notového záznamu hudebně trénovaného člověka. Pro člověka bez hudebního sluchu a vzdělání je vytvoření notového záznamu značně obtížné až nemožné. Proto i nedokonalý software může být dobrým pomocníkem. Na trhu jsou softwarové nástroje, které převádějí hudební nahrávku do MIDI souboru nebo do formátu XML, ale mnohdy při obtížnějších skladbách obsahují značný počet chyb a jsou také graficky nepřehledné. Problematika automatického přepisu hudební skladby do notového záznamu je příliš komplexní, než aby dávala vždy bezchybný a snadno čitelný notový záznam. Tato bakalářská práce navazuje na semestrální práci, kde se mi podařilo naimplementovat metodu v programu MATLAB. Metoda uměla rozpoznávat pouze jednoduché monofónní skladby, což znamená, že ve skladbě hraje pouze jeden tón v jeden čas. V bakalářské práci se následně pokusím tuto metodu vylepšit i na polyfonní skladby, což znamená, že ve skladbě hraje více tónů v jeden čas. Dále chci vylepšit zpracovaní analyzovaných tónů, které zapíšu do MIDI souboru a následně pomocí vhodného nástroje převedu do notového záznamu. V rámci bakalářské práce navrhnu metodu pro automatický přepis hudební skladby do notového záznamu. V návrhu metody bych chtěl věnovat více času detekci výšky not, ale navrhnu i jednoduchou detekci rytmu. Pro účel testování metody se pokusím najít vhodnout testovací databázi skladeb. V případě nenalezení vhodné testovací databáze skladeb si vytvořím vlastní databázi skladeb, na které budu testovat dosažené výsledky navržené metody. Následně budu navrženou metodu testovat na různé limitní parametry, které je nutno splnit, aby analýza skladby proběhla úspěšně. Limitním parametrem může být například náročnost skladby, počet současně hrajících nástrojů nebo třeba výpočetní výkon. 10

12 Navrženou metodu pro hudební transkripci naprogramuji v programovacím jazyku C++, ve vývojovém prostředí Apple XCode pro operační systémy macos. V případě dostatku času, odladím danou metodu i pro operační systém Microsoft Windows. 11

13 1 Průzkum trhu s transkripčními programy V této kapitole stručně popíšu komerční programy pro hudební transkripci. Tyto programy budu brát jako referenční při vyhodnocení dosažených výsledků hudební transkripce. AnthemScore je transkripční program, který nabízí 30 denní zkušební verzi a plnou verzi můžeme pořídit za 40 $. Program můžeme používat s operačním systémem macos, Windows i Linux. Program podporuje všechny základní audio formáty jako mp3, wav atd. a vytváří z nich notový záznam, který se exportuje ve formátu xml. Melodyne nabízí také 30 denní zkušební verzi a jeho cena se pohybuje od 99 $ do 699 $. Program je dostupný pro operační systém macos a Windows. Tento program kromě toho, že převádí hudební nahrávku do hudební notace, podporuje i úpravy intonace v hudební nahrávce hlasu či hudebního nástroje. Hudební notaci můžeme vyexportovat ve formátu MIDI. AudioScore nabízí zdarma zkušební demo verzi a jeho cena je 249 $. Program může být použit s operačními systémy macos a Windows. Program AudioScore dovoluje pracovat se stopami audio CD nebo soubory mp3, které převede do hudební notace. Dále umí pracovat s detaily přednesu, například měnit výšku tónu, hlasitost a časové parametry. AmazingMIDI je transkripční program, který je zcela zdarma. Umožňuje převod audio souborů WAV do formátu MIDI a je dostupný pro operační systém macos, Windows i Linux. 12

14 2 Základní pojmy V této kapitole se budu věnovat důležitým pojmům, které se budou v bakalářské práci objevovat. 2.1 Hudební signál Hudební signál definujeme jako časově proměnnou fyzikální veličinu, která je nositelem hudební informace. Konkrétněji jde o mechanické vlnění v látkovém prostředí, které je schopno vyvolat zvukové vjemy charakteristické pro hudbu [4]. Frekvence tohoto vlnění, které je člověk schopen vnímat, je přibližně od 16 Hz do 20 khz. Můžeme se setkat také s pojmem přirozený hudební signál, který je produktem hudebního nástroje či lidského hlasu, kdežto umělý hudební signál je produktem generátorů, počítačů nebo třeba syntezátorů [5]. 2.2 Vlastnosti hudebních signálů Charakteristickými vlastnostmi signálu je výška, barva, délka a hlasitost tónu. Za tón je považován každý zvuk se stálou frekvencí Výška a barva tónu Výška tónu je vlastnost, která umožňuje uspořádání tónů od nejnižšího po nejvyšší. Výška tónu je určená frekvencí hudebního signálu. Jednoduchý tón má sinusový průběh a má jen jednu jedinou frekvenci. Složené tóny jsou výsledkem superpozice většího počtu jednoduchých tónů a jejich frekvence jsou násobky frekvence základního tónu, který má nejnižší frekvenci. Tato základní frekvence určuje absolutní výšku tónu. Amplitudy vyšších harmonických tzv. alikvótních tónů jsou menší než je amplituda základního tónu, proto složený tón vnímáme jako jeden [6]. Tónová soustava i notový zápis uvádějí výšky relativně. Při souhře více hudebních nástrojů se jako záchytný bod používá tón A 4 o frekvenci 440Hz - tzv. komorní A. Ke stanovení výšek okolních tónů podle komorního A se používá soustava hudebního ladění. Lidské vnímání frekvencí tónů je přibližně logaritmické. Vzdálenost, kterou člověk vnímá mezi dvěma tóny A 1 a A 2, kde je index tónu označení oktávy, je stejná jako mezi A 2 a A 3. Frekvence vyššího tónu v intervalu oktávy je vždy dvojnásobná oproti tónu nižšího o jednu oktávu. Existuje několik ladění, jak noty v rozmezí oktávy ladit. Nejrozšířenějším laděním je rovnoměrně temperované ladění, 13

15 které má konstantní poměr mezi dvěmi sousedními notami [8]. Jméno noty v temperovaném ladění se skláda z písmene udávající výšku noty a čísla udávající oktávu. Noty s příponou is jsou noty zvýšené a udávají půltón mezi sousedními dvěma notami. Jména not mají následující posloupnost půltónů: A 0,.....,C 1,Cis 1,D 1,Dis 1,E 1,F 1,F is 1,G 1,Gis 1,A 1,Ais 1,H 1,C 2,Cis 2,D 2,Dis 2,.....,C 8 Na stejné noty se můžeme dostat i snížením celých tónu o půltón. Tyto noty budou mít příponu es a jejich posloupnost bude vypadat následně: A 0,.....,C 1,Des 1,D 1,Es 1,E 1,F 1,Ges 1,G 1,As 1,A 1,Hes 1,H 1,C 2,Des 2,D 2,Es 2,.....,C 8 Barva tónu, někdy označována i jako témbr, určuje spektrální složení tónu. Každý tón má pro naše ucho zcela jiný charakteristický zvuk, proto složený tón obsahuje vyšší harmonické tóny. Barva tónu je určena nejen počtem vyšších harmonický tónů obsažených ve složeném tónu, ale také jejich amplitudami a vzájemnými fázemi. Umožnuje sluchem odlišit dva tóny, které mohou mít stejnou absolutní výšku a které jsou vydávány dvěma různými zdroji zvuku [6]. Jednoduchý tón má harmonický průběh, tj. grafem závislosti intenzity zvuku na čase je funkce sinus [6]. Složený tón má periodický průběh, ale už se nejedná o sinusoidu. Zvuky obsahují kromě fundamentální frekvence ještě i tzv. vyšší harmonické frekvence[6]. Fundamentální frekvence neboli základní frekvence je frekvence, která určuje výšku složeného tónu. Složený tón se skládá z mnoha tónů jednoduchých, takže složený tón neobsahuje pouze fundamentální frekvenci, která udává výšku tónu, ale i vyšší harmonické frekvence. Lidské ucho jednotlivé jednoduché tóny, z nichž se složený tón skládá, nevnímá. Vnímá složený tón jako jeden tón, který má specifickou barvu tónu. Ta je určena právě vyššími harmonickými frekvencemi [6] Délka tónu Délka tónu je čas, který uplyne od jeho nástupu (počáteční přísun energie) do chvíle jeho uvolnění (konec přísunu energie) [7]. 14

16 Rytmus hudební skladby je charakterizován tzv. pulzováním periodickým opakováním událostí v určitých časových intervalech. Naše citlivost na toto pulzování souvisí s fyziologickými rytmy v těle člověka, např. tlukot srdce a rytmus dechu. Při zkoumání rytmu skladby hledáme pravidelně se opakující vzory hudebních událostí v závislosti na čase. Základní jednotkou rytmu je doba. Časová vzdálenost mezi dvěma dobami určuje tempo skladby [7]. Vzorkovací frekvence definuje počet vzorků za 1 sekundu načítaných ze spojitého analogového signálu při jeho přeměně na diskrétní signál. Shannon-Kotelnikův teorém: každou funkci času s omezeným frekvenčním spektrem můžeme nahradit posloupností diskrétních vzorků odebíraných s vzorkovací frekvencí f s, která se volí dvakrát větší, než je maximální frekvence obsažená ve vzorkovaném signálu [6] Hlasitost tónu Hlasitost tónu je zvuková vlna představující periodické stlačování a rozpínání v pružném prostředí, v němž se šíří. Ve vzduchu tedy dochází k periodickým změnám tlaku, které vnímáme jako určitou hlasitost. Hlasitost je subjektivní veličina, závisí především na citlivosti sluchu. Pro subjektivní hodnocení hlasitosti je zavedena veličina intenzita zvuku, která je přímo úměrná energii kmitání, které zvukové vlnění v daném bodě vzbuzuje. Tato energie pak závisí na druhé mocnině amplitudy i frekvence [6]. 2.3 Způsoby hudební reprezentace Hudební reprezentace hudebního signálu byla důležitým tématem již od počátku hudby. Před vynalezením nahrávání hudby byla hudební notace jediným způsobem, jak hudbu zaznamenat. Hudební reprezentace může být zaznamenána jako časový průběh zvukového signálu, spektrogram, v MIDI souboru nebo také v moderní hudební notaci [7] Zvukový formát WAVE WAVE je zkratka pro Waveform audio file format vytvořený společnostmi Microsoft a IBM, které tento zvukový formát vytvořily pro ukládání zvuku na PC. Formát 15

17 (a) Časový průběh signálu (b) Spektrogram (c) MIDI (d) Moderní hudební notace Obr. 2.1: Ukázky hudební reprezentace signálu souboru WAVE je podmnožinou specifikace RIFF, který umožňuje ukládat do souboru WAVE zvuk v různých formátech, z nichž nejpoužívanější je nekomprimovaná lineární Pulzně kódová modulace [11]. Data jsou do WAVE souboru ukládány v blocích, kde každý blok obsahuje identifikátor dlouhý čtyři bajty a informaci o délce bloku také čtyři bajty. Soubor WAVE začíná blokem RIFF, který obsahuje identifikátor WAVE a skládá se ze dvou dílčích bloků fmt, určující formát dat a datový blok, který obsahuje jednotlivé vzorky hudebního signálu [11]. Obsah jednotlivých bloků je na obrázku (2.2). Popis jednotlivých buněk z obrázku (2.2): ID bloku: obsahuje slovo RIFF v ASCII formátu (0x ). Velikost bloku: značí počet bajtů, které následují po tomto čísle až do konce souboru. Což je velikost souboru bez osmi bajtů dvou předchozích buňek. Formát: obsahuje slovo WAVE v ASCII formátu (0x ). ID 1. dílčího bloku: obsahuje slovo fmt v ASCII formátu (0x666d7420). Velikost 1. dílčího bloku: značí velikost dílčího bloku. Pro nekomprimovaný soubor je velikost 16 bajtů. Formát nahrávky: nekomprimovaná Pulzně kódová modulace se značí 1. Počet kanálů: mono = 1, stereo = 2. Vzorkovací frekvence: značí počet vzorků za sekundu. Počet bajtů za sekundu: označuje průměrný počet bajtů za sekundu. Počet bitů za sekundu: označuje průměrný počet bitů za sekundu. ID 2. dílčího bloku: obsahuje slovo data v ASCII formátu (0x ). Velikost 2. dílčího bloku: značí velikost dílčího bloku. Data: obsahují jednotlivé vzorky skladby. 16

18 Obr. 2.2: Formát souboru WAVE [11] Zvukový formát MIDI MIDI neboli Musical Instrument Digital Interface je volně přístupný průmyslový standard, který obsahuje specifikace pro hardware i software, sloužící pro digitální komunikaci mezi hudebními nástroji navzájem a dalšími zařízeními, jako jsou sequencery, počítače nebo třeba jevištní technika. Komunikace MIDI nepřenáší mezi hudebními nástroji audio signál, ale informace o událostech. Nejčastěji informace o tom, co hudebník se svým nástrojem dělá. Například o stisku a uvolnění klávesy na klaviatuře nebo o stisku pedálu. Každá událost může mít více parametrů. Například stisk klávesy má dva parametry. První parametr označuje, která klávesa byla stisknuta a druhý parametr značí, jak rychle nebo silně byla stisknuta. 17

19 Události se přenášejí v tzv. kanálech, kde každý kanál představuje jeden hudební nástroj. MIDI specifikace umožňuje spolu použít maximálně 16 nástrojů [9]. Standard MIDI file (zkráceně SMF) je soubor určený pro uložení hudebních dat. Tyto soubory mají příponu.mid a základní rozdíl oproti formátům pro uložení zvuku (jako WAV,mp3 atd.) je, že SMF nezaznamenávají přímo digitalizovaný signál, ale obsahují jednotlivé zahrané noty, informace o tempu nebo třeba použité hudební nástroje. Data jsou v souboru ukládána v blocích. Každý blok obsahuje znakový identifikátor dlouhý čtyři bajty a informaci o délce bloku dlouhou také čtyři bajty. Vícebajtová čísla se v SMF souboru ukládají v pořadí big-endian. Po čtyřech bajtech délky následuje příslušný počet bajtů představující datovou část bloku nebo konec souboru. Máme dva typy bloků s identifikátory MThd a MTrk. Blok MThd je vždy na začátku souboru a jsou v něm uloženy informace o formátu souboru, počtu stop a tempu skladby. Blok MTrk obsahuje data a parametry stopy, jako třeba odehrané noty a jejich délky [10]. Vztah pro výpočet frekvence tónu rovnoměrně temperovaného ladění podle indexu MIDI a jeho obrácený vztah pro výpočet MIDI indexu noty podle frekvence. f k = ( 12 2) k 69 * 440 (2.1) MIDI = * log 2 ( f 440 ) (2.2) 18

20 Tab. 2.1: Popis výpočtu MIDI indexu Veličina Popis Jednotka Frekvence 440 je frekvence komorního A Hz MIDI index 69 je MIDI index komorního A Oktáva 12 Značí počet půltónů v oktávě Tab. 2.2: Midi indexy jednotlivých not Oktáva C Cis D Dis E F Fis G Gis A Ais H Moderní hudební notace Moderní hudební notace je na světě nejpoužívanější hudební reprezentace. Nejprve se ustálila v zápisu vážné hudby, dnes je používána napříč všemi žánry. Je velmi jednoduchá i pro člověka bez hudebních znalostí. Není těžké z pohledu na noty pochopit základní melodické a rytmické informace. Hudební notaci čteme podobně jako běžný text po řádcích zleva doprava. Na jednotlivé řádky se můžeme dívat jako na časovou osu, na které je znázorněné, co ve skladbě v daný moment probíhá. Moderní hudební notace obsahuje mnoho informací o skladbě, které si následně popíšeme. Tempo je stupeň rychlosti hudebního dění a udává se na začátku skladby nad notovou osnovou. Tempo se udává metronomem nebo různými slovními výrazy jako largo, adagio, grave pro pomalé tempo, pro středně rychlé tempo andante, moderate 19

21 a pro rychlé tempo allegro, vivace, presto [12]. Notový klíč se zapisuje vždy na začátku notové osnovy na každém řádku a udává umístění jednotlivých not v notové osnově. Nejpoužívanější je klíč houslový nebo basový, ale můžeme se setkat i s klíčem altovým nebo tenorovým [12]. Obr. 2.3: Příklad značení jednotlivých klíčů Obr. 2.4: Pozice not v notových klíčích Předznamenání se označuje na začatku řádku notové osnovy a říká nám, v jaké tónině je daná skladba zapsána. Tónina určuje melodiku, harmonii i výraz skladby. Předznamenání se značí pomocí příslušného počtu křížků, či béček, které zvyší čí sníží tón o půltón. Předznamenání pak zjednodušuje notový zápis a notu zapsanou na dané pozici hrajeme o půltón výš či níž v průběhu celé skladby [13]. Stupnice je stoupající nebo klesající řada tónů v rozmezí jedné oktávy, uspořádaná podle určitých pravidel. Tato pravidla se týkají především počtu tónů v oktávě a vzdálenosti mezi jednotlivými tóny stupnice. Vzdálenosti mezi stupni stupnice mohou být stejné (například celotónové) nebo různé. Nejpoužívanější stupnice jsou durové, které mají vzdálenosti mezi jednotlivými tóny stupnice celotónové kromě vzdálenosti mezi třetím a čtvrtým tóném, sedmým a osmým tónem ve stupnici [12]. 20

22 Obr. 2.5: Příklady předznamenání Takt je rozdělení hudebního toku na stejné časové oddíly, jenž jsou vyznačeny taktovou čárou. Je složen z určitého počtu těžkých a lehkých dob stejného trvání a podle toho se dělí na sudé takty (2/4, 4/4, 6/4) a liché takty (3/4, 3/8, 6/8) [13]. Obr. 2.6: Takty Noty a pomlky jsou základními symboly notace, udávající, kdy je na nástroj vydáván zvuk a kdy ne. Délka dané noty či pomlky je znázorněna použitým symbolem. Jednotkou času v hudební notaci je doba. Pro noty a pomlky máme definovanou následující posloupnost symbolů: Obr. 2.7: Délky not a pomlk První symbol v této posloupnosti trvá čtyři doby a každý další bude o polovinu kratší, to znamená, že druhá nota i pomlka v dané posloupnosti budou trvat dvě doby [7]. Výška not je znázorněna její pozicí na pěti linkách notové osnovy a notovým klíčem. Notový klíč, který jsme si popsali výše, zpřehledňuje notový zápis. Pro vyšší 21

23 tóny se používá houslový klíč a pro basové tóny se používá basový klíč. Obr. 2.8: Výšky not Z těchto základních tónů se můžeme dostat na zvýšené tóny vložením symbolu křížku před notu. Snížení tónu docílíme vložením béčka před notu [7]. Obr. 2.9: Příklady křížků a béček 22

24 3 Metody transkripce hudby Hudební signály jsou většinou tvořeny součtem několika signálů různých frekvencí. Abychom získali přehled o složení takového signálu, musíme od sebe oddělit jednotlivé frekvenční složky. Pro oddělení jednotlivých frekvenčních složek slouží spektrální analýza, která převede signál z časové domény, kde je signál vzorkovaný v čase, do frekvenční domény, kde jsou informace o přítomnosti jednotlivých frekvencí a fází signálů. K výpočtu frekvenčního spektra slouží algoritmy označované jako Fourierova transformace [17]. Fourierovu transformaci dělíme do čtyř kategorií podle signálů, na které můžeme narazit: 1. Periodický spojitý signál se pohybuje od záporného do kladného nekonečna a opakují se v něm periodické vzory (např. sinusové vlny). Fourierovou transformací tohoto signálu je Fourierova řada [17]. 2. Neperiodický spojitý signál se pohybuje od záporného do kladného nekonečna a neopakují se v něm periodické vzory. Fourierovu transformaci tohoto signálu nazýváme obecně Fourierova transformace (FT) [17]. 3. Diskrétní periodický signál je definovaný v diskrétních bodech v čase, který se v čase periodicky opakuje. Tento typ Fourierovy transformace se nazývá Diskrétní Fourierova transformace (DFT) [17]. 4. Diskrétní neperiodický signál je definován pouze v diskrétních bodech mezi záporným a kladným nekonečnem a neopakuje se v periodickém vzoru. Tato Fourierova transformace se nazývá Fourierova transformace s diskrétním časem (DTFT) [17]. Jediná metoda, která je použitelná ke zpracování signálů pomocí počítačů, je DFT. Digitální systémy mohou pracovat pouze s informací, která je diskrétní a konečná v čase [17]. Nejdříve si popíšeme standardní algoritmy používané pro analýzu signálu, u kterých nepotřebujeme zkoumat strukturu závislou na hudební stupnici. Tyto algoritmy mají lineární frekvenční rozlišení, tj. po provedení transformace získáme spektrum, které má na frekvenční ose hodnoty odpovídající zkoumané frekvenci a jejím celočíselným násobkům. Pro hudební transkripci budeme ovšem potřebovat algoritmy, 23

25 Obr. 3.1: Různé typy fourierovy transformace dle typu vstupního signálu [17] které respektují logaritmickou povahu rozdělení frekvence jednotlivých tónů. 3.1 Diskrétní Fourierova transformace - DFT Algoritmus pro výpočet Diskrétní Fourierovy transformace je následující [8]: X[k] = N 1 n=0 x(n)e j2πk n N (3.1) Výpočet DFT detekuje v signálu přítomnost základní frekvence a jejich vyšších harmonických frekvencí podle indexu k. Důležitým faktorem DFT je, že okno délky N obsahuje právě m celých period k-té harmonické a m+1 celých period k+1 harmonické, tj. rozdíl v počtu period mezi dvěma sousedními frekvenčními složkami je minimálně jedna [8]. Algoritmus pro lepší názornost lze převést dle Eulerova vztahu na tvar obsahující místo exponenciály součet funkcí sinus a kosinus. Algoritmus DFT přepočítaný podle Eulerova vztahu (obr. 3.2) na součet funkcí sinus a kosinus: X[k] = N 1 n=0 x(n)[cos(2πk n N ) jsin(2πk n )] (3.2) N 24

26 Obr. 3.2: Eulerův vzorec pro úhel φ [14] Vstupní data obsahují signál, který chceme analyzovat a výstupní signál obsahuje amplitudy složek sinových a kosinových vln. Vstupní signály jsou charakteristikou v časové doméně a výstupní signály ve frekvenční doméně. Frekvenční doména obsahuje stejný objem informací jako časová doména, jen v jiné formě. Pokud známe jednu doménu, můžeme z ní odvodit druhou. V případě, že známe časovou doménu, výpočet frekvenční domény se nazývá přímá DFT neboli FDFT. Pokud známe frekvenční doménu, výpočet se nazývá inverzní DFT neboli IDFT [8] Rychlá Fourierova transformace (FFT) Podle definičního vzorce přímé DFT pro záznam o délce okna N je zřejmé, že k vyčíslení algoritmu je potřeba N 2 operací, což je celkem zdlouhavá operace. Až Cooley a Tukey objevili metodu značného urychlení výpočtu, zvanou rychlá Fourierova transformace (Fast Fourier transform - FFT). Podstatou metody FFT je volba zvláštní délky záznamu, a to N = 2 m, kde m je přirozené číslo. Tato volba vede k délce okna o nějaké mocnině dvojky, např. N = 128, 256, 512, 1024, 2048, 4096, Vzhledem k délce záznamu v mocnině dva lze posloupnost vzorků ve vzorci (2.1) rozdělit na dvě části, a to se sudým a lichým pořadím. Vzorec pro přímou transformaci získá tvar: X[k] = N 1 x(n)e j2πk n N n=0 N 2 1 = n=0 x(2n)e j2πk n N 2 +e j2πk n N N 2 1 n=0 x(2n+1)e j2πk n N 2 (3.3) Tím jsme transformaci obsahující N bodů rozdělili na dvě transformace obsahující N/2 bodů a stejným způsobem budeme pokračovat dál směrem do dalších dělení, až 25

27 bude mít výsledná posloupnost jen dva prvky. Počet operací kompletní transformace se tak zmenší z N 2 na N*log(N). 3.2 Funkce časových oken Časová okna jsou často používána v analýze signálu a mají nenulové hodnoty pouze ve vybraném intervalu. Fourierovou transformací jednoduché funkce jako cos(ωt) vzniknou ve spektru nenulové hodnoty i na jiných frekvencích než ω. Tento jev je větší blíže kmitočtu ω a nazývá se spektrální prolínání. Jestliže signál obsahuje dvě frekvenčně blízké sinusoidy, vlivem prolínání spektra může dojít k jejich zamaskování a ztrátě schopnosti mezi nimi rozlišit. K témuž jevu může dojít v případě velkých rozdílů v amplitudách signálu. Těmto jevům můžeme zabránit vhodnou aplikací časového okna [16] Obdelníkové okno Též někdy nazýváno pravoúhlé či Dirichletovo a je nejjednodušší funkcí časového okna, které je na určeném intervalu rovno 1. Toto okno zanechává jeho tvar a pouze ořezává signál na zvolený interval [16]. w(n) = 1 (3.4) Obr. 3.3: Grafické znázornění obdelníkového okna [16] 26

28 3.2.2 Hammingovo a Hannovo okno Obě okna jsou založena na funkci sinus a vylepšují schopnost rozpoznat blízké frekvence a amplitudově rozdílné signály. Hammingovo okno je definováno dle (3.5). w(n) = α β cos ( 2πn N 1 ) β = 1 α (3.5) Kde N je délka okna, n je proměnná funkce nabývající hodnot {0,..., N-1}, parametr α definuje strmost Hammingova okna a nabývá hodnot <0,5;1>. Při hodnotě 0,5 funkce začíná i končí v nule a pro hodnotu 1 je funkce shodná s obdelníkovým oknem. Optimální hodnota pro parametr α = 0,53836 [16]. Obr. 3.4: Grafické znázornění Hammingova okna [16] Hannovo okno je definováno dle (3.6). w(n) = 0, 5[1 cos ( 2πn N 1 )] = πn sin2 ( N 1 ) (3.6) Kde N je délka okna a n je proměnná funkce nabývající hodnot {0,..., N-1} Blackmanovo okno Blackmanovo okno je definováno dle (3.7). 27

29 Obr. 3.5: Grafické znázornění Hannova okna [16] w(n) = a 0 a 1 cos ( 2πn N 1 )) + a 2 cos ( 4πn N 1 )) a 0 = 1 α 2 ; a 1 = 1 2 ; a 2 = α 2 (3.7) Někdy se termínem Blackmanovo okno rozumí Blackmanův ne zcela vážný návrh pro α = 0,16 (a 0 = 0,42; a 1 = 0,5; a 2 = 0,08), který se blíží přesnému Blackmanovu oknu, které nabývá hodnot a 0 = 7938/ ,49656; a 1 = 9240/ ,49656 a a 2 = 1430/ , [16]. Obr. 3.6: Grafické znázornění Blackmanova okna [16] 28

30 3.3 Fourierova transformace s logaritmickým frekvenčním rozlišením Když vyneseme frekvenční složky harmonického signálu na logaritmickou osu, tak relativní vzdálenosti jsou vždy stejné a nezávislé na fundamentální frekvenci. Příklad tohoto jevu můžeme vidět na obrázku (3.7), který je grafem spektra hypotetického signálu s harmonickými frekvenčními složkami f, 2f, 3f, atd. Vzdálenost mezi dvěma prvními složkami je log(2) mezi druhou a třetí složkou log(3/2) atd. Absolutní vzdálenost mezi frekvenčními složkami závisí tedy na fundamentální frekvenci, zatímco relativní frekvence jsou konstantní [15]. Obr. 3.7: Ukázka Fourierovy transformace harmonických složek signálu na logaritmické frekvenční ose [15] Standardní lineární rozdělení frekvenčního spektra získané diskrétní Fourierovou transformací rozděluje harmonické složky signálu do frekvenčních pásem o konstantní šířce. Poměr vzdáleností a celkové umístění vzoru zavisí na fundamentální frekvenci. Výsledkem je pracnější sledování vlastností signálu jako barva, rychlost nástupu a útlumu [15]. Logaritmická reprezentace spektra generuje konstantní vzory pro spektrální složky signálu a problém identifikace nástroje či fundamentální frekvence spočívá pouze v rozeznání dříve naučeného vzoru [15]. Pro získání logaritmické reprezentace spektra zvukového signálu můžeme použít algoritmus rychlé Fourierovy transformace a nanést ji na logaritmickou osu. V tomto případě přenesení dat z lineární na logaritmickou osu získáme málo informací 29

31 v oblasti nízkých frekvencí a hodně informací v oblasti vysokých frekvencí. Tóny v nízkých frekvencích mají mezi sebou velice malé vzdálenosti na frekvenční ose, takže by docházelo k tomu, že by padlo několik tónů do některého z frekvenčních pásem, zatímco u vysokých tónů by několik frekvenčních pásem zbytečně detekovalo tentýž tón a jeho okolí [15]. Rozlišení Diskrétní fourierovy transformace [15]: Δf = fs N (3.8) Například jestliže máme okno o délce 1024 vzorků, vzorkovací frekvenci vzorků za sekundu a rozlišení bodů přibližně 31,3 Hz. Na spodní hranici rozsahu houslí je tón G 3 o frekvenci 196 Hz a Gis 3 o frekvenci 207,65 Hz. Rozdíl mezi tóny G 3 a Gis 3 je 11,65 Hz, to je 6% dle (3.9) a rozlišení je 31,3 Hz, což je 16% frekvence tónu G 3. To je o hodně více než 6%, takže tón Gis 3 nebude detekován [15] = 0, 059 6% (3.9) Horní hranice na rozsahu klavíru je nota C 8 a její frekvence je 4186 Hz a rozlišení 31,3 Hz je rovno 0,7% frekvence tónu. V tomto případě počítáme s daleko více vzorky než potřebujeme. Fourierova transformace s logaritmickým rozlišením spočívá v tom, že budeme počítat jen frekvence, které odpovídají půltónům hudební stupnice podle zadaného rozsahu. Pro 12 půltónů na oktávu byl vztah pro výpočet frekvence tónů následující [15]: f k = ( 12 2) k * f min (3.10) Kde f min je nejnižší analyzovaná frekvence signálu. Nejjednodušší verze matematického vztahu Fourierovy transformace s logaritmickou stupnicí vypadá následovně [15]: X[k] = N k 1 n=0 Kde délka okna N k je definována podle rovnice [15]: x(n)e j2π n N k (3.11) 30

32 N k = f s f k (3.12) Kde f s je vzorkovací frekvence a f k je frekvence analyzovaného tónu. Z toho plyne, že toto okno obsahuje právě jednu periodu základní frekvence. Největším nedostatkem Fourierovy transformace s logaritmickou stupnicí je nedostatečná rozlišovací schopnost [15]. 3.4 Konstantní Q transformace (CQT) Konstantní Q transformace (CQT) je upravenou variantou Furierovy transformace s logaritmickou stupnicí a řeší její nedostatky s rozlišovací schopností. Matematický vztah CQT je následující: X CQ [k, n] = 1 N k 1 N k n=0 W k,n x(n)e j2πn f k fs (3.13) Kde k = 1, 2,..., k max indexují jednotlivé čtvrttóny, f k popisuje frekvenci k-tého tónu, f s je vzorkovací frekvence a x(n) je n-tý vzorek zpracovávaného signálu. W k,n je funkce datového okna (například Obdelníkové nebo Hammingovo). Pokud tedy bude datové okno 1 na celém intervalu (0, 1..., N k 1), odpovídá funkce obdelníkovému oknu. Toto okno má však nevhodné vlastnosti vzhledem k přesahům frekvencí do sousedních frekvenčních pásem. Použijeme proto Hammingovu funkci, která je definována jako: W k,n = α + (1 α) * cos 2π n N k (3.14) Kde α = 25/46 a n = 0,1...,N k -1 [15]. Frekvenci f k vypočítáme podle vztahu: f k = f 1 2 k 1 24 (3.15) Kde f k spadá do rozsahu mezi minimální f 1 a Nyquistovou frekvencí (polovina vzorkovací frekvence). Minimální frekvence může být zvolena těsně pod dolní hranicí 31

33 rozsahu hudebního nástroje [2]. Oproti Fourierovy transformace s logaritmickou stupnicí CQT nepočítá s rozlišením na půltóny (6%), ale na čtvrttóny (3%) [2]. Číslo 3% vychází z rozdílu sousedních frekvencí, který je roven 0,03 násobku základní frekvence podle vztahu: , 03 (3.16) Máme tedy konstantní poměr frekvencí a rozlišení: Q k = f k Δf k (3.17) Odtud je název Konstantní Q transformace. Q faktor bude tedy konstantní pro každé k: Q = 1 (2 1/24 1) (3.18) Šířka pásma Δf k diskrétní Fourierovy transformace je rovna podílu vzorkovací frekvence a velikosti okna N k. Aby mohl být podíl konstantní, musí se velikost okna měnit nepřímo úměrně k frekvenci. Konkrétně se vzorkovací frekvencí f s [2]. Velikost okna pro frekvenci f k je dána jako: N k = f s Δf k = f s f k (2 1/24 1) = f s f k * Q (3.19) Tab. 3.1: Srovnání vlastností CQT a DFT [15] CQT DFT frekvence (2 1/24 ) k * f min k * Δf exponenciální dle k lineární dle k Délka datového okna proměnná: N k = (f s /f k )*Q konstantní N Rozlišení Δf proměnná: f k /Q konstantní: f s /N f k /Δf k konstantní: Q proměnná: k Počet cyklů v okně konstantní: Q proměnná: k 32

34 3.4.1 Optimalizace CQT pomocí filtru dolní propust a podvzorkováním CQT nepatří k algoritmům vhodným, z důvodů výpočetní náročnosti, k přímé implementaci, proto ho při použití budeme muset optimalizovat. Máme-li proměnnou délku vstupního datového okna, je zřejmé, že pro hluboké tóny budeme potřebovat zpracovávat více vzorků než pro vysoké tóny. Začneme tedy zpracovávat signál od nejvyšší oktávy zkoumaného rozsahu a po zpracování dané oktávy signál podvzorkujeme na poloviční frekvenci tím, že odebereme každý druhý vzorek signálu. Tím se frekvence signálu při zachování původní periody vzorkování zdvojnásobí a z hudebního hlediska se celý signál zvýší o oktávu. Nesmíme přitom ale porušit Shannon-Kotelnikův teorém. Proto před podvzorkováním odfiltrujeme ze signálu frekvence větší než 1/2 Nyquistovy frekvence, aby odfiltrovaný signál neobsahoval frekvence větší než je Nyquistova [8]. Např. pokud máme signál navzorkovaný s frekvencí Hz a Nyquistovou frekvencí Hz, tak před podvzorkováním na Hz musíme aplikovat filtr na frekvence nad 8000 Hz. 3.5 Autokorelační funkce (ACF) Autokorelační funkce provádí porovnání signálu s verzí sebe sama posunutou o určitou hodnotu v čase. Funkce má velmi dobré schopnosti při měření vzájemné podobnosti dvou periodických signálů. Metoda spočívá ve výpočtu hodnoty korelace signálu v závislosti na pozdržení korelovaného signálu o časový posun τ. Pro hodnotu periody T by tato funkce měla dosahovat maxima, protože naprosto periodické funkce se sebou korelují nejlépe při jejich posunu o celočíselný násobek periody. Autokorelační funkce typu A je definována následovně [7]. ACF A (τ) = N 2 1 j=0 x j x j+τ 0 τ < N 2 (3.20) Algoritmus využívá hodnoty signálu v bodech < 0, N + τ >. Velikost okna signálu 2 pro zjištění úrovně korelace pro periodu τ je tedy závislý na τ. Pro naprosto periodické signály toto nemusí být problém, u reálných signálů se však může na konci počítaného okna vyskytnout určitá aperiodicita, která ovlivní výpočet pouze pro vyšší hodnoty τ. Proto si definujme autokorelační funkci typu B [7]. ACF B (τ) = N 1 τ j=0 x j x j+τ 0 τ < N (3.21) 33

35 Změna spočívá v tom, že korelace je prováděná pro libovolné τ v maximálním rozsahu okna. Pro získání hodnoty ACF B (τ) jsme zohlednili okno celého signálu [7]. Obr. 3.8: Hodnota autokorelační funkce na okně signálu noty A 4 [7] Na obrázku (3.8) jsou hodnoty obou verzí ACF vypočítané pro jedno okno signálu tónu A 4 hrané na flétnu s periodou T = 100, kterou značí bílá tečka. U algoritmu ACF B můžeme pozorovat, že s postupem času se hodnota autokorelace zužuje a je to způsobeno tím, že počet členů v sumě s rostoucím τ klesá. Proto zavedeme ještě autokorelační funkci typu C, která vyvažuje zužující efekt vážícím koeficientem, jenž přímo úměrně roste v závislosti s rostoucím τ [7]. ACF C (τ) = N N τ N 1 τ j=0 x j x j+τ 0 τ < N (3.22) 34

36 4 Návrh metody pro transkripci hudby V této kapitole popíšu navrženou metodu pro transkripci hudby. Zabýval jsem se především detekcí not, ale návrh obsahuje i jednoduchou detekci rytmu. 4.1 Detekce not Navržená metoda vychází z Fourierovy transformace s logaritmickým frekvenčním rozlišením a z konstantní Q transformace, které jsou popsané v kapitole (3). V metodě budu počítat pouze frekvence, které odpovídají půltónům hudební stupnice podle zadaného rozsahu. Na každou oktávu připadá dvanáct půltónů, takže vztah pro výpočet k-té frekvence bude následující: f k = ( 12 2) k * f min (4.1) kde f min je minimální analyzovaná frekvence a k = 0, 1,...k max a k max určím dle (4.2). k max = log( fmax f min ) 12 * log(2) (4.2) Kde f max je maximální analyzovaná frekvence. Index k max zaokrouhluju vždy na celé číslo. Dále si určím délku okna N, které představuje možnou časovou změnu frekvence. Tuto změnu, kdy může dojít ke změně frekvence, jsem stanovil na 100 milisekund. Přepočet na počet vzorků v této časové změně provádím dle vzorce (4.3). N = 0, 1 * f s (4.3) Kde f s je vzorkovací frekvence. Přes celou délku tohoto okna N provádím diskrétní Fourierovu transformaci, která vypadá následovně: X[k, n n+n N ] = j=n W k (j)x(j)a k (j) (4.4) kde k = 0, 1,..., k max a indexuje jednotlivé frekvence půltónů a n = 0, N, 2N, 3N...n max a n max odpovídá počtu časových intervalů N max, který vypočítám podle vzorce (4.5), 35

37 vynásobeným délkou okna N. Počet časových intervalů N max zaokrouhluji na celá čísla dolů. N max = S N (4.5) Kde S je počet vzorků v celé skladbě. Dále x(j) ze vzorce (4.4) představuje vstupní signál skladby a a k (j) je funkce, která obsahuje součet sinových a kosinových vln se zvolenou frekvencí. Funkce a k (j) je definována jako: a k (n) = W (j)e j2πn f k fs (4.6) kde W (j) je funkce datového okna. Ve svém návrhu metody jsem zvolil okno pravoúhlé, ale můžeme zvolit i jiné okno, například Hannovo či Blackmanovo. Následně si z matice X vypočítám matici Y tak, že každý řádek matice X vynásobím funkcí a k (n) nasledovně: Y [k, n + q] = X[k, n]a k (q) (4.7) kde k = 0, 1, 2,..., k max, n = 0, N, 2N,..., n max a q = n, n + 1, n + 2,..., n + N. Z této matice vyberu všechna čísla větší než dvacet procent maximálního čísla obsaženého v matici Y a označím ho jako možnou notu v analyzované skladbě. Jméno a přibližný začátek noty zjistím podle toho, ve kterém indexu se dané číslo nacházi. Frekvence nižších not jsou blíže u sebe a proto většinou zasahují do okolních frekvencí. Když zahraji v akordu dva půltóny vedle sebe, tak akord bude znít falešně a s největší pravděpodobností tento interval v akordu nebude. V případě, že algoritmus detekuje dva půltóny vedle sebe, vyberu ten, který se jeví jako pravděpodobnější, tedy který má větší číslo v matici Y. 4.2 Detekce rytmu Detekci rytmu provádím ze vstupního signálu tak, že zjistím, v jakém čase se projeví velká změna amplitudy signálu. Při této změně amplitudy vstupního signálu dochází i k zahrání nového tónu. Příklad vstupního signálu je na obrázku (4.1). Z nástupu tónů či akordů určím jednoduše i jejich délku tak, že akord nebo tón bude končit v momentě nástupu dalšího tónu. Z algoritmu pro detekci not mám 36

38 Obr. 4.1: Příklad vstupního signálu u každého tónu i informaci přibližně v jakém čase či vzorku se tón vyskytuje. Následně všechny tóny, co se vyskytují v jednom časovém intervalu, budou jeden akord. V algoritmu pro detekci not, kvůli jednoduššímu řešení a pro přehlednost notového zaznámu, rozlišuji mezi třemi typy délky noty a to celou, půlovou a čtvrťovou. Nejdřív si najdu nejdelší časový interval akordu nebo noty ve skladbě a tomu přiřadím notu celou. Ostatní délky not zjistím tak, že interval noty celé bude podobně dlouhý jako ten nejdelší. Interval noty půlové bude dvakrát menší a interval noty čtvrťové bude čtyřikrát menší. Počítám, že interval se může lišit zhruba o 100 milisekund oproti poměru vůči nejdelšímu intervalu skladby. 37

39 5 Dosažené výsledky metody Tato kapitola prezentuje výsledky testování algoritmu pro detekci výšky not. Výsledky detekce not jsem hodnotil ve dvou databázích skladeb. První větší databáze obsahuje pouze krátké skladby s jedním akordem. Druhá menší databáze obsahuje delší skladby, které metoda analyzuje i včetně rytmu. Obě databáze jsou popsány v následujících kapitolách. 5.1 Databáze akordů Z důvodu nenalezení vhodné databáze testovacích skladeb pro vyhodnocení úspěšnosti jsem si vytvořil vlastní databázi. Vytvořená databáze obsahuje 480 nahrávek akordů C dur, C moll, C dur 7 a C moll 7, což jsou akordy s přidaným sedmým tónem. V akordech C dur a C moll jsem testoval i obraty akordů, což znamená, že akordy budou obsahovat stejné tóny jako akord v základním provedení, ale v jiném pořadí. Každý akord byl zahrán ve druhé, třetí, čtvrté, paté, šesté a sedmé oktavě. Z důvodu statistického vyhodnocení výsledků jsem stejný akord v jednotlivých oktávách nahrál desetkrát, ale pokaždé s jinou intenzitou nebo délkou. Výsledky jsem hodnotil ze dvou hledisek. V prvním jsem hodnotil procentuální úspěšnost detekce výšky noty tak, že jsem zjišťoval, jestli metoda danou notu, která je v akordu obsažena, našla. Následně notám přiřazuji váhu podle toho, jak moc je detekovaná nota pro rozpoznání akordu důležitá. Jako příklad uvedu akord c dur, který má tóny tři: C, E a G. V akordu C dur je nejdůležitější nota C, která určuje že se jedná o akord C a druhá nejdůležitější nota je E, podle které zjistíme, jestli se jedná o akord mollový nebo durový. V tabulce (5.1) jsou přiřazené váhy not v jednotlivých akordech. Druhé hledisko, které jsem hodnotil, je, když metoda detekovala notu, která ve skladbě není. Počet chybně detekovaných not je uveden v tabulce (5.4) a v grafu (5.3). Počet chybně detekovaných not jsem hodnotil od druhé do sedmé oktávy s tím, že v každě oktávě bylo analyzováno 80 akordů. V grafu (5.1) a v tabulce (5.2) můžeme vidět procentuální úspěšnost nalezení noty v akordu. Úspěšnost je zobrazena na každou oktávu zvlášť. Analyzovaný rozsah frekvencí se pohybuje od 65 Hz do 4000 Hz. Z grafu (5.1) je patrné, že největší úspěšnost byla ve čtvrté oktávě, kde je skoro stoprocentní. Za to nejmenší úspěšnost byla v nižších oktávách, což je hodně způsobeno menšími vzdálenostmi jednotlivých 38

40 Tab. 5.1: Složení a váhy jednotlivých not v akordech Akord Tón Váha[%] c dur c moll c dur 7 c moll 7 C 50 E 30 G 20 C 50 Dis 30 E 20 C 40 E 30 G 20 Ais 10 C 40 Dis 30 G 20 Ais 10 Tab. 5.2: Úspěšnost detekce not v jednotlivých oktávách - v každé oktávě analyzováno 80 skladeb Číslo oktávy Uspěšnost[%] 2 76, , , , , ,13 frekvencí tónů mezi sebou. Metoda někdy vyhodnotí, že se jedná o frekvenci sousedního tónu. V grafu (5.2) a v tabulce (5.3) je procentuální úspěšnost detekce not každého akordu. U akordů C dur a C moll jsem testoval i obraty akordů, proto tyto akordy byly testovány na 180 skladbách. Akordy C dur 7 a C moll 7 byly testovány na 60 skladbách. Nejlépe dopadly detekce akordů C dur a C dur 7. 39

41 Obr. 5.1: Grafické znázornění úspěšnosti detekce not v jednotlivých oktávách - v každé oktávě analyzováno 80 skladeb Tab. 5.3: Úspěšnost detekce not v jednotlivých akordech Akord Úspěšnost[%] c dur 85,78 c moll 79,06 c dur 7 82,67 c moll 7 79,67 V grafu (5.3) a v tabulce (5.4) je uvedena průměrná chyba na jednu skladbu v detekci výšky noty. Nejvíc se chyby vyskytovaly v sedmé oktávě a to 80 chyb na 80 testovaných akordů, což znamená, že průměrně v každém akordu se vyskytovala aspoň jedna chyba. V druhé oktávě, kde bylo počet chyb 66 na 80 testovaných akordů se aspoň jedna chyba průměrně vyskytovala v 80 procentech skladeb. Ve čtvrté a páté oktávě se chyby skoro nevyskytovaly. Chyby v nižších oktávách byly způsobené menší vzdaleností mezi frekvencemi jednotlivých tónů a chyby ve vyšší oktávách byli způsobené nejspíše tím, že vyšší frekvence zahrané na hudební nástroj mají nižší intenzitu zvuku a v detekovaných notách se vyskytovaly i nižší frekvence, které způsobily tak velkou chybu. 40

42 Obr. 5.2: Grafické znázornění úspěšnosti detekce not v jednotlivých akordech Tab. 5.4: Počet chybně analyzovaných tónů v jednotlivých oktávách - v každé oktávě analyzováno 80 skladeb Číslo oktávy Průměrný počet chyb na skladbu[-] Vypočtená celková procentuální úspěšnost detekce not ze všech oktáv a akordů je 82,43 procent a celkový počet chyb v 480 skladbách je 225 chyb, které se vyskytují hlavně v nízkých a vysokých frekvencích tónů. 5.2 Databáze skladeb s rytmem Pro další test metody jsem vytvořil ještě jednu menší databázi, která čítá tři skladby s jednoduchým rytmem. Skladby jsou v pomalejším tempu a jsou dlouhé od 10 do 45 sekund. V této databázi jsem hodnotil znělost a zachování melodie skladby. Výsledkem transkripcí těchto skladeb byl vytvořený notový záznam z MIDI souboru. Pro 41

43 Obr. 5.3: Grafické znázornění počtu chybně analyzovaných tónů v jednotlivých oktávách - v každé oktávě analyzováno 80 skladeb srovnání vždy uvedu notový záznam nahrané skladby z databáze a vytvořený notový záznam analyzované skladby. Skladby jsem nehodnotil statisticky podle správnosti umístění not, ale podle zachování harmonie a znělosti skladby. Tyto faktory lze posoudit poslechem originální skladby s výsledkem analýzy ve formátu WAVE, které se nachází na přiloženém CD. V každé analyzované skladbě jsem ve výsledném notovém zápisu barevně označil odlišnosti od originálního notového zápisu. Pod výsledným notovým zápisem se nachází jednotlivě vysvětlivky, co znamená jaká barva. První analyzovaná skladba byla část písničky Heart of Courage. V horní časti obrázku (5.4) je přesný notový zápis nahrané skladby a v dolní části je výsledný notový zápis analyzované skladby. Hned na první pohled si můžeme všimnout značných odlišností, jako jsou rytmus levé ruky nebo také přehlednost notového záznamu. Ve výsledném notovém zápisu se nachází víc not než v originálním notovém záznamu, což je způsobeno tím, že v analýze se objevují i vyšší harmonické frekvence. Metoda nezvládne vyhodnotit jenom základní frekvenci a označí i tóny vyšší o jednu oktávu. V případě výskytu vyšších harmonických frekvencí ve výsledném notovém zápisu se nemění harmonie a znělost skladby. Další odlišnost porovnávaných notových zápisů je v tom, že některé analyzované noty jsou zapsány v basovém klíči místo houslového, jak je to v originálním zápisu, což může na první pohled vypadat jako chybně detekovaná nota. Pozice not v notových klíčích je po- 42

44 Obr. 5.4: Originální notový zápis s vytvořeným notovým zápisem analyzované skladby Heart of Courage psána výše na obrázku (2.4). Ve výsledném notovém zápisu se také nachází jedna neznělá nota, která je na obrázku (5.4) v červeném kruhu. Nota byla detekována o půl tón níže než by měla být. Další analyzovaná skladba je část písničky Stay With Me, která je dlouhá přibližně 15 sekund. Originální notový zápis je opět v horní části a výsledný notový zápis v dolní části obrázku (5.5). Ve skladbě Stay with me se objevují tři jednodušší akordy, které se dvakrát opakují. V této skladbě byl v prvních třech akordech problém najít spodní tón akordu. V akordech se opět vyskytují i tóny z vyšší oktávy. Něktéré tóny analyzované skladby jsou také zapsány v basovém klíči místo houslového, jak je to v originálním notovém zápisu. Poslední a nejjednodušší analyzovaná skladba je vymyšlená a hrají se v ní akordy G dur, D dur, e moll a C dur. V horní částí obrázku (5.6) se nachází notový zápis nahrané skladby a v dolní části notový zápis výsledku analýzy skladby. V této skladbě se originální zápis od výsledného liší na první pohled jen v pár případech. Nevyskytují se zde neznělé noty a celková harmonie skladby je zachovaná. 43

45 Obr. 5.5: Originální notový zápis s vytvořeným notovým zápisem analyzované skladby Stay With Me Obr. 5.6: Originální notový zápis s vytvořeným notovým zápisem analyzované skladby 44