TW200813977A - Automatic pitch following method and system for music accompaniment device - Google Patents

Description

200813977 九、發明說明： 【發明所屬之技術領域】 本發明係涉及一種音樂伴奏裝置之自動跟 系統之創新設計者。 乃法以及 【先前技術】 下唱歌 音準， ’便造 的致果 士按一般人在有音樂伴奏（如伴唱機）的情形 日守’在往會因為伴奏音樂的音調過高或過低而失去 如此當演唱者的歌聲音調跟不上伴奏音樂之音調時 成歌聲與音樂聲不協調的情形’進而大幅影響歌唱 夠嚷立:伴^目前雖有相關業界針對上揭問題研發出能 :伴奏裝置隨著演唱者歌聲音調而改變伴奏音樂音 :二:；惟，其採用之技術特點，係必須測量演唱者 預定時間週期，復藉由運算獲取此時間週期之 】：：」，再透過該「平均音調」與一匹配伴奏音樂 疋* $考日调加以比齡以接祉 樂之音調配訊號，進以轉變伴奏音 於_曰^ ’此種習知音樂伴奏之自動跟調方法，i對 瞀而猫π 調之计π疋取一段時間週期之音調加以計 斤獲仔一平均值（即平均音 θ 甘—a 個平均值的時間點門f ①、、母:人獲得- L占間隔（如5秒）已然造成比對上產生明 二;遲的情形，若再加上計算、比對所需的時間，則延遲 的障形將更加明顯，田 法於實際應用姑驗中發現’：音樂伴奏之自動跟調方 、，二鲦中發現，其改變伴奏音樂音調以符合演 5 200813977 =者音調的過程並無法達到較佳之即時性，往往必須等待 决唱者唱完—句歌詞之後，於下-句歌詞進行時才會達成 音樂音：之轉變；且上揭習知方法係為兩個固定點數值的 比對’貫難以獲得較高準確性之移調值，“匕顯然不足因 應使用者最期盼的需求’實有再加以改善突破之空間存在 〇 是以，針對上述習知音樂伴奏裝置之自動跟調方法使 用上所存在之問題點，如何 蚀处私s _ U — I出一種能夠更具理想實用 性之創新構造，實有待相關章界 Μ月灯仰關糸介再加以、思索突破之目標及 方向者。 有鑑於此，發明人本於多年從事相關產品之製造開發 與設計經驗，針對上述之目#，詳加設計與審慎評估後， 終得一確具實用性之本發明。 【發明内容】 本發明之主要目的，係在提供一種音樂伴奏裝置之自 動跟調方法’令人們唱歌時，能根據演唱者的音調，即時 且自動地調整伴奏歌曲的音調，以減少歌聲失去音準的機 會，並適合自己的歌唱的音域；其技術特點包括：提供一 音調估測器，以將使用I的聲音每隔一段預定時間計算盆 基本頻率（Fundamental Frequency);在一音階序列記錄哭中了 將使用者聲音的基本頻率轉為使用者音階參數序列了並記 錄之；藉-音階匹配器以㈣使用者音階參數序列盘主: 律音階序列之差異性；復利用移調判斷器決定是否須移= 及何時移調，若需移調，則自動調整音樂合成器中之音階 6 200813977 麥數’最後音樂合m將讀位記狀樂譜合成實際的 音樂波形二然後與使用者歌聲-起經混音器(mixer)、：叭 輸出者；藉此創新獨特設計，使用者之歌聲音調計算方式 係採用每-小段時間計算—次之方式，復藉該音階:列^ 錄器將使用者聲音的基本頻率料使用者音階參數序列； 亦即’本發明係、比對主旋律音階序列及使用㈣聲音階序 列，所述音階匹配器係比對一段音階序列的匹配程度:屬 於動態比對音階曲線之模式，並輸出其最佳匹配時的音階 差，因為該音階匹配器是動態比對一段時間的音階序= 線，故所得之移調值具有較高之準確性，能夠獲得最佳之 音調調整效果，更符合使用者之所需。 又，本發明之技術特點係直接取得已記錄歌曲之主旋 律，並無需複雜的運算過程，具有較低之系統運算量，佔 用較低的系統資源，故整體具有較高之運作效率和即時性 ’可大幅改善習知系統延遲之問題點，達到更加實用好用 之進步性者。 【實施方式】 請參閱第1 、2、3圖所示，係本發明音樂伴奏裝置 之自動跟調方法之較佳實施例，惟此等實施例僅供說明之 用，在專利申請上並不受此結構之限制；所述自動跟調方 法係包括： 如第1圖所示，首先將使用者的聲音每隔一小段時間 (約0.1秒），經由一音調估測器11計算其基本頻率（Fund 200813977 amental Frequency)，該音調估測器u乃是計算此段聲音之基 本週期或頻率，它可由計瞀异去倍 A 干匕」田<斤取大值之自相關函數（如仂⑺汀 e⑽1〇n function)獲得或在頻譜上由I值（驗㈣之相關 位置及間距而得到，基本週期與頻率的關係是： 基本頻率=取樣頻率/基本週期 該取樣頻率是聲音每秒取樣的樣本點數，接著在一音 階序列記錄器12中，將一連串使用去* & 疋甲仗用考輸入聲音的基本頻率 轉為使用者音階序列121 ，並加以圮钸，立帆咖此方^ 儿刀μ 口匕綠，音階與頻率的關 係如下： 音階Α4的頻率是440 Ηζ，每升高半個音階頻率升高 %倍，每降低半個音階頻率降低％倍，所以每升高12 個音階頻率共升高2倍，每降低12個音階頻率亦降低7倍 ，然後，透過一音階匹配器13計算比對使用者音階序列i 21與主旋律音階序列14之差異性，在此，該主旋律音階序 列14是預先儲存於音樂的樂譜15中，例如··在midi (唧 al instmment digital interface)檔案中即可同時記錄這些樂 譜的資訊，該音階匹配器13則是利用類似動態時間扭曲（ Dynamic Time Warping)或校準的方式，比對使用者音階序列 與主旋律音階序列14的差異性，其具體作法如丁： 假4:使用者音階序列121為nl，n2, ···，nj，代表每隔固 定一小段時間（如〇· 1秒）所連續計算出的使用者（或歌 者）的音階（或音調），並假設主旋律音階序列14為ml，m 2,…，mj，代表每隔固定一小段時間（如0.1秒）的主旋律 音階，在此音階是以數字1〜255表示，音階C3的代表數值為 60，音階D3的代表數值為61，音階B3的代表數值為59，以 8 200813977 此類推，因為在唱歌時，歌唱 與背景音樂播放的拍點位置相 做動態時間校準，以產生較正 者的聲音拍點位置不見得會 同’所以在音階比對時必須 確的比對結果’如下示意圖 nl n2 n3 n4 n5 n6

ml m2 m3 m4 m5 m6

上揭貫施例中，就時間的角度而言，該n2、n3 (即使 用者音階序列）係隨著m2 (即主旋律音階序列）作校準的 狀態，以使背景音樂播放的拍點位置盥歌哐去沾& + 、艾曰有的聲音拍點 位置能夠在正確相對應之拍點位置作匹· %比對，而進行移 調時’則是令主旋律音階序列隨著使用者音階序列作移調 的動作。 9 200813977 假5又dist(ni，mk)表示音階ni，mk的誤差值，acu_dist(ni ，mk)表示過去最佳路徑到音階ni，mk的累積誤差值，則上圖 匹配之每個節點的最小累積誤差為： acu_dist(ni,mk) = dist(ni,mk) + min{ acujist(ni-l,mk), acu 一dist(ni，mk-1)，acu—dist(ni-1，mk-1)，···} 其中，min{···}表示取最小值，在{···}中的範圍則由經 驗決定，通常取時間校準值—2〜+2的範圍内，因此最後 匹配的結果誤差為acu—dist(nj，mj·)，]·為此次比對的最後一 個時間點，其大小由實驗決定通常大於40(4秒）小於100( 10秒）而其中隶佳路控是指累積誤差最小的路徑，實作 上並不需求出。 通常設K1二一 6 基於上述做法，我們可用以算出主旋律需移調多少， 如第2圖所示，首先設定主旋律音階移調值為s = ki ，$ j表不音階升高-個半音，s = _丨表示音符降低一個半 音，然後，利用上述做法比對使用者音階序列及移調s後 的主旋律音階序列，並記錄其最後匹配結果的累積誤差值 •s(s)，接著令s=s+1，再次計算Dis(s)直到㈣2，最後找 出移調值s = Smin使得Dis (Smn)是最小值，其中Ki<= s〈嘟 K2 接著，再藉由一移調判斷器16決定是否須移調及何 移調，該移調判斷器16是根據誤差值Dis(Smn)小於某—絰^ 值常數D時才做移調處理，移調處理是將主旋律音符撿 二個半音，在調整時，並應考慮音樂的和諧及自然，4 = :隔-段時間調整一次，且通常在主旋律音長較長時：： 10 200813977 -其1，該音樂合成器17是將以數位記錄的毕级15人成 貫際的曰樂波形’最後與使用者的歌聲一二二 18(mixer)輪出，若雲敕 此曰為 …且： 周”則調整音樂合成器17中之音 二體做法係可將樂譜15中所有音符音 咼或降低幾個音階數，此 升 车立、， 吓4曰F白數通常小於或等於6個 曰，仁亚不限定’因為相差12個半音(8度音）等於 剛好相差兩倍，頻率差兩彳立對 、，… 古 貝手差兩乜對音感而言似乎是相同的，而 鬲於6個半音以上可以用降含來 川|牛㊈术處理，低於6個丰 則可用升調來處理。 以下茲提出一實作範例： 、當播放背景音樂時’即開始進行錄音，並設定聲音格 式為單音16 bits ’取樣頻率為麵Hz，每次錄製^度 :〇.1秒’接著在步驟音調估測器^中，計算歌唱者的^ 音基本頻率，其方法如下，假設所錄製的聲音為： I· 計真自相關函數/•/尤），其中： n(k) = Σ n x(n)x(n-k)，n=0，l，2,…，N - 1 ， k=22, 23, Η …，674 或々值的範圍代表所欲谓測的頻率範圍： 44100/22〜44100/674 = 2004.54 〜65·43Ηζ 尋我Ls^argOnaxCnOO)h)，k·代表鹜n(k)有i欠饭碍的 女值。 基本頻率 然後，將該基本頻率轉換為 音卩皆代號，假設若基本頻率=440 Hz則將之換為音产匕 A4(中音La)，音階代號為69，每差半音，頻率差 2. 200813977 ^倍，音符代號差1 ，由音階序列記錄器12記錄之 ，並在主旋律音階序列14記錄主旋律音階代號，在音 階匹配器13中，首先設定K1二一6 ，K2 = 6 ，妙1 π 定其音階代號序列長度為4秒（j=40)，每錄音〇丨秒 計算一次，4秒共40次，假設記錄主旋律音階序列14 為mi，i = 0，1，2，…，39，使用者歌聲音階序列為& i = 〇，1，2，…，39，移調為s，並假設音階代號mi nk 的差值為 dist (mi, nk)，令其中 dist (mi，他）>=〇， 且令當mi，nk相差一個八度音（12個半音）時，其古十 算誤差值結果相等，即： dist (mi, nk) = dist (mi+12*N, nk), 其中N為整數，並設時間校準值-1〜+〇的範圍内 ，則音階匹配器13之做法如下， 1. 設定s=Kl 2. 設定，且設定累積誤差值陣列 acu—dist[0〜39][0〜39] 初值為一個非常大的值 1000000 3. 計算 acu_dist [0][0]= dist (mO+s，n0) 4. 設定 j = i 一 1 5. 若 j >= 40則跳到步驟8 6. acu一dist [i][j] = min{ acu—dist [i-l][j—1]， acu一dist [i-l][j]， acu一dist [i][j-1]} + dist (mi+s， nj) 7. j = j +1若 j O i +1 則回到步驟5 8. i = i +1 若 i < 40 則回到步驟4 9. Dis(s)二 dtw 一dist[39][39] 12 200813977 則回到步驟 10· S = S+1 11·若 s〈二 K2 12. 結束。 然後’在移調判斷器16中，若Dis㈤<=4〇(4〇係為經 驗值），i目前播放之主旋律音符音長〉=1秒時，則將主 旋律移調^個半音並間隔4秒（4秒係為經驗值）以上，才 進仃下-次之移調；最後音樂合成器17是將以數位記錄的 ㈣合成實㈣音樂波形，然後與使用者歌聲—起經混音 杰18(mixer)、喇口八19輸出者。 【本發明之優點】 [、本發明所揭音樂伴奏裝置之自動跟調方法，其使用者 之歌聲音調計算方式並非取其平均值，而是採用每— :段時間計算-次（如0-1秒）之方式，復藉由所述 “皆序列記錄器12將使用者聲音的基本頻率轉為使用 者音階參數序列121 ·女日η 1 1Z1 ，亦即，本發明係比對主旋律立 階序列14及使用者歌聲音階序列m ,而非比對盆平 均音調，所述之音階匹配器13是比對-段音階序列的 匹配程度，此屬於一種動態比對音階曲線之模式’並 輸出其取佳匹配時的音階差，因為該音階匹配器 動態比對-段時間的音階序列曲線，而非僅—段時門 2音調平均值’故所得之移調值具有較高之準確性， 此夠獲侍取佳之音調調整效果，進而更符合使 所需。 、 2 本發明之技術特點 …、係直接取侍已記錄歌曲之主旋律， 13 200813977 並不需要一堆複雜的運算過程，具有較低之系統運算 里，佔用較低的系統資源，故整體具有較高之運作效 率和即時性，確可大幅改善習知系統延遲之問題點， 達到更加實用好用之進步性者。 f 上述實施例所揭示者係藉以具體說明本發明，且文中 雖透過特定的術語進行說明，#不“此限定本發明之專 利犯圍m此項技術領域之人士t可在瞭解本發明之精 神與原則後對其進行變更與修改而達到等效之目的，而此 等變更與修改，皆應涵蓋於如后所述 定範疇中。 疋之申清專利範圍所界 14 200813977 【圖式簡單說明】 第1圖：係本發明音樂伴 塊圖。 第2圖：係本發明之音階 【主要元件符號說明】 音調估測器 音階序列記錄器 使用者音階序列 音階匹配器 主旋律音階序列 樂譜 移調判斷器 音樂合成器 混音器 口刺口八 置之自動跟調方法之系統方 器動作流程之方塊示意圖。 15

Claims (1)

1. 200813977 、申請專利範圍： 1 2 、-種音，伴奏裝置之自動跟調方法，包括：提供一音 周、,j ，以將使用者的聲音每隔一段預定時間計算 =基本頻率(Fundamental Frequency);在—音階序列記錄 ☆中’將使用者聲音的基本頻率轉為使用者音階參數 2 =並記錄之；藉-音階匹配器以比對使用者音階 ，數序列與狀樂譜之主旋律音階序列的差里性；復 利用:移調判斷器決定伴奏音樂是否須移調及何時移 调’右需移調，則自動調整一音樂合成器中之音階炎 數，最後音樂合成器是將以數位記錄的产 的：樂：形’然後與使用者歌聲-起經混音器(.二 、喇σ八輸出者。 、：=:專：！圍：i項所ϊ之音樂伴奏裝置之自動 J曲Π) ’、’亥曰P白匹配裔係可利用類似動態時間 曲（Dynanuc Tlme Warping)或校準的方式，比對 音階序列與主旋律音階序列的差異性。 者 、依據申請㈣範圍第！項料之音樂伴奏 跟調方法，其中所述調整音樂合成器 法’係可將樂譜中所有音符音 =之做 個音階數的動作。 文升円或降低幾 依據申請專利範圍帛3項所述之音樂伴 跟調方法，其中該音階數得小於或等於6個半ί自動 依據申請專利範圍第i項所述之音樂伴 9 跟調方法，其中所述之主旋律音 俘' ^自動 J係可預先鍺存 16 4 200813977 於市譜中’如在以以（mUsical instrument digital interfac e)檔案中即可同時記錄這些資訊。 、一種音樂伴奏裝置之自動跟調系統，包括： 一音調估測器，藉以將使用者的聲音每隔一段預定時 間 4* 异其基本頻率（Fundameirt：ai Frequency); 曰階序列記錄器，將使用者聲音的基本頻率轉為使 用者音階參數序列，並記錄之； 么曰Μ匹配為，藉以比對使用者音階參數序列與預定 ^々之主旋律音階序列的差異性； •移凋判斷器，決定伴奏音樂是否須移調及何時移調 j :樂合成器，係當移調判斷器決定需移調時，得自 ^凋整该音樂合成器中之音階參數，該音樂合成器係 从數位記錄的樂譜合成實際的音樂波形， 用者的籐立 X ^ ^ 曰 起經預疋之混音器（mixer)輸出者。 17