TW201034000A - Automatic grading method for karaoke song singing - Google Patents

Description

201034000 . 六、發明說明： 【發明所屬之技術領域】 本發明係涉及一種卡拉〇Κ歌曲伴唱自動評分 別是指一種依據音感、節奏感及情感等多項分數 權計分方式核算評分之創新設計者。 【先前技術】 按，在卡拉OK ( KARA0K )歌曲伴唱過程中’ ® 唱機通常伴有自動評分的功能，但是，此種功能 計’往往只是粗略估算整體分數而已，也可能只 歌聲音的分貝數值高低來作為評量的唯一參考， 唱機的評分結果，甚至與歌曲唱的好壞品質狀態 麼關連性，如此只能達到些許的娛樂效果而已， 正的評出歌曲唱的好壞，因此對於歌唱者的練唱 實並無法有所幫助。 ❿. 是以，針對上述習知卡拉〇κ歌曲伴唱產品設 所存在之問題點，如何研發出—種能夠更具理想 創新設計’實有待相關業界再加以思索突破之目 者。 有鑑於此，發明人本於多年從事相關產品之 與設計經驗’針對上述之目標，詳加設計與審慎 終得一確具實用性之本發明。 【發明内容】 方法，特 ，再以加 目前的伴 的習知設 是依據唱 而某些伴 其實沒什 並不能真 而言，其 計使用上 實用性之 標及方向 製造開發 評估後， 3 201034000 本發明之主要目的，係在提供一種卡拉οκ歌曲伴唱自 動評分方法，其所欲解決之問題點’係針對習知卡拉0K歌 曲伴唱機之自動評分功能並不能真正評出歌唱好壞，以致 對於歌唱者練唱而言並無所助益之問題點加以思索突破； 本發明解決問題之技術特點，在於所述卡拉歌曲伴 唱自動評分方法，主要是藉由比對唱歌者的音高、拍點位 置及音量與歌曲主旋律的音高、拍點位置及音量，分別得 到音感分數、節奏感分數及情感分數，最後以加權計分方 0 式核算加權總分；藉此創新獨特設計，使本發明對照先前 技術而言，可以精確計算出演唱者在每一個歌曲段落的音 高、拍點位置及音量誤差，並可利用音高曲線、音量曲線 的顯示效果，讓演唱者可以很容易知道哪個地方唱得不夠 準確以及哪個地方需要加強，同時具有教學及娛樂之雙重 效果而確具_實用進步性。 【實施方式】 請參閱笛 1〜16圖所示’係本發明卡拉歌曲伴唱自動 评分方法之較 專利申請上、貫她例，惟此等實施例僅供說明之用’在 動評分方法並不受此結構之限制；所述卡拉0Κ歌曲伴唱自 拍點位置及ϋ致而言，主要是藉由比對唱歌者的音高、 方式，以八曰量與歌曲主旋律的音高、拍點位置及音量的 分項目，最⑴侍到音感分數、節奏感分數及情感分數之計 分，以獲彳f ^以加權計分方式核算該等計分項目之加權總 卞自動評分之分數者。 畜—個人t⑽ %歌時，除了個人聲音的特質外’要評論 4 201034000 • 其歌聲與歌曲的四配，主要應包括三種感覺，/是音感、 二是節奏感、三是情感’音感是判斷其音高與相對之每個 音符的音高準確度；節奏感是判斷其拍點位置的誤差’包 括起唱拍點及結束拍點；情感是判斷其音量的變化，包括 每句的音量變化及整體的音量變化。而具體獲取所述音感 分數、節奏感分數及情感分數之方法分別說明如下： (一）音感分數： 請參考第1圖所示，每隔一小段時間（例如0· 1秒） 0 ，由演唱者所唱之麥克風音訊，計算一次演唱者的音高， 此音高估算，是取得人聲音訊的基頻（Fundamental Frequency) ，而其取得方法通常可利用基於自相關函數（Autocorrelatio n Function)的方法取得，然後，將此基頻經由音感估算器先 轉換成相對之音階’接著比對此音階與音樂主旋律中所擷 取到的音階之匹配程度，並給予該音階一音感分數，如此 計算所有音階之音感分數，直到演唱結束，然後輸出平均 音感分數。如第2圖所示，其具體說明如下： ® 首先是“初始參數設定”，其中初始化了的音階個數 n=0 、及人聲與該音階之高音感匹配值NoteHit = 0，和低音 感匹配值NoteHitAround = 0，NoteHit表示該音階演奏期間， 人聲音高與之完全匹配的時間段數，NoteHitAround則表示人 聲音高與該音階相差在一個半音之内的時間段數，接著取 得下一段時間的主旋律音階及計算一段時間的人聲音高， 主旋律音階是由midi等文件中直接取得的，依時間的增加 取得其相對於該時間的演奏音階，人聲音高（基頻），可 .經由轉碼表轉換得到相對於該音高的音階，例如音階 “A4 5 201034000 • 的頻率是440 Hz，每提高八度音，頻率增加兩倍，如 音階“A5”的頻率是880 Hz，一個八度有12個半音，每個 半音間的頻率相差2⑼2)倍，因為若人聲與該音階的頻率相 差2仏或1/2倍等，整數的倍數關係時，其音感是相同的 ，因此透過音階± 12個半音，我們調整了計算所得到的人 聲音階N〇te-P與主旋律的音階Note—»，令其相差在+6個半音 v、 5個半音之間’即 Note一p = Note_p +12*i, i是非〇的整數 ，使得-5 <= Note_p - Notejn <=6。接著，判斷是否為新的音 © 卩自若疋則什算上個音階的音感分數’然後重新設置起始 參數，NoteHit = 0 且 NoteHitAround = 0 及音階個數 n = η 十 1 ’若否則比較是否主旋律音階與人聲音階匹配，此匹配指 的是，誤差在、一個比較小的容許的範圍内，如〇. 5個半音 以内’若匹配則增加該音階之高音感匹配值N〇teHit = NoteHi t + 1，否則判斷是否主旋律音階與人聲音階為低音感匹配 此低日感匹配表示，誤差在一個比較大的容許的範圍内 ’如相差一個半音以内，若是則增加音階低音感匹配值N O oteHltAr〇und = NoteHitAround + 1，接著回到取得下一段時間的 主旋律音階及計算人聲音高。上述“計算上個音階的音感 分數”，其算法如第3圖所示： 先取知刖一音樂主弦律音階長度N〇teLength(m)，其中： m = 〇、1、2、...、Μ 該Μ為音階總個數’然後判斷高音感匹配值N〇teHi1;是 否大於零’若是則計算高音感音階匹配分數：

PitchScore(m)- PSH + Kl * NoteHit(m)/ NoteLength(m); 其中.PSH ’ K1為可調整之經驗值參數，否則計算低 6 201034000 . 音感音階匹配分數： .

PitchScore(m)= PSL - K2 * NoteHitAround(m)/ NoteLength(m)； 其中：PSL ，K2為可調整之經驗值參數，並限制： 0<=PitchScore(m)<= 100 最後判斷是否為最後一個音階，若否則重複上述流程 ，若是則“計算平均音感分數”，其算法為所有PitchScor e(in)以音長NoteLength(m)為加權比重的加權平均，如下： 令音階總長度Mv = I = 汍fmj，平均音感分 數 SOP (Score of Pitch): 1 1VX ~1

NL SOP =-^PitchScore(m) · NoteLength(m) φ (二）節奏感分數： 節奏感是計算人聲起唱拍點與該音樂主旋律音階的起 奏時間及人聲結束拍點與該音樂主旋律音階的結束時間的 匹配程度來決定。要準確的估算出歌唱者每個節拍的拍點 位置，在此我們以估計歌唱者音高的變化，當做其演唱不 同音階的時間變化，進而來判斷其節拍的準確度，如第4 圖所示，其雷同第1圖所述方法，係先估算人聲的音高及 取得音樂主旋律的音階，然後透過節奏感估算器產生平均 節奏感分數。 7 201034000 . 經由節奏感估算器，先將人聲音高轉成相對之音階 然後比對此音階，與主旋律中得到之音階在時間上的誤 ，此時間的誤差包括提早或延遲的起奏拍點與結束拍點 並記錄每個音階的時間誤差，然後給予該音階之節奏感 數，如此計算所有的音階之節奏感分數，直到演唱結束 然後輸出平均節奏感分數。如第5圖所示，可利用節奏 延遲匹配器及節奏感超前匹配器，由轉換後之人聲音階 目前、上一個及下一個音樂主弦律音階，分別計算出人 0 與該音階在時間上延遲或超前的匹配程度，得到人聲結 拍點或起唱拍點延遲時間及超前時間，再經由計算音階 奏感分數之手段，得到該音階的節奏感分數，依此，從 一個音階開始，我們計算每個音階的節奏感誤差，直到 後一個音階結束，然後計算平均節奏感分數。 請配合參看第6圖所示，該節奏感延遲匹配器是先 斷是否為新音樂音階的開始，若否則判斷是否已設定起 拍點延遲時間，若是則結束，否則再判斷人聲音階與音 ❹ 音階是否匹配，若否則增加起唱拍點延遲時間，若是則 定起唱拍點延遲時間，然後結束，此延遲時間表示音樂 階開始後，人聲比它晚開始的時間誤差；若為新音樂音 的開始，則重設起唱拍點延遲時間並記錄上個音階結束 間，接著判斷人聲音階是否與上一個音樂主弦律音階匹 ，若是則再判斷下一個人聲音階是否與上一個音樂主弦 音階匹配，直到否為止，然後設定結束拍點延遲時間後 束，此延遲時間表示該上個音樂音階結束後，人聲比它 結束的時間誤差。 差 分 > 感 、 聲 束 ΛΛ- 即 第 最 判 唱 樂 6又 音 階 時 配 律 結 晚 8 201034000 - 請配合參看第7圖所示，該節奏感超前匹配器， 先判斷是否為新音樂音階的開始，若否，則判斷人聲 與目前音樂音階是否匹配，若是，則記錄人聲音階結 間，否則設定結束拍點超前時間，然後結束，此超前 表示該音樂音階結束前，人聲比它更早結束的時間誤 若為新音樂音階的開始，則重設結束拍點超前時間並 該音階開始時間，接著判斷人聲音階是否與該音樂主 音階匹配，若是則再判斷上一個人聲音階是否與該音 ❹ 配，直到否為止，然後設定起唱拍點超前時間後結束 超前時間表示該音樂音階開始前，人聲比它更早開始 間誤差。 接著，由起唱拍點延遲時間、起唱拍點超前時間 束拍點延遲時間及結束拍點超前時間，計算音階節奏 數 SOB (Score of Beat)，算法如下： 令起唱拍點時間誤差為 7Λ9，則，起唱拍點分數 S): ❿ SOBS = ^^ + 100 -(l- TDS / Ls) 其中，TDS =起唱拍點延遲時間（NoteOnLag) +起唱拍 前時間（NoteOnLead) ，As與Ls是預設的經驗值參數。令 拍點時間誤差為TDE，則：結束拍點分數（S0BE): SOBE = Ae+ 100-(1- TDE / Le)

則是 音階 束時 時間 差； 記錄 弦律 階匹 ，此 的時 、結 感分 (S0B 點超 結束 9 201034000 . 其中’ TDE =結束拍點延遲時間（Note0ffL呢）+結束拍點 超前時間（NoteOffLead)，Ae與Le是預設的經驗值參數， 該音階節奏感分數（S0B):

SOB = SOBS · R + SOBE 其中，R為一預設的加權參數，且0 <= R <= 1 。 (三）情感分數： _ 情感是一種比較難以客觀衡量的參數’在此我們利用 計算人聲的平均振幅與音樂主旋律的平均振幅之匹配程度 來決定。人聲的平均振幅是藉由計算每/個人聲聲音區段 的RMS(Root of Mean Square)值得到，音樂主旋律的平均振幅亦 可藉由計算每一個主旋律聲音區段的RMS值或直接由合成 之音樂資訊中的振幅參數取得，所述RMS的算法如下： e RMS 二

κ~\ Σ>2⑺ 其中，x(i)，i = 〇，1，…，Κ-1，κ代表此—聲音區段之聲 音樣本點數（Samples)，此RMS值，在實際運算上，還可用 其他方法如平均振幅或最大振幅等方法取代。如第8圖所 不，所述情感分數估算器，每隔一段時間（約〇·丨sec)分別 計算一次人聲信號與音樂主旋律的RMS值，可得到人聲與 音樂的RMS序列’假設分別為MicV〇1<^及.丨加⑷，卩=〇 10 201034000 、1、 N-l 、、、，表示第η個時間段，所得到的RMS值 ，其中N為歌曲時間總長度’並將MicVol (η)的能量準位調 成與MelVol (η)相同，然後將其依每個音階的長度做平均， 可得人聲與音樂的第m個音階的平均RMS序列分別為AvgMe lVol (m)、AvgMicVol (m);由 AvgMelVol (η)，AvgMicVol (η)可用來 計算情感分數S0E (Score of Emotion)，首先取得並計算人聲振 幅曲線與音樂振幅曲線的整體匹配程度S0ET，它可代表整 體的情感變化分數，如下：

其中Μ為音階總個數，且

故 S0ET <= 1〇〇 。 接著，可進行每一句情感分數S0MS的計算’首先係將 AvgMicVol(m) ，AvgMelVol(m)切成一句一句，假設每句歌詞的 起始音階為第S(j)，j = 〇，1，2，…，L-1 ，個開始’其中L為 歌詞總句數，且令S(L) =M，則每一句的情感變化分數為： 201034000 SOES(j) sa+o-i [AvgMic Vol (m)AvgMel Vol (m) m^SU)

xlOO (5(;+l)-l V 5(7+1)-1 、 J] AvgMic Vol2 (m) J] AvgMelVol2 {m) m=S(j) j - 0, 1, 2, ···, L-l ，然後計算每一句的相對情感變化 分數，此分數為每句音量相對於整體音量的變化：

首先，令 Z AvgMic Vol(m)AvgMeI Vol(m) (5(7+1)-1 λ y] AvgMic Vol2 {m) ^ m=S(j) j f M-l 、

AvgMic Vol(m)AvgMel Vol(m) A =

\/w=0_/

’ N-l ^ AvgMic Vol2 {m) \m-0 則 SOEA(j) = j i j = 0, L 2, ..., L-l --100,

Uu) 12 201034000 由上述可得’平均情感分數 SOE = a- SOET + ~ Σ (^ * S〇ES(j) + r · SOEA(j)) 其中α 、/3 、τ為加權係數，且α +冷+ /二丄。 (四）加權總分.（請參考第9圖所示） 由上述SOP、SOB、S0E可得加權總分廳（Average Evaluated Score)如下： ❹

AES = p · SOP + q · SOB + r · SOE 其中P、Q、 r為加權係數，且p+ r = }。 實作範例： 以一首歌曲為例，我們每0. 1秒計算一次人聲的音高 MicPitch(n)及RMS平均值MicVol(n)，同時操取音樂主旋律 音符的音高MelNoteOi)及計算其RMS平均值儉他/⑻，η = 〇 ，1’ 2，…，Ν ’ Ν表示歌曲總長度，在此不失一般性，為方 Ο 便說明’在此取Ν = 280，表示歌曲時間總長度為28秒，如 第10圖所示，為MicPitch(n)與MelNote(n)之曲線圖，圖中實線 代表主旋律_音符的音尚’縱軸為音高代碼，每一個整數間 隔為一個半音，60表示中音])〇，61表示中音升Do，69表示 中音La ’依此類推’圓點表示由人聲所計算出之音高，並 將之轉為音階代號，此音高已經經過正負12的調整，使得 人聲音尚最接近主方疋#音符的音高，圖中實線為一段一段 ，每一段表示一段持續的音階，每段的高低起伏，表示音 階的高低變化，在主旋律音階為-1時，表示該音符為休止 13 201034000 - 符或空的音階，將跳過忽略，圖中圓點為零時，表示該人 聲未被計算出音高，該點人聲可能為無聲氣音、靜音或雜 音等，將被視為未發出聲音" 首先由上述之音感分數的算法，可得到第m個音階的 高音感匹配值NoteHit (m)(如第11圖中圓形所示）與低音感 匹配值NoteHitAround (m)(如第11圖中三角形所示），m = 0，1 ，2，...Μ，Μ = 3，如第 11 圖所示，令 PSH = 50，K1 = 100，及 PS L = 35 ，K2 = 50，可得到每個音階/»的音感分數（如第11 H 圖中矩形所示），經過音階長度（如第11圖中星形所示） 的加權平均計算後可得平均音感分數ScoreOfPitch (S0P) = 98 ο 接著由上述之節奏感分數的算法，可得到第m個音階 的 NoteOnLag (m)(圓形）、NoteOnLead (m)(星形），令 As = 10 ，Ls = 10，可算出BeatOnScore(m)(矩形），如第12圖所示及 可得到 NoteOffLag (m)(圓形）與 NoteOffLead (m)(星形），令 Ae = 50，Le = NoteLength (音階長度），可算出 BeatOffScore 〇 (m)(圓形），如第13圖所示，經過音階長度的加權平均計 算後可得 ScoreOfBeatStart (SOBS) = 93. 19，ScoreOfBeatEnd (S0BE) =99. 82 ’ 令 R 二 0. 5， SOB = 96. 5。 再接著由上述之情感分數的算法，首先可得到人聲與 音樂主旋律的RMS序列MelVol (η)(如第14圖L1所示）、Μ icVol (η)(如第14圖L2所示），並將MicVol (η)的能量準位調 成與MelVol (η)相同，如第14圖所示，將其依每個音階的長 度if均，可得第m個音階的平均RMS序列AvgMelVol (m)(如 第15圖L3所示）、AvgMicVol (m)(如第15圖L4所示），如第 14 201034000 - 15圖所示，設定加權係數，並由此可算出S0ET二98. 33 j句的SOES(j)(如第16圖L5所示）及SOEA (j)(如第16 所示），j = 0, 1，2,…L-1 ，總句數L = 6，如第16圖所示 均之S0ES =97. 2，及S0EA = 95. 67 ，經過加權計算後可得 ScoreOfEmotion (S0E) = 97. 24 最後設定加權係數p = 0. 6，q = 0. 2，r = 0. 2，可 加權總分： AES 二 p · SOP + q . SOB + r . SOE = 9Ί.55 ❹ 本發明之優點： 本發明所述卡拉0Κ歌曲伴唱自動評分方法主要藉 對唱歌者音高'、拍點位置及音量與歌曲主旋律的音高 點位置及音量，分別得到音感分數、節奏感分數及情 數，再以加權計分方式核算加權總分之創新獨特設計 本發明對照先前技術而言，將可精確計算出演唱者在 個歌曲段落的音高、拍點位置及音量誤差，並可利用 Φ 曲線、音量曲線的顯示效果’讓演唱者可以很容易知 個地方唱得不夠準確以及哪個地方需要加強，達到同 教學及娛樂雙重效果之實用進步性者。 上述實施例所揭示者係藉以具體說明本發明，且 雖透過特定的術語進行說明，當不能以此限定本發明 利範圍；熟悉此項技術領域之人士當可在瞭解本發明 神與原則後對其進行變更與修改而達到等效之目的， 等變更與修改，皆應涵蓋於如后所述之申請專利範圍 定範中。 ，第 圖L6 ，平 得到 由比 、拍 感分 ，使 每一 音高 道哪 時具 文中 之專 之精 而此 所界 15 201034000 - 【圖式簡單說明】 第1圖： 本發明之音感分數取得方法文字方塊圖一。 第2圖： 本發明之音感分數取得方法文字方塊圖二。 第3圖： 本發明之音感分數取得方法文字方塊圖三。 第4圖： 本發明之節奏感分數取得方法文字方塊圖一 第5圖： 本發明之節奏感分數取得方法文字方塊圖二 第6圖= 本發明之節奏感分數取得方法文字方塊圖三 第7圖： 本發明之節奏感分數取得方法文字方塊圖四 © 第8圖’· 本發明之情感分數取得方法文字方塊圖。 第9圖： 本發明之自動評分估算方法文字方塊圖。 第10圖： 本發明之實作範例說明參考圖表一。 第11圖： 本發明之實作範例說明參考圖表二。 第12圖： 本發明之實作範例說明參考圖表三。 第13圖： 本發明之實作範例說明參考圖表四。 第14圖： 本發明之實作範例說明參考圖表五。 ^ 第15圖： ❿ :本發明之實作範例說明參考圖表六。 第16圖： 本發明之實作範例說明參考圖表七。 【主要元件符號說明 註：無元件符號 16

Claims (1)

1. 201034000 - 七、申請專利範圍： 1 、一種卡拉οκ歌曲伴唱自動評分方法，主要是藉由比對 唱歌者的音高、拍點位置及音量與音樂主旋律的音高 、拍點位置及音量的方式’以分別得到音感分數、節 奏感分數及情感分數之計分項目’最後以加權計分方 式核算該等計分項目之加權總分，以獲得自動評分之 分數者。 2 、依據申請專利範圍第1項所述之卡拉0K歌曲伴唱自動 評分方法，其中所述音感分數之取得，係透過每隔— 小段時間由演唱者所唱出之麥克風音訊估算一次演唱 者的音高，此音高之估算係取得人聲音訊的基頻 damental Frequency)，然後將該基頻經由一音感估算器先 轉換成相對之音階，然後比對該音階與該音樂主旋律 中所掘取到的音階之匹配程度’並給予該音階一音感 ©分數，如此計算所有音階之θ感分數，直到演唱結走 ，即可輸出—平均音感分數者。 3 、依據申請專利範圍第2項所述之卡拉0K歌曲伴唱自動 評分方法，其中所述音高之估算取得方法，可利用基 於自相關函數（Autocorrelation Function)的方法取得者。 4 、依據申請專利範圍第1項所述之卡拉0K歌曲伴唱自動 17 201034000 • 評分方法，其中所述節奏感分數，是計算人聲起唱拍 點與該音樂主旋律音階的起奏時間及人聲結束拍點與 該音樂主旋律音階的結束時間的匹配程度來決定者。 5 、依據申請專利範圍第1項所述之卡拉0K歌曲伴唱自動 評分方法，其中所述情感分數，係利用計算人聲的平 均振幅與該音樂主旋律的平均振幅之匹配程度來決定 ;其令所述人聲的平均振幅是藉由計算每一個人聲聲 Q 音區段的RMS(Root of Mean Square)值得到，該音樂主旋律 的平均振幅可藉由計算每一個主旋律聲音區段的RMS 值或直接由合成之音樂資訊中的振幅參數取得者。 18