TWI894591B - 聲線配置方法及系統與電腦程式產品 - Google Patents
聲線配置方法及系統與電腦程式產品Info
- Publication number
- TWI894591B TWI894591B TW112128777A TW112128777A TWI894591B TW I894591 B TWI894591 B TW I894591B TW 112128777 A TW112128777 A TW 112128777A TW 112128777 A TW112128777 A TW 112128777A TW I894591 B TWI894591 B TW I894591B
- Authority
- TW
- Taiwan
- Prior art keywords
- voice
- data
- character data
- character
- sound ray
- Prior art date
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
一種由聲線配置系統實施的聲線配置方法包含:(A)獲得多筆角色資料及多個聲線群組,每一聲線群組包括多筆分別對應於多個特定聲線的聲線資料,每一聲線群組的該等聲線資料包含一初始聲線資料及一或多筆至少藉由對該初始聲線資料進行音頻範圍調整而被產生的衍生聲線資料。(B)對於每一角色資料,從該等聲線群組中選出其中一個與該角色資料對應同一個角色類型的匹配聲線群組,再將該匹配聲線群組之該等聲線資料中的其中一者設定為一對應於該角色資料的配對聲線資料。
Description
本發明是有關於一種聲線配置方法,特別是指一種適合替多個角色分配合適之聲音的聲線配置方法。本發明還有關於適合替多個角色分配合適之聲音的一種聲線配置系統,以及一種電腦程式產品。
在配音工作中,不同角色的台詞通常會使用不同的聲音來詮釋,並且,除了以真人配音之外,利用電腦合成語音(即虛擬人聲)來進行配音也已成為另一種可行做法。
現有的電腦語音合成軟體中往往會提供多種不同的虛擬人聲以供選擇。然而,若要讓配音結果聽起來更加自然,則應避免採用口音或音色太過突兀的聲線來替角色配音,在此考量之下,電腦語音合成軟體所能提供的合適聲線選擇便可能會變得相當有限。
因此,在需配音的角色數量較多但合適聲線選擇有限的情況下,要如何更好地利用電腦合成語音來完成配音,便成為一個值得探討的議題。
因此,本發明的其中一目的,便在於提供一種有助於改善多角色配音效果的聲線配置方法。
本發明聲線配置方法由一聲線配置系統實施,該聲線配置方法包含:(A)獲得一聲線需求資訊及一聲線資料組合。該聲線需求資訊包含多筆分別對應於多個角色的角色資料,且每一角色資料對應於多個角色類型的其中一者。該聲線資料組合包含多個聲線群組,每一聲線群組對應於該等角色類型的其中一者且包括多筆聲線資料,每一聲線群組的該等聲線資料分別對應於多個特定聲線,且包含一初始聲線資料及一或多筆至少藉由對該初始聲線資料進行音頻範圍調整而被產生的衍生聲線資料。(B)對於每一角色資料,從該等聲線群組中選出其中一個與該角色資料對應同一個角色類型的匹配聲線群組,再將該匹配聲線群組之該等聲線資料中的其中一者設定為一對應於該角色資料的配對聲線資料,藉此將該配對聲線資料所對應的該特定聲線配置給該角色資料所對應的該角色。
在本發明聲線配置方法的一些實施態樣中,在步驟(A)中,該等角色資料的其中一或多筆角色資料各包含一與音頻範圍相關的聲線特徵標籤,而各被作為一重要角色資料。在步驟(B)中,若該角色資料屬於該重要角色資料,該聲線配置系統在從該等聲線群組中選出該匹配聲線群組之後,是將該匹配聲線群組的該等聲線資料中與該重要角色資料之該聲線特徵標籤匹配的其中一者設定為該重要角色資料所對應的該配對聲線資料。
在本發明聲線配置方法的一些實施態樣中,在步驟(B)中,對於該等角色資料中對應於同一個角色類型的其中多筆重要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等重要角色資料對應於同一個角色類型,則該聲線配置系統是輪流從其中該等聲線群組中選出該等重要角色資料所分別對應的該等配對聲線資料。
在本發明聲線配置方法的一些實施態樣中,在步驟(A)中,該等角色資料的其中至少一者被作為一主要角色資料,且該等聲線群組中被用於決定該主要角色資料所對應之配對聲線資料的該聲線群組被作為一主角聲線群組。在步驟(B)中,對於該等角色資料中對應於同一個角色類型的其中多筆重要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等重要角色資料對應於同一個角色類型,但其中該等聲線群組中存在該主角聲線群組,則該聲線配置系統不從該主角聲線群組中選出該等重要角色資料所要對應的配對聲線資料。
在本發明聲線配置方法的一些實施態樣中,在步驟(A)中,該等角色資料的其中一或多筆不包含聲線特徵標籤的角色資料各被作為一次要角色資料。在步驟(B)中,對於該等角色資料中對應於同一個角色類型的其中多筆次要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等次要角色資料對應於同一個角色類型,則該聲線配置系統是輪流從其中該等聲線群組中選出該等次要角色資料所分別對應的該等配對聲線資料。
在本發明聲線配置方法的一些實施態樣中,該聲線配置方法還包含在步驟(B)之後的:(C)對於該等角色資料中的其中一筆受檢角色資料以及該受檢角色資料當前所對應的該配對聲線資料,根據一對應於該聲線需求資訊的文本資料判斷一聲線衝突條件是否符合,其中,該文本資料包含多個台詞部分,每一台詞部分對應於該等角色資料的其中一角色資料以及該其中一角色資料當前所對應的該配對聲線資料,且該受檢角色資料所對應的每一台詞部分被作為一受檢台詞部分,並且,該聲線衝突條件包含:該等台詞部分中存在一個符合一鄰近條件且所對應之角色資料非為該受檢角色資料的鄰近台詞部分,且該鄰近台詞部分所對應的該配對聲線資料與該受檢角色資料所對應的該配對聲線資料相同,其中,對於該(等)受檢台詞部分以外的其他每一台詞部分,該鄰近條件代表該台詞部分在該文本資料中與任一受檢台詞部分之間相隔的字元數量小於等於一預設字元數量門檻值。(D)在判斷該聲線衝突條件符合的情況下輸出一指示出該受檢角色資料的聲線衝突提示。
在本發明聲線配置方法的一些實施態樣中,在步驟(D)中,在判斷該聲線衝突條件符合的情況下,該聲線配置系統是先更新該受檢角色資料所對應的聲線資料,並於更新該受檢角色資料所對應的聲線資料且再次判斷出該聲線衝突條件符合之後,才輸出該聲線衝突提示。
本發明的另一目的,在於提供一種有助於改善多角色配音效果的聲線配置系統。
本發明聲線配置系統包含一處理單元及一電連接該處理單元的儲存單元,其中,該處理單元用於:獲得一聲線需求資訊及一聲線資料組合,該聲線需求資訊包含多筆分別對應於多個角色的角色資料,且每一角色資料對應於多個角色類型的其中一者,該聲線資料組合包含多個聲線群組,每一聲線群組對應於該等角色類型的其中一者且包括多筆聲線資料,每一聲線群組的該等聲線資料分別對應於多個特定聲線,且包含一初始聲線資料及一或多筆至少藉由對該初始聲線資料進行音頻範圍調整而被產生的衍生聲線資料;對於每一角色資料,從該等聲線群組中選出其中一個與該角色資料對應同一個角色類型的匹配聲線群組,再將該匹配聲線群組之該等聲線資料中的其中一者設定為一對應於該角色資料的配對聲線資料,藉此將該配對聲線資料所對應的該特定聲線配置給該角色資料所對應的該角色。
在本發明聲線配置系統的一些實施態樣中,該等角色資料的其中一或多筆角色資料各包含一與音頻範圍相關的聲線特徵標籤,而各被作為一重要角色資料。若該角色資料屬於該重要角色資料,該處理單元在從該等聲線群組中選出該匹配聲線群組之後,是將該匹配聲線群組的該等聲線資料中與該重要角色資料之該聲線特徵標籤匹配的其中一者設定為該重要角色資料所對應的該配對聲線資料。
在本發明聲線配置系統的一些實施態樣中,對於該等角色資料中對應於同一個角色類型的其中多筆重要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等重要角色資料對應於同一個角色類型,則該處理單元是輪流從其中該等聲線群組中選出該等重要角色資料所分別對應的該等配對聲線資料。
在本發明聲線配置系統的一些實施態樣中,該等角色資料的其中至少一者被作為一主要角色資料,且該等聲線群組中被用於決定該主要角色資料所對應之配對聲線資料的該聲線群組被作為一主角聲線群組。對於該等角色資料中對應於同一個角色類型的其中多筆重要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等重要角色資料對應於同一個角色類型,但其中該等聲線群組中存在該主角聲線群組,則該處理單元不從該主角聲線群組中選出該等重要角色資料所要對應的配對聲線資料。
在本發明聲線配置系統的一些實施態樣中,該等角色資料的其中一或多筆不包含聲線特徵標籤的角色資料各被作為一次要角色資料。對於該等角色資料中對應於同一個角色類型的其中多筆次要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等次要角色資料對應於同一個角色類型,則該處理單元是輪流從其中該等聲線群組中選出該等次要角色資料所分別對應的該等配對聲線資料。
在本發明聲線配置系統的一些實施態樣中,該處理單元還用於:在對每一角色資料設定該角色資料所對應的該配對聲線資料之後,對於該等角色資料中的其中一筆受檢角色資料以及該受檢角色資料當前所對應的該配對聲線資料,根據一對應於該聲線需求資訊的文本資料判斷一聲線衝突條件是否符合,其中,該文本資料包含多個台詞部分,每一台詞部分對應於該等角色資料的其中一角色資料以及該其中一角色資料當前所對應的該配對聲線資料,且該受檢角色資料所對應的每一台詞部分被作為一受檢台詞部分,並且,該聲線衝突條件包含:該等台詞部分中存在一個符合一鄰近條件且所對應之角色資料非為該受檢角色資料的鄰近台詞部分,且該鄰近台詞部分所對應的該配對聲線資料與該受檢角色資料所對應的該配對聲線資料相同,其中,對於該(等)受檢台詞部分以外的其他每一台詞部分,該鄰近條件代表該台詞部分在該文本資料中與任一受檢台詞部分之間相隔的字元數量小於等於一預設字元數量門檻值;在判斷該聲線衝突條件符合的情況下輸出一指示出該受檢角色資料的聲線衝突提示。
在本發明聲線配置系統的一些實施態樣中,在判斷該聲線衝突條件符合的情況下,該處理單元是先更新該受檢角色資料所對應的聲線資料,並於更新該受檢角色資料所對應的聲線資料且再次判斷出該聲線衝突條件符合之後,才輸出該聲線衝突提示。
本發明的再一目的,在於提供一種有助於改善多角色配音效果的電腦程式產品。
本發明電腦程式產品包含一應用程式,其中,當該應用程式被一電子裝置載入並執行時,能使該電子裝置實施如前述任一實施態樣中所述的聲線配置方法。
本發明之功效在於:該聲線配置系統能在口音及音色合適的聲線數量有限的情況下,利用合適的特定聲線(即初始聲線資料所對應的特定聲線)作為基礎,而擴展出更多口音及音色合適的特定聲線(即衍生聲線資料所對應的特定聲線),藉此提升可選的合適聲線數量,故有助於在合適聲線數量有限的情況下達成較佳的配音效果。
在本發明被詳細描述之前應當注意:在未特別定義的情況下,本專利說明書中所述的「電連接(electrically connected)」是用來描述電腦硬體(例如電子系統、設備、裝置、單元、元件)之間的「耦接(coupled)」關係,且泛指複數電腦硬體之間透過導體/半導體材料彼此實體相連而實現的「有線電連接」,以及利用無線通訊技術(例如但不限於無線網路、藍芽及電磁感應等)而實現無線資料傳輸的「無線電連接」。另一方面,在未特別定義的情況下,本專利說明書中所述的「電連接」也泛指複數電腦硬體之間彼此直接耦接而實現的「直接電連接」,以及複數電腦硬體之間是透過其他電腦硬體間接耦接而實現的「間接電連接」。再一方面,本專利說明書中所述的「聲線」是指語音在聽覺感受方面所呈現出的整體特質,而包含語音的音頻(也稱音高)範圍、音色、口音(也稱腔調)、語速等語音聲學特徵,其中,「音色」是一種聲音的感官屬性,使聽者可以據此判斷出兩個具有相同響度和音高的聲音之間的區別。
參閱圖1,本發明聲線配置系統1的一實施例例如被實施為一台電腦設備(可例如為桌上型電腦、筆記型電腦或伺服器),而且,該聲線配置系統1包含一處理單元11,以及一電連接該處理單元11的儲存單元12。更具體地說,在本實施例中,該處理單元11為一以積體電路實現且具有資料運算及指令收發功能的處理器,該儲存單元12則為一用於儲存數位資料的資料儲存裝置(例如硬碟,或者是其他種類的電腦可讀取記錄媒體)。然而,在類似的實施態樣中,該處理單元11也可以是多個處理器的集合,或者是一包括有處理器的處理電路,而該儲存單元12也可以是多個相同或相異種類之儲存裝置的集合。此外,在不同的實施例中,該聲線配置系統1亦可被實施為例如平板電腦、智慧型手機等不同類型的電子裝置。基於上述,該聲線配置系統1在電腦硬體方面的實際實施態樣並不以本實施例為限。
在本實施例中,該儲存單元12例如儲存有一虛擬人聲資料庫DB,其中,該虛擬人聲資料庫DB例如是藉由該處理單元11運行一電腦語音合成軟體所建立,且該虛擬人聲資料庫DB例如包含多個分別對應多種虛擬人聲的語音設定檔。具體而言,每一語音設定檔能用於供該處理單元11控制一揚聲器(圖未示)發出該語音設定檔所對應的該種虛擬人聲,因此,若將一串文字與該語音設定檔配合,該處理單元11便能控制揚聲器以該語音設定檔所對應的該種虛擬人聲播放出該串文字,從而實現電腦合成語音的輸出。
補充說明的是,該電腦語音合成軟體以及該等語音設定檔皆可利用現有技術實現,故在此不過度詳述其細節。
配合參閱圖2,以下示例性地詳細說明本實施例的該聲線配置系統1如何實施一聲線配置方法。
首先,在步驟S1中,該處理單元11獲得一文本資料,以及一對應於該文本資料的聲線需求資訊D1(示於圖3)。
該文本資料在本實施例中例如是一篇小說的文字檔,且該文本資料相當於是本實施例中的一個待配音目標。該文本資料指示出多個角色,並且包含多個台詞部分,其中,每一個台詞部分是其中一個角色的對白或獨白,而包括一或多個以自然語言形式呈現的語句。
如圖3所示,該聲線需求資訊D1包含多筆角色資料10,而且,該等角色資料10是分別對應於該文本資料所指示出的該等角色。
每一角色資料10包含一角色標記101,且該角色標記101指示出該角色資料10所對應的一個角色類型,例如圖3中所示出的「成年男」、「成年女」、「幼年男」及「幼年女」等,但並不以此為限。補充說明的是,根據該文本資料的內容,該等角色資料10中的其中多筆角色資料10可能會對應於同一種角色類型,舉例來說,圖3中所示的角色資料10A、角色資料10D及角色資料10E便皆是對應於「成年男」的角色類型。
在本實施例中,該等角色資料10中的其中多筆角色資料10(例如圖3中所示的角色資料10A至角色資料10E)還各包含一聲線特徵標籤102。對於每一筆包含該聲線特徵標籤102的角色資料10,該聲線特徵標籤102用於指示出該角色資料10所對應的角色適合以對應之角色類型中何種音調的聲音來配音。以圖3中的該角色資料10B為例,該角色資料10B對應於「成年女」的角色類型,且其聲線特徵標籤102指示出「高音」,表示該角色資料10B所對應的角色適合以「成年女」角色類型中「高音」音調的聲音來配音。
在本實施例中,該等角色資料10的其中一筆角色資料10(例如圖3中的該角色資料10A)被作為一主要角色資料10*,換言之,該主要角色資料10*所對應的角色在該文本資料中相當於一主角(例如男主角,但不以此為限)。另一方面,對於該主要角色資料10*以外的其他該等角色資料10,每一筆包含該聲線特徵標籤102的角色資料10(例如圖3中的角色資料10B至角色資料10E)被作為一重要角色資料10’,換言之,該等重要角色資料10’所對應的該等角色在該文本資料中相當於多個重要配角。再一方面,每一筆不包含聲線特徵標籤102的角色資料10(例如圖3中的角色資料10F至角色資料10J)被作為一次要角色資料10”,換言之,該等次要角色資料10”所對應的該等角色在該文本資料中相當於多個次要配角。
特別說明的是,根據該文本資料的實際內容,在本實施例的不同實施態樣中,該等角色資料10中也可能只有其中單一筆角色資料10包含聲線特徵標籤102。另一方面,該等角色資料10中也可以有一筆以上的角色資料10被作為主要角色資料10*。應當理解,圖3僅是用於示出該聲線需求資訊D1的一種示例性態樣,因此,該聲線需求資訊D1的實際態樣當然不以本實施例為限。
另外,在本實施例中,該處理單元11例如是先獲得該文本資料,接著再利用一語言模型對該文本資料進行分段、拆句以及自然語言理解,以歸納出該文本資料所指示出的該等角色以及每一角色適合的聲線特質,從而產生該聲線需求資訊D1。換句話說,在本實施例中,該等角色資料10及其所包括的角色標記101及聲線特徵標籤102是由該處理單元11藉由對該文本資料進行語意分析所決定的。然而,可選的是,該聲線需求資訊D1亦可是由該處理單元11藉由對該文本資料進行語意分析並配合使用者的手動編輯調整而被產生。此外,在不同的實施例中,該處理單元11也可以是預先從其他的電子裝置接收該文本資料以及該聲線需求資訊D1並將其儲存於該儲存單元12,並且在開始執行該聲線配置方法時對該儲存單元12進行讀取,以從該儲存單元12獲得該文本資料以及該聲線需求資訊D1,因此,該聲線需求資訊D1並不限於是由該處理單元11所產生,且該處理單元11獲得該聲線需求資訊D1的方式亦不以本實施例為限。
在該處理單元11獲得該文本資料及該聲線需求資訊D1之後,流程進行至步驟S2。
在步驟S2中,該處理單元11根據該虛擬人聲資料庫DB獲得一聲線資料組合D2(示於圖4)。
如圖4所示,該聲線資料組合D2包含多個聲線群組20(在本實施例中以六個為例,但並不以此為限),其中,每一聲線群組20對應於該等角色類型的其中一者,例如但不限於前述之「成年男」、「成年女」、「幼年男」及「幼年女」的其中一者。在本實施例中,該聲線資料組合D2中的該等聲線群組20要對應哪些角色類型可例如是預先設定好的,但在其他實施例中也可以是由該處理單元11根據該等角色資料10的角色標記101所即時決定出的。
對於每一聲線群組20,該聲線群組20包括多筆分別對應於多個特定聲線的聲線資料201,且該等特定聲線適合被用來詮釋該聲線群組20所對應之角色類型的角色聲音。以圖4中的聲線群組20A為例,該聲線群組20A所包括的該五筆聲線資料201便是分別對應於五個適合用來詮釋「成年男」之角色但音調彼此不同的特定聲線。其中,每一聲線資料201例如包括多個語音設定參數,而且,該等語音設定參數是用於共同定義出該聲線資料201所對應之該特定聲線的音頻範圍、音色、口音及語速等語音聲學特徵,藉此,若將一串文字與該聲線資料201配合,該處理單元11便能控制揚聲器以該聲線資料201所對應的該特定聲線播放出該串文字。
在本實施例中,對於同一個聲線群組20之該等聲線資料201所分別對應的該等特定聲線,該等特定聲線所呈現出的口音彼此相同(例如皆為某特定地區的腔調),但至少在音調的高低上彼此不同。換句話說,對於同一個聲線群組20之該等聲線資料201所分別對應的該等特定聲線,若以該等特定聲線對同一個句子產生語音,則該等特定聲線對於該句子所呈現出的詞語發音模式彼此相同,但呈現出的整體音調高低則會彼此不同。
更詳細地說,對於同一個聲線群組20中的該等聲線資料201,該等聲線資料201中的其中一筆聲線資料201為一筆由該處理單元11從該虛擬人聲資料庫DB中所選出的初始聲線資料,且該初始聲線資料可例如為該虛擬人聲資料庫DB所包含的其中一個語音設定檔。進一步地,在同一個聲線群組20的該等聲線資料201中,除了該初始聲線資料以外的其他每一筆聲線資料201為一筆衍生聲線資料,而且,每一衍生聲線資料例如是由該處理單元11至少藉由對該初始聲線資料進行基音的音頻範圍調整所產生的。所以,每一衍生聲線資料所對應的特定聲線相當於是該處理單元11以該初始聲線資料所對應的該特定聲線作為基礎,並至少藉由提高或降低其基音的音頻範圍所衍生出的另一個音調較為高亢或低沉的聲線。
以圖4具體舉例來說,在每一聲線群組20中,標記有「中音」的該聲線資料201例如是該聲線群組20中由該處理單元11從該虛擬人聲資料庫DB中所選出的初始聲線資料。另一方面,標記有「低音」或「極低音」的聲線資料201例如是由該處理單元11藉由降低該初始聲線資料之基音音頻範圍而被產生的衍生聲線資料。再一方面,標記有「高音」或「極高音」的聲線資料201則例如是由該處理單元11藉由提高該初始聲線資料之基音音頻範圍而被產生的衍生聲線資料。藉此,本實施例能針對單一種特定聲線進行基音音頻範圍的調整,從而擴展出音調高低不同的其他特定聲線,如此,即便該虛擬人聲資料庫DB中之口音及音色合適的特定聲線數量有限,本實施例也能以合適的特定聲線作為基礎而擴展出更多口音及音色合適的特定聲線,從而提升合適的特定聲線數量。
進一步地,在本實施例的一種進階實施態樣中,該處理單元11在對其中一筆初始聲線資料進行基音音頻範圍調整而產生一筆對應的衍生聲線資料之後,該處理單元11可例如將該筆衍生聲線資料作為另外一個對應不同角色類型之聲線群組20的初始聲線資料。舉一例來說,假設其中一筆初始聲線資料是對應於「成年女」的角色類型,則該處理單元11例如在將該筆初始聲線資料的基音音頻範圍提高而產生一筆對應之聲線更為尖銳的衍生聲線資料之後,例如根據該筆衍生聲線資料產生另一個對應於「幼年男」之角色類型的聲線群組20,並將該筆衍生聲線資料作為對應「幼年男」之該聲線群組20所包含的初始聲線資料。因此,藉由對該初始聲線資料進行基音的音頻範圍調整而產生衍生聲線資料,本實施例能夠利用同一種口音/音色合適的特定聲線擴展出其他適用於不同年齡/性別之角色的特定聲線。
補充說明的是,在不同的實施態樣中,該等聲線群組20中的其中一或多個聲線群組20也可以只包含單一筆衍生聲線資料。此外,可選地,在同一個聲線群組20中,任一衍生聲線資料可以是由該處理單元11藉由對該初始聲線資料同時進行基音的音頻範圍調整以及語速調整而被產生的。
在本實施例中,基於某些角色類型之聲線的需求量相對較高,該等聲線群組20的其中多個聲線群組20是對應於同一個角色類型。舉例來說,圖4中的聲線群組20A及聲線群組20B都是對應於「成年男」的角色類型,而聲線群組20C及聲線群組20D則都是對應於「成年女」的角色類型。特別說明的是,每一個聲線群組20在音色特徵及口音特徵的其中至少一方面具有唯一性,因此,即便其中兩個聲線群組20是對應於同一個角色類型,該兩聲線群組20所分別對應的兩群特定聲線在音色及口音呈現的其中至少一方面也會彼此不同。換個方式說,對於任一聲線群組20之任一聲線資料201所對應的該特定聲線,該特定聲線所呈現出的語音在音調、音色及口音的組合上具有唯一性。
在該處理單元11獲得該聲線資料組合D2之後,流程進行至步驟S3。
在步驟S3中,該處理單元11將該聲線需求資訊D1的該等角色資料10與該聲線資料組合D2的該等聲線資料201進行配對,以建立每一角色資料10與該等聲線資料201之其中一者之間的對應關係。在本實施例中,該處理單元11是優先決定該主要角色資料10*所要對應的聲線資料201,接著決定該等重要角色資料10’所要對應的聲線資料201,最後再決定該等次要角色資料10”所要對應的聲線資料201,但並不以此為限。
更具體地說,對於每一角色資料10,該處理單元11是先從該等聲線群組20中選出其中一個與該角色資料10對應於同一個角色類型的匹配聲線群組,再將該匹配聲線群組之該等聲線資料201中的其中一者設定為一對應於該角色資料10的配對聲線資料,藉此將該配對聲線資料所對應的該特定聲線配置給該角色資料10所對應的該角色。舉例來說,圖3中的該角色資料10B是對應於「成年女」的角色類型,則該處理單元11便會選出圖4中同樣對應於「成年女」之角色類型的其中一個聲線群組20(例如聲線群組20C或聲線群組20D)來作為匹配聲線群組,再從其中選出該角色資料10B所對應的配對聲線資料。
對於每一角色資料10,若該角色資料10是包含聲線特徵標籤102的主要角色資料10*或重要角色資料10’,則該處理單元11在從該等聲線群組20中選出對應的匹配聲線群組之後,是將該匹配聲線群組的該等聲線資料201中與該角色資料10之該聲線特徵標籤102匹配的其中一者設定為該角色資料10所對應的該配對聲線資料。
以圖3中的角色資料10A舉一例來說,該角色資料10A對應於「成年男」的角色類型,並且包含指示出「低音」的聲線特徵標籤102,因此,假設該處理單元11是選出圖4中的聲線群組20A來作為匹配聲線群組,則該處理單元11會進一步從聲線群組20A中選出匹配於「低音」之聲線特徵標籤102的該聲線資料201來作為該角色資料10A所對應的配對聲線資料。並且,由於該角色資料10A為該主要角色資料10*,因此,在此例中,該聲線群組20A會被作為該等聲線群組20中被用於決定該主要角色資料10*所對應之配對聲線資料的一個主角聲線群組20*。
以圖3中的角色資料10B舉另一例來說,該角色資料10B對應於「成年女」的角色類型,並且包含指示出「高音」的聲線特徵標籤102,因此,假設該處理單元11是選出圖4中的聲線群組20C來作為匹配聲線群組,則該處理單元11會進一步從聲線群組20C中選出匹配於「高音」之聲線特徵標籤102的該聲線資料201來作為該角色資料10B所對應的配對聲線資料。
在本實施例中,對於該等角色資料10中對應於同一個角色類型的其中多筆重要角色資料10’,若該等聲線群組20中的其中多個聲線群組20是與其中該等重要角色資料10’對應於同一個角色類型,且其中該等聲線群組20中不存在主角聲線群組20*,則該處理單元11是輪流從其中該等聲線群組20中選出該等重要角色資料10’所分別對應的該等配對聲線資料。舉例來說,圖3中的角色資料10B、角色資料10C以及圖4中的聲線群組20C、聲線群組20D都是對應於「成年女」的角色類型,且聲線群組20C及聲線群組20D皆非屬於主角聲線群組20*,在此情況下,該處理單元11會按照該角色資料10B及該角色資料10C所對應之該兩角色於該文本資料中首次出現的順序,而例如先從該聲線群組20C中選出該角色資料10B所對應的配對聲線資料,再從該聲線群組20D中選出該角色資料10C所對應的配對聲線資料,而使得該角色資料10B及該角色資料10C所分別對應的配對聲線資料是來自於不同的聲線群組20。如此一來,即便該角色資料10B及該角色資料10C都是對應於「成年女」的角色類型,本實施例仍能替該角色資料10B及該角色資料10C配置音色或口音彼此不同的兩個特定聲線,而有助於盡量避免多個重要配角之間的聲音太過相似。
在另一種情形中,對於該等角色資料10中對應於同一個角色類型的其中多筆重要角色資料10’,若該等聲線群組20中的其中多個聲線群組20是與其中該等重要角色資料10’對應於同一個角色類型,但其中該等聲線群組20中存在已被用於決定該主要角色資料10*所對應之配對聲線資料的主角聲線群組20*,則該處理單元11不從該主角聲線群組20*中選出該等重要角色資料10’所要對應的配對聲線資料。舉例來說,圖3中的角色資料10D、角色資料10E以及圖4中的聲線群組20A、聲線群組20B都是對應於「成年男」的角色類型,但該聲線群組20A為主角聲線群組20*,在此情況下,該處理單元11便只會從該聲線群組20B中選出該角色資料10D及該角色資料10E所對應的配對聲線資料,而不會從該主角聲線群組20*(在此例中為該聲線群組20A)中選擇該角色資料10D及該角色資料10E所對應的配對聲線資料,如此便能確保該角色資料10D及該角色資料10E所分別對應的配對聲線資料與該主要角色資料10*所對應的配對聲線資料是來自於不同的聲線群組20,以避免重要配角與主角的聲音太過相似。
對於該等角色資料10中對應於同一個角色類型的其中多筆次要角色資料10”,若該等聲線群組20中的其中多個聲線群組20是與其中該等次要角色資料10”對應於同一個角色類型,則該聲線配置系統1是輪流從其中該等聲線群組20中選出該等次要角色資料10”所分別對應的該等配對聲線資料。舉例來說,圖3中的角色資料10F、角色資料10G及角色資料10H以及圖4中的聲線群組20C、聲線群組20D都是對應於「成年女」的角色類型,且角色資料10F、角色資料10G及角色資料10H皆屬於次要角色資料10”,在此情況下,該處理單元11會按照該角色資料10F、角色資料10G及角色資料10H所對應的該三個次要配角於該文本資料中首次出現的順序,而例如先從該聲線群組20C中選出該角色資料10F所對應的配對聲線資料,接著從該聲線群組20D中選出該角色資料10G所對應的配對聲線資料,然後再從該聲線群組20C中選出該角色資料10H所對應的配對聲線資料,藉此確保該角色資料10F至該角色資料10H所分別對應的該等配對聲線資料不會全部來自於同一個聲線群組20。
補充說明的是,對於每一次要角色資料10”,該處理單元11在選出與該次要角色資料10”對應於同一個角色類型的匹配聲線群組之後,可例如是將該匹配聲線群組的該等聲線資料201中尚未與其他任何角色資料10存在對應關係,或者是所對應之其他角色資料10之數量最少的該聲線資料201設定為與該次要角色資料10”對應的配對聲線資料,但並不以此為限。
在該處理單元11設定每一角色資料10所對應的配對聲線資料之後,流程進行至步驟S4。
在步驟S4中,對於該等次要角色資料10”,該處理單元11將每一筆次要角色資料10”作為一受檢角色資料,並對於該受檢角色資料以及該受檢角色資料當前所對應的該配對聲線資料,根據該文本資料判斷一聲線衝突條件是否符合。
首先說明的是,在步驟S3執行完畢之後,該處理單元11已對每一角色資料10設定其所對應的配對聲線資料,在此情況下,該文本資料所包含的每一個台詞部分不但對應於該等角色資料10的其中一筆角色資料10,還對應於該其中一角色資料10當前所對應的該配對聲線資料。
並且,為了便於描述,在此將該等台詞部分中與該受檢角色資料對應的每一台詞部分作為一受檢台詞部分。
對於該受檢角色資料以及該受檢角色資料當前所對應的該配對聲線資料,該聲線衝突條件代表:該等台詞部分中存在一個符合一鄰近條件且所對應之角色資料10非為該受檢角色資料的鄰近台詞部分,且該鄰近台詞部分所對應的該配對聲線資料與該受檢角色資料所對應的該配對聲線資料相同。其中,對於該(等)受檢台詞部分以外的其他每一台詞部分,該鄰近條件代表該台詞部分在該文本資料中與任一受檢台詞部分之間相隔的字元數量小於等於一預設字元數量門檻值(例如600個字元,但並不以此為限)。
舉一例來說,假設圖3中的該角色資料10F被作為受檢角色資料,若該處理單元11對於該角色資料10F及其所對應的配對聲線資料判定該聲線衝突條件符合,表示該角色資料10F所對應的至少一個台詞部分在該文本資料中與另一角色資料10(例如圖3中的角色資料10B)對應之台詞部分之間相隔的字元數量小於等於該預設字元數量門檻值,且該角色資料10F與角色資料10B是對應於相同的配對聲線資料,亦即被配置到相同的特定聲線。也就是說,若以該角色資料10F及角色資料10B當前所對應的配對聲線資料進行實際配音,將會發生該角色資料10F及角色資料10B所對應之該兩角色以完全相同的聲線在短時間內先後發言的情況,而容易造成不佳的聆聽感受。
若該處理單元11對於任一受檢角色資料及其所對應之配對聲線資料判斷出聲線衝突條件符合,流程進行至步驟S5。另一方面,若該處理單元11對於每一受檢角色資料及其所對應之配對聲線資料皆未判斷出聲線衝突條件符合,流程則進行至步驟S9。
在步驟S5中,一旦該處理單元11對於任一受檢角色資料及其當前對應之配對聲線資料判斷出聲線衝突條件符合,該處理單元11自動地更新造成該聲線衝突條件符合之該受檢角色資料所對應的聲線資料201,亦即將該受檢角色資料所對應的配對聲線資料從原本的聲線資料201更換為不同的另一個聲線資料201,以嘗試排除兩個不同角色以相同的聲線在短時間內先後發言的情況。舉例來說,假設該受檢角色資料所對應的配對聲線資料原本是圖4的該聲線群組20C中標記「低音」的該聲線資料201,則該處理單元11可例如是將該受檢角色資料所對應的配對聲線資料更換成該聲線群組20C中的下一筆聲線資料201(例如該聲線群組20C中標記「中音」的該聲線資料201),或者是更換成對應於相同角色類型之另一聲線群組20(例如該聲線群組20D)中的任一聲線資料201。具體而言,該處理單元11可例如是根據該等聲線資料201之間的順序來更換該受檢角色資料所對應的配對聲線資料,也可例如是以隨機的方式來更換該受檢角色資料所對應的配對聲線資料。
在該處理單元11更新該受檢角色資料所對應的聲線資料201之後,流程進行至步驟S6。
在步驟S6中,該處理單元11再次對於每一受檢角色資料以及該受檢角色資料所對應之配對聲線資料判斷該聲線衝突條件是否符合。若該處理單元11再次判斷出該聲線衝突條件符合,流程進行至步驟S7,另一方面,若該處理單元11判斷出該聲線衝突條件並未再次符合,流程則進行至步驟S9。
在步驟S7中,該處理單元11判斷其本身判定該聲線衝突條件符合的累積次數是否已達到一預設衝突次數門檻值(例如三次,但並不以此為限)。若判斷結果為是,流程進行至步驟S8,另一方面,若判斷結果為否,流程則例如從步驟S5再次開始進行。
在步驟S8中,一旦該處理單元11判定該聲線衝突條件符合的累積次數已達到該預設衝突次數門檻值,該處理單元11產生一聲線衝突提示,並將該聲線衝突提示輸出。其中,該線衝突提示例如指示出造成該聲線衝突條件符合的該受檢角色資料,並且,該處理單元11輸出該聲線衝突提示的方式,可例如是控制一顯示裝置將該聲線衝突提示以顯示的方式輸出,但並不以此為限。補充說明的是,該聲線衝突提示例如是用來提示使用者以手動設定的方式來決定該受檢角色資料所要對應的配對聲線資料,但並不以此為限。
在步驟S9中,該處理單元11產生一聲線配置結果,並將該聲線配置結果輸出。其中,該聲線配置結果例如指示出所有該等角色資料10以及該等角色資料10所分別對應的該等配對聲線資料,並且,該處理單元11輸出該聲線配置結果的方式,可例如是控制該顯示裝置將該聲線配置結果以顯示的方式輸出,及/或將該聲線配置結果輸出至該儲存單元12儲存,但並不以此為限。補充說明的是,該聲線配置結果能用於供該處理單元11據以對該文本資料執行實際的配音程序,從而產生一對應於該文本資料且能被揚聲器播放的配音結果。
以上即為本實施例之聲線配置系統1如何實施該聲線配置方法的示例說明。
特別說明的是,本實施例的步驟S1至步驟S8及圖2的流程圖僅是用於示例說明本發明聲線配置方法的其中一種可實施方式。應當理解,即便將步驟S1至步驟S8進行合併、拆分或順序調整,若合併、拆分或順序調整之後的流程與本實施例相比是以實質相同的方式達成實質相同的功效,便仍屬於本發明聲線配置方法的可實施態樣,因此,本實施例的步驟S1至步驟S8及圖2的流程圖並非用於限制本發明的可實施範圍。
本發明還提供了一種電腦程式產品的一實施例,其中,該電腦程式產品包含一能被儲存於電腦可讀取紀錄媒體且能被一電子裝置(例如但不限於桌上型電腦、筆記型電腦、平板電腦、智慧型手機或伺服器)所載入並運行的應用程式,並且,當該電子裝置載入並運行該電腦程式產品的該應用程式時,該應用程式能使該電子裝置被作為該聲線配置系統1,並且實施前述的該聲線配置方法。
綜上所述,藉由實施該聲線配置方法,該聲線配置系統1能在口音及音色合適的聲線數量有限的情況下,利用合適的特定聲線(即初始聲線資料所對應的特定聲線)作為基礎,而擴展出更多口音及音色合適的特定聲線(即衍生聲線資料所對應的特定聲線),藉此提升可選的合適聲線數量。並且,該聲線配置系統1有助於避免重要配角與主角的聲音太過相似,以及避免多個重要配角之間的聲音彼此太過相似。進一步地,該聲線配置系統1還能在設定每一角色資料所對應的配對聲線資料之後,主動偵測是否存在不同角色在短時間內以相同聲線先後發言的情況,並嘗試予以排除。因此,該聲線配置系統1有助於在合適聲線數量有限的情況下達成較佳的配音效果,而確實能達成本發明之目的。
惟以上所述者,僅為本發明之實施例而已,當不能以此限定本發明實施之範圍,凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。
1:聲線配置系統
11:處理單元
12:儲存單元
DB:虛擬人聲資料庫
D1:聲線需求資訊
10、10A~10J:角色資料
101:角色標記
102:聲線特徵標籤
10*:主要角色資料
10’:重要角色資料
10”:次要角色資料
D2:聲線資料組合
20、20A~20D:聲線群組
20*:主角聲線群組
201:聲線資料
S1~S9:步驟
本發明之其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:
圖1是一方塊示意圖,示例性地表示本發明聲線配置系統的一實施例;
圖2是一流程圖,用於示例性地說明該實施例如何實施一聲線配置方法;
圖3是一示意圖,示例性地繪示該實施例在執行該聲線配置方法的過程中所利用的一聲線需求資訊;及
圖4是一示意圖,示例性地繪示該實施例在執行該聲線配置方法的過程中所利用的一聲線資料組合。
S1~S9:步驟
Claims (7)
- 一種聲線配置方法,由一聲線配置系統實施,該聲線配置系統包含一處理單元及一電連接該處理單元的儲存單元,該聲線配置方法包含: (A)獲得一聲線需求資訊及一聲線資料組合,其中: 該聲線需求資訊包含多筆分別對應於多個角色的角色資料,且每一角色資料對應於多個角色類型的其中一者,該等角色資料的其中一或多筆角色資料各包含一與音頻範圍相關的聲線特徵標籤,而各被作為一重要角色資料; 該聲線資料組合包含多個聲線群組,每一聲線群組對應於該等角色類型的其中一者且包括多筆聲線資料,每一聲線群組的該等聲線資料分別對應於多個特定聲線,且包含一初始聲線資料及一或多筆至少藉由對該初始聲線資料進行音頻範圍調整而被產生的衍生聲線資料; (B)對於每一角色資料,從該等聲線群組中選出其中一個與該角色資料對應同一個角色類型的匹配聲線群組,再將該匹配聲線群組之該等聲線資料中的其中一者設定為一對應於該角色資料的配對聲線資料,藉此將該配對聲線資料所對應的該特定聲線配置給該角色資料所對應的該角色,其中,若該角色資料屬於該重要角色資料,該聲線配置系統在從該等聲線群組中選出該匹配聲線群組之後,是將該匹配聲線群組的該等聲線資料中與該重要角色資料之該聲線特徵標籤匹配的其中一者設定為該重要角色資料所對應的該配對聲線資料; (C)對於該等角色資料中的其中一筆受檢角色資料以及該受檢角色資料當前所對應的該配對聲線資料,根據一對應於該聲線需求資訊的文本資料判斷一聲線衝突條件是否符合,其中,該文本資料包含多個台詞部分,每一台詞部分對應於該等角色資料的其中一角色資料以及該其中一角色資料當前所對應的該配對聲線資料,且該受檢角色資料所對應的每一台詞部分被作為一受檢台詞部分,並且,該聲線衝突條件包含:該等台詞部分中存在一個符合一鄰近條件且所對應之角色資料非為該受檢角色資料的鄰近台詞部分,且該鄰近台詞部分所對應的該配對聲線資料與該受檢角色資料所對應的該配對聲線資料相同,其中,對於該(等)受檢台詞部分以外的其他每一台詞部分,該鄰近條件代表該台詞部分在該文本資料中與任一受檢台詞部分之間相隔的字元數量小於等於一預設字元數量門檻值;及 (D)在判斷該聲線衝突條件符合的情況下輸出一指示出該受檢角色資料的聲線衝突提示。
- 如請求項1所述的聲線配置方法,其中,在步驟(B)中,對於該等角色資料中對應於同一個角色類型的其中多筆重要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等重要角色資料對應於同一個角色類型,則該聲線配置系統是輪流從其中該等聲線群組中選出該等重要角色資料所分別對應的該等配對聲線資料。
- 如請求項1所述的聲線配置方法,其中: 在步驟(A)中,該等角色資料的其中至少一者被作為一主要角色資料,且該等聲線群組中被用於決定該主要角色資料所對應之配對聲線資料的該聲線群組被作為一主角聲線群組;及 在步驟(B)中,對於該等角色資料中對應於同一個角色類型的其中多筆重要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等重要角色資料對應於同一個角色類型,但其中該等聲線群組中存在該主角聲線群組,則該聲線配置系統不從該主角聲線群組中選出該等重要角色資料所要對應的配對聲線資料。
- 如請求項1所述的聲線配置方法,其中, 在步驟(A)中,該等角色資料的其中一或多筆不包含聲線特徵標籤的角色資料各被作為一次要角色資料; 在步驟(B)中,對於該等角色資料中對應於同一個角色類型的其中多筆次要角色資料,若該等聲線群組中的其中多個聲線群組是與其中該等次要角色資料對應於同一個角色類型,則該聲線配置系統是輪流從其中該等聲線群組中選出該等次要角色資料所分別對應的該等配對聲線資料。
- 如請求項1所述的聲線配置方法,其中,在步驟(D)中,在判斷該聲線衝突條件符合的情況下,該聲線配置系統是先更新該受檢角色資料所對應的聲線資料,並於更新該受檢角色資料所對應的聲線資料且再次判斷出該聲線衝突條件符合之後,才輸出該聲線衝突提示。
- 一種聲線配置系統,包含一處理單元及一電連接該處理單元的儲存單元,該聲線配置系統被配置為實施如請求項1至5其中任一項所述的聲線配置方法。
- 一種電腦程式產品,包含一應用程式,其中,當該應用程式被一電子裝置載入並執行時,能使該電子裝置實施如請求項1至5其中任一項所述的聲線配置方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112128777A TWI894591B (zh) | 2023-08-01 | 2023-08-01 | 聲線配置方法及系統與電腦程式產品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112128777A TWI894591B (zh) | 2023-08-01 | 2023-08-01 | 聲線配置方法及系統與電腦程式產品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202507709A TW202507709A (zh) | 2025-02-16 |
| TWI894591B true TWI894591B (zh) | 2025-08-21 |
Family
ID=95555206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112128777A TWI894591B (zh) | 2023-08-01 | 2023-08-01 | 聲線配置方法及系統與電腦程式產品 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI894591B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070220575A1 (en) * | 2006-03-03 | 2007-09-20 | Verimatrix, Inc. | Movie studio-based network distribution system and method |
| TW201322743A (zh) * | 2011-11-18 | 2013-06-01 | Onlive Inc | 用於控制視訊串流之圖形使用者介面,系統及方法 |
| CN107683449A (zh) * | 2015-04-10 | 2018-02-09 | 索尼互动娱乐股份有限公司 | 控制经由头戴式显示器呈现的个人空间内容 |
| CN114783403A (zh) * | 2022-02-18 | 2022-07-22 | 腾讯科技(深圳)有限公司 | 有声读物的生成方法、装置、设备、存储介质及程序产品 |
-
2023
- 2023-08-01 TW TW112128777A patent/TWI894591B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070220575A1 (en) * | 2006-03-03 | 2007-09-20 | Verimatrix, Inc. | Movie studio-based network distribution system and method |
| TW201322743A (zh) * | 2011-11-18 | 2013-06-01 | Onlive Inc | 用於控制視訊串流之圖形使用者介面,系統及方法 |
| CN107683449A (zh) * | 2015-04-10 | 2018-02-09 | 索尼互动娱乐股份有限公司 | 控制经由头戴式显示器呈现的个人空间内容 |
| CN114783403A (zh) * | 2022-02-18 | 2022-07-22 | 腾讯科技(深圳)有限公司 | 有声读物的生成方法、装置、设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202507709A (zh) | 2025-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112309365B (zh) | 语音合成模型的训练方法、装置、存储介质以及电子设备 | |
| CN106373580B (zh) | 基于人工智能的合成歌声的方法和装置 | |
| KR102615154B1 (ko) | 전자 장치 및 전자 장치의 제어 방법 | |
| CN106898340B (zh) | 一种歌曲的合成方法及终端 | |
| CN113724686B (zh) | 编辑音频的方法、装置、电子设备及存储介质 | |
| US20200313782A1 (en) | Personalized real-time audio generation based on user physiological response | |
| US10971125B2 (en) | Music synthesis method, system, terminal and computer-readable storage medium | |
| CN109982231B (zh) | 一种信息处理方法、设备及存储介质 | |
| US20210193108A1 (en) | Voice synthesis method, device and apparatus, as well as non-volatile storage medium | |
| JP7728978B2 (ja) | 伴奏生成方法、装置及び記憶媒体 | |
| US8103505B1 (en) | Method and apparatus for speech synthesis using paralinguistic variation | |
| CN111105776A (zh) | 有声播放装置及其播放方法 | |
| US10855241B2 (en) | Adjusting an equalizer based on audio characteristics | |
| EP3920049A1 (en) | Techniques for audio track analysis to support audio personalization | |
| CN116229996A (zh) | 音频制作方法、装置、终端、存储介质及程序产品 | |
| TWI894591B (zh) | 聲線配置方法及系統與電腦程式產品 | |
| US20190377540A1 (en) | Calibrating audio output device with playback of adjusted audio | |
| US12315490B2 (en) | Text-to-speech and speech recognition for noisy environments | |
| CN116034423A (zh) | 音频处理方法、装置、设备、存储介质及程序产品 | |
| US20230230611A1 (en) | Method and device for managing audio based on spectrogram | |
| CN109841224B (zh) | 多媒体播放方法、系统及电子设备 | |
| CN112685000B (zh) | 音频处理方法、装置、计算机设备及存储介质 | |
| CN118430553A (zh) | 音频处理方法、装置和电子设备 | |
| Wang et al. | Spectral motion contrast as a speech context effect | |
| CN115691468A (zh) | 歌声合成方法、计算机设备及存储介质 |