[go: up one dir, main page]

TW200926876A - Method and apparatus for generating a binaural audio signal - Google Patents

Method and apparatus for generating a binaural audio signal Download PDF

Info

Publication number
TW200926876A
TW200926876A TW097137805A TW97137805A TW200926876A TW 200926876 A TW200926876 A TW 200926876A TW 097137805 A TW097137805 A TW 097137805A TW 97137805 A TW97137805 A TW 97137805A TW 200926876 A TW200926876 A TW 200926876A
Authority
TW
Taiwan
Prior art keywords
binaural
signal
audio signal
channel
stereo
Prior art date
Application number
TW097137805A
Other languages
English (en)
Other versions
TWI374675B (en
Inventor
Dirk Jeroen Breebaart
Lars Falck Villemoes
Original Assignee
Koninkl Philips Electronics Nv
Dolby Sweden Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninkl Philips Electronics Nv, Dolby Sweden Ab filed Critical Koninkl Philips Electronics Nv
Publication of TW200926876A publication Critical patent/TW200926876A/zh
Application granted granted Critical
Publication of TWI374675B publication Critical patent/TWI374675B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

200926876 九、發明說明: 【發明所屬之技術領域】 本發明係關於一種用於產生一雙耳聲頻訊號之方法及裝 置且更特定言之,但非排他性地係關於從一單聲降混訊號 產生一雙耳聲頻訊號。 【先前技術】 在最近十年間,一直趨向於多通道聲頻且明確而言趨向 延伸至習知立體聲訊號外的空間聲頻。例如,傳統立體聲 記錄僅包含兩個通道,而現代進階聲頻系統一般使用五或 六個通道,如在流行的5.1環繞聲音系統中。此提供一更 投入的傾聽體驗’其中使用者可為聲源所環繞。 已發展出各種技術及標準用於傳達此類多通道訊號。例 如’可依據諸如進階聲頻編碼(AAC)或杜比(Dolby)數位標 準之標準來發送表示一 5.1環繞系統的六個離散通道。 然而’為了提供向後相容性,已知將更高數目的通道降 混至一更低數目’且更明確而言’頻繁用以降混一 5,丨環 繞聲音訊號至一立體聲訊號,從而允許由舊式(立體聲)解 碼器來重製一立體聲訊號以及由環繞聲音解碼器來重製一 5 · 1訊號。 -範例係MPEG2向後相容編碼方*。—多料訊號係降 混成一立體聲訊號。額外訊號係編碼於輔助資料部分内, 從而允許一 MPEG2多通道解碼器產生該多通道訊號之一表 示。-MPEG1解碼器將會忽視該等輔助資料並因而僅解碼 立體聲降混。 134648.doc 200926876 存在可用以說明聲頻訊號之空間性質的數個參數。一此 類參數係通道間交叉相關性,諸如在用於立趙聲訊號的左 通道與右通道之間的交叉相關性。另一參數係該等通道之 功率比。在所謂(參數)空間聲頻編碼器中,該些及其他參 數係操取自最初聲頻訊號以便產生具有—減低數目通道 • (例如僅—單—通道)的-聲頻訊號,加上-組參數,其說 • 明該最初聲頻訊號之該等空間性質。在所謂(參數)空間聲 參 贿碼器中’重整發送空間參數所說明的空間性質。 3D聲源定位目前頗受關注,尤其係在行動領域内。在行 動遊戲内的音樂播放及聲音效果可在以3〇定位時給消費者 體驗增加明顯的價值,從而有效地建立一"頭外,,3〇效 果。明確而言,已知記錄並重製雙耳聲頻訊號,其包含^ 類耳朵較敏感的特定方向資訊。雙耳記錄一般使用固定於 -虛設人類頭部内的兩個麥克風來進行,使得所記錄聲音 對應於人類耳朵所捕捉之聲音i包括由於頭部&耳朵之形 ❹ 狀所引起之任何影響。雙耳記錄不同於立體聲(即立體音 響)記錄’因為-雙耳記錄之重製通常打算用於一耳機或 頭戴式耳機’而-立體聲記錄通常係進行以由揚聲器來重 ’ 冑。耗—雙耳記錄允許僅使用兩個通道來4製所有空間 、 資訊,但一立體聲記錄將不會提供相同的空間感知。工曰 常規雙通道(立體音響)或多通道(例如51)記錄可藉由捲 積每-常規訊號與-組感知轉移函數來變換成雙耳記錄。 此類感知轉移函數模型化人類頭冑以及可能其他物件對訊 號之影響。-熟知類型的空間感知轉移函數係所謂的頭部 134648.doc 200926876 相關轉移函數(HRTF)。-替代類型的空間感知轉移函數, 其還將一房間之牆壁、天花板及地板之反射考量在内,係 雙耳空間脈衝響應(BRIR)。 一般而言,3D定位演算法運(或BRIR),其藉由 一脈衝響應來說明從-特定聲源位置至耳膜之轉移。3D聲 ‘ 源、定位可藉由HRTF來應用於多通道訊號,從而允許一雙 ‘ 耳訊號(例如)使用一對頭戴式耳機來向一使用者提供空間 聲音資訊。 傳.统冑4合成演算法係概述於圖】内。 係由一組謝F來加以渡波。每一輸入訊號係分割成= 訊號(一左"L”及一右"R"分量);該些訊號之每一者係隨後 由對應於所需聲源位置的一HRTF來加以渡波。隨後相加 所有左耳訊號以產生左雙耳輸出訊號,並相加該等右耳訊 號以產生右雙耳輸出訊號。 已知可接收一環繞聲音編碼訊號並從一雙耳訊號產生一 〇 環繞聲音體驗之解碼器系統。例如,已知頭戴式耳機系 統,其允許將一環繞聲音訊號轉換成一環繞聲音雙耳訊號 用於向該等頭戴式耳機之使用提供一環繞聲音體驗。 , 02解說U,其中—MPEG環繞解碼器接收具有空間 .録資料的-立體聲訊號。輸入位元流係藉由一解多工器 (201)來加以解多工’從而導致空間參數與—降混位元流。 後者位元流係使用-習知單聲或立體聲解碼器(2〇3)來加以 解碼。該解碼降混係藉由一空間解碼器(2〇5)來加以解碼, 該空間解碼器基於該等發送空間參數來產生一多通道輸 134648.doc 200926876 出最後》亥多通道輸出則係藉由一雙耳合成級(2〇7)(類 似於圖!者)來加以處理,從而導致一向使用者提供一環繞 聲音體驗之雙耳輸出訊號。 然而,此一方案係較複雜且要求相當多計算資源並可能 進一步減低聲頻品質並引入可聞噪聲。 為了克服該些缺點之一些者,已提出可組合一參數多通 道聲頻解碼器與一雙耳合成演算法,使得可在頭戴式耳機 内呈現一多通道訊號而不要求先從所發射的降混訊號來產 生多通道訊號,隨後使用HRTF濾波器來降混該多通道訊 號。 在此類解碼器中,組合用於重新建立該多通道訊號的升 混空間參數係與該等HRTF濾波器以產生組合參數,可將 該等組合參數直接應用於降混訊號以產生雙耳訊號。為了 如此操作,參數化該等HRTF濾波器。 此一解碼器之一範例係解說於圖3中並進一步說明於 ^ Breebaart, J. "Analysis and synthesis of binaural parameters for efficient 3D audio rendering in MPEG Surround(用於 MPEG環繞中具效率3D聲頻呈現之雙耳參數之分析及合 成)",ICME會議錄,北京’中國(2007)與 Breebaart, J.、 Faller,C. "Spatial audio processing: MPEG Surround and other applications(空間聲頻處理:MPEG環繞及其他應 用)",Wiley & Sons,紐約(2007)中。 一包含空間參數與一降混訊號之輸入位元流係由一解多 工器3 01來接收。該降混訊號係由一傳統解碼器3〇3來加以 134648.doc -10- 200926876 解碼’從而導致一 從而導致一單聲或立體聲降混。
間參數與HRTF處理之組合效果。
藉由一變換單元309來轉移至一 L °明確而言,該降混訊號係 一變換或濾波器組域(或傳統 解碼器303可直接提供該解碼降混訊號作為一變換訊號” 變換單元309可明確包含一 qmf濾波器組來產生qmf次頻 帶。次頻帶降混訊號係饋送至一矩陣單元3n,其在每一 次頻帶内執行一 2x2矩陣運算。 若該發送的降混係一立體聲訊號,則至矩陣單元3丨j的 該兩個輸入訊號係兩個立體聲訊號。若該發送的降混係一 單聲訊號’則至矩陣單元3丨丨的該等輸入訊號之一者係該 φ 單聲訊號而另一訊號係一解相關訊號(類似於一單聲訊號 至一立體聲訊號之習知升混)。 對於該等單聲與立體聲降混兩者,矩陣單元311執行運 算: 'ylf K h^k_ 其中A係次頻帶索引編號,《係槽(變換間隔)索引標號, <係用於次頻帶免之矩陣元素,係用於次頻帶皮之 I34648.doc -11 - 200926876 兩個輸入訊號而«係、該等雙耳輸出訊號樣本。 矩陣單元311饋送雙耳輸出訊號樣本至-逆變換單元 313 ’其將該訊號變換回至時域。可接著將所得時域雙耳 訊號馈送至頭戴式耳機以提供—環繞聲音體驗。 所說明方案具有若干優點: 可在變換域内執行該HRTF處理,從而由於可使用相同 變換域來解碼該降混訊號,所以在許多情況下可減低 之變換數目。
處理之複雜度係極低(其僅使用2χ2矩陣乘法)且係事 上與同時_通道之數目無Μ。討制料 降混兩者; $ HRTF係以一 送及儲存》 極緊湊方式來表示並因此 可極具效率地發 Ο 不過’該方案還具有-些缺點。明確而言,由於盔 由該等參數化次頻帶HRTF值來表示更長的脈衝響應,該 方案僅適用於具有-相對較短脈衝響應(通常小於變換間 隔)之HRTFim案不能用於具有較長回聲或回響 ^聲頻環境。明確而言,該方案m對可能較長的回 聲HRTF或雙耳空間脈㈣應(BRIR)無效並因而極 參數方案來正確模型化。 因此,-種用於產生-雙耳聲頻訊號之改良系統將會較 利,且特定言之-種允許增加彈性、改良效能、促 施、減低資源使用及/或改良不同聲頻環 將會較_。 W之系統 【發明内容】 134648.doc -12- 200926876 據此,本發明致力於單獨或以任— 輕、緩和或消除上述缺點中的一或多個缺:。式較佳地減 ❹ ❹ 依據本發明之-第-態樣,提供—種心產生一雙 頻訊號之裝置’該裝置包含:接收構件,其用於接收聲 頻資料,該等聲頻資料包含作為一N通道聲頻訊號之一降 混的-Μ通道聲頻訊號與升混㈣通道聲頻訊號至該⑽ 道聲頻訊號的㈣參數資料;參數資料構件,其用於回應 至少-雙耳感知轉移函數將該等空間參數資料之空間參數 轉換成第-雙耳參數;轉換構件,其用於回應該等第一雙 耳參數將該Μ通道聲頻訊號轉換成一第—立體聲訊號;一 立體聲濾纟器,其用於藉由滤波該第一立體聲訊號來產生 該雙耳聲頻訊號;及係數構件,其用於回應該雙耳感知轉 移函數來決定用於該立體聲濾波器之濾波器係數。 本發明可允許產生一改良雙耳聲頻訊號。特定言之,本 發明之具體實施例可使用頻率與時間處理之一組合來產生 反映回聲聲頻環境及/或具有較長脈衝響應之hrtf* brir 的雙耳訊號。可獲得一較低複雜度的實施方案。該處理可 在較低計算及/或記憶體資源需求下實施。 該Μ通道聲頻降混訊號可明確為一單聲或立體聲訊號, 其包含一較高數目空間通道之一降混,諸如一 5·ι或71環 繞訊號之一降混《該等空間參數資料可明確包含用於該Ν 通道聲頻訊號的通道間差異及/或交又相關性差異。該(等) 雙耳感知轉移函數可能係HRTF或BRIR轉移函數。 依據本發明之一可選特徵,該裝置進一步包含變換構 134648.doc -13- 200926876 件,其用於將該Μ通道聲頻訊號從一時域變換至一次頻帶 域且其中該轉換構件與該立體聲濾波器係配置用以個別處 理該次頻帶域之每一次頻帶。 該特徵可提供促進實施、減低資源需求及/或與許多聲 頻處理應用(諸如習知解碼演算法)之相容性。 依據本發明之一可選特徵,該雙耳轉移函數之一脈衝響 應之一持續時間超過一變換更新間隔。 本發明可允許產生一改良雙耳訊號及/或可減低複雜 度。特定言之,本發明可產生對應於具有較長回聲或回響 特性之聲頻環境的雙耳訊號。 3 依據本發明之一可選特徵,該轉換構件係配置以為每一 次頻帶產生立體聲輸出樣本’其實質上為: L〇 ^12 ΊΓ·^/ β〇. h2] ^22jL^/_ ❹ 其中^與!^之至少—者係在該次頻帶中該Μ通道聲頻訊號 之-聲頻通道之-樣本而該轉換構件係配置以回應該等空 間參數資料與該至少—雔甘 雙耳感知轉移函數兩者來決定矩陣 係數hxy 。 f 度 該特徵可允許產生一.改良雙耳訊號及/或可減低複雜 〇 依據本發明之一可選特徵,該係數構 件,其用於提供對雍扠供構 雙耳感知轉移函1 道訊號中不同聲源的複數個 : 轉移函數之脈衝響應的-次頻帶表示;決定構 藉由該4=人頻帶表示之對應係數之一加權組合 134648.doc -14- 200926876 來決定該等濾波器係數;及決定構件,其用於回應該等空 間參數資料來決定用於該加權組合之該等次頻帶表示之權 -备· 〇 本發明可允許產生一改良雙耳訊號及/或可減低複雜 度。特定言之,可決定低複雜度、仍高品質的濾波器係 數。 依據本發明之一可選特徵,該等第一雙耳參數包含相干
性參數,其指示在該雙耳聲頻訊號之通道之間的一相關 性。 本特徵可允許產生一改良雙耳訊號及/或可減低複雜 X特疋。之’可藉由在據波之前的一低複雜度運算來呈 效率地提供所需相關性。日㈣而言,可執行—低複雜度:欠 頻帶矩陣乘法來引人所需相關性或相干性性f至該雙耳訊 號。此類性質可在該濾波之前引人且不要求修改該等渡波 =。因而’該特徵可允許具效率且低複雜度地控制相關性 或相干性特性。 依據本發明之一可選特徵,哕笙 _^料第—雙耳參數不包含指 不該雙耳聲頻訊號之任一聲 -耸/原之一位置的定位參數以及指 不該雙耳耷頻訊號之任一聲立八 至少一者。 琴0刀量之一回響的回響參數之 該特徵可允許產生—改e 度。特宕吁牲 々雙耳汛號及/或可減低複雜 斤制―ΓΓ 允許藉由料濾波^來排他性地 ,位資訊及/或回響參數,從 良品質。胃運算及/从供改 、之相干性或相關性可藉由該 134648.doc ,15· 200926876 轉換構件來加以控制 制從而獨立地控制該相關性/相干性 與疋位及/或回響且其中其最具實用性或效率。 2據本發明之—可選特徵,該係數構件係配置以決定該 :滤波器係數以反映用於該雙耳聲頻訊號之 : 響線索之至少一者。 兴口 本特徵可允許產生一改良雙耳 艮燹斗唬及/或可減低複雜 -。特定言之’所需定位或回響性f可藉由次頻帶據波來 ❹ 具效率地提供,從而提供改良品質且特定言之允許(例如) 具效率地模擬回聲聲頻環境。 口依據本發明之-可選特徵,該聲_通道聲頻訊號係一 單聲聲頻a號而該轉換構件係配置用以從該單聲聲頻訊號 產生—解相關訊號並藉由應用於—包含該解相關訊號與該 單聲聲頻訊號之立體聲訊號之樣本的一矩陣乘法來產生該 第一立體聲訊號。 本特徵可允許從-單聲訊號產生一?文良雙耳訊號及/或 可減低複雜度。特定言之,本發明可允許從一般可用空間 參數來產生用於產生-高品質雙耳聲頻訊號的所有要求參 數0 依據本發明之另一態樣,提供—種產生一雙耳聲頻訊號 之方法,該方法包含:接收聲頻資料,該等聲頻資料包含 作為N通道聲頻訊號之一降混的一M通道聲頻訊號與用 於升混該Μ通道聲頻訊號至該Ν通道聲頻訊號的空間參數 貝料;回應至少一雙耳感知轉移函數將該等空間參數資料 之二間參數轉換成第一雙耳參數;回應該等第一雙耳參數 134648.doc • 16 - 200926876 將該Μ通道聲頻訊號轉換成一第一立體聲訊號;藉由濃波 該第立體聲訊號來產生該雙耳聲頻訊號;以及回應該至 少-雙耳感知轉移函數來決定用於該立體聲滤波器之滤波 器係數。 ‘ 依據本發明之另一態樣,提供一種發射一雙耳聲頻訊號 ‘ 之發射器,該發射器包含:接收構件,其用於接收聲頻 * ,該等聲頻資料包含作為-Ν通道聲頻訊號之一降混 通道聲頻訊號與升混該Μ通道聲頻訊號至該Ν通道 2頻訊號的空間參數資料;參數資料構件,其用於回應至 少:雙耳感知轉移函數將該等空間參數資料之空間參數轉 、成第冑耳參數,轉換構件’其用於回應該等第一雙耳 參數將該Μ通道聲頻訊號轉換成一第一立體聲訊號;一立 體聲?慮波器,其用於藉由、'舍.士 + # 雙耳磬…、藉由屬波該第-立體聲訊號來產生該 雙耳耷頻讯唬;及係數槿丰 η“ 数構件其用於回應該雙耳感知轉移 函數來決定用於該立體聲濾波 ^係數;以及發射 〇 構件,其用於發射該雙耳聲頻訊號。 ::本:::之另一態樣’提供一種發射一聲頻訊 收槿杜甘β 發射器,該發射器包含:接 構件,其用於接收聲頻資料,該等聲頻 . _道聲頻訊號之__降混的_ I含作為- 通道聲頻訊號至該N通道聲頻㈣^頻訊號與升混該Μ 資料構件,其用於回應至Γ—==參數資料;參數 間參數資料之空間參數轉:函:將該等空 其用於回應該等第一雙耳表^ 耳參數,轉換構件’ 雙耳參數將該Μ通道聲頻 134648.doc 200926876 第-立體聲訊號;一立體聲濾波器,其用於藉由濾波該 第-立體聲訊號來產生該雙耳聲頻訊號;及係數構件,其 用於回應該雙耳感知轉移函數來決定用於該立體聲據波器 H器係、數;以及發射構件,其用於發射該雙耳聲頻訊 號;及一接收器,其用於接收該雙耳聲頻訊號。
依據本發明之另一態樣’提供一種用於記錄一雙耳聲頻 訊號之聲頻記錄器件’該聲頻記錄器件包含接收構件,其 用於接收聲頻資料,該等聲頻f料包含作為—崎道聲頻 訊號之-降混的—M通道聲頻訊號與升混該]^通道聲頻訊 號至該Nitif聲頻訊號的空間參數f料;參數資料構件, 其用於回應至少-雙耳感知轉移函數將該等空間參數資料 之空間參數轉換成第一雙耳參數;轉換構件,其用於回應 該等第一雙耳參數將該Μ通道聲頻訊號轉換成一第一立體 聲訊號,立體聲濾波器’其用於藉由濾波該第一立體聲 訊號來產生該雙耳聲頻訊號;係數構件(419),其用於回應 該雙耳感知轉移函數來決定用於該立體聲濾波器之滤波器 係數;以及記錄構件,其用於記錄該雙耳聲頻訊號。 依據本發明之另一態樣,楛供一接欲& ^ 〜银扠供種發射一雙耳聲頻訊號 之方法,該方法包含:接收聲頻資料,該等 含 作為-Ν通道聲頻訊號之—降混的—Μ通道聲頻訊號與用 於升混該Μ通道聲頻訊號至該Ν通道聲頻訊號的空間參數 資料·,回應至少-雙耳感知轉移函數將該等空間參數資料 之空間參數轉換成第-雙耳參數;回應該等第—雙耳參數 將該Μ通道聲頻訊號轉換成—第—立體聲訊號;藉由在一 134648.doc •18- 200926876 立體聲濾波器中遽波該第一 〇 ^ 且體聲訊旎來產生該雙耳聲頻 訊=、;回應雙耳感知轉移函數來決定用於該立體聲濾波器 之滤波b係數;及發射該雙耳聲頻訊號。 依據本發明之另1樣,提供—種發射並接收—雙耳聲 頻訊號之方法,該方法包含:—發射器,其執行以下步 ‘ #.接收聲頻資料’該等聲頻資料包含作為通道聲頻 . 降混的—Μ通道聲頻訊號㈣於升混該M通道聲 ❹冑況號至"亥N通道聲頻訊號的空間參數資料;回應至少一 雙耳感矣轉移函數將該等空間參數資料之空間參數轉換成 第雙耳參數,回應該等第一雙耳參數將該Μ通道聲頻訊 號轉換成一第一立體聲訊號;藉由在一立體聲渡波器内滤 .k第立體聲讯號來產生該雙耳聲頻訊號;回應雙耳感 知轉移函數來決定用於該立體聲滤波器之渡波器係數;及 發射該雙耳聲頻訊號;以及一接收器執行接收該雙耳聲頻 訊號之步驟。 ® 據本發明之另一態樣,提供一種用於實行以上所說明 方法之任一者之方法的電腦程式產品。 根據以下說明的該(等)具體實施例將會明白本發明之該 些及其他態樣、特徵及優點並將參考該等具體實施例予以 闡釋。 【實施方式】 下列說明集中於適用於從複數個空間通道之一單聲降混 來合成一雙耳立體聲訊號的本發明之一具體實施例。特定 δ ,本說明書將適用於從使用一所謂"5 151"組態編碼的 134648.doc •19- 200926876 一 MPEG環繞聲音位元流產生用於頭戴式耳機重製的一雙 耳訊號,該組態具有5個通道作為輸入(由第一個"5"指 示)、一單聲降混(第一個"1")、一 5通道重建(第二個"5")與 依據樹結構之空間參數化"1"。關於不同樹結構之詳細資 訊可見諸於 Herre,J.、Kj5rling,K.、Breebaart,J.、 Faller, C.、Disch, S.、Purnhagen, H.、Koppens, J.、 Hilpert, J.、Roden, J.、Oomen,W.、Linzmeier,K.、 Chong, K. S. "MPEG Surround - The ISO/MPEG standard for efficient and compatible multi-channel audio coding(MPEG環繞-用於具效率且相容多通道聲頻編碼 之ISO/MPEG標準)",第122屆AES大會會議錄,維也納, 奥地利(2007)與Breebaart,J.、Hotho,G.、Koppens, J.、 Schuijers, E.、Oomen, W.、van de Par, S. "Background, concept, and architecture of the recent MPEG Surround standard on multi-channel audio compression(關於多通道聲 頻壓縮之最近MPEG環繞標準之背景、概念及架構)",J. Audio Engineering Society(聲頻工程學會期刊),55,第 331至351頁(2007)。不過,應瞭解,本發明不限於此應 用,而可(例如)應用於許多其他聲頻訊號,例如包括降混 至一立體聲訊號的環繞聲音訊號。 在諸如圖3者之先前技術器件中,長HRTF或BRIR無法藉 由參數化資料與矩陣單元311所執行之矩陣運算來具效率 地表示。事實上,該等次頻帶矩陣乘法係限於表示時域脈 衝響應,其具有對應於用於變換至次頻帶時域之變換時間 134648.doc -20- 200926876 間隔的-持續時間。例如,若該變換係一快速傅立葉變換 (FFT) ’則將N個樣本之每一 FFT間隔轉移成N個次頻帶樣 本,其係饋送至該矩陣單&。不過,將會不充分地表示長 於N個樣本的脈衝響應。 此問題之一解決方案係使用一次頻帶域濾波方案,其中 係藉由一矩陣濾波方案來替代該矩陣運算,在該矩陣濾波 方案中濾波s亥等個別次頻帶。因而,在此類具體實施例 中,s亥次頻帶處理可取代一簡單矩陣乘法而給出為:
Nq~\ ~K\,k Ki,k' Lu /:0 ynC\ 其中 '係用於該濾波器表示該(等)HRTF/BRIR函數之分接 頭數目。 此一方案有效地對應於應用四個濾波器至每一次頻帶 (矩陣單元311之輸入通道及輸出通道之每一排列均一個)。 儘管此一方案可能在一些具體實施例中較有利,但其還 具有一些關聯缺點。例如,該系統要求四個濾波器用於每 一次頻帶,從而明顯增加用於處理之複雜度及資源要求。 而且’在許多情況下,可能較複雜、難以或甚至不可能產 生精確對應於所需HRTF/BRIR脈衝響應的該等參數。 明確而言,對於圖3之簡單矩陣乘法,可在Hrtf參數與 所發送空間參數的幫助下估計該雙耳訊號之相干性,因為 兩個參數類型均存在於相同(參數)域内。該雙耳訊號之相 干性取決於在個別聲源訊號之間的相干性(如該等空間參 134648.doc 21 200926876 數所說明)以及從該等個別位置至耳膜之聲學路徑(由HRTF 所說明)。若全部以一統計(參數)方式來說明相對訊號位 準、逐對相干性值及HRTF轉移函數,則可在該參數域内 直接估計空間呈現與HRTF處理之組合效果所引起之淨相 干性。此程序係說明於Breebaart, J. "Analysis and synthesis of binaural parameters for efficient 3D audio rendering in MPEG Surround(用於 MPEG環繞中具效率 3D 聲頻呈現之雙耳參數之分析及合成)",ICME會議錄,北 京,中國(2007)與 Breebaart,J.、Faller,C. "Spatial audio processing: MPEG Surround and other applications(空間聲 頻處理:MPEG環繞及其他應用)',,Wiley & Sons,紐約 (2007)中。若所需相干性係已知,則可藉由一矩陣運算由 一解相關器與該單聲訊號之一組合來獲得具有依據指定值 之一相干性的一輸出訊號。此程序係說明於Breebaart, J.、van de Par, S.、Kohlrausch,A.、Schuijers,E. "Parametric coding of stereo audio(立體聲聲頻之參數編 碼)",EURASIP J. Applied Signal Proc.9(EURASIP應用訊 號處理期刊 9),第 1305 至 1322 頁(2005)與 Engdeghd,J.、 Purnhagen, Η. ' Roden, J. ' Liljeryd, L. "Synthetic ambience in parametric stereo coding(在參數立體聲編碼中合成周邊 環境)”,第116屆AES大會,柏林,德國(2004)中。 結果,該等解相關器訊號矩陣實體(/2/2與/1^)遵循空間與 HRTF參數之間的相對簡單關係。不過,對於諸如以上所 說明該等者的濾波器回應,明顯更難以計算由空間解碼與 134648.doc -22- 200926876 於該 後回 雙耳合成所引起之淨相干性,因為所需相于 BJ;IR之第一部分(直接聲音)不同於對於剩餘部分(稍 J確而f,對於BRIR ’該等要求性質
:度地變化。例如’-贿之第-部分可能說明直^ 曰(沒有房間效應)。此部分因此係高度方向性(具 如恤準差異與到達時間差異所反映之完全不同定位性質 以及—較高相干性)。另-方面,較早反映及稍後回響時 吊相對較少具方向性。因而’在耳朵之間的位準差異係較 不顯著,由㈣些之隨機性f,故難以精確地決定到達時 間差異,且在許多情況下該相干性係相#低。此定位性質 變化係對於精確捕捉相當重要,但此可能較困難,因為其 將要求该等m回應之相干性係取決於實際渡波器回應 内的位置來變化’而同時整個滤波器回應應取決於該等* 間參數與該等而_數。此要求組合極難以使用一有: 數目的處理步驟來實現。 總而言之,決定該等雙耳輸出訊號之間的正確相干性並 確保其正確時間行為係對於一單聲降混而言極困難且使用 已知用於先前技術之矩陣乘法方案的方案係一般不可能。 圖4解說一種用於依據本發明之一些具體實施例來產生 一雙耳聲頻訊號之器件。在所說明方案中,係組合參數矩 陣乘法與低複雜度濾波來允許模擬具有較長回聲或回響之 聲頻環境。特定言之,該系統允許使用長HRTF/BRIR,同 時仍維持較低複雜度與實際實施。 134648.doc -23- 200926876 該器件包含一解多工器401,其接收一聲頻資料位元 流,該聲頻資料位元流包含作為一N通道聲頻訊號之一降 混的一聲頻Μ通道聲頻訊號。此外,資料包含用於升混該 Μ通道聲頻訊號至該N通道聲頻訊號的空間參數資料。在 該特定範例中,該降混訊號係一單聲訊號,即M=1而該Ν 通道聲頻訊號係-5.1環繞訊號,即Ν=6。該聲頻訊號明確 ❹ ❹ 為環繞讯號之一 MpEG環繞編碼而該等空間資料包含位 準間差異(ILD)與通道間交叉相關性(Icc)參數。 該單聲訊號之聲頻資料係饋送至一耦合至解多工器4〇1 的解碼II4G3。解碼器4〇3使用—適當f知解碼演算法來解 碼該單聲訊號,如習知此項技術者所熟知。因❿,在該範 例中,解碼器403之輸出係一經解碼的單聲 解碼請編至一變換處理器4〇5,= 經解碼的單聲訊號從該時域轉換至一頻率次頻帶域。在一 些具體實施例中’變換處理器4〇5可能配置以將該訊號劃 分成變換間隔(對應於包含一適當數目樣本的樣本區塊)並 在每-變換時間間隔内執行一快速傅立葉變換(fft)。例 如,該FFT可能係-64點FFT,將該等單聲聲頻樣本劃分 成64個樣本區塊’向該樣本區塊應用該航以產生μ個複 合次頻帶樣本。 在該特定範例中’變換處理器4〇5包含一 qmf遽波器 組’其使用-64樣本變換間隔來操作。因而,對於Μ個時 域樣本之每一區塊,在該頻域内產生“個次頻帶樣本。 在該範例中,所接收訊號係一單聲訊號,其將升混至一 134648.doc •24· 200926876 雙耳立體聲訊號。據此’頻率次頻帶單聲訊號係饋送至一 解相關器407,其產生該單聲訊號之—解相關形式。應瞭 解,可使用任-產生一解相關訊號之適當方法而不脫離本 發明。 變換處理器405與解相關器4〇7係饋送至一矩陣處理器 409。因巾,將該單聲訊號之次頻帶表示以及所產生解相 關訊號之次頻帶表示饋予矩陣處理器4()9。矩陣處理器彻 繼續將該單聲訊號轉換成一第一立體聲訊號。明確而言, 矩陣處理H 409在每-次頻帶内執行—矩陣乘法其係給 出為: σ
L〇 'κ V βο. }h\ kJ 其中LARA至矩陣處理器4〇9之該等輸入訊號之樣本, 即在該特定範例中,^與心係該單聲訊號與該解相關訊號 之該等次頻帶樣本。 ❿ 由矩陣處理器409所執行之轉換取決於回應該等 HRTF/BRIR所產生的該等雙耳參數。在該範例中,該轉換 • 還取決於使該接收單聲訊號與該等(額外)空間通道相關之 該等空間參數。 ‘明確而言,矩陣處理器4〇9係耦合至一轉換處理器411, 其係進一步耦合至解多工器401與一HRTF儲存器413,該 HRTF儲存器包含表示所需HRTF(或等效而言所需幻之 資料。下列將僅出於簡潔而引用(多個)HRTF,但應瞭解可 取代(或隨同)HRTF來使用(多個)BRIR。轉換處理器4n接 134648.doc -25- 200926876 收來自A解多工器之空間資料與表示來自HRtf儲存器4i3 之HRTF的資料。線拖泠畑明 轉換處理器411接著繼續藉由回應該等 HRTF貝料將該等空間參數轉換成該等第―雙耳參數來產 生供矩陣處理器409使用的該等雙耳參數。 不過纟口亥例中,不計算產生一輸出雙耳訊號所必需 之該等HRTF與空間參數之整個參數化。確切而言,用於 該矩陣乘法内的3亥等雙耳參數僅反映所需冊W回應之部 分。特定言之,僅針對該而職⑺之直接部分(排除較 早反映與稍後回響)來估計該等雙耳參數。此舉係使用習 知參數估計程序來實現,僅在HRTF參數化程序期間使用 該HRTF時域脈衝響應之第—峰值。隨後在μ矩陣中僅使 用用於直接部分的所得相干性(排除諸如位準及/或時間差 異之疋位線索)。實際上,在該特定範例中,該等矩陣係 數係產生以僅反映該雙耳訊號之所需相干性或相關性並不 包括定位或回響特性之考量。 因而’該矩陣乘法僅執行所需處理之部分且矩陣處理器 4〇9之輸出並非最終雙耳訊號,而是一中間(雙耳)訊號,其 反映在該等通道之間直接聲音之所需相干性。 、 採取矩陣係數hxy之形式的該等雙耳參㈣在該範例中 由先基於該等空間資料且明確而言係基於其内所包含之 位準差異參數來計算在該N通道訊號 内的相對訊號功率來加以產生 頻通道 該等Niih i 座生接著基於該些值與關聯於 — 冑之每—者的該奸㈣來計算在該等雙耳 母一者内的該等相對功率。而且,基於在該等_道之每 I34648.doc • 26 - 200926876 —者内的該等訊號功率與該等HRTF來計算用於該等雙耳 讯號之間交又相關性的一期望值。基於該雙耳訊號之交又 相關性與組合功率,隨後計算用於該通道之一相干性測量 並決定該等矩陣參數以提供此相關性。稍後將說明如何產 生該等雙耳參數之特定細節。 矩陣處理器409係麵合至兩個濾波器415、417,其可操 作以藉由濾波矩陣處理器4〇9所產生之立體聲訊號來產生 輸出雙耳聲頻訊號。明確而言,該兩個訊號之每一者係作 為一單聲訊號來加以個別濾波且不引入通道間的任一訊號 之交又耦合。據此,僅運用兩個單聲濾波器,從而比較 (例如)要求四個濾波器之方案減低複雜度。 該等濾波器415、417係其中個別濾波每一次頻帶的次頻 帶濾波器。明確而t ’該等濾波器之每一者可能係有限脈 衝響應(FIR)濾波器,其在每一次頻帶十執行一濾波,其 係實質上給出為: 其中y表示接收自矩陣處理器409之次頻帶樣本,c係該等 遽波器係數,η係樣本數目(對㈣變換間隔數目),k係次 頻帶而N係該濾波器之脈衝響應之長度。目而,在每一個 別頻帶中,執行一"時域"濾波,從而從處於一單一變換間 隔中延伸該處理以將來自複數個變換間隔之次頻帶樣本考 量在内。 MPEG環繞之訊號修改係在—複合調變據波器組(即不被 134648.doc -27· 200926876 臨界取樣的QMF)之域内執行。其特定設計允許藉由使用 一單獨濾波器在時間方向上濾波每一次頻帶訊號來高準確 度地實施一給定時域濾波器。用於濾波器實施方案之所得 整體SNR係在50 dB範圍内,誤差之頻疊部分係明顯更 小。而且,該些次頻帶域濾波器可直接導出自該給定時域 濾波器。一種用以計算對應於一時域濾波器Λ(ν)之次頻帶 域濾波器之特別有吸引力方法係使用一第二複合調變分析
濾波器組,其具有導出自該QMF濾波器組之原型濾波器的 一 FIR原型濾波器。明確而言, = Σ +iL)<j(y) exp
其中L = 64。對於該MPEG環繞QMF組而言,該濾波器轉換 器原型滤波器ςτ(ν)具有1 92個分接頭。作為一範例,一具有 1024個分接頭之時域濾波器將會被轉換成一組料個次頻帶 遽波器’全部均在時間方向上具有丨8個分接頭。 〇 該等濾波器特性係在該範例中產生以反映該等空間參數 之態樣以及所需HRTF之態樣兩者。明確而言,回應該等 HRTm衝響應與空間位置線索來決定該等濾波器係數, 使得藉由該等濾波器來引入並控制所產生雙耳訊號之回響 及定位特性。假定該等濾波器之直接部分係(幾乎)相干並 因此該雙耳輸出之直接聲音之相干性係完全由前面矩陣運 算來加以定義,則該等雙耳訊號之直接部分之相關性或相 干性並不受濾波影響。另一方面,假定該等遽波器之稱後 回響部分在左及右耳濾波器之間係不相關並因此該特定部 134648.doc -28- 200926876 $之輪出將會獨立於饋人該㈣波㈣的訊狀相干性而 口終不相關。因此不要求回應所需相干性對該等濾波器作 壬何修改。因而,在該等遽波器前面的矩陣運算決定該直 接部分之所需相干性,而剩餘回響部分將會獨立於實際矩 陣值而自動具有正確(較低)相關性。因而,㈣波維持矩 ' 陣處理器4〇9所引入之所需相干性。 - 目而’在圖4之器件中’供矩陣處理器409使用的該等雙 ❹ 彳參數(採取㈣矩陣係數之形式)係相干性參數,其指示 在該雙耳聲頻訊號之通道之間的一相關性。不過,該些參 數不包含指示該雙耳聲頻訊號之任一聲源之一位置的定位 參數或指示該雙耳聲頻訊號之任一聲音分量之一回響的回 響參數。而是該些參數/特性係藉由決定該等濾波器係數 的隨後次頻帶濾波來引入,使得其反映用於該雙耳聲頻訊 號之該等定位線索與回響線索。 明確而言’該等濾波器係耦合至一係數處理器419,其 ❿ 係進一步耦合至解多工器401與HRTF儲存器413。係數處 理器419回應該(等)雙耳感知轉移函數來決定用於立體聲濾 波器415、417之該等濾波器係數。而且,係數處理器419 接收來自解多工器401之空間資料並使用此資料來決定該 等濾波器係數。 明確而言,該等HRTF脈衝響應係轉換至次頻帶域並作 為該脈衝響應超過一單一轉換間隔,此導致用於每一次頻 帶内每一通道的一脈衝響應而不是一單一次頻帶係數。接 著以一加權和來相加用於對應於該等N通道之每一者的每 134648.doc -29- 200926876 一 HRTF濾波器之該等脈衝響應。回應該等空間資料來決 定應用於該等N個HRTF濾波器脈衝響應之每一者的權重並 明確決定以導致在該等不同通道之間的適當功率分佈。稍 後將說明如何可產生該等濾波器係數之特定細節。 Ο 該等濾波器415、417之輸出因而係一雙耳聲頻訊號之一 立體聲次頻帶表示,其在一頭戴式耳機中表現時有效地模 擬一元整環繞訊號。該等滤波器415、417係麵合至一逆變 換處理器421,其執行一逆變換以將該次頻帶訊號轉換至 時域。明確而言,逆變換處理器421可執行一逆QMF變 換。 因而’逆變換處理器421之輸出係一雙耳訊號,其可從 一組頭戴式耳機提供一環繞聲音體驗。該訊號可(例如)使 用一傳統立體聲編碼器來加以編碼及/或可在一類比至數 位轉換器中轉換至類比域以提供一可直接饋送至頭戴式耳 機的訊號。 因而,圖4之器件組合參數HRTF矩陣處理與次頻帶濾波 以^供一雙耳訊號。一相關性/相干性矩陣乘法與一以嘑 波器為主定位及回響濾波之分離提供—種系統,其中可為 (例如)一單聲訊號容易地計算所要求參數。明確而言,對 比一純渡波器方案,其中難以或不可能決定並實施該相干 性參數,不同類型處理的組合允許甚至對於基於一單聲降 混訊號的應用仍具效率地控制該相干性。 因而,所說明方案具有優點,即正確相干性之合成(藉 由矩陣乘法)與定位線索及回響之產生(藉由該等濾波器)係 134648.doc -30- 200926876 二=且獨立控制。而且’渡波器之數目限於兩個,由 =要求任何交叉通道據波。由於該等滤波器—般係㈣ 簡單矩陣乘法更複雜,故減低複雜度。 在下文中’將說明如何可計算所要求矩陣雙 波器係數之一特定範例。在該範例中,所接收訊號係使;; 一 5151樹結構編碼的—MpEG環繞位元流。 在說明中 ’將會使用下列縮寫詞 1或L : 左通道 r或R : 右通道 f: (多個)前通道 S: (多個)環繞通道 C : 中央通道 Is : 左環繞 rs : 右環繞 If : 左前 lr : 左右 在該MPEG資料流内所包含的空間 參數 說明 CLDfs 前面對環繞位準差異 CLDfc 前面對中央位準差異 CLDf 月左對前右位準差異 CLDS 環繞左對環繞右位準差 ICCfs 前面對環繞相關性 ICCfC 前面對中央相關性 ❹ ❹ 134648.doc -31 · 200926876 ICCf 前左對前右相關性 ICCS 環繞左對環繞右相關性 CLDlfe 中央對LFE位準差異 首先,將說明藉由矩陣處理器409來產生用於矩陣乘法 之該等雙耳參數。 轉換處理器411先計算該雙耳相干性之一估計,其係反 映在該雙耳輸出訊號之該等通道之間所需相干性的一參 數。該估計使用該等空間參數以及決定用於該等HRTF函 @ 數的HRTF參數。 明確而言,使用下列HRTF參數: P!,其係在對應於左耳之一 HRTF之一特定頻帶内的rms功率 Pr,其係在對應於右耳之一 HRTF之一特定頻帶内的rms功 率 p,其係對於一特定虛擬聲源位置在左耳與右耳HRTF之間 的一特定頻帶内的相干性 _ φ,其係對於一特定虛擬聲源位置在左耳與右耳HRTF之間 的一特定頻帶内的平均相位差 假定分別用於左耳及右耳之頻域HRTF表示氏(〇, Hr(f), 以及/為頻率索引,則可依據以下來計算該些參數: |/=/(*+ΪΗ V /=/(*)
J/=/(6+iH f=m f /=/(6+1)-1 〉
^ = arg X
\ f=f(b) J 134648.doc -32- 200926876
P /=/(6+1)-1 /=/(*)
PtPr ❹ ❿ 其中針對每一參數頻帶執行橫跨/之相加來為每一參數 頻帶6導致一組參數。關於此HRTF參數化程序之更多資訊 可獲得自 Breebaart,J. "Analysis and synthesis of binaural parameters for efficient 3D audio rendering in MPEG Surround(用於MPEG環繞中具效率3D聲頻呈現之雙耳參數 之分析及合成)",ICME會議錄,北京,中國(2007)與 Breebaart, J·、Faller, C. "Spatial audio processing: MPEG Surround and other applications(空間聲頻處理:MPEG環 繞及其他應用)",Wiley & Sons,紐約(2007)。 以上參數化程序係對於每一參數頻帶與每一虛擬揚聲器 位置來獨立地執行。在下文中,藉由Ρι(Χ)來表示揚聲器位 置,X為揚聲器識別碼(If、rf、c、Is或Is)。 作為一第一步驟,使用發送CLD參數來計算5.1通道訊號 之相對功率(相對於單聲輸入訊號之功率)。左前通道之相 對功率係給出為: σ卜 VCLDPMCLDWCLDJ, 其中 jqCLD/10 η (CLD) 1 + 10 CLD/10 以及 r2(CLD) 1 + 10 CLD/10 134648.doc -33- 200926876 類似地,其他通道之相對功率係給出為: O-J =r,(CLDfe)r,(CLDfc)r2(CLDf) σε2 =r,(CLOky2(CLO{c) σΐ =.2(CLDfs)r,(CLDs) . σΐ =r2(CLDfs)r2(CLDs) 給定每一虛擬揚聲器之功率σ、表示特定揚聲器對之間
相干性值的ICC參數以及用於每一虛擬揚聲器的該等HRTF © 參數P!、Pr、p及φ,可估計所得雙耳訊號之統計屬性。此 係藉由為每一虛擬揚聲器添加在功率σ的貢獻因素,乘以 用於每一耳朵個別反映HRTF所引起之功率變化的該等 HRTF Ρ,、Pr之功率來實現。要求額外項來併入虛設擬聲 器訊號(ICC)與該HRTF之路程差異(由參數φ所表示)之間相 互相關性之效應(參考(例如)Breebaart,J·、Faller,C. "Spatial audio processing: MPEG Surround and other applications(空間聲頻處理:MPEG環繞及其他應用)”,
Wiley & Sons,紐約(2007))。 左雙耳輸出通道之相對功率之期望值σ?(相對於單聲輸 • 入通道)係給出為: σ卜+ /f (奶彳+乃2设» (及/)σΧ (办^+… 2Ρ〖⑽啊扣⑻恥心孤f co樣Rf)) +... 2P, {Ls)Pt (Rs)p(Rs)alsaJCCs cos(^(^)) 類似,用於右通道之(相對)功率係給出為: 134648.doc -34· 200926876 σΐ = Pr\C)a^ Λ·Ρ\ΐΓ)σ\ +P^Ls)afs+P^Rf)^+PXRs)al+... 2Pr(Ls)Pr(Rs)p(Ls)alsarslCCscos(i^(Ls)) 基於類似假定並使用類似技術,可從以下計算用於雙耳 訊號對之交叉乘積乙以/的期望值 {lbK)= ^2/)(C)Pr(C)/7(C)exp(;V(C)) + ... 人LDp(Lf)^M(Lf)) + _.· σ1^ (Rf)Pr (Rf)p(Rf) cxpO^Rf)) + -σ;^(^)ΡΓ(^)/?(Ζ5)εχρ〇ν(^)) + - εχρ(#(Λί)) + … PALf^Rjy^CC,·.. P^PM^aJCC^... P, (Rs)Pr (Ls)alsaJCCsp(Ls)p(Rs) exp(j\(p(Rs) + <^(Ls))) +... p人 Rmw^jcCfpmp ⑽邮 wiRf^Lm 該雙耳輸出之相干性(ICCB)係給出為: ICCfl=Ml, σ/,σΛ 基於該雙耳輸出訊號之已決定相干性ICCB(並忽略該等 定位線索與回響特性),接著可使用如在Breebaart, J.、van de Par, S.、Kohlrausch,A.、Schuijers,E. "Parametric coding of stereo audio(立體聲聲頻之參數編碼)", EURASIP J. Applied Signal Proc.9(EURASIP應用訊號處理 期刊9),第1305至1322頁(2005)所指定之傳統方法來計算 重新安整ICCB參數所要求之該等矩陣係數。 ^ =cos{a + fi) /i,2 = sin(a + β) 134648.doc -35- 200926876 h2x = cos(-a + β) h22 = sin(-a + β) 其中 a = 0.5arccos(ICCB) / β = arctan —~~— tan(a) 在下文中’將說明藉由係數處理器419來產生該等濾波 器係數。
❹ 首先,產生對應於該雙耳聲頻訊號内不同聲源的雙耳感 知轉移函數之脈衝響應之次頻帶表示。 明確而言’藉由在圖4之說明中以上所概述之濾波器轉 換器方法將該等HRTF(或BRIR)轉換至該QMF域,分別導 致用於左耳及右耳脈衝響應的QMF域表示7/¾,//匕。在該 表示中’ X表示來源通道(X=Lf、Rf、C、Ls、Rs),R與l 分別表示左及右雙耳通道,n係變換區塊數目而k表示次頻 帶。 係數處理器419接著繼續決定該等濾波器係數作為該等 次頻帶表示之對應係數之加權組合。明確而言,用 係數係給 於該等FIR濾波器41 5、4 17的該等濾波器 出為: HU =gi-(tkLfHndf+tlHli +4^,1
HfM = g\ . (skvH^f + slHn^ + + + 4^kc ) 〇 係數處理器41 9計算權重tk與sk,如下文中所說明 134648.doc • 36- 200926876 首先,選取線性組合權重之模數,使得 |^| = σ^, ej tttj 用於對應於一給定处P1、s、若 二間通道之一給定HRTF的權 重係選擇以對應於該通道之功率位準。 耀 其次,如下計算比例縮放增益 假使對於輪出通道, 雙耳輸出功率由(4來夷-4成頻帶*之正規化目標 丰由(〇v)來表不,並假使濾波器之功
由(以來表示,則調整該等比例縮放增益 L W
fYM 此處應注意,若此可使用在每一參數頻帶内恆定的比例 縮放增益來大約獲得,則可比例縮放從濾波器形變中省略 並藉由修改先前區段之矩陣元素成以下來加以執行 h\ =gicos(a + /0) \2=ξ^ιχι{α + β) K =gRc〇s(-a + fi) ;i22=gfisin(_a + y5)。 為了使此點保持真實,要求未比例縮放的加權級合 Λ rrnjk , Λ Trnjc , Λ rrn7k Λ TjnJc , Λ jrnjc
hf nLJ/ 七 tUHL,Ls + tRf MLJ^ + tRsML,Rs + tc11 L、C
+ SLs^RM + + SRsffRtRs + SC^R,C 具有在參數頻帶内部不過多變動的功率增益。—般而言, 此類變動之一主要貢獻因素由該等HRTF回應之間的主要 134648.doc -37- 200926876 延遲差異所引起。在本發明之一些具體實施例中,在時域 内的一預對齊係執行甩於支配HRTF濾波器並可應用簡單 實數組合權重: h=sx 二^ ° 在本發明之其他具體實施例中,藉由引入複數權重來在 該等支配HRTF對上適應性抵銷延遲差異。在前/後對之情 況下,此實際上是使用下列權重: ❹
Ls 『exp
Κ)2+Κ)2 ti sv = σπ/ exp (ο +(°ι)2 ❹ si rexp 且對於X = cu/力, 此處,碎t係在該等次頻帶濾波器丹^^與扣匕之間的複八 交又相關性之展開相位角。此交叉相關性係定義為 (c/c) \l/2 γ/2 7 ~ Σΐ^·.ν|2 ΣΙ^,Ι 其中星號表示共扼複數。 134648.doc • 38· 200926876 相位展開之目的係使用選取一相位角直至數倍以的自由 度以便獲得一相位曲線,其作為次頻帶指數&的一函數儘 可能緩慢地變動。 在以上組合公式中相位角參數之作用係雙重的。首先, 其實現在重疊之前該等前/後濾波器之一延遲補償,該重 疊引起一組合回應,該組合回應模型化對應於在前及後揚 聲器之間的一來源位置的一主要延遲時間。其次,其減低 該等未比例縮放濾波器之該等功率增益之變動性。 若在一參數頻帶或一混成頻帶内的組合濾波器之 相干性ICCM係小於一,則該雙耳輸出可比打算的變得更少 相干,由於其遵循關係 iccBOlrt = ICCM _ ICCB。 依據本發明之一些具體實施例此問題之解決方案係使用 一經修改ICCB值用於矩陣元素定義,該值係定義為 圖5解說依據本發明之一些具體實施例之一種產生—雙 耳聲頻訊號之方法之一範例之一流程圖。 該方法開始於步驟501,其中接收聲頻資料,其包含作 為一 N通道聲頻訊號之降混的一聲頻]^通道聲頻訊號與用 於升混該Μ通道聲頻訊號至該N通道聲頻訊號的空間參數 資料。 ^ 步驟501後緊隨步驟5〇3,其中回應一雙耳感知轉移函數 將該等空間參數資料之該等空間參數轉換成第一雙耳參 134648.doc -39- 200926876 數。 步驟5 03後緊隨步驟505’其中回應該等第一雙耳參數將 該Μ通道聲頻訊號轉換成一第一立體聲訊號。 步驟505後緊隨步驟507 ’其中回應該雙耳感知轉移函數 為一立體聲濾波器決定濾波器係數。 . 步驟507後緊隨步驟509,其中藉由在該立體聲濾波器中 • 濾波該第一立體聲訊號來產生該雙耳聲頻訊號。 圖4之裝置可能(例如)用於一傳輸系統。圖6解說依據本 發明之一些具體實施例之一種用於傳達一聲頻訊號之傳輸 系統之一範例。該傳輸系統包含一發射器6〇1,其係透過 一網路605來耗合至一接收器603,該網路明確地可能係網 際網路。 在該特定範例中,發射器601係一訊號記錄器件而接收 器603係一訊號播放器器件,但應瞭解在其他具體實施例 中,一發射器與接收器可用於其他應用並用於其他用途。 φ 例如,發射器601及/或接收器603可能係一轉碼功能性之 部分並可(例如)提供介接至其他訊號來源或目的地。明確 而言,接收器603可接收一編碼環繞聲頻訊號並產生模擬 該環繞聲頻訊號的一編碼雙耳訊號。接著可將該編碼雙耳 ' 訊號分佈至其他來源。 在其中支援一訊號記錄功能之特定範例中,發射器6〇1 包含一數位化器607,其接收一類比多通道(環繞)訊號,該 汛號係藉由取樣並類比至數位轉換來轉換至一數位 PCM(脈衝碼調變)訊號。 134648.doc 200926876 數位化器607係搞合至圖!之編喝器_,其依據一編碼 演算法來編碼PCM多通道訊號。在該特定範例中,編碼器 609將該訊號編碼成一 MPEG編碼環繞聲音訊號。編碼器 609係搞合至-網路發射器611,其接收該編碼訊號並介接 至網際網路605。該網路發射器可透過網際網路6〇5來發射 • 該編碼訊號至接收器603。 . 接收器6〇3包含-網路接收器613,其介接至網際網路 605並配置以從發射器001接收該編碼訊號。 網路接收器613係耦合至一雙耳解碼器615,其在該範例 中係圖4之器件。 在其中支援一訊號播放功能的特定範例中,接收器6〇3 進-步包含-訊號播放器617,其從雙耳解碼器615接收雙 耳聲頻訊號並向使用者表現此訊號。明確而言,訊號播放 器117可能在必要時包含一數位至類比轉換器、放大器及 揚聲器用於輸出雙耳聲頻訊號至一組頭戴式耳機。 ❹ 應瞭解,為了簡潔起見’以上說明已參考不同功能單元 與處理器來說明本發明之具體實施例。然而,應明白,可 使用在不同功能單元或處理器之間的任何適當功能性分佈 而不脫離本發明。例如,解說為由單獨處理器或控制器執 行的功能性還可藉由相同處理器或控制器來加以執行。因 此,應將參考特定功能單元僅看作參考適於提供所說明功 能性之構件,而不是指示一嚴格的邏輯或實體結構或組 織。· 本發明可採用任一適當形式來實施,包括硬體、軟體、 134648.doc -41 - 200926876 韌體或該些者之任一組合。本發明可視需要地至少部分實 施為在或夕個資料處理器及/或數位訊號處理器上運行 的電腦軟體。本發明之一具體實施例的元件及組件可用任 一適當方式來實體性、功能性及邏輯性地實施。事實上, ::能性可實施於一單一單元、複數個單元内或作為其他功 月匕單兀之部分。如此,本發明可實施於一單一單元或可在 實體且功能上分佈於不同單元及處理器之間。 Ο 儘管已結合-些具體實施例來說明本發明,但 限於本文所提出的特定报" 肖式。而疋’本發明之範疇僅受隨 ,專利範圍限制。此外,儘管一特徵可能看似已结人 說:::實施例來說明,但習知此項技術者應認識到,所 ㈣直f施例之各種特徵可依據本發明加以組合。 申凊專利範圍中,古五 在該 在。 °° 並不排除其他元件或步驟之存 驟〇 — 卜儘e已個別列出’但複數個構件、元件或方法步 :(例如)一單一單元或處理器來加以 : 儘管個㈣徵可包括在 職此外 利地組合,且包括D求中’但該些特徵可能有 同請求項中並不暗示著一特微纟日人 不可行及/或不利。而且 θ 丁者特徵組合 並不暗示著限於此類別,=項類別中包括一特徵 於其他請求項類別。此外,特徵適當時同樣適合 並不暗示使該等、、申凊專利範圍中的次序 定言之,方法須採用的任何特定次序,且特 方法喷求項中個別步驟之 特 次序執行該等步驟。而β 序並不暗不必須以此 疋,可以任何適當的次序來執行該 134648.doc '42- 200926876 等步驟。此外,單數引用並不排除複數個。因此"一"、 個 第、第二"等之參考並不排除複數個。在申 請專利範討的參考㈣僅作為—㈣㈣提供,不應視 為以任何方式限制申請專利範圍之範疇。 【圖式簡單說明】 已參考該等圖式,僅藉由範例方式來說明本發明之具體 實施例,其中
圖1係依據先前技術之一種用於產生一雙耳訊號之方案 之一解說; 圖2係依據先前技術之一種用於產生一雙耳訊號之方案 之一解說; 圖3係依據先前技術之一種用於產生一雙耳訊號之方案 之一解說; 圖4解說依據本發明之一些具體實施例之一種用於產生 一雙耳聲頻訊號之器件; 圖5解說依據本發明之一些具體實施例之一種產生—雙 耳聲頻訊號之方法之一範例之一流程圖;以及 圖6解說依據本發明之一些具體實施例之—種用於傳達 一聲頻訊號之傳輸系統之一範例。 【主要元件符號說明】 201 解多工器 203 單聲或立體聲解碼器 205 空間解碼器 207 雙耳合成級 134648.doc -43· 200926876 ❹ ❹ 301 解多工器 303 傳統解碼器 305 HRTF參數擷取單元 307 轉換單元 309 變換單元 311 矩陣單元 313 逆變換單元 401 解多工器/接收構件 403 解碼器/接收構件 405 變換處理器/變換構件 407 解相關器/轉換構件 409 矩陣處理器/轉換構件 411 轉換處理器/參數資料構件 413 HRTF儲存器 415 立體聲濾波器 417 立體聲濾波器 419 係數處理器/係數構件 421 逆變換處理器 601 發射器 603 接收器 605 網路 607 數位化器 609 編碼器 611 網路發射器 134648.doc •44- 200926876 613 615 617 網路接收器 雙耳解碼器 訊號播放器 ❹ ❿ 134648.doc -45

Claims (1)

  1. 200926876 十、申請專利範圍: 1. 一種用以產生一雙耳聲頻訊號之裝置,該裝置包含. -接收構件_、4〇3),其用於接收聲頻㈣,該等聲 頻資料包含作為-N通道聲頻訊號之降混的—M通道聲 頻訊號與用於升混該Μ通道聲頻訊號至該N通道聲頻訊 號的空間參數資料; • -參數資料構件(4⑴’其用於回應至少一雙耳感知轉移 函數將料空間參數資料之空間參數轉換成第―雙耳參 數; 轉換構件(409),其用於回應第—立體聲參數將該Μ通 道聲頻訊號轉換成一第一立體聲訊號; 立體聲濾波器(415、417),其用於藉由濾波該第一 立體聲訊號來產生該雙耳聲頻tfl號;以及 係數構件(419),其用於回應該雙耳感知轉移函數來決 定用於該立體聲濾波器之濾波器係數。 Q 2.如請求項1之裝置,其進一步包含: 、變換構件(4〇5),纟用於將該M通冑聲頻訊號從一時域 變換至一次頻帶域且其中該轉換構件與該立體聲濾波器 • ^置用以個別處理該次頻帶域之每一次頻帶。 ,3如喟求項2之裝置’其中該雙耳感知轉移函數之一脈衝 響:之-持續時間超過一變換更新間隔。 "求項2之裝置,其中該轉換構件(409)係配置以為每 「i],帶產生立體聲輸出樣本,其實質上為: I34648.doc 200926876 其中1^與1^之至少一者係在該次頻帶中該μ通道聲頻訊 號之一聲頻通道之一樣本而該轉換構件係配置以回應該 等二間參數資料與該至少一雙耳感知轉移函數兩者來決 定矩陣係數hxy。 5.如=求項2之裝置,其中該係數構件(419)包含: 提供構件’其用於提供對應於該N通道訊號中不同聲 . 源的複數個雙耳感知轉移函數之脈衝響應之一次頻帶表 不; ❹ ^ 決疋構件,其用於藉由該等次頻帶表示之對應係數之 一加權組合來決定該等濾波器係數;以及 决疋構件’其用於回應該等空間參數資料來決定用於 該等人頻帶表示之權重用於該加權組合。 6·如4求項!之裝置,其中該等第—雙耳參數包含相干性 參數其扎不在該雙耳聲頻訊號之通道之間的一相關 性。 © 7. #4求項1之裝f,其中該等第-雙耳參數不包含指示 〇通道訊號之任一聲源之一位置的定位參數以及指示 “雙耳聲頻m號之任一聲音分量之一回響的回響參數之 ' 至少一者。 . 8. 如請求項1夕驻 : 衮置,其中該係數構件(419)係配置以決定 =I皮器係數以反映用於該雙耳聲頻訊號之定位線索 與回響線索之至少一者。 9.如請求項丨之驻 〇 置,其中該聲頻Μ通道聲頻訊號係一單聲 ,s號而該轉換構件(4〇7、4〇9)係配置用以從該單聲 134648.doc 200926876 聲頻訊號產生一解相關訊號並藉由應用一包含該解相關 訊號與該單聲聲頻訊號之立體聲訊號之樣本的一矩陣乘 法來產生該第一立體聲訊號。 ίο. —種產生一雙耳聲頻訊號之方法,該方法包含 -接收(501)聲頻資料’該等聲頻資料包含作為一 N通道 聲頻訊號之降混的一 Μ通道聲頻訊號與用於升混該1^通 道聲頻訊號至該Ν通道聲頻訊號的空間參數資料;
    -回應至少一雙耳感知轉移函數將該等空間參數資料之 空間參數轉換(503)成第一雙耳參數; -回應該等第-立體聲參數將該河通道聲頻訊號轉換 (5〇5)成一第一立體聲訊號; -藉由濾波該第-立體聲訊號來產生(509)該雙耳聲頻訊 號;以及 •回應該至少一雙耳感知轉移函數黍玉A 你幽致不決定(507)用於該立 體聲濾波器之濾波器係數。 ❹ 11. 一種用以發射一雙耳聲頻訊號之發射 含: 器,該發射器包 -接收構件(401、403),其用 _ _ 释收聲頰資料,該等聲 頻貝料包含作為一N通道聲頻訊號 葙4缺如 现之降混的一 Μ通道聲 頻讯唬與用於升混該Μ通道聲頻却 -λ. ^ Α ^ 军馮戒唬至該Ν通道聲頻訊 現的空間參數資料; _參數資料構件(411),其用於回 函數腺兮够a ’ 雙耳感知轉移 函數將該4空間參數資料之空 數; 爹數轉換成第一雙耳參 134648.doc 200926876 _轉換構件(409)’其用於回應該等第一雙耳參數將該Μ 通道聲頻訊號轉換成一第一立體聲訊號·, 立體聲濾波器(415、417) ’其用於藉由濾波該第一 立體聲訊號來產生該雙耳聲頻訊號; -係數構件(419),其用於回應該雙耳感知轉移函數來決 定用於該立體聲濾波器之濾波器係數;以及 -發射構件,其用於發射該雙耳聲頻訊號。
    12. -種用以發射—雙耳聲頻訊號之傳輸系統,該傳輸系統 包括 一發射器,其包含: 接收構件(401、403),其用於接收聲頻資料,該等聲 頻資料包含作為-Ν通道聲頻訊號之降混的—Μ通道聲 頻訊號與用於升混㈣通道聲頻訊號至該ν通道聲頻訊 號的空間參數資料, -參數資料構件(411),其用於回應至少—雙耳感知轉移 函數將該等空間參數資料之空間參數轉換成第—雙耳參 數, -轉換構件(409),其用於回應該等第一 雙耳參數將該Μ
    第一立體聲訊號 --立體聲遽波器⑷5、417),纟用於藉由遽波該第一 立體聲訊號來產生該雙耳聲頻訊號, 二係數構件(419)’其用於回應該雙耳感知轉移函數來決 定用於該立體聲滤波器之遽波器係數,以及 發射構件,其用於發射該雙耳聲㈣號;以及 J34648.doc 200926876 13. -一接收器,用於接收該雙耳聲頻訊號 一種用以記錄一 記錄器件包含: 雙耳聲頻訊號之聲_ 記錄器件,該聲頻 -接收構件(401、403),其用於垃a & ^ ^ 於接收聲頻資料,該等聲 頻資料包含作為一N通道聲頻钒棘* 馮Λ旒之降混的一 Μ通道聲 頻訊號與用於升混該Μ通道聲龆却站 年頰訊唬至該Ν通道聲頻訊 號的空間參數資料;
    -參數資料構件(411),其用 函數將該等空間參數資料之 數; 於回應至少一雙耳感知轉移 空間參數轉換成第一雙耳參 :轉換構件(409),其用於回應該等第—雙耳參數將該μ 通道聲頻訊號轉換成一第一立體聲訊號, •一立體聲濾波器(化、417),其用於藉㈣波該第— 立體聲訊號來產生該雙耳聲頻訊號; 二係數構件(419),其用於回應該雙耳感知轉移函數來決 〇 定用於該立體聲濾波器之濾波器係數;以及 _記錄構件,其用於記錄該雙耳聲頻訊號。 14. 一種發射一雙耳聲頻訊號之方法,該方法包含: _接收聲頻資料,該等聲頻資料包含作為一N通道聲頻 ’ ㉛號之降混的—M通冑聲頻訊號與用於升混該Μ通道聲 頻Λ號至該Ν通道聲頻訊號的空間參數資料; _回應至少一雙耳感知轉移函數將該等空間參數資料之 空間參數轉換成第一雙耳參數; _回應該等第一雙耳參數將該Μ通道聲頻訊號轉換成一 134648.doc 200926876 第一立體聲訊號; -藉由在一立體聲濾波器内濾 ._ ^ , 弟立體聲訊號來產 生該雙耳聲頻訊號; •回應該雙耳感知轉移函數來決 水夬疋用於該立體聲濾波器 之?慮波器係數;以及 -發射該雙耳聲頻訊號。 , 15. ❹ Ο 16. 一種發射並接收一雙耳聲頻訊號 军貝汛鈮之方法,該方法包含: 一發射器,其執行以下步驟: -接收聲頻資料,該㈣頻資料包含作為—Ν通道聲頻 訊號之降混的-M通道聲頻訊號與用於升混該Μ通道聲 頻訊號至該Ν通道聲頻訊號的空間參數資料, -回應至少-雙耳感知轉移函數將該等貝空間參數資料之 空間參數轉換成第一雙耳參數, 回應該等第-立體聲參數將_通道聲頻訊號轉換成 一第一立體聲訊號, -藉由在-立體聲慮波器内遽波該第一立體聲訊號來產 生該雙耳聲頻訊號, -回應該雙耳感知轉移函數來決定用於該立體聲濾波器 之濾波器係數,以及 -發射該雙耳聲頻訊號;以及 -一接收器,其執行接收該雙耳聲頻訊號之步驟。 一種電腦程式產品,其用於實行如請求項14及15中任 項之方法。 134648.doc -6 -
TW097137805A 2007-10-09 2008-10-01 Method and apparatus for generating a binaural audio signal TWI374675B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP07118107 2007-10-09

Publications (2)

Publication Number Publication Date
TW200926876A true TW200926876A (en) 2009-06-16
TWI374675B TWI374675B (en) 2012-10-11

Family

ID=40114385

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097137805A TWI374675B (en) 2007-10-09 2008-10-01 Method and apparatus for generating a binaural audio signal

Country Status (15)

Country Link
US (1) US8265284B2 (zh)
EP (1) EP2198632B1 (zh)
JP (1) JP5391203B2 (zh)
KR (1) KR101146841B1 (zh)
CN (1) CN101933344B (zh)
AU (1) AU2008309951B8 (zh)
BR (1) BRPI0816618B1 (zh)
CA (1) CA2701360C (zh)
ES (1) ES2461601T3 (zh)
MX (1) MX2010003807A (zh)
MY (1) MY150381A (zh)
PL (1) PL2198632T3 (zh)
RU (1) RU2443075C2 (zh)
TW (1) TWI374675B (zh)
WO (1) WO2009046909A1 (zh)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431312B2 (en) 2004-08-10 2022-08-30 Bongiovi Acoustics Llc System and method for digital signal processing
US10848118B2 (en) 2004-08-10 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US10158337B2 (en) 2004-08-10 2018-12-18 Bongiovi Acoustics Llc System and method for digital signal processing
US10848867B2 (en) 2006-02-07 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US10701505B2 (en) 2006-02-07 2020-06-30 Bongiovi Acoustics Llc. System, method, and apparatus for generating and digitally processing a head related audio transfer function
US11202161B2 (en) 2006-02-07 2021-12-14 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2011039195A1 (en) 2009-09-29 2011-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value
US8774417B1 (en) * 2009-10-05 2014-07-08 Xfrm Incorporated Surround audio compatibility assessment
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
EP2661912B1 (en) * 2011-01-05 2018-08-22 Koninklijke Philips N.V. An audio system and method of operation therefor
CN102802112B (zh) * 2011-05-24 2014-08-13 鸿富锦精密工业(深圳)有限公司 具有音频文件格式转换功能的电子装置
WO2013142653A1 (en) 2012-03-23 2013-09-26 Dolby Laboratories Licensing Corporation Method and system for head-related transfer function generation by linear mixing of head-related transfer functions
MY181365A (en) 2012-09-12 2020-12-21 Fraunhofer Ges Forschung Apparatus and method for providing enhanced guided downmix capabilities for 3d audio
WO2014085050A1 (en) 2012-11-27 2014-06-05 Dolby Laboratories Licensing Corporation Teleconferencing using monophonic audio mixed with positional metadata
EP2747451A1 (en) * 2012-12-21 2014-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates
TR201808415T4 (tr) * 2013-01-15 2018-07-23 Koninklijke Philips Nv Binoral ses işleme.
MX346825B (es) * 2013-01-17 2017-04-03 Koninklijke Philips Nv Procesamiento de audio biaural.
US9344826B2 (en) * 2013-03-04 2016-05-17 Nokia Technologies Oy Method and apparatus for communicating with audio signals having corresponding spatial characteristics
US9933990B1 (en) 2013-03-15 2018-04-03 Sonitum Inc. Topological mapping of control parameters
US10506067B2 (en) 2013-03-15 2019-12-10 Sonitum Inc. Dynamic personalization of a communication session in heterogeneous environments
IL319169A (en) * 2013-03-28 2025-04-01 Dolby Laboratories Licensing Corp Transforming audio objects with visible size into arbitrary speaker arrays
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
KR102150955B1 (ko) * 2013-04-19 2020-09-02 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
US9883318B2 (en) 2013-06-12 2018-01-30 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
EP2830333A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
WO2015011015A1 (en) 2013-07-22 2015-01-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
CN105531761B (zh) 2013-09-12 2019-04-30 杜比国际公司 音频解码系统和音频编码系统
CN108200530B (zh) 2013-09-17 2020-06-12 韦勒斯标准与技术协会公司 用于处理多媒体信号的方法和设备
KR102230308B1 (ko) * 2013-09-17 2021-03-19 주식회사 윌러스표준기술연구소 멀티미디어 신호 처리 방법 및 장치
WO2015048551A2 (en) * 2013-09-27 2015-04-02 Sony Computer Entertainment Inc. Method of improving externalization of virtual surround sound
SG11201602628TA (en) * 2013-10-21 2016-05-30 Dolby Int Ab Decorrelator structure for parametric reconstruction of audio signals
CN105900455B (zh) * 2013-10-22 2018-04-06 延世大学工业学术合作社 用于处理音频信号的方法和设备
EP2866227A1 (en) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
EP4478354A3 (en) * 2013-12-23 2025-03-12 Wilus Institute of Standards and Technology Inc. Audio signal processing method and audio signal processing device
ES2709248T3 (es) 2014-01-03 2019-04-15 Dolby Laboratories Licensing Corp Generación de audio binaural en respuesta a un audio multicanal que usa al menos una red de retardo de retroalimentación
US10382880B2 (en) 2014-01-03 2019-08-13 Dolby Laboratories Licensing Corporation Methods and systems for designing and applying numerically optimized binaural room impulse responses
CN104768121A (zh) 2014-01-03 2015-07-08 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
WO2015105809A1 (en) 2014-01-10 2015-07-16 Dolby Laboratories Licensing Corporation Reflected sound rendering using downward firing drivers
KR102195976B1 (ko) * 2014-03-19 2020-12-28 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
KR102149216B1 (ko) 2014-03-19 2020-08-28 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
CN108966111B (zh) * 2014-04-02 2021-10-26 韦勒斯标准与技术协会公司 音频信号处理方法和装置
US10820883B2 (en) 2014-04-16 2020-11-03 Bongiovi Acoustics Llc Noise reduction assembly for auscultation of a body
US9462406B2 (en) 2014-07-17 2016-10-04 Nokia Technologies Oy Method and apparatus for facilitating spatial audio capture with multiple devices
EP2980789A1 (en) * 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
US10181328B2 (en) 2014-10-21 2019-01-15 Oticon A/S Hearing system
EP3219115A1 (en) 2014-11-11 2017-09-20 Google, Inc. 3d immersive spatial audio systems and methods
US9584938B2 (en) * 2015-01-19 2017-02-28 Sennheiser Electronic Gmbh & Co. Kg Method of determining acoustical characteristics of a room or venue having n sound sources
EP4447494A3 (en) 2015-02-12 2025-01-15 Dolby Laboratories Licensing Corporation Headphone virtualization
MX367429B (es) * 2015-02-18 2019-08-21 Huawei Tech Co Ltd Un aparato de procesamiento de señal de audio y metodo para filtrar una señal de audio.
KR102551796B1 (ko) * 2015-08-25 2023-07-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩 및 디코딩
ES2818562T3 (es) * 2015-08-25 2021-04-13 Dolby Laboratories Licensing Corp Descodificador de audio y procedimiento de descodificación
US10672408B2 (en) 2015-08-25 2020-06-02 Dolby Laboratories Licensing Corporation Audio decoder and decoding method
GB2544458B (en) 2015-10-08 2019-10-02 Facebook Inc Binaural synthesis
WO2017126895A1 (ko) 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법
CN108702582B (zh) 2016-01-29 2020-11-06 杜比实验室特许公司 用于双耳对话增强的方法和装置
US10606908B2 (en) 2016-08-01 2020-03-31 Facebook, Inc. Systems and methods to manage media content items
CN106331977B (zh) * 2016-08-22 2018-06-12 北京时代拓灵科技有限公司 一种网络k歌的虚拟现实全景声处理方法
JP7008716B2 (ja) 2016-11-08 2022-01-25 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法
DE102017106022A1 (de) * 2017-03-21 2018-09-27 Ask Industries Gmbh Verfahren zur Ausgabe eines Audiosignals in einen Innenraum über eine einen linken und einen rechten Ausgabekanal umfassende Ausgabeeinrichtung
US11211043B2 (en) 2018-04-11 2021-12-28 Bongiovi Acoustics Llc Audio enhanced hearing protection system
EP3595337A1 (en) * 2018-07-09 2020-01-15 Koninklijke Philips N.V. Audio apparatus and method of audio processing
CN116170723A (zh) 2018-07-23 2023-05-26 杜比实验室特许公司 通过多个近场换能器渲染双耳音频
WO2020028833A1 (en) * 2018-08-02 2020-02-06 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function
CN109327766B (zh) * 2018-09-25 2021-04-30 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
JP7092050B2 (ja) * 2019-01-17 2022-06-28 日本電信電話株式会社 多地点制御方法、装置及びプログラム
WO2021061675A1 (en) 2019-09-23 2021-04-01 Dolby Laboratories Licensing Corporation Audio encoding/decoding with transform parameters
CN117812523B (zh) * 2022-09-23 2025-08-01 荣耀终端股份有限公司 一种录音信号的生成方法、装置、系统和电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308199A (ja) 1999-04-16 2000-11-02 Matsushita Electric Ind Co Ltd 信号処理装置および信号処理装置の製造方法
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
JP4322207B2 (ja) 2002-07-12 2009-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化方法
EP1523863A1 (en) 2002-07-16 2005-04-20 Koninklijke Philips Electronics N.V. Audio coding
US8654983B2 (en) * 2005-09-13 2014-02-18 Koninklijke Philips N.V. Audio coding
CA2621175C (en) * 2005-09-13 2015-12-22 Srs Labs, Inc. Systems and methods for audio processing
CN1937854A (zh) * 2005-09-22 2007-03-28 三星电子株式会社 用于再现双声道虚拟声音的装置和方法
JP2007187749A (ja) 2006-01-11 2007-07-26 Matsushita Electric Ind Co Ltd マルチチャンネル符号化における頭部伝達関数をサポートするための新装置
BRPI0707969B1 (pt) * 2006-02-21 2020-01-21 Koninklijke Philips Electonics N V codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador
KR100773560B1 (ko) 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치

Also Published As

Publication number Publication date
CN101933344A (zh) 2010-12-29
EP2198632B1 (en) 2014-03-19
JP5391203B2 (ja) 2014-01-15
EP2198632A1 (en) 2010-06-23
JP2010541510A (ja) 2010-12-24
ES2461601T3 (es) 2014-05-20
CN101933344B (zh) 2013-01-02
KR20100063113A (ko) 2010-06-10
US8265284B2 (en) 2012-09-11
US20100246832A1 (en) 2010-09-30
BRPI0816618A2 (pt) 2015-03-10
BRPI0816618B1 (pt) 2020-11-10
RU2010112887A (ru) 2011-11-20
KR101146841B1 (ko) 2012-05-17
AU2008309951A1 (en) 2009-04-16
CA2701360A1 (en) 2009-04-16
TWI374675B (en) 2012-10-11
CA2701360C (en) 2014-04-22
AU2008309951B2 (en) 2011-09-08
WO2009046909A1 (en) 2009-04-16
MX2010003807A (es) 2010-07-28
RU2443075C2 (ru) 2012-02-20
PL2198632T3 (pl) 2014-08-29
AU2008309951B8 (en) 2011-12-22
MY150381A (en) 2013-12-31

Similar Documents

Publication Publication Date Title
TWI374675B (en) Method and apparatus for generating a binaural audio signal
US12165656B2 (en) Encoding of a multi-channel audio signal to generate binaural signal and decoding of an encoded binauralsignal
JP2025039612A (ja) オーディオ信号を処理するための方法、信号処理ユニット、バイノーラルレンダラ、オーディオエンコーダおよびオーディオデコーダ
JP5520300B2 (ja) マイクロホン信号に基づいて一組の空間手がかりを供給する装置、方法およびコンピュータ・プログラムと2チャンネルのオーディオ信号および一組の空間手がかりを供給する装置
KR101010464B1 (ko) 멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성
RU2509442C2 (ru) Способ и устройство для применения реверберации к многоканальному звуковому сигналу с использованием параметров пространственных меток
KR20180042397A (ko) 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩 및 디코딩
TW201106343A (en) Audio signal synthesizing
TW201036464A (en) Binaural rendering of a multi-channel audio signal
HK1144870B (zh) 用於产生双声道音频信号的方法及装置
HK1144870A (zh) 用於产生双声道音频信号的方法及装置
MX2008010631A (es) Codificacion y decodificacion de audio