TW201034005A - Apparatus, method and computer program for upmixing a downmix audio signal - Google Patents
Apparatus, method and computer program for upmixing a downmix audio signal Download PDFInfo
- Publication number
- TW201034005A TW201034005A TW099100788A TW99100788A TW201034005A TW 201034005 A TW201034005 A TW 201034005A TW 099100788 A TW099100788 A TW 099100788A TW 99100788 A TW99100788 A TW 99100788A TW 201034005 A TW201034005 A TW 201034005A
- Authority
- TW
- Taiwan
- Prior art keywords
- parameter
- upmix
- value
- interpolated
- complex
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004590 computer program Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 63
- 239000013598 vector Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 101100259947 Homo sapiens TBATA gene Proteins 0.000 description 1
- 210000002370 ICC Anatomy 0.000 description 1
- 235000006894 Primula auricula Nutrition 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010988 intraclass correlation coefficient Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
Description
201034005 六、發明說明: 本發明的背景 根據本發明的實施例有關於用以把向下混合音訊传號 向上混合的一裝置、一方法及一電腦程式。 根據本發明的一些實施例有關於參數多聲道音訊編石馬 的一保留量向上混合參數内插。 t先前技術3 在下面’本發明的脈絡將予以描述。近來在參數音訊 編碼領域中的發展實現了將一多聲道音訊(例如5· 1)信號聯 合地編碼為一(或多個)向下混合聲道及一旁側資訊流的技 術。已知此等技術為雙耳線索編碼、參數立體聲及mpeg 環繞等。 多個刊物描述了所謂的“雙耳線索編碼”參數多聲道編 碼方式,例如參見參考文獻。 “參數立體聲”是用以基於一所發送的單聲信號及參數 旁側資訊,參數編碼一個二聲道立體聲信號的相關技術 [6][7]。 “MPEG環繞”是用以參數多聲道編碼的一 ISO標準 [8]。 上述的技術都是基於將人類空間聽力的相關感知線索 以小巧的形式,與相關聯之單聲向下混合信號或立體聲向 下混合信號一起發送至接收器。典型的線索可以是聲道間 位準差(ILD)、聲道間相關性或相干性(ICC)、以及聲道間時 3 201034005 間差(ITD)與聲道間相位差(lpD)。 此等參數在—些情況下,以適祕人類聽覺解析度的 頻率及時間解析度來發送。在時間上的更新間隔根據信號 特=由編碼器來判定。這意味著不會對向下混合信號中 的每-樣本’進行參數傳輸。換句話說,在—些情況下, 〜述線索之參數的傳輸率(或傳輸頻率或更新率)可能 J於曰樣本(或音!罐本群組)的傳輸率(或傳輸頻 率或更 新率)。 因為在-些情況下,解碼器可能必須以無間隙的方 式,隨著時間的推移將該等參數連續地用於例如每一樣本 (或θ訊樣本),所以中間參數可能需要典型地透過内插於過 去與目前參數組之間,而在解碼器侧推導出。 而 些各知的内插方式會導致較差的音訊品質。 在下面,一般的雙耳線索編碼方案將參照第7圖來描 述。第7圖顯示一雙耳線索編碼傳輸系統8〇〇的一方塊示 意圖,其包含一雙耳線索編碼的編碼器81〇及一雙耳線索 編碼的解碼器820。該雙耳線索編碼的編碼器81〇可以例如 接收多個音訊信號812a、812b及812c。而且,該雙耳線索 編碼的編碼器810受組配以使用一向下混合器814,將該等 音讯輸入彳§號812a-812c向下混合,而獲得一向下混合信號 816,其可以例如是一總和信號,且可以由“AS,,或“X”表示。 而且,該雙耳線索編碼的編碼器81〇受組配以使用一分析 器818來分析該等音訊輸入信號812a_812c,而獲得旁側資 訊信號819(“SI”)。總和信號816及旁側資訊信號819從該 201034005 雙耳線索編碼的編碼器810發送至該雙耳線索編碼的解螞 器820。該雙荨線索編碼的解碼器820可受組配以在總和信 號816及聲道間線索824的基礎上,合成包含例如音訊聲 道yl、y2、...、yN的一多聲道音訊輸出信號。以此為目的, 該雙耳線索編碼的解碼器820可包含接收總和信號816及 聲道間線索824,且提供音訊信號yl、y2、…、yN的,雙 耳線索編碼合成器822。 該雙耳線索編碼的解碼器820更包含受組配以接收旁 側資訊819,且可取捨地接收一使用者輸入827的一旁側資 訊處理器826。該旁側資訊處理器826受組配以在旁側資訊 819及可取捨使用者輸入827的基礎上,提供聲道間線索 824。 概括地說,音訊輸入信號獲得分析且向下混合。總和 信號及旁側資訊被發送至解碼器。聲道間線索由旁側資訊 及本地使用者輸入來產生。雙耳線索編碼合成產生多聲道 音訊輸出信號。 詳細地’參照由C. Faller與F. Baumgarte所著的論文 Binaural Cue Coding Part II: Schemes and applications”(出 版於.2003 年 11 月 6 日,IEEE Transactions on Speech and Audio Processing,第 11 卷)。 然而’已經發現的是,許多習知的雙耳線索編碼的解 碼器提供降低品質的多聲道輸出音訊信號,如果在低於向 下混合信號的更新頻率下接收旁側資訊。 在考慮此問題時’需要引入把一向下混合音訊信號向 5 201034005 上混合為一經向上混合音訊信號的改良概念,其會降低聽 力印象的降級,如果旁側資訊的更新頻率小於向下混合音 訊信號的更新頻率。 【發明内容】 本發明的概要 根據本發明的一實施例產生一裝置,用以把描述一或 多個向下混合音訊聲道的一向下混合音訊信號向上混合為 描述多個經向上混合音訊聲道的一經向上混合音訊聲道。 該裝置包含一向上混合器,其受組配以使用在時間上可變 的向上混合參數來把該向下混合音訊信號向上混合,而獲 得該經向上混合音訊信號。該裝置更包含一參數内插器, 其中該參數内插器受組配以在一第一複數值向上混合參數 及一隨後第二複數值向上混合參數的基礎上,獲得要由該 向上混合器所使用的一或多個在時間上所内插的向上混合 參數。該參數内插器受組配以分別地内插在該第一複數值 向上混合參數的一量值與該第二複數值向上混合參數的一 量值之間,及在該第一複數值向上混合參數的一相位值與 該第二複數值向上混合參數的一相位值之間,而獲得該一 或多個在時間上所内插的向上混合參數。 根據本發明的實施例是基於以下發現,在時間上分別 地内插一向上混合參數的量值及一向上混合參數的相位值 對該經向上混合音訊信號會產生良好的聽力印象,因為所 内插向上混合參數量保持有極小的變化。已經發現,向上 混合參數的振幅發生不必要的大變化時可能會使該經向上 201034005 混合音訊信號產生可聽見的及干擾的調變。相反地,透過 分別地内插該複數值向上混合參數的振幅及相位值,由内 插所引起的振幅變化都會保持很小(或甚至是最小化的),即 使是在該第一(或初始)向上混合參數的複數值與該第二(或 隨後)向上混合參數的複數值之間存在大相位差的情況 下。因此,比較於一些其他類型的内插,該經向上混合輸 出音訊信號的可聽見及干擾調變會獲得減少(或甚至予以 完全地消除)。 因而’該經向上混合輸出音訊信號可以獲得良好的聽 力印象,即使在旁側資訊從一雙耳線索編碼的編碼器傳送 至一雙耳線索編碼的解碼器之頻率比向下混合音訊信號樣 本低的情況下。 在根據本發明的一實施例中,該參數内插器受組配以 在該第一複數值向上混合參數的量值與該第二(隨後)複數 值向上混合參數的量值之間單調地進行時間内插,而獲得 該一或多個在時間上所内插向上混合參數的量值。再者, 該參數内插器較佳地可受組配以在該第—複數值向上混合 參數的相位值與該第二複數值向上混合參數的相位值之間 線I·生地進行時間内插,而獲得該〆或多個在時間上所内插 向上此σ參數的相位值。而且,該參數内插器可受組配以 專斤内插向上混合參數的一或多個量值與該等所内插 向上混合參數的相對應相位值相結合 ,來獲得一或多個複 數值的所内插向上混合參數。 在根據本發明的一實施例中,該參數内插器受組配以 201034005 在該第一複數值向上混合參數的量值與該第二、隨後複數 值向上混合參數的量值之間線性地進行時間内插,而獲得 該一或多個在時間上所内插向上混合參數的量值。 透過在該等隨後複數值向上混合參數的量值之間執行 一單調的或甚至線性的時間内插,可以避免該經向上混合 音訊信號之干擾振幅調變(可能由其他的内插方案產生)。在 此方面,已經發現,人類的聽覺系統對於音訊信號的振幅 調變尤其敏感。還發現,聽覺印象(或聽力印象)由於這樣的 寄生振幅調變而顯著降低。因此,向上混合參數獲得平滑 且非調變的變化,從而致使音訊信號振幅獲得平滑且非調 變的時間演進,會在存在向上混合參數内插的情況下,對 向上混合信號之聽力印象的改良具有重要的貢獻。 在本發明的一實施例中,該向上混合器受組配以根據 該等複數值的所内插向上混合參數,對多個向上混合器之 音訊輸入信號的複數值子帶參數執行線性調整疊加,而獲 得該經向上混合的音訊信號。在這種情況下,該向上混合 器可受組配以處理表示該等向上混合器之音訊輸入信號之 隨後音訊樣本的子帶參數序列。該參數内插器可受組配以 接收在時間上由大於該等子帶音訊樣本之一的時段間隔開 的隨後複數值向上混合參數,且較頻繁地(例如每一子帶音 訊樣本一次)更新該等所内插向上混合參數。 因而,該向上混合器可受組配以在一向上混合器之更 新率下,接收該等向上混合器之音訊輸入信號的經更新樣 本,且該參數内插器可受組配以在該向上混合器之更新率 201034005 下,更新該等所内插的向上混合參數。以此方式,該等向 上混合參教的更新率可適用於該等向上混合器之音訊輸入 信號的更新率。因此’在由該裝置(例如在小於該混合器之 更新率的一更新率下)所接收的二個隨後向上混合參數組 之間可以獲得特別平滑的轉變。 在本發明的一較佳實施例中,該向上混合器可受組配 以使用包含該等所内插向上混合參數的一矩陣及包含該等 經向上混合器之音訊輸入信號的一或多個子帶參數的一向
量,來執行一矩陣-向量乘法,因而獲得包含該等經向上混 合音訊信號之複數值子帶樣本的一向量。透過使用一矩陣_ 向量乘法,可以獲得一尤其有效的電路實施。該矩陣-向量 乘法以一能有效實施的形式來定義該等音訊輸入信號的向 上混合參數相依線性疊加。一矩陣_向量乘法可有效地實施 於一信號處理器(或其他適當的硬體或軟體單元),如果矩陣 7C素分裂成一實部及一虛部來表示。複數值分裂成—實部 及-虛部的處理相當容純行,因為實部/虛部的分裂對於 複數的録,尤其對於乘法結果的加法都極為賴。因而、, 當其他數字表讀對於乘料針對於加法(料是在矩陣 向量乘法中所需要的操作)會有嚴重的困難,但是-實部/ 虛部數字表示的使用提供了1_解決方案。 在本發明的一實施例中,該裝置受組配以接收描料 等向上混合參數的空間'㈣。在這種情況下,該參數⑽ 器可受組配以根據聲道間位準差參數,或根據聲道間 性(或相干旬錢’絲縣_轉0數絲道間相關 9 201034005 性(或相干性)參數,來判定該等向上混合參數的量值。而 且,該參數内插器可受組配以根據聲道間相位差參數,來 判疋5亥4向上混合參數的相位值。因此,可以看出,在一 些情況下,可以用一極有效的方式來分別地獲得該等向上 混合參數的量值及相位值。因而,即使在沒有任何額外的 罝值/相位值分離單元的情況下,也可有效地獲得分別内插 所需的輸入資訊,如果上述參數(ILD、ICC、IPD及/或ITD) 或可比較的參數用作該參數内插器之輸入量。 在本發明的一實施例中,該參數内插器受組配以判定 在隨後複數值向上混合參數之間的内插方向,使得在該第 一複數值向上混合參數的相位值與該(隨後)第二複數值向 上混合參數的相位值之間的内插所經過的角度範圍小於或 等於180。。換句話說,在一些實施例中,確保了由内插所 產生的相位變化能保持足夠小(或甚至是最小化)。即使人類 的聽覺感知對於相位改變不會特別敏感,限制相位變化也 可以是有利地。例如,向上混合參數之快速的相位變化可 能導致難以預測失真,諸如頻率偏移或頻率調變。此等扭 曲可透過謹慎地決定如何内插向上混合參數的相位值來予 以限制或消除。 根據本發明的另一實施例產生用以把一向下混合音訊 信號向上混合的一方法。 根據本發明的又一實施例產生用以把一向下混合音訊 "is破向上混合的一電腦程式。 圖式的簡單描述 201034005 根據本發明的實施例將在隨後參照所揭露的圖式來描 述,其中: 第1圖顯示根據本發明的一實施例,用以把一向下混 合音訊信號向上混合的一裝置的一方塊示意圖; 第2a及2b圖顯示根據本發明的另一實施例,用以把 一向下混合音訊信號向上混合的一裝置的一方塊示意圖; 第3圖顯示向下混合音訊信號樣本與一解碼器輸入旁 側資訊之間的一時序關係的示意圖; 第4圖顯示解碼器輸入旁側資訊與基於其的時間所内 插向上混合參數之間一時序關係的示意圖; 第5圖顯示一内插路徑的一圖式; 第6圖顯示根據本發明的一實施例,用以把一向下混 合音訊信號向上混合的一流程圖;以及 第7圖顯示一般雙耳線索編碼方案的一方塊示意圖。 I:實施方式3 實施例之詳細描述 根據第1圖的實施例 第1圖顯示根據本發明之一實施例,用以把一向下混 合音訊信號向上混合的一裝置100的方塊示意圖。該裝置 100受組配以接收描述一或多個向下混合音訊聲道的一向 下混合音訊信號110,且提供描述多個經向上混合音訊聲道 的一經向上混合音訊信號120。該裝置100包含一向上混合 器130,其受組配以使用在時間上可變的向上混合參數來把 該向下混合音訊信號110向上混合,以獲得經向上混合音 11 201034005 訊信號120。該裝置100還包含一參數内插器140 ’其受組 配以接收一序列複數值向上混合參數’例如一第一複數值 向上混合參數142及一隨後第二複數值向上混合參數 144。該參數内插器140受組配以在該第一(或初始)複數值 向下混合參數142及第二、隨後複數值向上混合參數144 的基礎上,獲得要由向上混合器130所使用的一或多個在 時間上所内插的向上混合參數150。該參數内插器140受組 配以分別地在第一複數值向上混合參數I42的量值與第二 φ 複數值向上混合參數144的量值之間内插(其量值内插表系 — 為參考數字160),且在第一複數值向上混合參數142的相 \ 位值與第二複數值向上混合參數144的相位值之間内插(其 相位值内插表示為參考數字162)。該參數内插器140受組 ‘ 配以在該等所内插量值(也稱為振幅值或增益值)(其表示為 參考數字160)的基礎上,及在該等所内插相位值(也稱為角 度值)的基礎上(其顯不為參考數字164),獲得·一或多個在 時間上所内插的向上混合參數150。
在下面,與裝置100之功能有關的一些細節將予以描 Q 述。該向下混合音訊信號110可以例如以表示在時間_頻率 域中之向下混合音訊信號(描述在由在此未顯示編碼器所 判定的更新率下,重疊或非重疊的頻帶或頻率子帶)的—序 列複數值組的形式’輸入至向上混合器130。該向上混合器 130受組配以根據在時間上所内插的向上混合參數15〇,線 性地將該向下混合音訊信號11〇的多個聲道相結合,或線 性地將該向下混合音訊信號11〇的一聲道與一輔助信號(例 12 201034005 如去相關信號)(其中該輔助信號可源自於該向下混合音訊 仏號110 W同-音訊聲道、源自於該向下混合音訊信號 的一或多個其他音訊聲道,或源、自於該向下混合音訊信號 110之音訊聲道的結合)相結合。因而,在時間上所内插的 向上此合參數150可由向上混合器13〇所使用,以在向下 混合音訊信號11G的基礎上,來對歸經向上混合音訊信 號12〇(或其-聲道)產生中的振鴨調整及相位旋轉(或 延遲)作出決定。 θ 該參數内邮⑽典型地^配以在高於向上現合參 數142、144所述之旁側資訊之更新率的一更新率下,提供 在時間上所内插的向上混合參數15()。以此為目的,隨後的 複數值向上混合參數藉由參數内插器14〇而獲得(例如接收 或運算)。料複數值向上混合參數H 1φφ的量值及相 位值使用一量值内插160及一相位值内插162,予以分別地 (或甚至獨立地)處理。因而,該等向上混合參數在時間上所 内插的量值及該等向上混合參數在時間上所内插的相位值 分別是可用的,且可分別地輸送至向上混合器14〇,或以相 結合的形式(在分別内插之後結合為一複數值數字)輪送至 向上混合器130。分別内插會有以下優點,該時間上所内插 的向上混合參數的振幅典型地在更新旁側資訊由裝置 所接收的時間上,隨後實例之間包含一平滑且單調的時間 演進。由其他類型的内插所導致之可聽見且為干擾性的人 工因素,諸如一或多個子帶之振幅調變,得以避免。因此, 更新音訊信號120的品質優於可能使用習知類型的向上混 13 201034005 合參數内插所獲得的一向上混合信號的品質。 根據第2圖之實施例 與用以把一音訊信號向上混合之一裝置的結構及操作 有關的其他細節將參照第2a及2b圖予以描述。第2a及2b 圖顯示根據本發明之另一實施例,用以把一向下混合音訊 信號向上混合的一裝置200的詳細方塊示意圖。該裝置200 可以視為用於在一向下混合音訊信號及一旁側資訊SI的基 礎上,產生一多聲道(例如5.1)音訊信號的一解碼器。裝置 200會實施針對於裝置100所述的功能。該裝置200可以例 如用以根據一所謂的“雙耳線索編碼”、一所謂的“參數立體 聲”或一所謂的“MPEG環繞”來解碼的一多聲道音訊信號。 當然,該裝置200可類似地用以把根據使用空間線索的其 他系統來編碼的多聲道音訊信號向上混合。 為簡便起見,該裝置200描述為執行將一單一聲道向 下混合音訊信號向上混合為二聲道信號。然而,在此所述 的概念可很容易地延伸為向下混合音訊信號包含一個以上 聲道的情況,且還可延伸為經向上混合音訊信號包含兩個 以上聲道的情況。 輸入信號及輸入時序 該裝置200受組配以接收向下混合音訊信號210及旁 側資訊212。而且,裝置200受組配以提供包含例如多聲道 的一經向上混合音訊信號214。 該向下混合音訊信號210可以例如是由一編碼器(例如 由第7圖所示的BCC編碼器810)所產生的一總和信號。向 201034005 下混合音訊㈣2料叫如在㈣斜射,以複數值 頻率分解的形式來表示。例如,該音訊信號之多個頻率子 帶(其可以是交疊的或非交疊的)的音訊内容可以由相對應 的複數值來表示。對於—給定的頻帶,向下混合音訊信號 可以在考慮隨後(交疊的或非交叠的)時間間隔的情況下,由 描述在該頻率子帶中之音訊内容的一序列複數值來表示。 對於隨後時間間隔的隨後複數值可以例如使用在裝置 ❿ _其可以是4聲道音訊錢編碼器的部分)中,或在麵 胁該裝置励的-額外裝置中之—渡波器組(例如qmf , 纽器組)、—快速傅立葉變換等獲得1而,在此所述向 ' T混合音號㈣示典魏不相同於用以將向下混合音 m信號從-多聲道音訊信號編碼器發送至_多聲道音訊信 號解碼器,或至裝置100的向下混合信號的表示。因此, 向下混合音訊信號210可以由複數值組或向量之一串流來 表 τρτ。 Φ 在下面,假設該向下混合音訊信號210的隨後時間間 隔由一整數值索引k來表示。還假設裝置2〇〇每間隔化且 對於向下混合音訊信號210的每一聲道,接收一組複數值 或向量。因而,對於由時間索引k所述的每一音訊樣本更 新間隔會接收一樣本(複數值組或向量)。 為了促進理解,第3圖顯示向下混合音訊信號21〇(“χ”) 與相對應解碼器旁側資訊212(“SI”)之間的時序關係的圖形 表示。隨著時間而由裝置200所接收之經向下混合音訊信 號210的音訊樣本(“AS”)由參考數字31〇顯示。從圖形表 15 201034005 不310中可以看出’―單-音訊樣本AS與每-音訊樣本信 號的更新間隔k相關聯,如上所述。 〇進步接收描述向上混合參數的一旁侧資訊 212例如,旁側貧訊212可描述下面的一或多個向上混合 參數’聲道間位準差(ILD)、聲道間相關性(或相干 !生)(ICC)、聲道間時間差(ITD)及聲道間相位差卿)。典型 地旁側=貝訊212包含ILD參數及參數icc、ιτ〇、ipD中 的至v個。然而’為了節省帶寬,旁側資訊212典型地 在向下混合音訊信號21〇的每多個音訊樣本更新間隔k(或 ❿ -單-組旁側資訊的傳輸可在時間上擴展多個音訊樣本更 新間隔k)處’僅向裝置發送一次,或由裝置測接收 久因而’對於多個音訊樣本更新間隔k典型地僅存在 一組旁側資訊參數。 此時序關係顯示於第3圖中。例如,旁側資訊可以在 音訊樣本更新間隔k=4、k=8及k=16處發送至裝置2〇〇(或 由裝置200所接收),如可以由參考數字32〇看出。相反地, 在該等音訊樣本更新間隔之間,沒有旁側資訊212會發$ ⑩ 至裝置200(或由裝置2〇〇所接收)。 從第3圖中可以看出’旁側資訊212的更新間隔可以 Ik時間而變化,因而編碼器可以例如僅在需要時(例如在解 碼器辨識出旁側資訊改變超過了一預定值時),決定提供旁 側資訊更新。例如,對於音訊樣本更新間隔k=4,由裝置 200所接收的旁側 > 吼可與音訊樣本更新間隔匕=3 , 4,5 相關聯。類似地’對於音訊樣本更新間隔k=8,由裝置2〇〇 16 201034005 所接收的旁側資訊可與音訊樣本更新間隔k=6,7,8,9, 10相關聯等。然而,當然可能會存在不同的關聯性,且旁 側資訊的更新間隔當然也可能會大於或小於第3圖所示者。 輸出信號及輸出時序 然而’裝置200用以在複數值頻率合成中提供經向上 混合的音訊信號。例如’裝置200可受組配以提供經向上 混合的音訊信號214,使得該等經向上混合的音訊信號包含 與向下混合音訊信號210相同的音訊樣本更新間隔或音訊 信號更新率。換句話說’對於向下混合音訊信號21〇的每 一樣本(或音訊樣本更新間隔k),均會產生—經向上混合音 訊信號214的樣本。 向上混合 在下面,將詳細地描述對於每一音訊樣本更新間隔k, 用以把向下混合音訊信號向上混合之向上現合參數的更新 是如何獲得的,即使解碼器輸入旁側資訊僅以較大的更新
間隔(如第3圖所示)更新。在下面,將描述—單一子帶的處 理,但是當然該概念可以延伸為多個子帶。 該襄置200 &含作為-關鍵元件的—向上混合器其 受組配以作為一複數值線性結合器操作。向上混合器MO 受組配以接收與音訊樣本更新間隔k相_之^混合音 訊信號2Η)的樣本x(k)(例如表示某一頻帶)。信號X⑻有時 還稱為“乾信號”。而且,向上混合器受㈣⑽收表示向 下混合音訊信號之經去相關版本的樣本。 而且’該裝置2〇〇 包含一去相職(例如-延遲器或反 17 201034005 射器)24G,其驗配以接收向下混合音訊信號的樣本琳) 且在其基礎上,提供向下混合音訊雜(由难)表示)之經去 相關版本的樣本q(k)。該向下混合音訊信號(樣本卿之經 去相關版本(樣本q(k))可以稱為“濕信號,,。
向上混合器230包含例如一矩陣_向量乘法器232,其 文組配以執行“乾信號,’(x(k))與“濕信號,,(q⑽的複數值線 性結合’來獲得-第一經向上混合聲道信號(由樣本yi(k) 表不)及一第二經向上混合聲道信號(由樣本y2(k)表示)。該 矩陣-向量乘法器232可例如受組配以執行下面的矩陣_向 量乘法,來獲得經向上混合聲道信號的樣本yi(k)& y2(k): yi(k) y2(k) =H⑻ x(k) q(k) 向上混合參數的更新
從上面等式可以看出,期望對於每一音訊樣本更新間 隔k來更新向上混合參數矩陣H(k)。對於每一音訊樣本更 新間隔k來更新向上混合參數矩陣有以下優點,向上混合 參數矩陣總是極適用於實際的聽覺環境。對於每一音訊樣 本更新間隔k來更新向上混合參數矩陣還允許使隨後的音 訊樣本間隔之間的向上混合參數矩陣Η (或其元素)的逐步 改變保持較小,因為向上混合參數矩陣的改變分佈在多個 音訊樣本更新間隔上,即使旁側資訊212僅對每多個音訊 樣本更新間隔k進行一次更新。 裝置200包含一旁側資訊處理單元250,其受組配以在 旁側資訊212的基礎上,提供向上混合參數,例如元素 18 201034005
Hij(k)。該旁側資訊處理單元25〇受組配以提供對於每一音 訊樣本間隔k之-組更新的向上混合參數,即使該旁側資 訊212對每多個音訊樣本更新間隔k僅進行一次更新。 該旁側資訊處理單元250包含-向上混合參數判定器 (或向上混合矩陣係數判定器)252,其受組配以接收旁側資 訊212 ’且在其基礎上推導出一或多個向上混合參數(或等 效地,向上混合矩陣係數)。例如,向上混合參數判定器252 Φ 可結合多個線索(例如1LD、ICC、ITD、IPD)以獲得向上混 - 口參數。該向上混合參數判定器252受組配以用一量值及 - 分離相位值的形式來描述向上混合參數。該量值可以例 • 如表不一複數的絕對值,且相位值可表示該複數的一角度 值(例如’相對於-實部_虛部正交座標系統中的實部轴所測 量出的)。 因而,向上混合參數判定器可提供一向上混合參數量 值序列254及-向上混合參數相位值序列256。向上混合參 φ 數判疋器252可受組配以從-組旁側資訊中,推導出-組 完整向上混合參數(或矩陣Η的一組完整矩陣元素卜在一 組旁側資訊212與-組向上混合參數(或一組矩陣元素)之 間可存在關聯性。因此,向上混合參數判定器252可受組 配以對應於每一向上混合參數更新間隔,即每更新該組旁 側資sfL—次,就更新一次向上混合參數254、256(或矩陣元 素)。 該旁側資訊處理單元更包含一參數内插器26〇,其將在 下面予以詳細地描述。該參數内插器26〇受組配以接收向 19 201034005 上混合參數(或矩陣元素)之(實數值)量值的序μ 254及向上 混合參數(或矩陣元素)之(實數值)相位值的序列256。而 且’參數内插器^:組配以在内插且結合序列及序列256 的基礎上,提供為複數值,且在時間上所内插的向上混合 參數(或矩陣元素)262之一序列。 該參數内插器260包含一量值内插器27〇及一相位值 内插器272。此外’該參數内插器包含—量值/相位值結合 器 280。 該量值内插器270受組配以接收序列254,且在其基礎 @ 上知:供一向上混合參數(或矩陣元素)之所内插量值序列 274。該量值内插器270例如可受組配以在隨後的序列254 之量值之間執行線性量值内插。因而,雖然序列254每一 向上混合參數更新間隔獲得一次更新(例如包含一特定向 上混合參數或矩陣元素的一新量值),但是序列274會獲得 較頻繁地更新,例如對應於每一音訊樣本更新間隔k進行 —次更新(其中該向上混合參數更新間隔典型地大於該音 訊樣本更新間隔k)。 ® 類似地,相位值内插器272受組配以接收序列256,且 在其基礎上提供一向上混合參數(或矩陣元素)之所内插相 位值的序列276。該相位值内插器272例如可受組配以在隨 後的序列256相位值之間執行一線性相位内插。因而,序 列276對應於每一音訊樣本更新間隔k會更新一次,儘管 序列256會對應於每一向上混合參數更新間隔,更新一次。 重要的是,量值内插器270及相位值内插器272受組 20 201034005 配以分別地或獨立地執行量内插及相位内插。因而,序列 254的量值不會影響相位值的内插,且序列256的相位值不 會影響量的内插。然而’假設量值内插器及相位值内插器 以在時間上同步的方式操作,則會使序列274、276包含向 上混合參數(或矩陣元素)之相對應的所内插量值及所内插 相位值對。 該量值/相位值結合器280受組配以同時接收所内插量 φ 值的序列274及所内插相位值的序列276。該量值/相位值 ' 結合器280進一步受組配以透過將序列274的所内插量值 / 與序列276之相對應所内插相位值相結合,來提供為複數 . 值之所内插向上混合參數或矩陣元素的序列262。例如,該 量值/相位值結合器280受組配以執行複數值旋轉序列274 的所内插量值’使其旋轉-角度,而該角度由序列276的 人相對應所内插相位值所判定。一般而言’量值/相位值結 合器可提供—複數,其量由一所内插量值所判定,且其相 _ 位由,相對應的所内插相位值所判定。 反f *、、:參數内插器260可分別地作用於不同的向上混 每> 數或矩陣疋素。因而,該參數内插器260可接收對於 向上混合參數(來自多個向上混合參數)或矩陣Η之矩 陣元素之量佶& 一 m的—序列254及相位值的一相對應序列 256。因而,春無 。 一 敢内插器可提供對於每一向上混合參數矩陣 、在時間上所内插的一複數值序列262。 内插時序關係 圖顯示在由旁側資訊處理單元25〇所接收的輸入 21 201034005 資訊212(解碼器輸入旁側資訊)與由旁側資訊處理單元252 提供給向上混合器230的輪出資訊262(在時間上所内插的 複數值向上混合參數)之間的時序關係的一圖形表示。
第4圖顯示解碼器輸入旁側資訊212的一圖形表示 410。攸圖形表不彻中可以看出,編碼器輸入旁側資訊不 是對於每一音訊樣本更新間隔k都進行更新,而是對於多 個音訊樣本更新_ Μ進行一次更新。相反地,序列262 之在時間上所内插的向上混合參數(由參考數字42〇顯示) 對應於每一音訊樣本更新間隔會更新一次。換句話說,在 時間上所内插之向上混合參數262的更新間隔例如與音訊 樣本更新間隔k相同。因而,矩陣Η可以對應於每一音訊 樣本更新間隔k更新一次。 每-音訊樣本從而可由其相關聯的(或甚至一對一相 關聯的)向上混合參數矩陣H加權。雖然基於—單一組旁侧 資訊的“準確”向上混合參數矩陣可對於音訊樣本更新間隔 ❹ (例如對於k=4、8、16)予以提供,但是基於二組,乃至更 多組旁侧資訊的所内插向上混合參數矩陣對於其他的音訊 樣本更新間隔(例如對於 14、15)也予以提供。 概要及其他可取捨的改良 在下面I置根據本發明的操作將予以簡單地概述。 根據本發明之實_透過使參數㈣信號量,畴在隨時 «變的相位的内插來增強目前(或習知)的内插技術。為了 商便起見上面的^述以及下㈣描述僅限於從—聲道至 22 201034005 二個聲道的向上混合。當然,該概念還可用於存在大量向 下混合聲道或經向上混合聲道的情況。 解碼器例如從一個聲道至二個聲道的向上混合步驟透 過由稱為乾信號之向下混合信號x(也由x(k)來表示)及稱為 濕信號之向下混合信號q(還由q⑻表示)之經去相關版本所 組成的向量與一向上混合矩陣取還由_表示)矩陣相 乘,來執行。濕信號9已透過輸送向下混合信號X經過— • 去相關渡波器(例如去相關器240)而產生。輸出信號y是包 ‘ ,出H第二聲道(例如分量y1(km y2(k))的一向 量所有L號X q、y在一複數值頻率分解(例如時間·頻率 - 域表示)中都是可用的。此矩陣操作對於每-頻帶的子帶樣 本來執行。例如’矩陣操作可根據下面的等式來執行: J [q\ 從第2a圖中可以看出,矩陣_向量乘法例如可以由向 警上混合器230之矩陣-向量乘法器232來執行。 向上混合矩陣H的係數可以根據典型地為ILD及ICC 的空間線索而推導出,導致實數值矩陣元素基本上基於該 等ICC來執行每一聲道之乾信號及濕信號的混合,且調整 由ILD所判定之二個輸出聲道的輸出位準。 〇 1使用1PD時’必須將—額外的相位偏移用於該等作 號,以在原始信號的聲道之間重新產生相位關係。相㈣ 23 1 #透紐值元素用於向上私_ H巾吨得執行, k會導致子帶信號的複數旋轉,域而導致相位偏移。當 201034005 在極座標中查看複數元素時,其角度等於所需要的相位偏 移。 因為參數(也稱為“旁側資訊組”,顯示為參考數字212) 不是對於每一音訊樣本(例如不是對於每一音訊樣本更新 間隔k)來發送,如參照第3及4圖所述,而是僅對於作為 一參數組之一組隨後樣本,在一參數組每一次到達時一新 矩陣Hn計算。 比較範例:線性内插方式 在下面,以比較為目的,一可能的線性内插方式將予 以描述。在沒有參數組獲得發送的樣本點處,一矩陣(或所 内插矩陣)Hi可透過在一(目前)矩陣Hn與一先前所計算出 的矩陣之間線性内插矩陣元素來計算: H, =(!-«'/ )Hn_! + (/ / )H„ , i· = 〇」酿 矩陣元素的此線性内插能對實數值元素產生極佳的作 用。然而,當使用具有隨時間變化的角度的複數值元素時, 此種類型的内插具有明顯的缺點,因為它會導致輸出信號 能量不受期望的損失。二個複數值的線性内插會產生與複 數值之二個量值的線性内插相比,具有較小量的一值。此 事實顯示於第5圖中。 第5圖顯示在二個複數值之間不同類型内插的一圖形 表示500。該圖形表示500描述在複平面中的複數。橫座標 510作為一實部軸,且縱座標512作為一虛部軸。一第一或 初始複數值由Zi來表示,且一第二或隨後複數值由z2來表 示。在複數值Z!與Z2之間的線性内插會產生一複數值Zlin, 201034005 其中ZnnsWbi+zO。可以看出,Zlin的絕對值(或量值)顯著 低於複數值Z1的絕對值,且也顯著低於複數值Z2的絕對值。 然而,除了根據Ι/Ρ^+Ζ2)簡單形成的平均值之外, 一般的線性實施可選擇地根據 Ζϋη = (1-α)*ζι + α*ζ2 來使用。 在線性内插方面,隨著二個複數(Zl及Ζ2)角度的增加, 其中最壞的情況是在180度’量值的降低會加大。因為複 矩陣元素的量判定輸出信號的振幅,所以這就致使相比於 不使用IPD的情況,在隨後參數組之間的樣本會具有較低 的輸出位準。這可能使無論相位角度什麼時候產生快速改 變都會產生可聽見的調變或漏失人工因素。 與分別内插方式相關的細節 在下面,量值及相位值之分別内插的—些較佳實施例 將予以描述’其中該分別内插典型地由量值内插器27〇及 相位值内插器272來執行。 為了避免上述輪出能量的損失,在此提出了用以内插 向上混合矩陣的不同方法。此新方法對矩陣係數之根據聲 d相位差(IPD)所獲得的角度及其例如根據聲道間位準 差(ILD)及聲道間相關性或相干性(ICC)所獲得的量值實施 分別内插。 在-第-步驟’實數值矩陣係數獲得計算(例如由序列 254來表不),且獲得線㈣插(例如使用量值内插器2川), 因為其可叫錢料純差(IPD)的情況下實現。 25 201034005 在下一步驟,相位偏移角(例如由序列256來表示)根據 參數組(例如旁側資訊212組)的所發送聲道間相位差(IPD) 而運算出。在此等角度之間,執行一線性内插(例如使用相 位值内插器272),以使隨後參數組(例如旁側資訊212組) 之間的每一樣本獲得一角度。因為用於此内插中的角度在 2π的範圍内,所以應該特定注意的是要以正確的方向内 插。例如,内插的角度可以根據下面的等式獲得: ((1 - d—i + 2π) + (",max >η〇(12π a, ((1 -,"謹 + G )(¾ + 2;r))mod2K a, αη-Χ>π ,沁0…^ Ί<_π
在上面等式中,OCw表示一第一(或先前)複數值向上混合參 數的一相位值。α„表示第二(或隨後)複數值向上混合參數的 一相位值。“mod”是一模數-運算符。i表示一所内插相位值 的索引。i=0表示與第一向上混合參數相關聯的一索引。 i=imax表示與該第二向上混合參數相關聯的索弓丨。在〇與imax 之間的索引i與所内插的向上混合參數相關聯。此外,假 設在二個取樣點(或旁側資訊組)之間存在imax-l個所内插 值。 當然,所内插實數值矩陣係數及所内插相位偏移角度 的運算次序可予以調換,或該運算可予以並行地執行。 在最後的步驟中,實數值矩陣元素可旋轉所内插的角 度。例如可以使用下面的等式: u — β^αΗ x xx,complex xx,real 〇 在上面等式中,“ xx ”表示各別的矩陣元素索引(在此有 26 201034005 時也用來表示)。而且,Hxx,real表示一實數值矩陣係數, 即一量值。α表示與該實數值矩陣係數 Hxx^real 相關聯的一 相位偏移角度。j表示虛數單元,即-1的平方根。Hxx,CC)mplex 表示一個複數值向上混合參數。 透過使用上述改良的内插方法,矩陣元素的正確量值 獲得保留。 相較於上面所述的線性内插方式,在複數值ζ!與z2之 間分別量值-相位值的内插會產生所内插值zsep,從第5圖 中可以看出。例如,所内插值zsep的絕對值由在第一複數 值Zi的絕對值與第二複數值z2的絕對值之間的線性内插來 判定(其中丨.1表示絕對值操作)。此外,所内插值zsep的角位 置位於第一值Zl與第二值z2的角位置之間,如第5圖所示。 因此’從第5圖可以看出,所内插值zsep的量值位於 第一值21與第二值z2的量值之間。因而,對於線性複數值 内插可以清楚地看出之振幅的衰減(相比於Zl及Z2,線性内 插值zlin的量值相對較小)透過使用分別内插量值及相位值 而獲得避免。 結論 綜上所述’描述了產生所内插向上混合矩陣(例如H) 的一般概念,其等(至少近似地)是在存在隨時間變化相位合 成的情況下保留量。根據本發明的實施例透過減小輸出信 號中由習知的簡單内插技術所導致的振幅損失,來替代其 他的技術°此外,保留量内插的運算影響僅極少地高於其 他技術。 27 201034005 方法 根據本發明的一實施例包含一方法,用以把描述一或 多個向下混合音訊聲道的一向下混合音訊信號向上混合為 描述多個經向上混合音訊聲道的一經向上混合音訊信號。 第6圖顯示這樣方法的一流程圖,其全部内容由700來表 示0 方法700包含步驟710,在一第一複數值向上混合參數 及一隨後第二複數值向上混合參數的基礎上,獲得一或多 個在時間上所内插的向上混合參數。該内插分別執行於第 一複數值向上混合參數之量值與第二複數值向上混合參數 之量值之間’且在第一複數值向上混合參數之相位值與第 二複數值向上混合參數之相位值之間。 該方法700更包含步驟720,使用所内插的向上混合參 數來把一向下混合信號向上混合,以獲得一經向上混合音 訊信號。 該方法700可補充有在此針對於發明性裝置所述的任 何步驟及功能。 不同的實施技術 根據某些實施需求而定,本發明的實施例可以實施於 硬體或軟體中。該實施可使用例如儲存有電氣可讀控制信 號於其上的一軟碟、一 DVD、一 CD、一 ROM、一 PROM、 —EPROM、一 EEPROM或一快閃記憶體而與一可規劃電 腦系統相協作(或能夠協作)使得各別的方法獲得執行的_ 數位儲存媒體來執行。 201034005 根據本發明的一些實施例包含―資㈣體其具有電 孔可π賣控紅號,其等㈣與—可賴電腦系統相協作, 使得在此所述方法之一獲得執行。 =體上,本發明之實施例可以實施為具有—程式碼的 電腦程式產ππ ’ β妹式碼可操作地以當電腦程式產品執 行於電腦上時,執行該等方法之—。該程式碼可以例如儲 存於一機械可讀載體上。 八他實施例包含用以執行在此所述方法之―,且儲存 於一機械可讀載體上的電腦程式。 換句話說,該發明性方法的一實施例從而是一電腦程 式’具有肖以在電難式執躲―電腦上時,執行在此所 述方法之一的一程式碼。 從而’該等發明性方法的另—實施例是—資料載體(或 一數位儲存媒體)’包含用以執行在此所述方法之-的電腦 程式。 從而,發明性方法的另一實施例是信號的一資料流或 一序列^號,其表示用以執行在此所述方法之一的電腦程 式。 該資料流或該序列信號例如可受組配以經由一資料通 訊連接體,例如經由網際網路予以傳輸。 另一實施例包含一處理單元,例如一電腦或一可規劃 邏輯裝置,受組配以或適用於執行在此所述方法之一。 另一實施例包含一電腦,具有安裝於其上且用以執行 在此所述方法之一的電腦程式。 29 201034005 在一些實施例中,一可規劃邏輯裝置(例如一現場可規 劃閘極陣列)可用以執行在此所述方法之所有功能。 在一些實施例中,一現場可規劃閘極陣列可與一微處 理器相協作,以執行在此所述方法之一。 參考文獻 [1] C. Faller and F. Baumgarte, "Efficient representation of spatial audio using perceptual parameterization", IEEE WASPAA, Mohonk, NY, October 2001
[2] F. Baumgarte and C. Faller, "Estimation of auditory spatial cues for binaural cue coding", ICASSP, Orlando, FL, May 2002 [3] C. Faller and F. Baumgarte, "Binaural cue coding: a novel and efficient representation of spatial audio," ICASSP, Orlando, FL, May 2002
[4] C. Faller and F. Baumgarte, "Binaural cue coding applied to audio compression with flexible rendering", AES 113th Convention, Los Angeles, Preprint 5686, October 2002 [5] C. Faller and F. Baumgarte, "Binaural Cue Coding -Part II: Schemes and applications," IEEE Trans, on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003 [6] J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, "High-Quality Parametric Spatial Audio Coding at Low Bitrates", AES 116th Convention, Berlin, Preprint 6072, 30 201034005
May 2004 [7] E. Schuijers, J. Breebaart, H. Purnhagen, J. Engdegard, "Low Complexity Parametric Stereo Coding", AES 116th Convention, Berlin, Preprint 6073, May 2004 [8] ISO/IEC JTC 1/SC 29/WG 11, 23003-1, MPEG Surround [9] J. Blauert, Spatial Hearing: The Psychophysics of Human Sound Localization, The MIT Press, Cambridge, MA, revised edition 1997 【囷式簡單說明3 第1圖顯示根據本發明的一實施例,用以把一向下混 合音訊信號向上混合的一裝置的一方塊示意圖; 第2a及2b圖顯示根據本發明的另一實施例,用以把 一向下混合音訊信號向上混合的一裝置的一方塊示意圖; 第3圖顯示向下混合音訊信號樣本與一解碼器輸入旁 側資訊之間的一時序關係的示意圖; 第4圖顯示解碼器輸入旁側資訊與基於其的時間所内 插向上混合參數之間一時序關係的示意圖; 第5圖顯示一内插路徑的一圖式; 第6圖顯示根據本發明的一實施例,用以把一向下混 合音訊信號向上混合的一流程圖;以及 第7圖顯示一般雙耳線索編碼方案的一方塊示意圖。 【主要元件符號說明】 100.·.裝置 120...經向上混合音訊信號 110…向下混合音訊信號 130…向上混合器 31 201034005 140.. .參數内插器 142…第一複數值向上混合參 數 144…第二複數值向上混合參 數 150.··在時間上所内插的向上 混合參數 160…量值内插 162…相位值内插 164.. .在時間上所内插的向上 混合參數之基礎 200.. .裝置 210…向下混合音訊信號 212…旁側資訊 214…經向上混合音訊信號 230…向上混合器 232…矩陣-向量乘法器 240…去相關器/延遲器/反射 器 250…旁側資訊處理單元 252.. .向上混合參數判定器/ 向上混合矩陣係數判 定器 254".向上混合參數量值序列 256…向上混合參數相位值序 列 260.. .參數内插器 262···在時間上所内插的向上 混合參數/矩陣元素 270…量值内插器 272…相位值内插器 274···向上混合參數/矩陣元 素之所内插量值序列 276···向上混合參數/矩陣元 素之所内插相位值的 序列 280···量值/相位值結合器 310…圖形表示 320…時序關係 410…圖形表示 420.. .在時間上所内插的向上 混合參數 500…圖形表示 510…橫座標 512.. .縱座標 700.. .方法 710/720...步驟 800…雙耳線索編碼傳輪系統 810…雙耳線索編碼的編石馬器 812a〜812c...音訊信號 814.. .向下混合器 816…向下混合信號 818…分析器 819…旁側資訊信號 820.. .雙耳線索編碼的解石馬号 822…雙耳線索編碼分析^ 824···聲道間線索 ° 826··.旁側資訊處理器 827…使用者輸入 H.··矩陣 ICC…聲道間相關性或相 性 ILD...聲道間位準差 IPD...聲道間相位差 k·..時間索弓丨/間隔 q(k)...濕信號/樣本 X...向下混合音訊信號 x(k)…乾信號/樣本 y 丨(k)/y2(k)·..樣本 Zsep · · ·所内插值
32 201034005 zli η...線性内插值 zl...第一值 z2...第二值
Claims (1)
- 201034005 ·. 七、申請專利範圍: 1. 一種裝置,其用以把描述一或多個向下混合音訊聲道的 一向下混合音訊信號向上混合為描述多個經向上混合 音訊聲道的一經向上混合音訊信號,該裝置包含: 一向上混合器,其受組配以使用在時間上可變的向 上混合參數來把該向下混合音訊信號向上混合,以獲得 該經向上混合音訊信號;及 一參數内插器,其中該參數内插器受組配以在描述 一第一複數值向上混合參數及一隨後第二複數值向上 混合參數之一資訊的基礎上,獲得要由該向上混合器所 使用的一或多個在時間上所内插的向上混合參數, 其中該參數内插器受組配以分別地内插 (a) 在該第一複數值向上混合參數的一量值與該 第二複數值向上混合參數的一量值之間,及 (b) 在該第一複數值向上混合參數的一相位值與 該第二複數值向上混合參數的一相位值之間, 以獲得該一或多個在時間上所内插的複數值向上 混合參數。 2. 如申請專利範圍第1項所述之裝置,其中該參數内插器 受組配以單調地在時間上内插於該第一複數值向上混 合參數的量值與該第二複數值向上混合參數的量值之 間,而獲得該一或多個在時間上所内插之向上混合參數 的量值, 以線性地在時間上内插於該第一複數值向上混合 201034005 參數的相位值與該第二複數值向上混合參數的相位值 之間,而獲得該—或多個在時間上所内插之向上混合參 數的相位值,及 以將該-或多個所内插量值與—或多個相對應之 所内插相位值相結合,峨得該_或多個複數值的在時 間上所内插向上混合參數。 3. 如申請專利範圍第丨或2項所述之裝置,其中該參數内 插器受組配以線性内插於該第—複數值向上混合參數 的量值與該第二複數值向上私參數的量值之間,而獲 得該-或多個在時間上所内插複數值向上混合參數的 所内插量值。 4. 如申請專利範圍第丨至3項中之一項所述之裝置,其中 該向上混合器受組配以根據該等複數值的在時間上所 内插向上混合參數,來執行多個向上混合器音訊輸入信 號(x(k),q(k))之複數值子帶參數的一線性調整疊加,而 獲得該經向上混合的音訊信號; 其中該向上混合器受組配以處理表示該等向上混 合器音訊輸入信號(x(k),q(k))之隨後音訊樣本的複數值 子帶參數序列;及 其中該參數内插器受組配以接收隨後複數值向上 混合參數之一表示’該等隨後複數值向上混合參數在時 間上分隔開多於該等音訊樣本之一的一個時段,及 以較頻繁地更新該等所内插向上混合參數。 5. 如申請專利範圍第4項所述之裝置,其中該向上混合器 35 201034005 * 受組配以在一向上混合器更新率下,接收經更新的向上 混合器音訊輸入信號(x(k), q(k)),及 其中該參數内插器受組配以在該向上混合器更新 率下,更新該等所内插的向上混合參數。6. 如申請專利範圍第4或5項所述之裝置,其中該向上混 合器受組配以使用包含該等所内插向上混合參數的一 矩陣(H)及包含該等向上混合器音訊輸入信號(x(k), q(k)) 之子帶參數的一向量來執行一矩陣-向量乘法,而因此 獲得包含該等經向上混合音訊信號(y i, y 2)之複數值子 帶參數的一向量° _y2(k)_ 7. 如申請專利範圍第6項所述之裝置,其中該向上混合器 受組配以使用一實部-虛部數表示來執行該矩陣-向量乘 法。8. 如申請專利範圍第1至7項中之一項所述之裝置,其中 該裝置受組配以接收描述該等向上混合參數的空間線 索(ILD,ICC, ITD,IPD)。 9. 如申請專利範圍第8項所述之裝置,其中該參數内插器 受組配以根據聲道間位準差參數,或根據聲道間相關性 或相干性參數,或根據聲道間位準差參數及聲道間相關 性或相干性參數,來判定該等所内插向上混合參數的量 值;及 以根據聲道間相位差參數或聲道間時間差參數來 獲得該等所内插向上混合參數的相位值。 36 201034005 10. 如申請專利範圍第1至9項中之一項所述之裝置,其中 該向上混合器受組配以使用該等在時間上可變的向上 混合參數來將一或多個向下混合音訊信號(x(k))與該一 或多個向下混合音訊信號之一或多個經去相關版本 (q(k))相結合。11. 如申請專利範圍第1至10項中之一項所述之裝置,其 中該參數内插器受組配以判定在隨後複數值向上混合 參數之相位值之間的該内插的一方向,使得在該第一複 數值向上混合參數的一相位值與該第二複數值向上混 合參數的一相位值之間的該内插中所經過的一角度範 圍小於或等於180°。 12. 如申請專利範圍第1至11項中之一項所述之裝置,其 中該參數内插器受組配以根據下面的等式來計算一所 内插的相位值α; |n>;r αη_αηΑ>π αη_αηΑ<—π Π-H + dK ((1 - i / C )(«„-! + 2λ·) + 〇' / ^ K )mod2j ((1 -11 ^ K-i + 0' / i'max )(«„ + 2^))mod2j 其中 CL表示該第一複數值向上混合參數的一相位值; 表示該第二複數值向上混合參數的一相位值; 丨.丨表示一絕對值運算符; mod表示一模數-運算符;及 i表示一所内插相位值的一索引,其中i=0表示與該 37 201034005 第一向上混合參數相關聯的一索引,其中i=imax表示與 該第二向上混合參數相關聯的一索引,且其中在0與imax 之間的索引i與在時間上所内插向上混合參數相關聯。 13. 如申請專利範圍第1至12項中之一項所述之裝置,其 中該參數内插器受組配以透過將一複數值旋轉用於該 等所内插量值,來將該等分別所内插的量值及相位值相 結合,其中該複數值旋轉的一角度由該等所内插相位值 來判定。 14. 一種方法,用以把描述一或多個向下混合音訊聲道之一 向下混合音訊信號向上混合為描述多個經向上混合音 訊聲道之一經向上混合音訊信號,該方法包含以下步 驟: 在一第一複數值向上混合參數及一隨後第二複數 值向上混合參數的基礎上,獲得一或多個在時間上所内 插的複數值向上混合參數, 其中該内插分別地執行 (a) 在該第一複數值向上混合參數的一量值與該 第二複數值向上混合參數的一量值之間,及 (b) 在該第一複數值向上混合參數的一相位值與 該第二複數值向上混合參數的一相位值之間;及 使用該等所内插的複數值向上混合參數來把該向 下混合音訊信號向上混合,以獲得該經向上混合音訊信 號0 15. —種電腦程式,用以在該電腦程式執行於一電腦上時, 201034005 執行申請專利範圍第14項所述之方法。39
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14781509P | 2009-01-28 | 2009-01-28 | |
| EP09007086A EP2214161A1 (en) | 2009-01-28 | 2009-05-27 | Apparatus, method and computer program for upmixing a downmix audio signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201034005A true TW201034005A (en) | 2010-09-16 |
| TWI417870B TWI417870B (zh) | 2013-12-01 |
Family
ID=41139170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW099100788A TWI417870B (zh) | 2009-01-28 | 2010-01-13 | 用以把向下混合音訊信號向上混合之裝置、方法與電腦程式 |
Country Status (19)
| Country | Link |
|---|---|
| US (1) | US8867753B2 (zh) |
| EP (2) | EP2214161A1 (zh) |
| JP (1) | JP5174973B2 (zh) |
| KR (1) | KR101290486B1 (zh) |
| CN (1) | CN102301420B (zh) |
| AR (1) | AR075163A1 (zh) |
| AU (1) | AU2010209869B2 (zh) |
| BR (1) | BRPI1005299B1 (zh) |
| CA (1) | CA2750272C (zh) |
| CO (1) | CO6420380A2 (zh) |
| ES (1) | ES2401554T3 (zh) |
| MX (1) | MX2011007924A (zh) |
| MY (1) | MY156497A (zh) |
| PL (1) | PL2380167T3 (zh) |
| RU (1) | RU2518696C2 (zh) |
| SG (1) | SG173138A1 (zh) |
| TW (1) | TWI417870B (zh) |
| WO (1) | WO2010086216A1 (zh) |
| ZA (1) | ZA201105417B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9936327B2 (en) | 2013-07-22 | 2018-04-03 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and signal processing unit for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5513976B2 (ja) * | 2010-05-12 | 2014-06-04 | 株式会社東芝 | 超音波診断装置 |
| KR101666465B1 (ko) * | 2010-07-22 | 2016-10-17 | 삼성전자주식회사 | 다채널 오디오 신호 부호화/복호화 장치 및 방법 |
| US9236064B2 (en) | 2012-02-15 | 2016-01-12 | Microsoft Technology Licensing, Llc | Sample rate converter with automatic anti-aliasing filter |
| KR101762225B1 (ko) | 2013-01-29 | 2017-07-28 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. | 에너지 제한 작업을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 |
| ES2934646T3 (es) * | 2013-04-05 | 2023-02-23 | Dolby Int Ab | Sistema de procesamiento de audio |
| CN105229733B (zh) * | 2013-05-24 | 2019-03-08 | 杜比国际公司 | 包括音频对象的音频场景的高效编码 |
| WO2014187990A1 (en) | 2013-05-24 | 2014-11-27 | Dolby International Ab | Efficient coding of audio scenes comprising audio objects |
| EP3605532B1 (en) | 2013-05-24 | 2021-09-29 | Dolby International AB | Audio encoder |
| EP2830051A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
| EP2838086A1 (en) | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
| US9646619B2 (en) | 2013-09-12 | 2017-05-09 | Dolby International Ab | Coding of multichannel audio content |
| TWI557724B (zh) * | 2013-09-27 | 2016-11-11 | 杜比實驗室特許公司 | 用於將 n 聲道音頻節目編碼之方法、用於恢復 n 聲道音頻節目的 m 個聲道之方法、被配置成將 n 聲道音頻節目編碼之音頻編碼器及被配置成執行 n 聲道音頻節目的恢復之解碼器 |
| EP2854133A1 (en) | 2013-09-27 | 2015-04-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation of a downmix signal |
| WO2015059154A1 (en) * | 2013-10-21 | 2015-04-30 | Dolby International Ab | Audio encoder and decoder |
| RU2648947C2 (ru) | 2013-10-21 | 2018-03-28 | Долби Интернэшнл Аб | Параметрическая реконструкция аудиосигналов |
| WO2015150384A1 (en) | 2014-04-01 | 2015-10-08 | Dolby International Ab | Efficient coding of audio scenes comprising audio objects |
| TWI587286B (zh) * | 2014-10-31 | 2017-06-11 | 杜比國際公司 | 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體 |
| CN107818790B (zh) * | 2017-11-16 | 2020-08-11 | 苏州麦迪斯顿医疗科技股份有限公司 | 一种多路音频混音方法及装置 |
| TW202516861A (zh) | 2019-06-26 | 2025-04-16 | 美商杜拜研究特許公司 | 具有改善頻率解析度的低延遲音訊濾波器組 |
| KR102838370B1 (ko) | 2019-09-03 | 2025-07-25 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 역상관 컴포넌트를 갖는 오디오 필터뱅크 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2105269C (en) * | 1992-10-09 | 1998-08-25 | Yair Shoham | Time-frequency interpolation with application to low rate speech coding |
| KR20070001111A (ko) * | 2004-01-28 | 2007-01-03 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 신호를 시간 스케일링하는 방법 및 장치 |
| CA3026267C (en) | 2004-03-01 | 2019-04-16 | Dolby Laboratories Licensing Corporation | Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters |
| CN1930914B (zh) * | 2004-03-04 | 2012-06-27 | 艾格瑞系统有限公司 | 对多声道音频信号进行编码和合成的方法和装置 |
| KR100663729B1 (ko) * | 2004-07-09 | 2007-01-02 | 한국전자통신연구원 | 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치 |
| TWI497485B (zh) * | 2004-08-25 | 2015-08-21 | Dolby Lab Licensing Corp | 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法 |
| SE0402651D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods for interpolation and parameter signalling |
| US20070055510A1 (en) | 2005-07-19 | 2007-03-08 | Johannes Hilpert | Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding |
| US20080221907A1 (en) | 2005-09-14 | 2008-09-11 | Lg Electronics, Inc. | Method and Apparatus for Decoding an Audio Signal |
| EP1946296A4 (en) * | 2005-09-14 | 2010-01-20 | Lg Electronics Inc | METHOD AND DEVICE FOR DECODING AN AUDIO SIGNAL |
| KR100888474B1 (ko) | 2005-11-21 | 2009-03-12 | 삼성전자주식회사 | 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법 |
| US8290001B2 (en) | 2006-03-29 | 2012-10-16 | Hitachi, Ltd. | Broadband wireless communication resource assigning method, base station apparatus and terminal apparatus |
| EP2070392A2 (en) * | 2006-09-14 | 2009-06-17 | Koninklijke Philips Electronics N.V. | Sweet spot manipulation for a multi-channel signal |
| US7647229B2 (en) * | 2006-10-18 | 2010-01-12 | Nokia Corporation | Time scaling of multi-channel audio signals |
-
2009
- 2009-05-27 EP EP09007086A patent/EP2214161A1/en not_active Withdrawn
-
2010
- 2010-01-12 RU RU2011133700/08A patent/RU2518696C2/ru active
- 2010-01-12 MY MYPI2011003491A patent/MY156497A/en unknown
- 2010-01-12 PL PL10701119T patent/PL2380167T3/pl unknown
- 2010-01-12 CA CA2750272A patent/CA2750272C/en active Active
- 2010-01-12 MX MX2011007924A patent/MX2011007924A/es active IP Right Grant
- 2010-01-12 CN CN201080005944.8A patent/CN102301420B/zh active Active
- 2010-01-12 WO PCT/EP2010/050279 patent/WO2010086216A1/en not_active Ceased
- 2010-01-12 JP JP2011546744A patent/JP5174973B2/ja active Active
- 2010-01-12 EP EP10701119A patent/EP2380167B1/en active Active
- 2010-01-12 SG SG2011053774A patent/SG173138A1/en unknown
- 2010-01-12 KR KR1020117017646A patent/KR101290486B1/ko active Active
- 2010-01-12 AU AU2010209869A patent/AU2010209869B2/en active Active
- 2010-01-12 BR BRPI1005299-2A patent/BRPI1005299B1/pt active IP Right Grant
- 2010-01-12 ES ES10701119T patent/ES2401554T3/es active Active
- 2010-01-13 TW TW099100788A patent/TWI417870B/zh active
- 2010-01-26 AR ARP100100165A patent/AR075163A1/es unknown
-
2011
- 2011-07-22 ZA ZA2011/05417A patent/ZA201105417B/en unknown
- 2011-07-25 US US13/189,621 patent/US8867753B2/en active Active
- 2011-08-26 CO CO11109347A patent/CO6420380A2/es active IP Right Grant
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9936327B2 (en) | 2013-07-22 | 2018-04-03 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and signal processing unit for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration |
| US10154362B2 (en) | 2013-07-22 | 2018-12-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for mapping first and second input channels to at least one output channel |
| US10701507B2 (en) | 2013-07-22 | 2020-06-30 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for mapping first and second input channels to at least one output channel |
| US10798512B2 (en) | 2013-07-22 | 2020-10-06 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and signal processing unit for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration |
| US11272309B2 (en) | 2013-07-22 | 2022-03-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for mapping first and second input channels to at least one output channel |
| US11877141B2 (en) | 2013-07-22 | 2024-01-16 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and signal processing unit for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2401554T3 (es) | 2013-04-22 |
| KR20110111432A (ko) | 2011-10-11 |
| AU2010209869A1 (en) | 2011-08-25 |
| EP2380167A1 (en) | 2011-10-26 |
| CN102301420B (zh) | 2014-12-24 |
| BRPI1005299A2 (pt) | 2016-12-06 |
| WO2010086216A1 (en) | 2010-08-05 |
| MY156497A (en) | 2016-02-26 |
| MX2011007924A (es) | 2011-08-17 |
| SG173138A1 (en) | 2011-08-29 |
| ZA201105417B (en) | 2012-03-28 |
| HK1163912A1 (zh) | 2012-09-14 |
| EP2214161A1 (en) | 2010-08-04 |
| RU2518696C2 (ru) | 2014-06-10 |
| AR075163A1 (es) | 2011-03-16 |
| US8867753B2 (en) | 2014-10-21 |
| BRPI1005299B1 (pt) | 2020-11-24 |
| KR101290486B1 (ko) | 2013-07-26 |
| CA2750272A1 (en) | 2010-08-05 |
| AU2010209869B2 (en) | 2013-07-11 |
| TWI417870B (zh) | 2013-12-01 |
| CA2750272C (en) | 2015-04-21 |
| EP2380167B1 (en) | 2013-01-02 |
| CO6420380A2 (es) | 2012-04-16 |
| JP2012516461A (ja) | 2012-07-19 |
| PL2380167T3 (pl) | 2013-06-28 |
| RU2011133700A (ru) | 2013-03-10 |
| CN102301420A (zh) | 2011-12-28 |
| US20110317842A1 (en) | 2011-12-29 |
| JP5174973B2 (ja) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI417870B (zh) | 用以把向下混合音訊信號向上混合之裝置、方法與電腦程式 | |
| TWI420512B (zh) | 用以利用相位值平滑化方式來對向下混合音訊信號進行向上混合之裝置、方法和電腦程式 | |
| US8265284B2 (en) | Method and apparatus for generating a binaural audio signal | |
| JP5490143B2 (ja) | ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム | |
| US8160888B2 (en) | Generation of multi-channel audio signals | |
| WO2006108543A9 (en) | Temporal envelope shaping of decorrelated signal | |
| US8885854B2 (en) | Method, medium, and system decoding compressed multi-channel signals into 2-channel binaural signals | |
| KR20220066996A (ko) | 오디오 인코더 및 디코더 | |
| CN102027535A (zh) | 信号处理 | |
| HK1163912B (zh) | 用於对下混音频信号进行上混的设备、方法和计算机程序 |