[go: up one dir, main page]

JP5179881B2 - オーディオソースのパラメトリックジョイント符号化 - Google Patents

オーディオソースのパラメトリックジョイント符号化 Download PDF

Info

Publication number
JP5179881B2
JP5179881B2 JP2007554579A JP2007554579A JP5179881B2 JP 5179881 B2 JP5179881 B2 JP 5179881B2 JP 2007554579 A JP2007554579 A JP 2007554579A JP 2007554579 A JP2007554579 A JP 2007554579A JP 5179881 B2 JP5179881 B2 JP 5179881B2
Authority
JP
Japan
Prior art keywords
audio
source signals
source
parameters
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007554579A
Other languages
English (en)
Other versions
JP2008530603A (ja
JP2008530603A5 (ja
Inventor
ファーラー クリストフ
Original Assignee
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34938725&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5179881(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． filed Critical フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー．
Publication of JP2008530603A publication Critical patent/JP2008530603A/ja
Publication of JP2008530603A5 publication Critical patent/JP2008530603A5/ja
Application granted granted Critical
Publication of JP5179881B2 publication Critical patent/JP5179881B2/ja
Anticipated expiration legal-status Critical
Active legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)

Description

１．はじめに
Figure 0005179881
ＩＳＯ／ＩＥＣ ＭＰＥＧ−４は、上記の符号化シナリオを扱う。これは、シーン記述を定義し、かつ（「自然な」）ソース信号ごとに、別個のモノオーディオコーダ、例えばＡＣＣオーディオコーダなどを使用する。しかしながら、多くのソースを有する複雑なシーンを混合する場合、ビットレートは高くなる。すなわち、ソースの数によって、ビットレートがスケールアップする。高品質でソース信号を１つ符号化するためには、約６０〜９０ｋｂ／ｓを必要とする。
これまでは、フレキシブル・レンダリング（Ｆｌｅｘｉｂｌｅ Ｒｅｎｄｅｒｉｎｇ）のためのバイノーラル・キュー・符号化（ＢＣＣ）と呼ばれる構成で、上記の符号化問題［１］［２］の特別なケースに対応してきた。所与のソース信号の和および低いビットレートの補助情報のみを送信することによって、低ビットレートが達成される。しかしながら、ソース信号をデコーダで回復させることはできず、この構成は、ステレオおよびマルチチャネルのサラウンド信号生成に限定された構成であった。また、振幅と遅延パニングに基づいて、単純化したミキシングのみが使用された。これにより、ソースの方向を制御することは可能だが、他の聴覚空間イメージ属性を制御することはできなかった。この構成のもう１つの限界は、そのオーディオ品質が限られている点である。特に、ソース信号の数が増えると、オーディオ品質が低下する。
文献［１］（バイノーラル・キュー・符号化、パラメトリック・ステレオ、ＭＰ３・サラウンド、ＭＰＥＧ・サラウンド）は、Ｎ個のオーディオチャネルが符号化され、元のオーディオチャネルと類似するキューで、Ｎ個のオーディオチャネルが復号化される場合を扱う。送信された補助情報は、入力されたチャネル間の相違に関する、チャネル間キューパラメータを含む。
ステレオおよびマルチチャネルのオーディオ信号のチャネルは、オーディオソース信号を混合したものを含み、したがって純粋なオーディオソース信号とは、性質が異なる。ステレオおよびマルチチャネルのオーディオ信号は、適切なプレイバックシステムで再生すれば、録音設定によりとらえたとおり、またはミキシングの際に録音技術者が設計したとおりに、聴取者が聴覚空間イメージ（「サウンドステージ」）を知覚するように混合される。ステレオまたはマルチチャネルオーディオ信号のチャネルのためのジョイント符号化については、これまでいくつかの構成が提案されている。
発明の概要
本発明の目的は、最小の帯域幅を用いて、複数のソース信号を送信する方法を提供することである。公知の方法の多くは、再生方式（ステレオ、５．１等）が、予め規定されており、符号化シナリオに直接的な影響を及ぼす。デコーダ側のオーディオストリームは、この予め規定された再生方式のみを使用する必要があり、したがって、ユーザーが予め規定された再生シナリオ（ステレオ等）により縛られることになる。
本発明によれば、一般にステレオまたはマルチチャネル信号のチャネルではなく、様々な音声や楽器の信号等の独立信号である、N個のオーディオソース信号が符号化される。送信された補助情報には、入力オーディオソース信号に関する統計パラメータが含まれる。
本発明によれば、元のオーディオソース信号とは異なるキューでＭ個のオーディオチャネルが復号化される。これらの異なるキューは、受信した和信号にミキサを適用することにより暗黙に合成される。ミキサは、受信した統計ソース情報ならびに受信した（または局所的に決定した）オーディオ方式パラメータおよびミキシングパラメータの関数として制御される。または、これらの異なるキューは、受信した統計ソース情報ならびに受信した（または局所的に決定した）オーディオ方式パラメータおよびミキシングパラメータの関数として明確に計算される。これらの計算されたキューを用いて、先行技術のデコーダ（バイノーラル・キュー・符号化、パラメトリック・ステレオ、ＭＰＥＧサラウンド）を制御し、受信した和信号に基づき、出力チャネルを合成する。
オーディオソース信号をジョイント符号化するための本件の構成は、この種の構成では、最初のものである。これは、オーディオソース信号のジョイント符号化用に設計されている。オーディオソース信号は、一般にステレオまたはマルチチャネルオーディオシステムでの再生に向かない、モノオーディオ信号である。簡潔な説明のため、以下の記述においては、オーディオソース信号をしばしばソース信号と称する。
オーディオソース信号は、再生の前に、まず混合してステレオ、マルチチャネルまたは波面合成オーディオ信号にする必要がある。オーディオソース信号は、単一の楽器もしくは話者でもよいし、または複数の楽器および話者の合計でもよい。他の種類のオーディオソース信号としては、コンサートの際にスポットマイクによりとらえられたモノオーディオ信号がある。オーディオソース信号は、マルチトラックレコーダかまたはハードディスク記録システムに記憶されることが多い。
オーディオソース信号をジョイント符号化する本件の構成は、オーディオソース信号の和のみまたはソース信号の重み付けされた和のみを送信するということに基づく。
Figure 0005179881
Figure 0005179881
ＩＩ．定義、記号表記、および変数
Figure 0005179881
ＩＩＩ．オーディオソース信号のジョイント符号化
はじめに、パラメトリックマルチチャネルオーディオ符号化技術である、バイノーラル・キュー・符号化（ＢＣＣ）、について述べる。その後、ＢＣＣの基礎となっているものと同じ見識により、符号化のシナリオのために、ソース信号のジョイント符号化を行うアルゴリズムを工夫することができる点を説明する。
Ａ．バイノーラル・キュー・符号化（ＢＣＣ）
マルチチャネルオーディオ符号化のためのＢＣＣ構成［１］［２］について下記の図面に示す。入力されたマルチチャネルオーディオ信号は、１つのチャネルにダウンミキシングされる。全チャネルの波形についての情報を符号化して送信する場合と違い、このダウンミキシングされた信号のみを（従来のモノオーディオコーダで）符号化し、送信する。さらに、知覚を動機とする「オーディオチャネル差」が元のオーディオチャネルの間で予測され、デコーダに送られる。デコーダは、オーディオチャネル差が元のオーディオ信号の対応するオーディオチャネル差に近似するようにその出力チャネルを生成する。
加法定位は、ラウドスピーカー信号チャネル対の知覚的に意味のあるオーディオチャネル差が、チャネル間時間差（ＩＣＴＤ）およびチャネル間レベル差（ＩＣＬＤ）であることを示唆する。ＩＣＴＤおよびＩＣＬＤは、聴覚事象の知覚方向に関連し得る。他の聴覚空間イメージ属性、たとえば見かけの音源幅および音に包まれた感じなどは、インターオーラルコヒーレンス（ＩＣ）に関連し得る。聴取者の前または後ろに位置するラウドスピーカー対については、インターオーラルコヒーレンスは、ＢＣＣによる第３のオーディオチャネル差の尺度と考えられているチャネル間コヒーレンス（ＩＣＣ）と直接に関連していることが多い。ＩＣＴＤ、ＩＣＬＤおよびＩＣＣは、時間の関数としてサブバンドで予測される。使用される空間および時間分解能は、双方とも知覚を動機とする。
Ｂ．オーディオソースのパラメトリックジョイント符号化
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
本件の構成を得るために、ステレオミキサ（Ｍ＝２）を考える。一般的な例をより簡略化するなら、振幅と遅延パニングのみを付与してミキシングを行う。離散ソース信号をデコーダで得ることが出来る場合、ステレオ信号は、図４に示すように混合され得る。すなわち、
Figure 0005179881
この場合、シーン記述ベクトルＳ（ｎ）は、ミキシングパラメータを決定するソース方向のみを含む。
Figure 0005179881
ここで、Ｔは、ベクトルの転置である。なお、ミキシングパラメータとしては、表記の都合上、時間指数を無視した。
ミキサを制御するためのより便利なパラメータは、時間およびレベル差、すなわちＴｉとΔＬｉであり、これらは、以下の式によりａｉ、ｂｉ、ｃｉおよびｄｉに関連する。
Figure 0005179881
ここでＧｉは、ｄＢによるソース利得係数である。
Figure 0005179881
Ｂ．１ ミキサ出力のＩＣＴＤ、ＩＣＬＤおよびＩＣＣ
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
ＩＣＴＤおよびＩＣＣを予測するために、以下の正規化された相互相関関数を予測する。
Figure 0005179881
ＩＣＣ、すなわちｃ（ｎ）は、以下のとおり計算する。
Figure 0005179881
ＩＣＴＤ、すなわちＴ（ｎ）を計算するために、遅延軸の最も高い頂点の位置を計算する。
Figure 0005179881
ここで、問題は、正規化された相互相関関数を、どうすればミキシングパラメータの関数として計算できるかである。（２）と一緒にすれば、（８）は以下のように表すことができる。
Figure 0005179881
これは、以下の式と等価である。
Figure 0005179881
ここで正規化自己相関関数Φ（ｎ，ｅ）は、以下の通りである。
Figure 0005179881
また、Ｔｉ＝ｄｉ−ｃｉである。なお、（１１）に基づき（１２）を計算するために、考えられる遅延の範囲では、信号が広義定常とする。
Figure 0005179881
Figure 0005179881
Ｂ．２ 必要な補助情報
Figure 0005179881
Figure 0005179881
Figure 0005179881
補助情報の量を減らすために、ソース信号の相対的ダイナミックレンジを制限する。毎回、各サブバンドについて、最も強いソースの出力を選択する。他の全てのソースの対応するサブバンド出力の下限は、最も強いサブバンド出力より２４ｄＢ低い値にすれば十分であることがわかった。したがって、量子化器のダイナミックレンジを２４ｄＢに制限することができる。
Figure 0005179881
Figure 0005179881
Figure 0005179881
特定の実施例によれば、サブバンドの帯域幅は様々で、低周波数のサブバンドの帯域幅のほうが、高周波数のサブバンドの帯域幅より小さい。
［２］に記載のＩＣＬＤ量子化器に類似する構成で相対的出力値を量子化すると、およそ３（Ｍ−１）ｋｂ／ｓのビットレートになる。図６は、補助情報の生成プロセス（図２の「補助情報生成」ブロックに相当する）を示す図である。
補助情報レートは、各ソース信号について活性状態を分析しかつ活性化したソースに関連する補助情報を送信するだけでも、さらに減らすことができる。
Figure 0005179881
Figure 0005179881
図８は、和信号（１）に基づき、ソース信号を再生成するために使用するプロセスを示す図である。このプロセスは、図２の「合成」ブロックの一部である。個々のソース信号は、和信号の各サブバンドをｇｉ（ｎ）でスケーリングしかつ非相関フィルタをインパルス応答ｈｉ（ｎ）で適用することにより回復される。
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
ＩＶ．実用上の制約を考えた実現例
Figure 0005179881
このセクションの第２の部分では、本件の構成をいずれかのミキサで適用し、非相関処理を全く行わない場合の問題について論ずる。そのような構成は、非相関処理を伴う構成より複雑性が低いが、後述の通り、他に欠点がある可能性がある。
Figure 0005179881
Figure 0005179881
Figure 0005179881
和信号（１）を処理するために適用されるステレオＢＣＣ合成構成（または「パラメトリックステレオ」構成）について図１０に示す。このＢＣＣ合成構成が、図４に示すようなミキサの出力信号と同様に知覚される信号を生成することが望ましい。これは、ＢＣＣ合成構成の出力チャネル間のＩＣＴＤ、ＩＣＬＤおよびＩＣＣが、ミキサ出力（４）信号チャネル間に現れる対応するキューと類似する場合にあてはまる。
Figure 0005179881
Figure 0005179881
これは、出力サブバンド出力およびＩＣＬＤ（７）が、図４のミキサについてのものと同じになるように利得係数ｇ1およびｇ2を計算する。ＩＣＴＤ、すなわちＴ（ｎ）は、式（１０）によって計算され、その計算されたＴ（ｎ）を用いて図１０の遅延Ｄ1およびＤ２を決定する。
Figure 0005179881
Figure 0005179881
・一般に、ソース信号Ｍの数は、オーディオ出力チャネルＮの数より大きい。したがって、生成が必要な独立オーディオチャネルの数は、Ｍ個のソース信号に非相関処理を行うよりも、Ｎ個の出力チャネルに非相関処理を行う場合に少なくなる。
・多くの場合、Ｎ個のオーディオ出力チャネルは相関しており（ＩＣＣ＞０）、かつ独立したＭ個またはＮ個のチャネルを生成するために必要と考えられるものより、適用される非相関処理が少なくて済む。
非相関処理が少なくて済むので、オーディオ品質の向上が期待される。
最良のオーディオ品質は、ミキサパラメータが、ａｉ 2+ｂｉ 2＝１すなわちＧｉ＝０ｄＢとなるように制約された場合に得られることが期待される。この場合、送信された和信号（１）における各ソースの出力が、混合されたデコーダ出力信号における同じソースの出力と同じである。デコーダ出力信号（図１０）は、この場合、ミキサ出力信号（図４）がＢＣＣエンコーダ／デコーダにより符号化／復号化されるかのように同じである。したがって、同様の品質を期待することができる。
デコーダは、各ソースが現れるべき方向を決定することができるだけでなく、各ソースの利得も変化させることが出来る。利得は、ａｉ 2+ｂｉ 2＞１（Ｇｉ＞０ｄＢ）を選択ことにより増大し、ａｉ 2+ｂｉ 2＜１（Ｇｉ＜０ｄＢ）を選択することにより減少する。
Ｂ．非相関処理を使用しない場合
上記の技術の制約は、ＢＣＣ合成構成でミキシングが実行される点である。ＩＣＴＤ、ＩＣＬＤおよびＩＣＣ合成のみならず、ＢＣＣ合成の範囲で他の効果処理の可能性が考えられる。
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
Figure 0005179881
Ｃ．非相関処理量の低減
Figure 0005179881
Figure 0005179881
１．相互に近接するソースに対応するソースインデックスのグループを生成する。例えば、図８では、それらは、｛１｝、｛２，５｝、｛３｝および｛４，６｝が可能である。
２．毎回、各サブバンドで、最も強いソースのソースインデックスを選択する。
Figure 0005179881
ｉｍａｘ，すなわちｈｉ（ｎ）＝δ（ｎ）を含むグループのソースインデックスの部分には、非相関処理を適用しない。
３．他の各グループについては、グループ内の同じｈｉ（ｎ）を選択する。
上記のアルゴリズムは、最も強い信号成分に対する変更が最も少ない。その上、使用される異なるｈｉ（ｎ）の数が減る。こうすれば、非相関が、簡単であればあるほど、生成する必要のある独立チャネルの数が減る点が有利である。上記の技術は、ステレオまたはマルチチャネルオーディオ信号を混合するときにも適用可能である。
Ｖ．品質およびビットレートからみたスケーラビリティ
本件の構成は、全てのソース信号の和のみを送信するが、これを従来のモノオーディオコーダで符号化することができる。モノの後方互換性を必要とせず、１を超える数のオーディオ波形の送信／記憶に利用可能な容量があるなら、本件の構成は、１を超える数の送信チャネルで使用するようにスケーリングできる。これは、所与のソース信号の様々なサブセットで、いくつかの和信号を生成させることにより実現される。すなわち、ソース信号の各サブセットに対して、本件の符号化構成を個別に適用する。オーディオ品質は、送信オーディオチャネルの数が増えるほど向上が期待される。というのも、各送信チャネルから非相関により生成する必要がある独立チャネルが減るからである（送信チャネルが１つの場合に比べて）。
ＶＩ．既存のステレオおよびサラウンドオーディオ方式に対する後方互換性
以下のようなオーディオデリバリのシナリオを考えてみる。消費者が、最大限の品質のステレオまたはマルチチャネルサラウンド信号（オーディオＣＤ、ＤＶＤまたはオンラインミュージックストア等により）を得る。目的は、標準的なステレオ／サラウンドの再生品質を損なわずに、その入手したオーディオコンテンツを好みにミックスしたものを生成する融通性を、消費者に随意に届けることである。
Figure 0005179881
Ａ．受信機におけるソース信号の和の予測
Figure 0005179881
Figure 0005179881
補助情報を計算する前に、自動化されたプロセスを用いてエンコーダのソース信号入力ｓｉ（ｎ）のレベルを調整しても良い。このプロセスは、時間適応的に、各ソース信号が所与のステレオまたはマルチチャネル信号に含まれるレベルを予測する。補助情報を計算する前に、ソースがステレオまたはマルチチャネルオーディオ信号に含まれるレベルに、各ソース信号のレベルが等しくなるよう、時間適応的に調整される。
Ｂ．送信チャネルの個別利用
Figure 0005179881
Figure 0005179881
Figure 0005179881
ＶＩＩ．応用例
すでに、本件の符号化構成のいくつかの応用例について述べた。ここで、これらについてまとめ、他に数例の応用例についても述べる。
Ａ．ミキシングのためのオーディオ符号化
オーディオソース信号を混合して、ステレオ、マルチチャネルまたは波面合成オーディオ信号にする前に、これら信号を記憶または送信する必要がある場合は、常に、本件の構成を適用することができる。先行技術では、モノオーディオコーダを各ソース信号に独立して適用し、ソースの数に比例するビットレートになっていた。本件の符号化構成は、多数のオーディオソース信号を、単一のモノオーディオコーダでかつ比較的低いビットレートの補助情報で符号化することができる。Ｖのセクションで述べたとおり、オーディオ品質は、メモリ・容量が許せば、１を超える数の送信チャネルを使用することにより向上が可能である。
Ｂ．メタデータでの再ミキシング
ＶＩのセクションで述べたとおり、既存のステレオおよびマルチチャネルオーディオ信号は、追加の補助情報（すなわち「メタデータ」）をたよりに再混合することができる。最適化されたステレオおよびマルチチャネル混合オーディオコンテンツを販売するだけの場合と違い、メタデータは、ユーザに、ユーザのステレオおよびマルチチャネル音楽の再ミキシングを許可して販売できる。これは、たとえばカラオケ用に歌におけるボーカルを弱めたりまたは音楽と一緒に楽器を演奏するために、特定の楽器部分を弱めたりするためにも使用することができる。
記憶が問題でなくても、上記の構成では、音楽を好みにミキシングすることが可能になるため、非常に魅力的である。すなわち、音楽産業が積極的にマルチトラックのレコーディングを提供するとは考えられないからである。乱用の危険性も高すぎる。本件の構成では、マルチトラックレコーディングを提供されなくても、再ミキシングが可能である。
さらに、ステレオまたはマルチチャネル信号が再ミキシングされるやいなや、ある程度の品質劣化が生じ、再混合したものを違法に流通させることは、それほど魅力的でなくなる。
Ｃ．ステレオ／マルチチャネル−波面合成変換
ＶＩのセクションに記載した構成の他の応用例について、以下に説明する。映画に付随するステレオおよびマルチチャネル（５．１サラウンド等）オーディオを、補助情報の付加によって拡張し、波面合成を可能にすることができる。例えば、ドルビーＡＣ−３（ＤＶＤのオーディオ）を、５．１後方互換性符号化オーディオに拡張して波面合成システムを得ることができる。すなわち、ＤＶＤは、従来技術の旧式プレーヤーでは、５．１サラウンドサウンドを再生し、補助情報の処理をサポートする新世代のプレーヤーでは、波面合成サウンドを再生する。
ＶＩＩＩ．主観的評価
ＩＶ‐ＡおよびＩＶ‐Ｂのセクションで提案したアルゴリズムの実時間デコーダを実現した。ＦＦＴベースのＳＴＦＴフィルタバンクを使用する。１０２４ポイントＦＦＴおよび７６８（ゼロパディングで）のＳＴＦＴウィンドーサイズを使用。スペクトル係数は、各グループが等価矩形帯域幅（ＥＲＢ）の２倍の帯域幅の信号を表すように、ともにグループ化する。非公式な聴取では、より高い周波数分解能を選んだ場合も、オーディオ品質が著しく向上するわけではないことがわかった。送信すべきパラメータの数が結果として少ないので、より低い周波数分解能のほうが好ましい。
各ソースについて、振幅／遅延パニングおよび利得を個別に調整することができる。１２〜１４トラックを有する、いくつかのマルチトラックオーディオレコーディングの符号化にこのアルゴリズムを使用した。
デコーダは、ベクトルベース振幅パニング（ＶＢＡＰ）ミキサを使用して、５．１サラウンドのミキシングが可能である。各ソース信号の方向と利得を調整することができる。ソフトウエアを使って、符号化されたソース信号のミキシングと元の離散ソース信号のミキシングとの間で、オンザフライスイッチングが可能である。
各ソースにゼロｄＢの利得Ｇｉが使用される場合、ふだん聞いている分には、符号化されたもののミキシングか、元のソース信号のミキシングか、全くまたはほとんど違いはわからない。ソース利得が変化すればするほど、発生するアーティファクトの数は増える。ソースをわずかに（例えば±６ｄＢまで）増幅かつ減衰しても、まだ音声は良好である。全てのソースを一方側に混合して、単一のソースのみを他方側に混合するというのが、究極のシナリオである。この場合には、オーディオ品質は、特定のミキシングおよびソース信号により劣化し得る。
ＩＸ．結論
オーディオソース信号、たとえばマルチトラックレコーディングのチャネル等をジョイント符号化する符号化構成を提案した。その目的は、高品質でソース信号波形を符号化することではない。その場合、ジョイント符号化は、通常オーディオソースが独立しているために、最小限の符号化利得しかもたらさない。目的は、符号化されたソース信号を混合した場合に、高品質のオーディオ信号を得ることである。ソース信号の統計的特性、ミキシング構成の特性および空間聴覚を考慮して、ソース信号をジョイント符号化することで、顕著な符号化利得の向上が達成されることがわかった。
符号化利得の向上は、１つのオーディオ波形のみが送信されるという事実による。
また、最終的な混合信号の空間知覚を決定する重要な要素であるソース信号の統計的特性を表す補助情報も送信する。
補助情報レートは、ソース信号あたり約３ｋｂｓである。ステレオ、マルチチャネルまたは波面合成ミキサ等のいずれかのミキサを、符号化されたソース信号で適用することができる。
１を超える数のオーディオチャネルを送信することにより、本件の構成をより高いビットレートおよび品質にスケーリングすることは簡単である。さらに、所与のステレオまたはマルチチャネルオーディオ信号の再ミキシング（およびステレオからマルチチャネルまたは波面合成へ等のオーディオ方式の変更さえも）可能にする本構成の変形例を提案した。
本構成の応用は多岐にわたる。たとえば、１を超える数の「自然のオーディオオブジェクト」（ソース信号）の送信が必要な場合、ＭＰＥＧ‐４を本構成で拡張して、ビットレートを減らすことができる。また、本構成は、波面合成システムのためのコンテンツの簡単表現を提供する。上記の通り、既存のステレオまたはマルチチャネル信号を補助情報で補償して、ユーザーが信号を好みに再混合することが出来る。
参考文献
［１］シー・ファーラー、「空間オーディオのパラメトリック符号化」、博士論文、スイス連邦工科大学ローザンヌ校（ＥＰＦＬ）、２００４年、博士論文第３０６２号（C. Faller, Prametric Coding of Spatial Audio, Ph.D. thesis, Swiss Federal Institute of Technology Lausanne (EPFL), 2004, Ph.D. Thesis No. 3062）
［２］シー・ファーラーおよびエフ・バウムガルト、「バイノーラル・キュー・符号化、パートＩＩ、構成および応用」、音声およびオーディオ処理に関するＩＥＥＥ論文誌、第１１巻、第６号、２００３年１１月（C. Faller and F. Baumgarte, "Binaural Cue Coding-Part II: Schemes and applications," IEEE Trans. on Speech and Audio Proc., vol. 11, No. 6, Nov. 2003）
本発明は、添付の図面により、よりよく理解される。
各ソース信号の送信が、更なる処理のために独立して行われる構成を示す図である。 和信号および補助情報として送信される複数のソースを示す図である。 バイノーラル・キュー・符号化（ＢＣＣ）構成のブロック図である。 いくつかのソース信号に基づき、ステレオ信号を生成するためのミキサを示す図である。 ＩＣＴＤ、ＩＣＬＤおよびＩＣＣと、ソース信号サブバンド出力との間の依存関係を示す図である。 補助情報生成のプロセスを示す図である。 各ソース信号のＬＰＣパラメータを予測するプロセスを示す図である。 和信号からソース信号を再生成するプロセスを示す図である。 和信号から各信号を生成するための別の構成を示す図である。 和信号に基づきステレオ信号を生成するためのミキサを示す図である。 ミキシングパラメータにソースレベルが依存する事態を回避する振幅パニングアルゴリズムを示す図である。 波面合成再生システムのラウンドスピーカ列を示す図である。 送信チャネルのダウンミキシングを処理することにより、受信機でソース信号の予測値を回復する方法を示す図である。 送信チャネルを処理することにより、受信機でソース信号の予測値を回復する方法を示す図である。

Claims (12)

  1. 複数のオーディオチャネルを合成するための方法であって、
    ソース信号の和を表す１以上の和信号をオーディオストリームから回収するステップと、
    １つまたは複数のソース信号のスペクトル包絡を表す情報をオーディオストリームから回収するステップと、
    出力オーディオ方式を記述するパラメータおよびソースミキシングパラメータを、オーディオストリームから受け取るかまたはローカルに決定するステップと、
    受け取った１つまたは複数のソース信号のスペクトル包絡を表す情報、出力オーディオ方式を記述するパラメータおよび前記ソースミキシングパラメータから出力ミキサパラメータを計算するステップと、
    計算した出力ミキサパラメータに基づいて少なくとも１つの和信号から複数のオーディオチャネルを合成するステップとを含む、方法。
  2. 前記１つまたは複数のソース信号のスペクトル包絡を表す情報が、格子フィルタパラメータまたはラインスペクトルパラメータからなり、または前記複数のソース信号の周波数および時間の関数としての相対出力からなる、請求項１に記載の方法。
  3. 前記出力ミキサパラメータを計算するステップは、
    前記複数のオーディオチャネルのキューを計算するステップと、
    前記計算された複数のオーディオチャネルのキューを用いて前記出力ミキサパラメータを計算するステップとからなる、請求項１に記載の方法。
  4. 前記オーディオチャネルが、フィルタバンクの１つのサブバンド領域で合成される、請求項１に記載の方法。
  5. 前記サブバンド領域の数と帯域幅が、人の聴覚システムの空間および時間分解能によって決定される、請求項４に記載の方法。
  6. サブバンドの数が、３から４０の範囲に含まれる、請求項４に記載の方法。
  7. 前記サブバンド領域におけるサブバンドが、異なる帯域幅を有し、周波数が低いサブバンドのほうが周波数が高いサブバンドより帯域幅が小さい、請求項４に記載の方法。
  8. 短時間フーリエ変換（ＳＴＦＴ）に基づくフィルタバンクを使用し、かつスペクトル係数の各グループがサブバンドを構成するように、スペクトル係数が結合され、スペクトル係数のグループが形成される、請求項４に記載の方法。
  9. 前記スペクトル包絡を表す情報が、自己相関関数も含む、請求項１に記載の方法。
  10. スペクトル包絡が、線形予測符号化（ＬＰＣ）パラメータとして表される、請求項２に記載の方法。
  11. 前記計算されたキューが、異なる周波数および瞬間の関数としてのレベル差、時間差またはコヒーレンスである、請求項３に記載の方法。
  12. 複数のオーディオチャネルを合成するための装置であって、
    ソース信号の和を表す１以上の和信号をオーディオストリームから回収し、
    １つまたは複数のソース信号のスペクトル包絡を表す情報をオーディオストリームから回収し、
    出力オーディオ方式を記述するパラメータおよびソースミキシングパラメータを、オーディオストリームから受け取るかまたはローカルに決定し、
    受け取った１つまたは複数のソース信号のスペクトル包絡を表す情報、出力オーディオ方式を記述するパラメータおよび前記ソースミキシングパラメータから出力ミキサパラメータを計算し、
    計算した出力ミキサパラメータに基づいて少なくとも１つの和信号から複数のオーディオチャネルを合成する、装置。
JP2007554579A 2005-02-14 2006-02-13 オーディオソースのパラメトリックジョイント符号化 Active JP5179881B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05101055.1 2005-02-14
EP05101055A EP1691348A1 (en) 2005-02-14 2005-02-14 Parametric joint-coding of audio sources
PCT/EP2006/050904 WO2006084916A2 (en) 2005-02-14 2006-02-13 Parametric joint-coding of audio sources

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012155121A Division JP5638037B2 (ja) 2005-02-14 2012-07-11 オーディオソースのパラメトリックジョイント符号化

Publications (3)

Publication Number Publication Date
JP2008530603A JP2008530603A (ja) 2008-08-07
JP2008530603A5 JP2008530603A5 (ja) 2012-08-30
JP5179881B2 true JP5179881B2 (ja) 2013-04-10

Family

ID=34938725

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007554579A Active JP5179881B2 (ja) 2005-02-14 2006-02-13 オーディオソースのパラメトリックジョイント符号化
JP2012155121A Active JP5638037B2 (ja) 2005-02-14 2012-07-11 オーディオソースのパラメトリックジョイント符号化

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012155121A Active JP5638037B2 (ja) 2005-02-14 2012-07-11 オーディオソースのパラメトリックジョイント符号化

Country Status (17)

Country Link
US (12) US8355509B2 (ja)
EP (4) EP1691348A1 (ja)
JP (2) JP5179881B2 (ja)
KR (1) KR100924577B1 (ja)
CN (2) CN101133441B (ja)
AT (1) ATE531035T1 (ja)
AU (3) AU2006212191B2 (ja)
BR (5) BRPI0607166B1 (ja)
CA (2) CA2707761C (ja)
ES (2) ES2374434T3 (ja)
IL (1) IL185192A (ja)
MX (1) MX2007009559A (ja)
NO (1) NO338701B1 (ja)
PL (1) PL1844465T3 (ja)
RU (1) RU2376654C2 (ja)
TR (1) TR201811059T4 (ja)
WO (1) WO2006084916A2 (ja)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
MX2007011995A (es) * 2005-03-30 2007-12-07 Koninkl Philips Electronics Nv Codificacion y decodificacion de audio.
CA2613885C (en) 2005-06-30 2014-05-06 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
CN103366747B (zh) 2006-02-03 2017-05-17 韩国电子通信研究院 用于控制音频信号的渲染的设备和方法
US20090177479A1 (en) * 2006-02-09 2009-07-09 Lg Electronics Inc. Method for Encoding and Decoding Object-Based Audio Signal and Apparatus Thereof
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
HUE043155T2 (hu) * 2006-07-04 2019-08-28 Dolby Int Ab Szûrõátalakítót és szûrõkrompresszort tartalmazó szûrõrendszer, és eljárás a szûrõrendszer mûködtetésére
USRE50697E1 (en) * 2006-07-07 2025-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for combining multiple parametrically coded audio sources
MX2009000086A (es) * 2006-07-07 2009-01-23 Fraunhofer Ges Forschung Concepto para combinar multiples fuentes de audio parametricamente codificadas.
BRPI0711102A2 (pt) 2006-09-29 2011-08-23 Lg Eletronics Inc métodos e aparelhos para codificar e decodificar sinais de áudio com base em objeto
WO2008039045A1 (en) 2006-09-29 2008-04-03 Lg Electronics Inc., Apparatus for processing mix signal and method thereof
RU2407072C1 (ru) * 2006-09-29 2010-12-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
CN101529898B (zh) * 2006-10-12 2014-09-17 Lg电子株式会社 用于处理混合信号的装置及其方法
KR100891665B1 (ko) 2006-10-13 2009-04-02 엘지전자 주식회사 믹스 신호의 처리 방법 및 장치
US9565509B2 (en) 2006-10-16 2017-02-07 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
US8687829B2 (en) * 2006-10-16 2014-04-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for multi-channel parameter transformation
KR101100221B1 (ko) * 2006-11-15 2011-12-28 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 그 장치
JP5139440B2 (ja) * 2006-11-24 2013-02-06 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の符号化及び復号化方法並びにその装置
JP5081250B2 (ja) 2006-12-01 2012-11-28 エルジー エレクトロニクス インコーポレイティド 命令入力装置及び方法、メディア信号のユーザインタフェース表示方法及びその具現装置、並びにミックス信号処理装置及びその方法
WO2008069584A2 (en) 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
WO2008069596A1 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8463605B2 (en) * 2007-01-05 2013-06-11 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
TR201906713T4 (tr) * 2007-01-10 2019-05-21 Koninklijke Philips Nv Audio kod çözücü.
MX2008013073A (es) * 2007-02-14 2008-10-27 Lg Electronics Inc Metodos y aparatos para codificar y decodificar señales de audio basadas en objeto.
CN101542596B (zh) * 2007-02-14 2016-05-18 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
JP5285626B2 (ja) * 2007-03-01 2013-09-11 ジェリー・マハバブ 音声空間化及び環境シミュレーション
WO2008111773A1 (en) * 2007-03-09 2008-09-18 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR20080082917A (ko) 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
EP2130304A4 (en) 2007-03-16 2012-04-04 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
US8612237B2 (en) * 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
AU2008243406B2 (en) 2007-04-26 2011-08-25 Dolby International Ab Apparatus and method for synthesizing an output signal
KR101049144B1 (ko) * 2007-06-08 2011-07-18 엘지전자 주식회사 오디오 신호 처리방법 및 장치
JP5556175B2 (ja) 2007-06-27 2014-07-23 日本電気株式会社 信号分析装置と、信号制御装置と、そのシステム、方法及びプログラム
CN101715643B (zh) 2007-06-27 2012-12-26 日本电气株式会社 多地点连接装置、信号分析以及装置、其方法及程序
US8295494B2 (en) 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
MX2010002572A (es) 2007-09-06 2010-05-19 Lg Electronics Inc Un metodo y un aparato para descodificar una señal de audio.
GB2453117B (en) 2007-09-25 2012-05-23 Motorola Mobility Inc Apparatus and method for encoding a multi channel audio signal
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
WO2009050896A1 (ja) * 2007-10-16 2009-04-23 Panasonic Corporation ストリーム合成装置、復号装置、方法
BRPI0820488A2 (pt) 2007-11-21 2017-05-23 Lg Electronics Inc método e equipamento para processar um sinal
JP2009128559A (ja) * 2007-11-22 2009-06-11 Casio Comput Co Ltd 残響効果付加装置
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2010045869A1 (zh) * 2008-10-20 2010-04-29 华为终端有限公司 一种3d音频信号处理的方法、系统和装置
CN101547265B (zh) * 2008-10-20 2014-07-30 华为终端有限公司 一种3d音频会议的信号处理方法、设备以及系统
EP2353161B1 (en) * 2008-10-29 2017-05-24 Dolby International AB Signal clipping protection using pre-existing audio gain metadata
KR101137361B1 (ko) * 2009-01-28 2012-04-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
CA2949616C (en) 2009-03-17 2019-11-26 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
GB2470059A (en) * 2009-05-08 2010-11-10 Nokia Corp Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter
RU2529591C2 (ru) * 2009-06-30 2014-09-27 Нокиа Корпорейшн Устранение позиционной неоднозначности при формировании пространственного звука
EP2522016A4 (en) * 2010-01-06 2015-04-22 Lg Electronics Inc DEVICE FOR PROCESSING AN AUDIO SIGNAL AND METHOD THEREFOR
EP2485213A1 (en) 2011-02-03 2012-08-08 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Semantic audio track mixer
TWI651005B (zh) 2011-07-01 2019-02-11 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
AU2012308184B2 (en) 2011-09-18 2015-08-06 Touch Tunes Music Corporation Digital jukebox device with karaoke and/or photo booth features, and associated methods
CN103050124B (zh) 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
KR20130093783A (ko) * 2011-12-30 2013-08-23 한국전자통신연구원 오디오 객체 전송 장치 및 방법
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
CN107403624B (zh) 2012-05-18 2021-02-12 杜比实验室特许公司 用于音频信号的动态范围调整及控制的方法和设备
CN102695116B (zh) * 2012-05-30 2015-06-03 蒋憧 一种声音采集、处理和再现方法
MY181365A (en) 2012-09-12 2020-12-21 Fraunhofer Ges Forschung Apparatus and method for providing enhanced guided downmix capabilities for 3d audio
WO2014046916A1 (en) 2012-09-21 2014-03-27 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
CN104956689B (zh) * 2012-11-30 2017-07-04 Dts（英属维尔京群岛）有限公司 用于个性化音频虚拟化的方法和装置
TWI618050B (zh) * 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
IL319169A (en) 2013-03-28 2025-04-01 Dolby Laboratories Licensing Corp Transforming audio objects with visible size into arbitrary speaker arrays
KR102738946B1 (ko) * 2013-04-26 2024-12-06 소니그룹주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
SG11201509001YA (en) 2013-05-24 2015-12-30 Dolby Int Ab Audio encoder and decoder
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2830052A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
CN119049485A (zh) 2013-07-31 2024-11-29 杜比实验室特许公司 用于处理音频数据的方法和装置、介质及设备
EP2879131A1 (en) * 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
EP3127110B1 (en) 2014-04-02 2018-01-31 Dolby International AB Exploiting metadata redundancy in immersive audio metadata
RU2571921C2 (ru) * 2014-04-08 2015-12-27 Общество с ограниченной ответственностью "МедиаНадзор" Способ фильтрации бинауральных воздействий в аудиопотоках
CN104036788B (zh) * 2014-05-29 2016-10-05 北京音之邦文化科技有限公司 音频文件的音质识别方法及装置
CN105336333B (zh) * 2014-08-12 2019-07-05 北京天籁传音数字技术有限公司 多声道声音信号编码方法、解码方法及装置
BR112017008015B1 (pt) * 2014-10-31 2023-11-14 Dolby International Ab Métodos e sistemas de decodificação e codificação de áudio
CN112802496B (zh) * 2014-12-11 2025-01-24 杜比实验室特许公司 元数据保留的音频对象聚类
CN106033671B (zh) * 2015-03-09 2020-11-06 华为技术有限公司 确定声道间时间差参数的方法和装置
CN107771346B (zh) * 2015-06-17 2021-09-21 三星电子株式会社 实现低复杂度格式转换的内部声道处理方法和装置
WO2017049400A1 (en) * 2015-09-25 2017-03-30 Voiceage Corporation Method and system for encoding left and right channels of a stereo sound signal selecting between two and four sub-frames models depending on the bit budget
US12125492B2 (en) 2015-09-25 2024-10-22 Voiceage Coproration Method and system for decoding left and right channels of a stereo sound signal
US11152014B2 (en) 2016-04-08 2021-10-19 Dolby Laboratories Licensing Corporation Audio source parameterization
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
US10424307B2 (en) * 2017-01-03 2019-09-24 Nokia Technologies Oy Adapting a distributed audio recording for end user free viewpoint monitoring
JP6787183B2 (ja) * 2017-02-28 2020-11-18 ヤマハ株式会社 音制御装置及び方法
EP3622509B1 (en) * 2017-05-09 2021-03-24 Dolby Laboratories Licensing Corporation Processing of a multi-channel spatial audio format input signal
US11909509B2 (en) 2019-04-05 2024-02-20 Tls Corp. Distributed audio mixing
GB2590906A (en) * 2019-12-19 2021-07-14 Nomono As Wireless microphone with local storage
CN113096672B (zh) * 2021-03-24 2022-06-14 武汉大学 一种应用于低码率下的多音频对象编解码方法

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4544919A (en) * 1982-01-03 1985-10-01 Motorola, Inc. Method and means of determining coefficients for linear predictive coding
JPH0650439B2 (ja) * 1986-07-17 1994-06-29 日本電気株式会社 マルチパルス駆動形音声符号化器
JP2659605B2 (ja) * 1990-04-23 1997-09-30 三菱電機株式会社 音声復号化装置及び音声符号化・復号化装置
US5764779A (en) * 1993-08-25 1998-06-09 Canon Kabushiki Kaisha Method and apparatus for determining the direction of a sound source
US5651090A (en) * 1994-05-06 1997-07-22 Nippon Telegraph And Telephone Corporation Coding method and coder for coding input signals of plural channels using vector quantization, and decoding method and decoder therefor
US5712437A (en) * 1995-02-13 1998-01-27 Yamaha Corporation Audio signal processor selectively deriving harmony part from polyphonic parts
JP2766466B2 (ja) * 1995-08-02 1998-06-18 株式会社東芝 オーディオ方式、その再生方法、並びにその記録媒体及びその記録媒体への記録方法
US5812971A (en) * 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
DE19632734A1 (de) * 1996-08-14 1998-02-19 Thomson Brandt Gmbh Verfahren und Vorrichtung zum Generieren eines Mehrton-Signals aus einem Mono-Signal
US5912976A (en) * 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
US5886276A (en) * 1997-01-16 1999-03-23 The Board Of Trustees Of The Leland Stanford Junior University System and method for multiresolution scalable audio signal encoding
US6131084A (en) * 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
US6005948A (en) * 1997-03-21 1999-12-21 Sony Corporation Audio channel mixing
JPH11109995A (ja) * 1997-10-01 1999-04-23 Victor Co Of Japan Ltd 音響信号符号化器
SE519552C2 (sv) * 1998-09-30 2003-03-11 Ericsson Telefon Ab L M Flerkanalig signalkodning och -avkodning
US6188987B1 (en) * 1998-11-17 2001-02-13 Dolby Laboratories Licensing Corporation Providing auxiliary information with frame-based encoded audio information
AU781629B2 (en) * 1999-04-07 2005-06-02 Dolby Laboratories Licensing Corporation Matrix improvements to lossless encoding and decoding
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
TW510143B (en) * 1999-12-03 2002-11-11 Dolby Lab Licensing Corp Method for deriving at least three audio signals from two input audio signals
US6351733B1 (en) * 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US7212872B1 (en) * 2000-05-10 2007-05-01 Dts, Inc. Discrete multichannel audio with a backward compatible mix
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
SE519985C2 (sv) * 2000-09-15 2003-05-06 Ericsson Telefon Ab L M Kodning och avkodning av signaler från flera kanaler
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US6934677B2 (en) * 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US20100042406A1 (en) * 2002-03-04 2010-02-18 James David Johnston Audio signal processing using improved perceptual model
BRPI0304540B1 (pt) * 2002-04-22 2017-12-12 Koninklijke Philips N. V Methods for coding an audio signal, and to decode an coded audio sign, encoder to codify an audio signal, codified audio sign, storage media, and, decoder to decode a coded audio sign
DE60311794T2 (de) * 2002-04-22 2007-10-31 Koninklijke Philips Electronics N.V. Signalsynthese
JP4013822B2 (ja) 2002-06-17 2007-11-28 ヤマハ株式会社 ミキサ装置およびミキサプログラム
JP4322207B2 (ja) * 2002-07-12 2009-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化方法
EP1523863A1 (en) 2002-07-16 2005-04-20 Koninklijke Philips Electronics N.V. Audio coding
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP4399362B2 (ja) * 2002-09-23 2010-01-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声信号の生成
EP1552724A4 (en) * 2002-10-15 2010-10-20 Korea Electronics Telecomm METHOD FOR GENERATING AND USING A 3D AUDIOSCENCE WITH EXTENDED EFFICIENCY OF SOUND SOURCE
US7243064B2 (en) * 2002-11-14 2007-07-10 Verizon Business Global Llc Signal processing of multi-channel data
US20040117186A1 (en) * 2002-12-13 2004-06-17 Bhiksha Ramakrishnan Multi-channel transcription-based speaker separation
US20040176950A1 (en) * 2003-03-04 2004-09-09 Docomo Communications Laboratories Usa, Inc. Methods and apparatuses for variable dimension vector quantization
JP2007507726A (ja) * 2003-09-29 2007-03-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号の符号化
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7725324B2 (en) * 2003-12-19 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Constrained filter encoding of polyphonic signals
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
EP1914723B1 (en) * 2004-05-19 2010-07-07 Panasonic Corporation Audio signal encoder and audio signal decoder
US8843378B2 (en) * 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US20060009274A1 (en) * 2004-07-08 2006-01-12 Richard Finocchio Method of playing a game of roulette
TWI393121B (zh) * 2004-08-25 2013-04-11 杜比實驗室特許公司 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
WO2006022308A1 (ja) * 2004-08-26 2006-03-02 Matsushita Electric Industrial Co., Ltd. マルチチャネル信号符号化装置およびマルチチャネル信号復号装置
US20060048226A1 (en) * 2004-08-31 2006-03-02 Rits Maarten E Dynamic security policy enforcement
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
DE102004049347A1 (de) * 2004-10-08 2006-04-20 Micronas Gmbh Schaltungsanordnung bzw. Verfahren für Sprache enthaltende Audiosignale
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
ATE521143T1 (de) * 2005-02-23 2011-09-15 Ericsson Telefon Ab L M Adaptive bitzuweisung für die mehrkanal- audiokodierung
MX2007014570A (es) * 2005-05-25 2008-02-11 Koninkl Philips Electronics Nv Codificacion predictiva de una senal de canales multiples.
CA2613885C (en) * 2005-06-30 2014-05-06 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
WO2008069596A1 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US9111525B1 (en) * 2008-02-14 2015-08-18 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Apparatuses, methods and systems for audio processing and transmission
US8332229B2 (en) * 2008-12-30 2012-12-11 Stmicroelectronics Asia Pacific Pte. Ltd. Low complexity MPEG encoding for surround sound recordings
KR102429953B1 (ko) * 2012-07-19 2022-08-08 돌비 인터네셔널 에이비 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스

Also Published As

Publication number Publication date
US11682407B2 (en) 2023-06-20
US20190066705A1 (en) 2019-02-28
US11621005B2 (en) 2023-04-04
CN102123341A (zh) 2011-07-13
US8355509B2 (en) 2013-01-15
RU2007134215A (ru) 2009-03-20
AU2010236053B2 (en) 2012-10-18
US20070291951A1 (en) 2007-12-20
US10643629B2 (en) 2020-05-05
US10339942B2 (en) 2019-07-02
AU2009200407B2 (en) 2010-11-25
CN101133441B (zh) 2011-05-25
JP2012234192A (ja) 2012-11-29
EP1691348A1 (en) 2006-08-16
BR122018072508B1 (pt) 2019-07-16
JP5638037B2 (ja) 2014-12-10
US20170055095A1 (en) 2017-02-23
AU2006212191A1 (en) 2006-08-17
KR100924577B1 (ko) 2009-11-02
US11621007B2 (en) 2023-04-04
ES2682073T3 (es) 2018-09-18
US10657975B2 (en) 2020-05-19
EP1844465B1 (en) 2011-10-26
CN102123341B (zh) 2013-07-03
HK1159392A1 (en) 2012-07-27
US11621006B2 (en) 2023-04-04
EP1995721A1 (en) 2008-11-26
EP2320414B1 (en) 2018-05-02
WO2006084916A2 (en) 2006-08-17
AU2010236053A1 (en) 2010-11-18
BR122018072505B1 (pt) 2019-07-16
US10650835B2 (en) 2020-05-12
US10643628B2 (en) 2020-05-05
CA2597746A1 (en) 2006-08-17
TR201811059T4 (tr) 2018-08-27
NO20073892L (no) 2007-11-14
US20220392467A1 (en) 2022-12-08
IL185192A (en) 2014-02-27
US20190066703A1 (en) 2019-02-28
US20120314879A1 (en) 2012-12-13
IL185192A0 (en) 2008-01-06
BRPI0607166A2 (pt) 2009-08-11
BR122018072501B1 (pt) 2019-07-09
ES2374434T3 (es) 2012-02-16
US20190066706A1 (en) 2019-02-28
US11495239B2 (en) 2022-11-08
US20200234721A1 (en) 2020-07-23
ATE531035T1 (de) 2011-11-15
CA2707761A1 (en) 2006-08-17
KR20070107698A (ko) 2007-11-07
JP2008530603A (ja) 2008-08-07
CA2707761C (en) 2014-04-29
US20190066704A1 (en) 2019-02-28
RU2376654C2 (ru) 2009-12-20
US20170103763A9 (en) 2017-04-13
HK1107723A1 (en) 2008-07-11
PL1844465T3 (pl) 2012-03-30
CN101133441A (zh) 2008-02-27
US20220392466A1 (en) 2022-12-08
US9668078B2 (en) 2017-05-30
US20220392469A1 (en) 2022-12-08
EP2320414A1 (en) 2011-05-11
BR122018072504B1 (pt) 2019-07-09
CA2597746C (en) 2016-02-16
BRPI0607166B1 (pt) 2019-06-25
NO338701B1 (no) 2016-10-03
AU2009200407A1 (en) 2009-02-26
AU2006212191B2 (en) 2009-01-15
MX2007009559A (es) 2007-12-10
WO2006084916A3 (en) 2007-03-08
US20220392468A1 (en) 2022-12-08
EP1844465A2 (en) 2007-10-17

Similar Documents

Publication Publication Date Title
JP5179881B2 (ja) オーディオソースのパラメトリックジョイント符号化
HK1159392B (en) Parametric joint-coding of audio sources
HK1123622A (en) Parametric joint-coding of audio sources

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110901

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120420

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120427

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130110

R150 Certificate of patent or registration of utility model

Ref document number: 5179881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250