[go: up one dir, main page]

JP2010511910A - オーディオ処理方法及び装置 - Google Patents

オーディオ処理方法及び装置 Download PDF

Info

Publication number
JP2010511910A
JP2010511910A JP2009540165A JP2009540165A JP2010511910A JP 2010511910 A JP2010511910 A JP 2010511910A JP 2009540165 A JP2009540165 A JP 2009540165A JP 2009540165 A JP2009540165 A JP 2009540165A JP 2010511910 A JP2010511910 A JP 2010511910A
Authority
JP
Japan
Prior art keywords
information
channel
signal
downmix
mix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009540165A
Other languages
English (en)
Other versions
JP5270566B2 (ja
Inventor
オ オー，ヒェン
ウォン ジュン，ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2010511910A publication Critical patent/JP2010511910A/ja
Application granted granted Critical
Publication of JP5270566B2 publication Critical patent/JP5270566B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

ダウンミックス信号、オブジェクト情報及びミックス情報を受信する段階と、オブジェクト情報及びミックス情報を用いて、一つ以上のゲイン変形ファクタを含むマルチチャネル情報を生成する段階と、を含み、ゲイン変形ファクタは、ダウンミックス信号のゲインを制御するための時間−サブバンド変化ファクタに該当する、オーディオ信号処理方法が開示される。

Description

本発明は、オーディオ信号処理方法及び装置に関するもので、より具体的には、デジタル媒体または放送信号を通じて受信したオーディオ信号のデコーディング方法及び装置に関する。
数個のオーディオオブジェクトを一つまたは二つの信号にダウンミックスする過程で、個別オブジェクト信号からパラメータを抽出することができる。これらのパラメータは、オーディオ信号デコーダーで用いられることができ、個別ソースのリポジショニング（repositioning）及びパニング（panning）は、ユーザの選択により制御することができる。
個別オブジェクト信号の制御において、ダウンミックス信号に含まれた個別ソースのリポジショニング及びパニングは自由に行なわれなければならない。
しかしながら、チャネル基盤デコーディング方法（例：MPEG surround）に関する下位互換性（backward compatibility）のためには、オブジェクトパラメータが、アップミキシングプロセスに要求されるマルチチャネルパラメータに自由に変換されなければならない。
したがって、本発明は、上記のように関連技術の制限及び欠点から発生する問題点を実質的に回避するオーディオ信号処理方法及び装置を指向する。
本発明は、オブジェクトゲイン及びパニングを自由に制御するためのオーディオ信号処理方法及び装置を提供する。
本発明は、ユーザ選択を基盤にオブジェクトゲイン及びパニングを制御するためのオーディオ信号処理方法及び装置を提供する。
上記目的を達成するための本発明によるオーディオ信号処理方法は、ダウンミックス信号、オブジェクト情報及びミックス情報を受信する段階と、前記オブジェクト情報及び前記ミックス情報を用いて、一つ以上のゲイン変形ファクタを含むマルチチャネル情報を生成する段階と、を含み、前記ゲイン変形ファクタは、前記ダウンミックス信号のゲインを制御するための時間−サブバンド変化ファクタに該当する。
本発明において、前記ダウンミックス信号がモノラル信号に該当する時、前記マルチチャネル情報を生成する段階が行なわれる。
本発明において、前記ゲイン変形ファクタは、前記ミックス情報及び前記オブジェクト情報を基盤に推定された第１ゲインと前記オブジェクト情報を基盤に推定された第２ゲインとの比率を表す。
本発明において、前記ゲイン変形ファクタを含む前記マルチチャネル情報を用いてマルチチャネルビットストリームを生成する段階をさらに含む。
本発明において、前記オブジェクト情報及び前記ミックス情報を用いてダウンミックスプロセシング情報を生成する段階と、前記ダウンミックスプロセシング情報を用いて前記ダウンミックス信号を処理する段階と、をさらに含み、前記ダウンミックス信号がステレオ信号に該当する場合、前記ダウンミックスプロセシング情報は、前記オブジェクトパニングを制御するための情報に該当する。
本発明において、前記ミックス情報は、オブジェクト位置情報及び再生設定情報のうち一つ以上を用いて生成されたものである。
本発明において、前記ダウンミックス信号は放送信号として受信される。
本発明において、前記ダウンミックス信号は、デジタル媒体を介して受信される。
本発明のさらに他の側面によれば、オブジェクト情報及びミックス情報を受信する段階と、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成する段階と、前記ミックス情報を用いて追加マルチチャネル情報を生成する段階と、前記マルチチャネル情報及び前記追加マルチチャネル情報を伝送する段階と、を含み、前記マルチチャネル情報は、ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当し、前記追加マルチチャネル情報は、前記マルチチャネル信号を変形するための情報に該当する、オーディオ信号処理方法が提供される。
本発明において、前記追加マルチチャネル情報は、バイノーラル（binaural）モードのためのＨＲＴＦ情報を含む。
本発明において、前記ＨＲＴＦ情報は、特定時間にオブジェクトの仮想位置を表す。
本発明において、前記ＨＲＴＦ情報は、ＨＲＴＦデータベースを用いて生成されたものである。
本発明において、前記マルチチャネル情報を生成する段階及び前記追加マルチチャネル情報を生成する段階は、同じサブバンド領域で行なわれる。
本発明において、前記追加マルチチャネル情報は、前記マルチチャネル情報と同期して伝送される。
本発明において、前記ダウンミックス信号は、放送信号として受信される。
本発明において、前記ダウンミックス信号は、デジタル媒体を介して受信される。
本発明のさらに他の側面によれば、ダウンミックス信号、オブジェクト情報及びミックス情報を受信する段階と、前記オブジェクト情報及び前記ミックス情報を用いて、一つ以上のゲイン変形ファクタを含むマルチチャネル情報を生成する段階と、を含み、前記ゲイン変形ファクタは、前記ダウンミックス信号のゲインを制御するための時間−サブバンド変化ファクタに該当し、プロセッサが実行される時、前記プロセッサにより前記動作が行なわれる命令が記憶されている、コンピュータ読み取り可能媒体が提供される。
本発明のさらに他の側面によれば、オブジェクト情報及びミックス情報を受信する段階と、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成する段階と、前記ミックス情報を用いて追加マルチチャネル情報を生成する段階と、前記マルチチャネル情報及び前記追加マルチチャネル情報を伝送する段階と、を含み、前記マルチチャネル情報は、ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当し、前記追加マルチチャネル情報は、前記マルチチャネル信号を変形するための情報に該当し、プロセッサが実行される時、前記プロセッサにより前記動作が行なわれる命令が記憶されている、コンピュータ読み取り可能媒体が提供される。
本発明のさらに他の側面によれば、ミックス情報を受信するユーザインタフェースと、オブジェクト情報及び前記ミックス情報を受信し、前記オブジェクト情報及び前記ミックス情報を用いて一つ以上のゲイン変形ファクタを含むマルチチャネル情報を生成する情報生成ユニットと、を含み、前記ゲイン変形ファクタは、前記ダウンミックス信号のゲインを制御するための時間−サブバンド変化ファクタに該当する、オーディオ信号処理装置が提供される。
本発明のさらに他の側面によれば、ミックス情報を受信するユーザインタフェースと、オブジェクト情報を受信し、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成し、前記ミックス情報を用いて追加マルチチャネル情報を生成し、前記マルチチャネル情報及び前記追加マルチチャネル情報を伝送する情報生成ユニットと、を含み、前記マルチチャネル情報は、ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当し、前記追加マルチチャネル情報は、前記マルチチャネル信号を変形するための情報に該当する、オーディオ信号処理装置が提供される。
本発明は、下記のような効果と利点を奏する。
第一に、本発明は、オブジェクトゲイン及びパニングを制限なく制御できるオーディオ信号処理方法及び装置を提供することができる。
第二に、本発明は、ユーザ選択を基盤にオブジェクトゲイン及びパニングを制御できるオーディオ信号処理方法及び装置を提供することができる。
再生設定及びユーザコントロールを基盤にダウンミックス信号をレンダリングする基本概念を説明するための図である。 第１方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。 第１方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。 第２方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。 第２方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。 第２方式の本発明のさらに他の実施例によるオーディオ信号処理装置を例示する構成図である。 第３方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。 第３方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。 レンダリングユニットの基本概念を説明するための図である。 図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第２実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第３実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第４実施例を示す構成図である。 本発明の第２実施例による圧縮されたオーディオ信号のビットストリーム構造を例示する構成図である。 本発明の第２実施例によるオーディオ信号処理装置を例示する構成図である。 本発明の第３実施例による圧縮されたオーディオ信号のビットストリーム構造を例示する構成図である。 本発明の第４実施例によるオーディオ信号処理装置を例示する構成図である。 様々なタイプのオブジェクトの伝送方式を説明するための例示的な構成図である。 本発明の第５実施例によるオーディオ信号処理装置を例示する構成図である。
本願の‘パラメータ’は、値（values）、狭義のパラメータ（parameters）、係数（coefficients）、成分（elements）等を含む情報を意味する。以下、パラメータ（parameter）という用語は、オブジェクトパラメータ、ミックスパラメータ、ダウンミックスプロセシングパラメータなどのように、情報（information）を代用することができるが、本発明はこれに限定されない。
数個のチャネル信号または数個のオブジェクト信号をダウンミックスする際に、オブジェクトパラメータ及び空間パラメータを抽出することができる。デコーダは、ダウンミックス信号及びオブジェクトパラメータ（または空間パラメータ）を用いて出力信号を生成することができる。出力信号は、再生設定（playback configuration）及びユーザコントロールを基盤にレンダリングすることができる。レンダリングプロセスを、図１を参照しつつ以下に詳細に説明する。
図１は、再生設定及びユーザコントロールを基盤にダウンミックスをレンダリングする基本概念を説明するための図である。図１を参照すると、デコーダ１００は、レンダリング情報生成ユニット１１０及びレンダリングユニット１２０を含むか、レンダリング情報生成ユニット１１０及びレンダリングユニット１２０を含む代わりに、レンダラ１１０ａ及び合成１２０ａを含むことができる。
レンダリング情報生成ユニット１１０は、エンコーダからオブジェクトパラメータまたは空間パラメータを含む付加情報（side information）を受信し、また、装置設定またはユーザインタフェースから再生設定またはユーザコントロールを受信する。オブジェクトパラメータ（object parameter）は、一つ以上のオブジェクト信号をダウンミックスする過程で抽出されるパラメータに該当することができ、空間パラメータ（spatial parameter）は、一つ以上のチャネル信号をダウンミックスする過程で抽出されるパラメータに該当することができる。さらに、各オブジェクトのタイプ情報及び特性情報が上記付加情報に含まれることができる。タイプ情報及び特性情報は、楽器名、演奏者名などを記述することができる。再生設定は、スピーカ位置及びアンビエント情報（ambient information）（スピーカの仮想位置）を含むことができ、ユーザコントロールは、オブジェクト位置及びオブジェクトゲインを制御するためにユーザにより入力される情報に該当することができ、再生設定のための制御情報に該当することもできる。一方、再生設定及びユーザコントロールは、ミックス情報として表現されることもできるが、本発明はこれに限定されない。
レンダリング情報生成ユニット１１０は、ミックス情報（再生設定及びユーザコントロール）及び受信された付加情報を用いてレンダリング情報を生成することができる。レンダリングユニット１２０は、オーディオ信号のダウンミックス（“ダウンミックス信号”とも略す。）が伝送されない場合、レンダリング情報を用いてマルチチャネルパラメータを生成でき、オーディオ信号のダウンミックスが伝送される場合、レンダリング情報及びダウンミックスを用いてマルチチャネル信号を生成することができる。
レンダラ１１０ａは、ミックス情報（再生設定及びユーザコントロール）及び受信した付加情報を用いてマルチチャネル信号を生成することができる。合成１２０ａは、レンダラ１１０ａで生成されたマルチチャネル信号を用いてマルチチャネル信号を合成することができる。
前述したように、デコーダは、再生設定及びユーザコントロールを基盤にダウンミックス信号をレンダリングする。一方、個別的なオブジェクト信号を制御するために、デコーダは付加情報としてオブジェクトパラメータを受信することができ、伝送されたオブジェクトパラメータに基づいてオブジェクトパニング及びオブジェクトゲインを制御することができる。
１．オブジェクト信号のゲイン及びパニング制御
個別オブジェクト信号を制御するための様々な方法を提供することができる。第一、デコーダがオブジェクトパラメータを受信し、オブジェクトパラメータを用いて個別オブジェクト信号を生成する場合、デコーダはミックス情報（再生設定、オブジェクトレベル等）を基盤に個別オブジェクト信号を制御することができる。
第二、デコーダが、マルチチャネルデコーダに入力されるマルチチャネルパラメータを生成する場合、マルチチャネルデコーダは、マルチチャネルパラメータを用いて、エンコーダから受信するダウンミックス信号をアップミキシングすることができる。この第二の方法は、次の３種類の方式に分類することができる。具体的に、１）従来のマルチチャネルデコーダを利用する方式、２）マルチチャネルデコーダを修正する方式、３）マルチチャネルデコーダに入力される前に、オーディオ信号のダウンミックスを処理する方式を提供することができる。従来のマルチチャネルデコーダは、チャネル基盤の空間オーディオコーディング（例：MPEG Surroundデコーダ）に該当することができるが、本発明はこれに限定されない。これら３種類の方式を具体的に説明すると、下記の通りである。
１.１ マルチチャネルデコーダを利用する方式
この第１方式は、従来のマルチチャネルデコーダを修正せずにそのまま利用することができる。まず、オブジェクトゲインを制御するためにＡＤＧ（任意的ダウンミックスゲイン：arbitrary downmix gain）を利用する場合、オブジェクトパニングを制御するために５−２−５構成（configuration）を用いる場合が、図２を参照しながら説明される。次いで、シーンリミキシングユニット（scene remixing unit）と関連する場合は、図３を参照しながら説明される。
図２は、第１方式の本発明の第１実施例によるオーディオ信号処理装置の構成図である。図２を参照すると、オーディオ信号処理装置２００（以下、デコーダ２００）は、情報生成ユニット２１０及びマルチチャネルデコーダ２３０を含むことができる。情報生成ユニット２１０は、エンコーダからオブジェクトパラメータを含む付加情報を、ユーザインタフェースからミックス情報を受信することができ、任意的ダウンミックスゲインまたはゲイン変形ゲイン（以下では、“ＡＤＧ”と略す。）を含むマルチチャネルパラメータを生成することができる。ＡＤＧは、ミックス情報及びオブジェクト情報に基づいて推定された第１ゲインと、オブジェクト情報に基づいて推定された第２ゲインとの比率（ratio）である。具体的に、ダウンミックス信号がモノラル信号である場合、情報生成ユニット２１０は、ＡＤＧのみを生成することができる。マルチチャネルデコーダ２３０は、エンコーダからオーディオ信号のダウンミックスを、情報生成ユニット２１０からマルチチャネルパラメータを受信し、ダウンミックス信号及びマルチチャネル信号を用いてマルチチャネル出力を生成する。
マルチチャネルパラメータは、チャネルレベル差（channel level difference）（以下、“ＣＬＤ”と略す）、チャネル間の相関関係（inter channel correlation）（以下、“ＩＣＣ”と略す）、チャネル予測係数（channel prediction coefficient）（以下、“ＣＰＣ”と略す）を含むことができる。
ＣＬＤ、ＩＣＣ、及びＣＰＣは、強度差（intensity difference）または２チャネル間の相関関係（correlation between two channels）を記述し、オブジェクトパニング及び相関関係を制御することができる。ＣＬＤ、ＩＣＣなどを用いてオブジェクト位置やオブジェクトの鳴り響きの度合（diffusenessまたはsonority）を制御可能である。一方、ＣＬＤは、絶対レベルではなく相対的なレベル差を記述し、分離された２チャネルのエネルギーは維持される。したがって、ＣＬＤなどを調節することによってオブジェクトゲインを制御することは不可能である。言い換えると、ＣＬＤなどを用いて特定オブジェクトを無音（mute）化したりボリュームを上げたりすることができない。
さらに、ＡＤＧは、ユーザによる相関性ファクタを調整するための時間及び周波数従属ゲインを表す。相関性ファクタが適用されると、マルチチャネルをアップミキシングする前にダウンミックス信号の変形（modification）を操作することができる。したがって、ＡＤＧパラメータを情報生成ユニット２１０から受信する場合、マルチチャネルデコーダ２３０は、ＡＤＧパラメータを用いて特定時間及び周波数のオブジェクトゲインを制御することができる。
一方、受信したステレオダウンミックス信号がステレオチャネルとして出力される場合は、下記の式１で定義することができる。
Figure 2010511910
 ここで、x[]は入力チャネル、y[]は出力チャネル、gxはゲイン、wxxは重み値を表す。
オブジェクトパニングのために、左側チャネル及び右側チャネル間のクロストーク（cross-talk）を制御する必要がある。具体的に、ダウンミックス信号の左側チャネルの一部を、出力チャネルの右側チャネルとして出力することができ、ダウンミックス信号の右側チャネルの一部を出力チャネルの左側チャネルとして出力することができる。上記の式１でw12及びw21は、クロストーク成分（すなわち、クロスターム）に該当することができる。
上述した場合は、２−２−２構成に該当できるが、２−２−２構成とは、２チャネル入力、２チャネル伝送、２チャネル出力を意味する。２−２−２構成が行なわれるためには、従来のチャネル基盤の空間オーディオコーディング（例：MPEG surround）の５−２−５構成（５チャネル入力、２チャネル伝送、５チャネル出力）を使用することができる。まず、２−２−２構成のための２チャネルを出力するために、５−２−５構成の５出力チャネルのうちの特定チャネルを、不能チャネル（フェークチャネル）に設定することができる。２伝送チャネル及び２出力チャネル間のクロストークを与えるために、上述のＣＬＤ及びＣＰＣを調節することができる。要するに、上記の式１におけるゲインファクタgxをＡＤＧを用いて獲得し、上記の式１における重み値w11〜w22はＣＬＤ及びＣＰＣを用いて獲得することができる。
５−２−５構成を用いて２−２−２構成を具現するにあたり、複雑度を下げるために、従来の空間オーディオコーディングのデフォルト（default）モードを適用することができる。デフォルトＣＬＤの特性は、２チャネルを出力するようになっており、デフォルトＣＬＤが適用される場合、演算量を減らすことができる。具体的に、フェークチャネルを合成する必要がないため、演算量を大きく減少させることができるわけである。したがって、デフォルトモードを適用することが適切である。具体的に、３つのＣＬＤ（MPEG Surroundで０、１、２番に対応）のデフォルトＣＬＤのみがデコーディングに用いられる。一方、左側チャネル、右側チャネル及びセンターチャネルのうちの４つのＣＬＤ（MPEG surround標準で３、４、５及び６番に対応）、及び二つのＡＤＧ（MPEG surround標準で７、８番に対応）は、オブジェクト制御のために生成される。この場合、３番及び５番に対応するＣＬＤは、左側チャネル＋右側チャネル、及びセンターチャネル間のチャネルレベル差（(l+r)/c）を表すが、センターチャネルを無音化させるために１５０ｄＢ（ほぼ無限大）にセッティングされることが好ましい。また、クロストークを具現するために、エネルギー基盤アップミックス（energy based up−mix）またはプレディクション基盤アップミックス（prediction based up−mix）が行なわれることができるが、これは、ＴＴＴモード（MPEG surround標準における‘bsTttModeLow’）がエネルギー基盤モード（減算（with subtraction）、マトリクス互換性可能）（３番目のモード）またはプレディクションモード（１番目のモードまたは２番目のモード）に該当する場合に行なわれる。
図３は、第１方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。図３を参照すると、本発明の他の実施例によるオーディオ信号処理装置３００（以下、“デコーダ３００”と略す）は、情報生成ユニット３１０、シーンレンダリングユニット（scene rendering unit）３２０、マルチチャネルデコーダ３３０、及びシーンリミキシングユニット（scene remixing unit）３５０を含むことができる。
情報生成ユニット３１０は、ダウンミックス信号がモノラルチャネル信号（すなわち、ダウンミックスチャネルの数が１である場合）に該当する場合、オブジェクトパラメータを含む付加情報をエンコーダから受信することができ、付加情報及びミックス情報を用いてマルチチャネルパラメータを生成できる。ダウンミックスチャネルの数は、付加情報に含まれているフラグ情報の他に、ダウンミックス信号及びユーザ選択に基づいて推定することができる。情報生成ユニット３１０は、上記の情報生成ユニット２１０と同じ構成を有することができる。マルチチャネルパラメータは、マルチチャネルデコーダ３３０に入力され、マルチチャネルデコーダ３３０は、マルチチャネルデコーダ２３０と同じ構成を有することができる。
シーンレンダリングユニット３２０は、ダウンミックス信号がモノラルチャネル信号でない場合（すなわち、ダウンミックスチャネルの数が２以上である場合）、エンコーダからオブジェクトパラメータを含む付加情報を受信し、ユーザインタフェースからミックス情報を受信し、これら付加情報及びミックス情報を用いてリミキシングパラメータを生成する。リミキシングパラメータは、ステレオチャネルをリミックスし、２チャネル以上の出力を生成するためのパラメータに該当する。シーンリミキシングユニット３５０は、ダウンミックス信号が２チャネル以上の信号である場合、ダウンミックス信号をリミックスすることができる。
要するに、２種類の経路は、デコーダ３００で分離された応用のための分離された具現として考慮することができる。
１.２ マルチチャネルデコーダを修正する方式
この第２方式は、従来のマルチチャネルデコーダを修正することができる。まず、オブジェクトゲインを制御するための仮想出力を利用する場合、オブジェクトパニングを制御するための装置設定を修正する場合が、図４に基づいて説明される。次いで、マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行なう場合は、図５に基づいて説明される。
図４は、第２方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。図４を参照すると、第２方式の本発明の一実施例によるオーディオ信号処理装置４００（以下、“デコーダ４００”と略す。）は、情報生成ユニット４１０、内部マルチチャネル合成４２０、出力マッピングユニット４３０を含むことができる。内部マルチチャネル合成４２０及び出力マッピングユニット４３０は、合成ユニットに含まれることができる。
情報生成ユニット４１０は、エンコーダからオブジェクトパラメータを含む付加情報を受信し、ユーザインタフェースからミックスパラメータを受信することができる。情報生成ユニット４１０は、付加情報及びミックス情報を用いてマルチチャネルパラメータ及び装置設定情報を生成することができる。マルチチャネルパラメータは、前述したマルチチャネルパラメータと同一に構成することができる。したがって、マルチチャネルパラメータの具体的な説明は省略する。装置設定情報は、バイノーラル（binaural）プロセシングのためのパラメータ化されたＨＲＴＦに該当することができ、これについては‘１.２.２ 装置設定情報を利用する方法’で後述する。
内部マルチチャネル合成４２０は、マルチチャネルパラメータ及び装置設定情報を、パラメータ生成ユニット４１０から受信し、エンコーダからダウンミックス信号を受信する。内部マルチチャネル合成４２０は、仮想出力を含む一時的マルチチャネル信号を生成できる。これについて、下記の‘１.２.１ 仮想出力を利用する方法’で説明する。
１.２.１ 仮想出力を利用する方法
マルチチャネルパラメータ（例：ＣＬＤ）は、オブジェクトパニングを制御できるため、従来のマルチチャネルデコーダによりオブジェクトパニングの他にオブジェクトゲインを制御することは難しい。
一方、オブジェクトゲインのために、デコーダ４００（特に、内部マルチチャネル合成４２０）は、オブジェクトの相対的エネルギーを仮想チャネル（例：センターチャネル）にマッピングさせることができる。オブジェクトの相対的エネルギーは、減少されるエネルギーに該当する。例えば、特定オブジェクトを無音化させるために、デコーダ４００は、オブジェクトエネルギーの９９．９％以上を仮想チャネルにマッピングさせることができる。すると、デコーダ４００（特に、出力マッピングユニット４３０）は、オブジェクトの残りのエネルギーがマッピングされた仮想チャネルを出力させない。結論的に、オブジェクトの９９．９％以上が出力されない仮想チャネルにマッピングされることで、所望のオブジェクトはほとんど無音化することができる。
１.２.２ 装置設定情報を利用する方法
デコーダ４００は、オブジェクトパニング及びオブジェクトゲインを制御する目的で装置設定情報を調節することができる。例えば、デコーダは、MPEG surround標準におけるバイノーラルプロセシングのためのパラメータ化されたＨＲＴＦを生成できる。パラメータ化されたＨＲＴＦは、装置設定によって様々なものが存在することができる。下記の式２によってオブジェクト信号が制御されると仮定することができる。
Figure 2010511910
ここで、objkはオブジェクト信号、Lnew及びRnewは所望のステレオチャネル、ak及びbkはオブジェクト制御のための係数を表す。
オブジェクト信号objkのオブジェクト情報は、伝送された付加情報に含まれたオブジェクトパラメータから推定することができる。オブジェクトゲイン及びオブジェクトパニングによって定義される係数ak及びbkは、ミックス情報から推定することができる。所望のオブジェクトゲイン及びオブジェクトパニングは係数ak、bkを用いて調節することができる。
係数ak、bkは、バイノーラルプロセシングのためのＨＲＴＦパラメータに該当するように設定することができ、その詳細は後述される。
MPEG surround標準（５−１−５1構成）（from ISO/IEC FDIS 23003-1: 2006(E), Information Technology MPEG Audio Technologies Part 1: MPEG Surround）において、バイノーラルプロセシングは下記の通りである。
Figure 2010511910
ここで、yBは出力、マトリクスHはバイノーラルプロセシングのための変換マトリクスを表す。
Figure 2010511910
マトリクスHの成分は、下記のように定義される。
Figure 2010511910
Figure 2010511910
Figure 2010511910
Figure 2010511910
１.２.３ マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行う方法
図５は、第２方式による本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。図５は、マルチチャネルデコーダのＴＢＴ機能を例示する構成図である。図５を参照すると、ＴＢＴモジュール５１０は、入力信号及びＴＢＴ制御情報を受信し、出力チャネルを生成する。ＴＢＴモジュール５１０は、図２のデコーダ２００（または、具体的にはマルチチャネルデコーダ２３０）に含まれることができる。マルチチャネルデコーダ２３０は、MPEG surround標準に従って具現することができるが、本発明はこれに限定されない。
Figure 2010511910
ここで、xは入力チャネル、yは出力チャネル、wは重み値を表す。
出力y1は、第１ゲインw11が乗じられたダウンミックスの入力x1と、第２ゲインw12が乗じられた入力x2との組合せに該当することができる。
ＴＢＴモジュール５１０に入力されるＴＢＴ制御情報は、重み値w(w11、w12、w21、w22)を合成できる構成要素を含む。
MPEG surround標準において、ＯＴＴ（One-To-Two）モジュール及びＴＴＴ（Two-To-Three）モジュールは、入力信号をアップミックスすることはできるが、入力信号をリミックスするのには適合していない。
入力信号をリミックスするために、ＴＢＴ（２×２）モジュール５１０（以下、“ＴＢＴモジュール５１０”と略す。）を提供することができる。ＴＢＴモジュール５１０は、ステレオ信号を受信し、リミックスされたステレオ信号を出力する。重み値wは、ＣＬＤ及びＩＣＣを用いて合成することができる。
ＴＢＴ制御情報として重み値タームw11〜w22を受信すると、デコーダは、受信した重み値タームを用いてオブジェクトパニングの他にオブジェクトゲインも制御することができる。重み値wの伝送においては様々な方式が用いられることができる。第一、ＴＢＴ制御情報は、w12及びw21のようなクロスタームを含むことができる。第二、ＴＢＴ制御情報は、w12及びw21のようなクロスタームを含まない。第三、ＴＢＴ制御情報としてタームの数が適応的に変化できる。
第一、入力チャネルの左側信号が出力信号の右側信号に行くオブジェクトパニングを制御するために、w12及びw21のようなクロスタームを受信する必要がある。Ｎ入力チャネル及びＭ出力チャネルの場合、Ｎ×Ｍ個のタームをＴＢＴ制御情報として伝送することができる。このタームは、MPEG surround標準で提供されたＣＬＤパラメータ量子化テーブルを基盤に量子化することができるが、本発明はこれに限定されない。
第二、左側オブジェクトが右側位置に移動しなければ（左側オブジェクトがより左側位置またはセンター位置に近い左側位置に移動したり、オブジェクトの位置のレベルのみが調整される場合）、クロスタームが使用される必要がない。この場合、クロスターム以外のタームが伝送されることが好ましい。Ｎ入力チャネル及びＭ出力チャネルの場合、Ｎ個のタームのみ伝送することができる。
第三、ＴＢＴ制御情報のビットレートを下げるために、ＴＢＴ制御情報の個数がクロスタームの必要に応じて適応的に変化できる。クロスタームが現在存在するか否かを指示するフラグ情報‘cross_flag’が、ＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘cross_flag’の意味は、下記の表に示す通りである。
Figure 2010511910
‘cross_flag’が０の場合、ＴＢＴ制御情報は、クロスタームを含まず、w11及びw22のようなノンクロスタームのみが存在する。そうでない場合（すなわち、‘cross_flag’が１の場合）、ＴＢＴ制御情報はクロスタームを含む。
なお、クロスタームまたはノンクロスタームが存在するか否かを指示する‘reverse_flag’がＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘reverse_flag’の意味を、下記の表２に示す。
Figure 2010511910
‘reverse_flag’が０の場合、ＴＢＴ制御情報は、クロスタームを含まず、w11及びw22のようなノンクロスタームのみを含む。そうでない場合（すなわち、‘reverse_flag’が１の場合）、ＴＢＴ制御情報はクロスタームのみを含む。
さらに、クロスタームが存在するか、ノンクロスタームが存在するかを指示するフラグ情報‘side_flag’が、ＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘side_flag’の意味を、下記の表３に示す。
Figure 2010511910
表３は、表１及び表２の組合せに該当するから、具体的な説明は省略する。
１.２.４ バイノーラルデコーダを修正することによって、マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行なう方法
‘１.２.２ 装置設定情報を利用する方法’の場合は、バイノーラルデコーダを修正せずに行なわれることができる。以下、図６を参照しながら、MPEG surroundデコーダに採用されたバイノーラルデコーダを変形（modifying）することによってＴＢＴ機能を行なう方法について説明する。
図６は、第２方式の本発明のさらに他の実施例によるオーディオ信号処理装置を例示する構成図である。具体的に、図６に示すオーディオ信号処理装置６３０は、図２のマルチチャネルデコーダ２３０に含まれたバイノーラルデコーダ、または図４の合成ユニットに該当することができるが、本発明はこれに限定されない。
オーディオ信号処理装置６３０（以下、“バイノーラルデコーダ６３０”）は、ＱＭＦ分析６３２、パラメータ変換６３４、空間合成６３６、及びＱＭＦ合成６３８を含むことができる。バイノーラルデコーダ６３０の構成要素は、MPEG surround標準におけるMPEG surroundバイノーラルデコーダと同じ構成を有することができる。例えば、空間合成６３６は、下記の式１０によって、２×２（フィルタ）マトリクスを構成することができる。
Figure 2010511910
ここで、y0はＱＭＦ領域入力チャネル、yBはバイノーラル出力チャネル、kはハイブリッドＱＭＦチャネルインデックス、iはＨＲＴＦフィルタタップインデックス、nはＱＭＦスロットインデックスを表す。
バイノーラルデコーダ６３０は、‘１.２.２ 装置設定情報を利用する方法’の節で説明された上記の機能を行なうように構成することができる。構成要素hijは、マルチチャネルパラメータ及びＨＲＴＦパラメータの代わりに、マルチチャネルパラメータ及びミックス情報を用いて生成することができる。この場合、バイノーラルデコーダ６３０は、図５でのＴＢＴモジュールの機能を果たすことができる。バイノーラルデコーダ６３０の構成要素についての具体的な説明は省略する。
バイノーラルデコーダ６３０は、フラグ情報‘binaural_flag’に基づいて動作することができる。具体的に、バイノーラルデコーダ６３０は、フラグ情報‘binaural_flag’が０の場合にはスキップすることができ、そうでない場合（‘binaural_flag’が１の場合）には下記のように動作することができる。
Figure 2010511910
１.３ マルチチャネルデコーダに入力される前にオーディオ信号のダウンミックスを処理する方式
従来のマルチチャネルデコーダを利用する第１方式は、上の‘１.１’節で説明されており、マルチチャネルデコーダを修正する第２方式は、上の‘１.２’節で説明された。マルチチャネルデコーダに入力される前にオーディオ信号のダウンミックスを処理する第３方式ついては、以下に説明する。
図７は、第３方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。図８は、第３方式による本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。まず、図７を参照すると、オーディオ信号処理装置７００（以下、“デコーダ７００”と略す。）は、情報生成ユニット７１０、ダウンミックス処理ユニット７２０、マルチチャネルデコーダ７３０を含むことができる。図８を参照すると、オーディオ信号処理装置８００（以下、“デコーダ８００”と略す。）は、情報生成ユニット８１０、及びマルチチャネルデコーダ８３０を有するマルチチャネル合成ユニット８４０を含むことができる。デコーダ８００は、デコーダ７００の他の側面になりうる。すなわち、情報生成ユニット８１０は情報生成ユニット７１０と同一に構成され、マルチチャネルデコーダ８３０はマルチチャネルデコーダ７３０と同一に構成され、マルチチャネル合成ユニット８４０は、ダウンミックス処理ユニット７２０及びマルチチャネルデコーダ７３０の構成と同一にすることができる。したがって、デコーダ７００の構成要素については詳細に説明するが、デコーダ８００の構成要素の詳細についての説明は省略する。
情報生成ユニット７１０は、オブジェクトパラメータを含む付加情報をエンコーダから、ミックス情報をユーザインタフェースから受信し、マルチチャネルデコーダ７３０に出力するマルチチャネルパラメータを生成することができる。このような点で、情報生成ユニット７１０は、図２の情報生成ユニット２１０と同じ構成を有する。ダウンミックスプロセシングパラメータは、オブジェクト位置及びオブジェクトゲインを制御するためのパラメータに該当することができる。例えば、オブジェクト信号が左側チャネル及び右側チャネルの両方に存在する場合、オブジェクト位置またはオブジェクトゲインを変化させることが可能である。オブジェクト信号が左側チャネル及び右側チャネルのいずれか一方に位置する場合、オブジェクト信号を反対位置に位置するようにレンダリングすることが可能である。これらの場合を行なうために、ダウンミックス処理ユニット７２０は、ＴＢＴモジュール（２×２マトリクスオペレーション）になりうる。オブジェクトゲインを制御するために、情報生成ユニット７１０が、図２で説明したようにＡＤＧを生成する場合に、ダウンミックスプロセシングパラメータは、オブジェクトゲインではなくオブジェクトパニングを制御するためのパラメータを含むことができる。
なお、情報生成ユニット７１０は、ＨＲＴＦデータベースからＨＲＴＦ情報を受信し、マルチチャネルデコーダ７３０に入力されるＨＲＴＦパラメータを含む追加マルチチャネルパラメータ（extra multi−channel parameter）を生成することができる。この場合、情報生成ユニット７１０は、同じサブバンド領域でマルチチャネルパラメータ及び追加マルチチャネルパラメータを生成し、互いに同期してマルチチャネルデコーダ７３０に伝達できる。ＨＲＴＦパラメータを含む追加マルチチャネルパラメータは、‘３.バイノーラルモード処理’の節で詳細に後述される。
ダウンミックス処理ユニット７２０は、エンコーダからオーディオ信号のダウンミックスを、情報生成ユニット７１０からダウンミックスプロセシングパラメータを受信し、サブバンド分析フィルタバンクを用いてサブバンド（subband）領域信号を分析する。ダウンミックス処理ユニット７２０は、ダウンミックス信号及びダウンミックスプロセシングパラメータを用いて処理されたダウンミックス信号を生成することができる。このような処理で、オブジェクトパニング及びオブジェクトゲインを制御する目的にダウンミックス信号をあらかじめ処理（pre−process）することが可能である。処理されたダウンミックス信号は、マルチチャネルデコーダ７３０に入力されてアップミックスすることができる。
なお、処理されたダウンミックス信号は出力され、また、スピーカを通して再生することができる。処理された信号をスピーカから直接出力するために、ダウンミックス処理ユニット７２０は、処理されたサブバンド領域信号を用いて合成フィルタバンクを行い、時間領域のＰＣＭ信号を出力することができる。ユーザ選択により、ＰＣＭ信号が直接出力されるか、マルチチャネルデコーダに入力されるかを選択することが可能である。
マルチチャネルデコーダ７３０は、処理されたダウンミックス及びマルチチャネルパラメータを用いてマルチチャネル出力信号を生成することができる。処理されたダウンミックス信号及びマルチチャネルパラメータがマルチチャネルデコーダ７３０に入力される時、マルチチャネルデコーダ７３０はディレイを生じることがある。処理されたダウンミックス信号は、周波数領域（例：ＱＭＦ領域、ハイブリッドＱＭＦ領域等）で合成され、マルチチャネルパラメータは時間領域で合成することができる。MPEG surround標準で、ＨＥ−ＡＡＣと連結されるためのディレイ及び周期が生じる。したがって、マルチチャネルデコーダ７３０は、MPEG surround標準にしたがってディレイを生じることがある。
次に、ダウンミックス処理ユニット７２０の構成を、図９〜図１３を参照しながら詳細に説明する。
１.３.１ ダウンミックス処理ユニットの一般的な場合及び特別な場合
図９は、レンダリングユニットの基本コンセプトを説明するための図である。図９を参照すると、レンダリングモジュール９００は、Ｎ入力信号、再生設定、及びユーザコントロールを用いてＭ出力信号を生成することができる。Ｎ入力信号は、オブジェクト信号またはチャネル信号に該当することができる。なお、Ｎ入力信号は、オブジェクトパラメータまたはマルチチャネルパラメータに該当することができる。レンダリングモジュール９００の構成は、図７のダウンミックス処理ユニット７２０、図１のレンダリングユニット１２０、及び図１のレンダラ１１０ａのうちの一つとすれば良いが、本発明はこれに限定されない。
レンダリングモジュール９００が、特定チャネルに該当する個別オブジェクト信号を合計せずに、Ｎ個のオブジェクト信号を用いてＭ個のチャネル信号を直接生成できるように構成される場合、レンダリングモジュール９００の構成は、下記の式１１のように表現することができる。
Figure 2010511910
ここで、Ciはｉ番目のチャネル信号、Ojはｊ番目の入力信号、Rijはｊ番目の入力信号がｉ番目のチャネルにマッピングされるマトリクスを表す。
ここで、マトリクスＲがエネルギー成分Ｅと無相関化成分とに分離される場合、下記の式１１は、下記のように表現することができる。
Figure 2010511910
エネルギー成分Ｅを用いてオブジェクト位置を制御でき、無相関化成分Ｄを用いてオブジェクト拡散性（diffuseness）を制御できる。
ｉ番目の入力信号のみが入力されて、ｊ番目のチャネル及びｋ番目のチャネルを通じて出力されると仮定する場合、式１２は下記のように表現することができる。
Figure 2010511910
αj_iは、ｊ番目のチャネルにマッピングされるゲインポーション、βjk_iは、ｋ番目のチャネルにマッピングされるゲインポーション、θは拡散性レベル（diffuseness）、及びD(Oi)は無相関化出力を表す。
無相関化が省略されると仮定すれば、上記の式１３は、次のように簡略化することができる。
Figure 2010511910
特定チャネルにマッピングされる全ての入力に対する重み値が、上述の方法によって推定されると、下記の方式により各チャネルに対する重み値が獲得することができる。
１）特定チャネルにマッピングされる全ての入力に対する重み値を合計する。例えば、入力１（O1）及び入力２（O2）が入力され、左側チャネル（Ｌ）、センターチャネル（Ｃ）、右側チャネル（Ｒ）に対応するチャネルが出力される場合、総重み値αL(tot)、αC(tot)、αR(tot)は、次のように獲得することができる。
Figure 2010511910
ここで、αL1は、左側チャネル（Ｌ）にマッピングされる入力１に対する重み値で、αC1は、センターチャネル（Ｃ）にマッピングされる入力１に対する重み値で、αC2は、センターチャネル（Ｃ）にマッピングされる入力２に対する重み値で、αR2は、右側チャネル（Ｒ）にマッピングされる入力２に対する重み値である。
この場合、入力１のみが左側チャネルにマッピングされ、入力２のみが右側チャネルにマッピングされ、入力１及び入力２が共にセンターチャネルにマッピングされる。
２）特定チャネルにマッピングされる全ての入力に対する重み値を合計し、その和を最もドミナントなチャネル対（pair）に分け、無相関化された信号をサラウンド効果のために他のチャネルにマッピングする。この場合、特定入力が左側とセンターとの間に位置する場合、ドミナントチャネル対は左側チャネル及びセンターチャネルに該当することができる。
３）最もドミナントなチャネルの重み値を推定し、減殺されたコリレート信号を他のチャネルに付与するが、ここで、この値は、推定された重み値の相対的な値である。
４）各チャネル上の重み値を用いて、無相関化された信号を適切に組み合わせた後、各チャネルに対する付加情報を設定する。
１.３.２ ダウンミックス処理ユニットが２×４マトリクスに対応するミキシングパートを含む場合
図１０Ａ〜図１０Ｃは、図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。前述のように、ダウンミックス処理ユニットの第１実施例７２０ａ（以下、“ダウンミックス処理ユニット７２０ａ”と略す。）は、レンダリングモジュール９００の具現でありうる。
まず、D11＝D21＝aD及びD12＝D22＝bDとすれば、上記の式１２は、次のように簡単になる。
Figure 2010511910
上記の式１５によるダウンミックス処理ユニットは、図１０Ａに示されている。図１０Ａを参照すると、ダウンミックス処理ユニット７２０ａは、モノラル入力信号（ｍ）である場合には入力信号をバイパスし、ステレオ入力信号（Ｌ，Ｒ）である場合には入力信号を処理することができる。ダウンミックス処理ユニット７２０ａは、無相関化パート７２２ａ及びミキシングパート７２４ａを含むことができる。無相関化パート７２２ａは、入力信号を無相関化できる無相関化器ａＤと無相関化器ｂＤを含む。無相関化パート７２２ａは、２×２マトリクスに該当することができる。ミキシングパート７２４ａは、入力信号及び無相関化信号を各チャネルにマッピングさせることができる。ミキシングパート７２４ａは、２×４マトリクスに該当することができる。
第二に、D11＝aD1、D21＝bD1、D12＝cD2及びD22＝dD2と仮定すれば、式１２は、次のように簡単になる。
Figure 2010511910
式１５−２によるダウンミックス処理ユニットは、図１０Ｂに示されている。図１０Ｂを参照すると、二つの無相関化器Ｄ1，Ｄ2を含む無相関化パート７２２’は、無相関化器信号Ｄ1(a*O1+b*O2)、Ｄ2(c*O1+d*O2)を生成することができる。
第三に、D11＝D1、D21＝0、D12＝0及びD22＝D2と仮定すれば、式１２は、次のように簡単になる。
Figure 2010511910
式１５−３によるダウンミックス処理ユニットが、図１０Ｃに示されている。図１０Ｃを参照すると、無相関化器Ｄ1，Ｄ2を含む無相関化パート７２２"は、無相関化された信号Ｄ1(Ｏ1)、Ｄ2(Ｏ2)を生成することができる。
１.３.２ ダウンミックス処理ユニットが２×３マトリクスに対応するミキシングパートを含む場合
上記の式１５は、次のように表現することができる。
Figure 2010511910
マトリクスＲは２×３マトリクス、マトリクスＯは３×１マトリクス、Ｃは２×１マトリクスを表す。
図１１は、図７に示すダウンミックス処理ユニットの第２実施例を示す構成図である。前述のように、ダウンミックス処理ユニットの第２実施例７２０ｂ（以下、“ダウンミックス処理ユニット７２０ｂ”と略す。）は、ダウンミックス処理ユニット７２０ａと同様、レンダリングモジュール９００の具現になりうる。図１１を参照すると、ダウンミックス処理ユニット７２０ｂは、モノラル入力信号（ｍ）である場合には入力信号をスキップし、ステレオ入力信号（Ｌ，Ｒ）の場合には入力信号を処理することができる。ダウンミックス処理ユニット７２０ｂは、無相関化パート７２２ｂ及びミキシングパート７２４ｂを含むことができる。無相関化パート７２２ｂは、入力信号Ｏ1、Ｏ2を無相関化し、無相関化された信号Ｄ(Ｏ1＋Ｏ2）として出力できる無相関化器Ｄを有する。無相関化パート７２２ｂは、１×２マトリクスに該当することができる。ミキシングパート７２４ｂは、入力信号及び無相関化された信号を各チャネルにマッピングすることができる。ミキシングパート７２４ｂは、式１６に表現されたマトリクスＲで表現された２×３マトリクスに該当することができる。
さらに、無相関化パート７２２ｂは、両入力信号（Ｏ1，Ｏ2）の共通信号として差分信号（Ｏ1−Ｏ2）を無相関化することができる。ミキシングパート７２４ｂは、入力信号及び無相関化された共通信号を各チャネルにマッピングすることができる。
１.３.３ ダウンミックス処理ユニットが、数個のマトリクスを有するミキシングパートを含む場合
特定オブジェクト信号は特定位置に位置せずに、とこでも類似な影響として聞こえることができ、これは‘空間音響信号（spatial sound signal）’と呼ばれる。例えば、コンサートホールの拍手または騒音が空間音響信号の一例である。空間音響信号は、全てのスピーカから再生される必要がある。もし、空間音響信号が全てのスピーカから同一信号として再生される場合、高い相互関連性（inter−correlation：ＩＣ）のために信号の空間感（spatialness）を感じにくい。したがって、無相関化された信号を各チャネル信号の信号に追加する必要がある。
図１２は、図７に示すダウンミックス処理ユニットの第３実施例を示す構成図である。図１２を参照すると、ダウンミックス処理ユニットの第３実施例７２０ｃ（以下、“ダウンミックス処理ユニット７２０ｃ”と略す。）は、入力信号Ｏiを用いて空間音響信号を生成できるが、ダウンミックス処理ユニットは、Ｎ個の無相関化器を有する無相関化パート７２２ｃ及びミキシングパート７２４ｃを含むことができる。無相関化パート７２２ｃは、入力信号Ｏiを無相関化できるＮ個の無相関化器Ｄ1、Ｄ2、…、ＤNを含むことができる。ミキシングパート７２４ｃは、入力信号Ｏi及び無相関化された信号ＤX(Ｏi)を用いて出力信号Ｃj，Ｃk，…，Ｃlを生成できるＮマトリクスＲj，Ｒk，…，Ｒlを含むことができる。マトリクスＲjは、下記の式のように表現することができる。
Figure 2010511910
ここで、Ｏiはｉ番目の入力信号、Ｒjは、ｉ番目の入力信号Ｏiがｊ番目のチャネルにマッピングされるマトリクス、Ｃj_iはｊ番目の出力信号を表す。θj_i値は、無相関化比率（rate）である。
θj_i値は、マルチチャネルパラメータに含まれたＩＣＣに基づいて推定することができる。なお、ミキシングパート７２４ｃは、情報生成ユニット７１０を介してユーザインタフェースから受信した無相関化比率θj_iを構成する空間感情報（spatialness）を基盤にして出力信号を生成できるが、本発明はこれに限定されない。
無相関化器の数（Ｎ）は、出力チャネルの数と同一にすることができる。一方、無相関化された信号は、ユーザにより選択された出力チャネルに追加することができる。例えば、空間音響信号を左側、右側、センターに位置させ、左側チャネルスピーカから空間音響信号として出力することができる。
１.３.４ ダウンミックス処理ユニットが追加ダウンミキシングパート（further downmixing part）を含む場合
図１３は、図７に示すダウンミックス処理ユニットの第４実施例を示す構成図である。ダウンミックス処理ユニットの第４実施例７２０ｄ（以下、“ダウンミックス処理ユニット７２０ｄ”と略す。）は、入力信号がモノラル信号（ｍ）に該当する場合にはバイパスすることができる。ダウンミックス処理ユニット７２０ｄは、入力信号がステレオ信号に該当する場合、ダウンミックス信号をモノラル信号にダウンミックスできる追加ダウンミキシングパート７２２ｄを含むことができる。追加にダウンミックスされたモノラルチャネル（ｍ）は、マルチチャネルデコーダ７３０に入力されて使用することができる。マルチチャネルデコーダ７３０は、モノラル入力信号を用いてオブジェクトパニング（特に、クロストーク）を制御することができる。この場合、情報生成ユニット７１０は、MPEG surround標準の５−１−５1構成を基盤にしてマルチチャネルパラメータを生成できる。
なお、上述した図２の任意的ダウンミックスゲイン（ＡＤＧ）のようなモノラルダウンミックスに対するゲインが適用されると、オブジェクトパニング及びオブジェクトゲインをより容易に制御することが可能である。ＡＤＧは、ミックス情報を基盤にして情報生成ユニット７１０により生成することができる。
２．チャネル信号のアップミキシング及びオブジェクト信号の制御
図１４は、本発明の第２実施例による圧縮されたオーディオ信号のビットストリーム構造を例示するブロック図である。図１５は、本発明の第２実施例によるオーディオ信号処理装置を例示する構成図である。図１４の（ａ）を参照すると、ダウンミックス信号（α）、マルチチャネルパラメータ（β）、オブジェクトパラメータ（γ）が、ビットストリーム構造に含まれている。マルチチャネルパラメータ（β）は、ダウンミックス信号をアップミキシングするためのパラメータである。一方、オブジェクトパラメータ（γ）は、オブジェクトパニング及びオブジェクトゲインを制御するためのパラメータである。図１４の（ｂ）を参照すると、ダウンミックス信号（α）、デフォルトパラメータ（β'）、オブジェクトパラメータ（γ）がビットストリーム構造に含まれている。デフォルトパラメータ（β'）は、オブジェクトゲイン及びオブジェクトパニングを制御するためのプリセット情報を含むことができる。プリセット情報は、エンコーダ側の製作者により提案された例に該当することができる。例えば、プリセット情報は、ギター（guitar）信号が左側及び右側間の地点に位置し、ギターのレベルが特定ボリュームに設定され、その時に出力チャネルの数が特定チャネルにセッティングされるということを記述することができる。各フレームまたは特定フレームに対するデフォルトパラメータがビットストリームに存在することができる。現フレームに対するデフォルトパラメータが以前フレームのデフォルトパラメータと異なるか否かを指示するフラグ情報が、ビットストリームに存在することができる。ビットストリームにデフォルトパラメータを含むことによって、オブジェクトパラメータを有する付加情報がビットストリームに含まれる場合よりも少ないビットレートで済むことができる。なお、ビットストリームのヘッダ情報は図１４では省略する。ビットストリームの順序は再整列することができる。
図１５を参照すると、本発明の第２実施例によるオーディオ信号処理装置１０００（以下、“デコーダ１０００”と略す。）は、ビットストリームデマルチプレクサ１００５、情報生成ユニット１０１０、ダウンミックス処理ユニット１０２０、及びマルチチャネルデコーダ１０３０を含むことができる。デマルチプレクサ１００５は、マルチプレクシングされたオーディオ信号を、ダウンミックス信号（α）、第１マルチチャネルパラメータ（β）、オブジェクトパラメータ（γ）に分離することができる。情報生成ユニット１０１０は、オブジェクトパラメータ（γ）及びミックスパラメータを用いて第２マルチチャネルパラメータを生成できる。ミックスパラメータは、第１マルチチャネル情報（β）が、処理されたダウンミックスに適用されるか否かを指示するモード情報を含む。モード情報は、ユーザによる選択のための情報に該当することができる。モード情報に応じて、情報生成情報１０２０は、第１マルチチャネルパラメータ（β）を伝送するか、或いは、第２マルチチャネルパラメータを伝送するかを決定する。
ダウンミックス処理ユニット１０２０は、ミックス情報に含まれたモード情報に基づいてプロセシング方式を決定することができる。さらに、ダウンミックス処理ユニット１０２０は、決定されたプロセシング方式によってダウンミックス（α）を処理することができる。そして、ダウンミックス処理ユニット１０２０は、処理されたダウンミックスをマルチチャネルデコーダ１０３０に伝達する。
マルチチャネルデコーダ１０３０は、第１マルチチャネルパラメータ（β）または第２マルチチャネルパラメータを受信することができる。デフォルトパラメータ（β'）がビットストリームに含まれた場合には、マルチチャネルデコーダ１０３０は、マルチチャネルパラメータ（β）の代わりに、デフォルトパラメータ（β'）を用いることができる。
マルチチャネルデコーダ１０３０は、処理されたダウンミックス信号及び受信したマルチチャネルパラメータを用いてマルチチャネル出力を生成する。マルチチャネルデコーダ１０３０は、上記したマルチチャネルデコーダ７３０と同じ構成を有することができるが、本発明はこれに限定されない。
３．バイノーラルプロセシング
マルチチャネルデコーダはバイノーラルモードで動作することができる。これは、頭部伝達関数（Head Related Transfer Function：ＨＲＴＦ）フィルタリングによってヘッドホンにおいてマルチチャネル効果を可能にする。バイノーラルデコーディング側において、ダウンミックス信号及びマルチチャネルパラメータは、デコーダに提供されるＨＲＴＦフィルタと組み合わせて使用される。
図１６は、本発明の第３実施例によるオーディオ信号処理装置を例示する構成図である。図１６を参照すると、オーディオ信号処理装置の第３実施例（以下、“デコーダ１１００”と略す。）は、情報生成ユニット１１１０、ダウンミックス処理ユニット１１２０、及び同期マッチングパート１１３０ａを有するマルチチャネルデコーダ１１３０を含むことができる。
情報生成ユニット１１１０は、動的ＨＲＴＦを生成するもので、図７の情報生成ユニット７１０と同じ構成を有することができる。ダウンミックス処理ユニット１１２０は、図７のダウンミックス処理ユニット７２０と同じ構成を有することができる。上の構成要素のように、同期マッチングパート１１３０ａを除いてマルチチャネルデコーダ１１３０は、上の構成要素と同一な場合である。したがって、情報生成ユニット１１１０、及びダウンミックス処理ユニット１１２０、及びマルチチャネルデコーダ１１３０の具体的な説明は省略する。
動的ＨＲＴＦは、ＨＲＴＦ方位角（azimuth）及び仰角（elevation angles）に対応する、オブジェクト信号と仮想スピーカ信号との関係を記述するもので、実時間ユーザコントロールに対応する時間従属（time dependent）情報である。
マルチチャネルデコーダがＨＲＴＦフィルタセット全体を含む場合、動的ＨＲＴＦは、ＨＲＴＦフィルタ係数それ自体、パラメータ化された係数情報、及びインデックス情報のうちいずれか一つに該当することができる。
動的ＨＲＴＦの種類によらず、動的ＨＲＴＦ情報はダウンミックスフレームとマッチングされる必要がある。ＨＲＴＦ情報とダウンミックス信号とのマッチングのために、次のような３種類の方式を提供することができる。
１）各ＨＲＴＦ情報及びビットストリームダウンミックス信号にタグ情報を挿入し、この挿入されたタグ情報に基づいてＨＲＴＦにビットストリームダウンミックス信号をマッチングさせる。この方式で、タグ情報は、MPEG surround標準における補助フィールド（ancillary filed）に挿入されることが好ましい。タグ情報は、時間情報、計数器（counter）情報、インデックス情報などで表現することができる。
２）ＨＲＴＦ情報をビットストリームのフレームに挿入する。この方式で、現在フレームがデフォルトモードに該当するかどうかを指示するモード情報を設定することが可能である。現在フレームのＨＲＴＦ情報が以前フレームのＨＲＴＦ情報と同一か否かを表すデフォルトモードが適用されると、ＨＲＴＦ情報のビットレートを低減させることができる。
２−１）さらに、現在フレームのＨＲＴＦ情報が既に伝送されたか否かを表す伝送情報（transmission information）を定義することが可能である。もし、現在フレームのＨＲＴＦ情報が、伝送されたＨＲＴＦ情報と同じであるか否かを指示する伝送情報が適用される場合、ＨＲＴＦ情報のビットレートを低減させることができる。
２−２）まず、いくつかのＨＲＴＦ情報を伝送した後、既に伝送されたＨＲＴＦのうちどのＨＲＴＦであるかを指示する識別情報をフレームごとに伝送する。
なお、ＨＲＴＦ係数が突然に変わる場合、歪が生じることがある。この歪を減らすために、係数またはレンダリングされた信号のスムージングを行なうことが好ましい。
４．レンダリング
図１７は、本発明の第４実施例によるオーディオ処理装置を例示する構成図である。第４実施例によるオーディオ信号処理装置１２００（以下、“プロセッサ１２００”と略す。）は、エンコーダ側１２００Ａにおいてエンコーダ１２１０を含み、デコーダ側１２００Ｂにおいてレンダリングユニット１２２０及び合成ユニット１２３０を含むことができる。エンコーダ１２１０は、マルチチャネルオブジェクト信号を受信し、オーディオ信号のダウンミックス信号及び付加情報を生成することができる。レンダリングユニット１２２０は、エンコーダ１２１０から付加情報を、装置設定またはユーザインタフェースから再生設定及びユーザコントロールを受信し、付加情報、再生設定、ユーザコントロールを用いてレンダリング情報を生成する。合成ユニット１２３０は、レンダリング情報及びエンコーダ１２１０から受信したダウンミックス信号を用いてマルチチャネル出力信号を合成する。
４.１ エフェクトモード（effect mode）適用
エフェクトモード（effect mode）は、リミックスされた信号または復元された信号についてのモードである。例えば、ライブモード（live mode）、クラブバンドモード（club band mode）、カラオケモード（karaoke mode）などが存在できる。エフェクトモード情報は、製作者または他のユーザにより生成されたミックスパラメータセットに該当できる。エフェクトモード情報が適用されると、ユーザが、あらかじめ定義されたエフェクトモード情報から一つを選択できるため、最終ユーザは全体的にオブジェクトパニング及びオブジェクトゲインを制御する必要がない。
エフェクトモード情報を生成する方法は、２種類に区別することができる。その一つは、エフェクトモード情報を、エンコーダ１２００Ａで生成されてデコーダ１２００Ｂに伝送することができる。他の一つは、エフェクトモード情報を、デコーダ側で自動的に生成することができる。この２種類の方式を以下に詳細に説明する。
４.１.１ エフェクトモード情報をデコーダ側に伝送
エフェクトモード情報は、製作者によりエンコーダ１２００Ａで生成することができる。この方法によると、デコーダ１２００Ｂは、エフェクトモード情報を含む付加情報を受信し、ユーザがエフェクトモード情報からいずれかを選択できるようにユーザインタフェースを出力する。デコーダ１２００Ｂは、選択されたエフェクトモード情報を基盤にして出力チャネルを生成することができる。
一方、エンコーダ１２００Ａが、オブジェクト信号の品質を高めるために信号をダウンミックスする場合、聴取者がダウンミックス信号をそのまま聞くことは適切でない。しかし、エフェクトモード情報がデコーダ１２００Ｂで適用されると、最高の品質でダウンミックス信号を再生することが可能である。
４.１.２ 効果情報をデコーダ側で生成
エフェクトモード情報はデコーダ１２００Ｂで生成することができる。デコーダ１２００Ｂは、ダウンミックス信号に対して適切なエフェクトモード情報を検索することができる。そして、デコーダ１２００Ｂは、検索されたエフェクトモードの中から一つを自分で選択したり（自動調節モード:automatic adjustment mode）、それらのモードから一つをユーザに選択させることができる（ユーザ選択モード:user selection mode）。デコーダ１２００Ｂは、付加情報に含まれたオブジェクト情報（オブジェクトの数、楽器名など）を獲得し、選択されたエフェクトモード情報及びオブジェクト情報に基づいてオブジェクトを制御することができる。
一方、類似なオブジェクトを一括して制御することが可能である。例えば、リズムに関連する楽器は、リズム強調モード（rhythm impression mode）において互いに類似なオブジェクトになりうる。‘一括して制御する’ということは、同一パラメータを用いてオブジェクトを制御するというよりは、各オブジェクトを同時に制御するということを意味する。
一方、デコーダ設定または装置環境（ヘッドホンまたはスピーカを含む）を基盤にオブジェクトを制御できる。例えば、装置のボリューム設定が低い場合、メインメロディに該当するオブジェクトを強調することができ、装置のボリューム設定が高い場合、メインメロディに該当するオブジェクトは抑えられることができる。
４.２ エンコーダへの入力信号のオブジェクトタイプ
エンコーダ１２００Ａに入力される入力信号は、下記の３通りに分類することができる。
１）モノラルオブジェクト（モノラルチャネルオブジェクト）
モノラルオブジェクトは、オブジェクトの一般的なタイプである。オブジェクトを単純に結合することによって内部ダウンミックス信号を合成することが可能である。ユーザコントロール及び提供された情報のうちの一つになりうるオブジェクトゲイン及びオブジェクトパニングを用いて内部ダウンミックス信号を合成することも可能である。内部ダウンミックス信号を生成するにおいて、オブジェクト特性、ユーザ入力、オブジェクトと一緒に提供された情報のうち一つ以上を用いてレンダリング情報を生成することも可能である。
外部ダウンミックス信号が存在する場合、外部ダウンミックス及びオブジェクトとの関係を指示する情報を抽出して伝送することができる。
２）ステレオオブジェクト（ステレオチャネルオブジェクト）
上記モノラルオブジェクトの場合と同様に、オブジェクトを単純に結合することによって内部ダウンミックス信号を合成することが可能である。ユーザコントロール及び提供された情報のうちの一つになりうるオブジェクトゲイン及びオブジェクトパニングを用いて、内部ダウンミックス信号を合成することも可能である。ダウンミックス信号がモノラル信号に該当する場合、エンコーダ１２００Ａは、ダウンミックス信号を生成するためにモノラル信号に変換されたオブジェクトを用いることが可能である。この場合、モノラル信号への変換において、オブジェクトと関連した情報（例：各時間−周波数領域でのパニング情報）を抽出して伝達することができる。上のモノラルオブジェクトと同様に、内部ダウンミックス信号の生成において、オブジェクト特性、ユーザ入力、及びオブジェクトと共に提供された情報のうち一つ以上を用いてレンダリング情報を生成することも可能である。上記モノラルオブジェクトと同様に、外部ダウンミックスが存在する場合、外部ダウンミックス及びオブジェクト間の関係を指示する情報を抽出して伝達することも可能である。
３）マルチチャネルオブジェクト
マルチチャネルオブジェクトの場合、モノラルオブジェクト及びステレオオブジェクトと一緒に上に言及された方法を行なうことができる。なおさら、MPEG surroundの形態としてマルチチャネルオブジェクトを入力することが可能である。この場合、オブジェクトダウンミックスチャネルを用いてオブジェクト基盤のダウンミックス（例：ＳＡＯＣダウンミックス）を生成することが可能であり、マルチチャネル情報及びレンダリング情報を生成するためにマルチチャネル情報（例：MPEG Surroundの空間情報）を利用することが可能である。したがって、MPEG surroundの形態として存在するマルチチャネルオブジェクトは、オブジェクト基盤のダウンミックス（例：ＳＡＯＣダウンミックス）を用いてデコーディングされたりエンコーディングされる必要がなく、よって、演算量を減らすことができる。オブジェクトダウンミックスがステレオに該当し、オブジェクト基盤ダウンミックス（ＳＡＯＣダウンミックス）がモノラルに該当する場合、ステレオオブジェクトと一緒に上述した方法を適用することが可能である。
４）様々なタイプのオブジェクトに対する伝送方式
前述したように、様々なタイプのオブジェクト（モノラルオブジェクト、ステレオオブジェクト、及びマルチチャネルオブジェクト）は、エンコーダ１２００Ａからデコーダ１２００Ｂに伝送される。様々なタイプのオブジェクトを伝送する方式は、下記の通りである。
図１８を参照すると、ダウンミックスが複数のオブジェクトを含む時、付加情報は各オブジェクトに関する情報を含む。例えば、複数のオブジェクトがＮ番目のモノラルオブジェクト（Ａ）、Ｎ＋１番目のオブジェクトの左側チャネル（Ｂ）、Ｎ＋１番目のオブジェクトの右側チャネル（Ｃ）で構成される場合、付加情報は、３個のオブジェクト（Ａ、Ｂ、Ｃ）に対する情報を含む。
上記付加情報は、オブジェクトがステレオまたはマルチチャネルのオブジェクトの一部分（例えば、モノラルオブジェクト、ステレオオブジェクトのいずれかのチャネル（ＬまたはＲ）、等）であるか否かを表す相関性フラグ情報（correlation flag information）を含むことができる。例えば、モノラルオブジェクトが存在する場合、相関性フラグ情報が‘０’であり、ステレオオブジェクトのいずれかのチャネルが存在する場合、相関性フラグ情報が‘１’である。ステレオオブジェクトの一部分とステレオオブジェクトの他の部分が連続して伝送される場合、ステレオオブジェクトの他の部分に対する相関性情報はいずれの値（例：０、１、またはその他）になっても良い。なお、ステレオオブジェクトの他の部分に対する相関性フラグ情報は伝送されなくて良い。
なお、マルチチャネルオブジェクトの場合、マルチチャネルオブジェクトの一部分に対する相関性フラグ情報は、マルチチャネルオブジェクトの個数を記述する値でありうる。例えば、５．１チャネルオブジェクトの場合、５．１チャネルの左側チャネルに対する相関性情報は‘５’になることができ、５．１チャネルの他のチャネル（Ｒ、Ｌｒ、Ｒｒ、Ｃ、ＬＦＥ）に対する相関性情報は‘０’になるか、伝送されない。
４.３ オブジェクト属性
オブジェクトは、下記のような３種類の属性を有することができる。
ａ）シングルオブジェクト（single object）
シングルオブジェクトはソースとして構成することができる。ダウンミックス信号を生成したり再生したりするにあたり、オブジェクトパニング及びオブジェクトゲインを制御するために、一つのパラメータをシングルオブジェクトに適用することができる。この‘一つのパラメータ’は、あらゆる時間及び周波数領域に対して一つという意味だけでなく、各時間周波数スロットに対して一つのパラメータであるという意味を有する。
ｂ）グルーピングされたオブジェクト（grouped object）
シングルオブジェクトは、２以上のソースで構成することができる。グルーピングされたオブジェクトが２以上のソースとして入力されても、オブジェクトパニング及びオブジェクトゲインを制御するためにグルーピングされたオブジェクトに対して一つのパラメータを適用することができる。グルーピングされたオブジェクトについて図１９を参照して詳細に説明する。図１９を参照すると、エンコーダ１３００は、グルーピングユニット１３１０及びダウンミックスユニット１３２０を含む。グルーピングユニット１３１０は、グルーピング情報に基づき、入力されたマルチオブジェクト入力のうち２以上のオブジェクトをグルーピングする。グルーピング情報はエンコーダ側で製作者により生成することができる。ダウンミックスユニット１３２０は、グルーピングユニット１３１０により生成されたグルーピングされたオブジェクトを用いてダウンミックス信号を生成する。ダウンミックスユニット１３２０は、グルーピングされたオブジェクトに対する付加情報を生成することができる。
ｃ）組合せオブジェクト（combination object）
組合せオブジェクトは、一つ以上のソースと組み合わせられたオブジェクトである。組み合わせられたオブジェクト間の関係は変化させずに、オブジェクトパニング及びオブジェクトゲインを一括して（in a lump）制御することが可能である。例えば、ドラムの場合、バスドラム（bass drum）、タムタム（tam-tam）、シンボル（symbol）間の関係を変化させずに、ドラムを制御することが可能である。例えば、バスドラムが中央に位置し、シンボルが左側地点に位置する時、ドラムが右側方向へ移動する場合、バスドラムは右側地点に位置させ、シンボルは中央と右側との中間地点に位置させることが可能である。
組み合わせられたオブジェクト間の関係情報は、デコーダに伝送することができ、デコーダは、組合せオブジェクトを用いて上記の関係情報を抽出することができる。
４.４ 階層的にオブジェクトを制御
オブジェクトを階層的に制御することが可能である。例えば、ドラムを制御した後に、ドラムの各サブ−エレメント（sub‐element）を制御できる。階層的にオブジェクトを制御するために、下記の３通りの方式が提供される。
ａ）ＵＩ（ユーザインタフェース）
全てのオブジェクトをディスプレイするのではなく、代表的なエレメントのみをディスプレイすることができる。もし、ユーザにより代表エレメントが選択されると、全てのオブジェクトがディスプレイされる。
ｂ）オブジェクトグルーピング
代表エレメントを表すためにオブジェクトをグルーピングした後に、代表エレメントとしてグルーピングされた全てのオブジェクトを制御する目的に代表エレメントを制御することが可能である。グルーピングする過程で抽出された情報は、デコーダに伝送することができる。また、グルーピング情報がデコーダで生成されても良い。一括した制御情報の適用は、各エレメントに対するあらかじめ決定された制御情報に基づいて行なわれることができる。
ｃ）オブジェクト構成（object configuration）
上述した組合せオブジェクトを利用することが可能である。組合せオブジェクトのエレメントに関する情報は、エンコーダまたはデコーダで生成することができる。エンコーダにおけるエレメントに関する情報は、組合せオブジェクトに関する情報とは異なる方式で伝送することができる。
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。

Claims (20)

  1. ダウンミックス信号、オブジェクト情報及びミックス情報を受信する段階と、
    前記オブジェクト情報及び前記ミックス情報を用いて、一つ以上のゲイン変形ファクタを含むマルチチャネル情報を生成する段階と、
    を含み、
    前記ゲイン変形ファクタは、前記ダウンミックス信号のゲインを制御するための時間−サブバンド変化ファクタに該当することを特徴とする、オーディオ信号処理方法。
  2. 前記ダウンミックス信号がモノラル信号に該当する時、前記マルチチャネル情報を生成する段階が行なわれることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  3. 前記ゲイン変形ファクタは、前記ミックス情報及び前記オブジェクト情報を基盤に推定された第１ゲインと、前記オブジェクト情報を基盤に推定された第２ゲインとの比率を表すことを特徴とする、請求項１に記載のオーディオ信号処理方法。
  4. 前記ゲイン変形ファクタを含む前記マルチチャネル情報を用いてマルチチャネルビットストリームを生成する段階をさらに含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
  5. 前記オブジェクト情報及び前記ミックス情報を用いてダウンミックスプロセシング情報を生成する段階と、
    前記ダウンミックスプロセシング情報を用いて前記ダウンミックス信号を処理する段階と、
    をさらに含み、
    前記ダウンミックス信号がステレオ信号に該当する場合、前記ダウンミックスプロセシング情報は、前記オブジェクトパニングを制御するための情報に該当することを特徴とする、請求項１に記載のオーディオ信号処理方法。
  6. 前記ミックス情報は、オブジェクト位置情報及び再生設定情報のうちの一つ以上を用いて生成されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  7. 前記ダウンミックス信号は、放送信号として受信されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  8. 前記ダウンミックス信号は、デジタル媒体を介して受信されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  9. オブジェクト情報及びミックス情報を受信する段階と、
    前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成する段階と、
    前記ミックス情報を用いて追加マルチチャネル情報を生成する段階と、
    前記マルチチャネル情報及び前記追加マルチチャネル情報を伝送する段階と、
    を含み、
    前記マルチチャネル情報は、ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当し、前記追加マルチチャネル情報は、前記マルチチャネル信号を変形するための情報に該当することを特徴とする、オーディオ信号処理方法。
  10. 前記追加マルチチャネル情報は、バイノーラル（binaural）モードのためのＨＲＴＦ情報を含むことを特徴とする、請求項９に記載のオーディオ信号処理方法。
  11. 前記ＨＲＴＦ情報は、特定時間にオブジェクトの仮想位置を表すことを特徴とする、請求項１０に記載のオーディオ信号処理方法。
  12. 前記ＨＲＴＦ情報は、ＨＲＴＦデータベースを用いて生成されたものであることを特徴とする、請求項１０に記載のオーディオ信号処理方法。
  13. 前記マルチチャネル情報を生成する段階及び前記追加マルチチャネル情報を生成する段階は、同じサブバンド領域で行なわれることを特徴とする、請求項９に記載のオーディオ信号処理方法。
  14. 前記追加マルチチャネル情報は、前記マルチチャネル情報と同期して伝送されることを特徴とする、請求項９に記載のオーディオ信号処理方法。
  15. 前記ダウンミックス信号は、放送信号として受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  16. 前記ダウンミックス信号は、デジタル媒体を介して受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  17. ダウンミックス信号、オブジェクト情報及びミックス情報を受信する段階と、
    前記オブジェクト情報及び前記ミックス情報を用いて、一つ以上のゲイン変形ファクタを含むマルチチャネル情報を生成する段階と、
    を含み、
    前記ゲイン変形ファクタは、前記ダウンミックス信号のゲインを制御するための時間−サブバンド変化ファクタに該当し、
    プロセッサが実行される時、前記プロセッサにより前記動作が行なわれる命令が記憶されている、コンピュータ読み取り可能媒体。
  18. オブジェクト情報及びミックス情報を受信する段階と、
    前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成する段階と、
    前記ミックス情報を用いて追加マルチチャネル情報を生成する段階と、
    前記マルチチャネル情報及び前記追加マルチチャネル情報を伝送する段階と、
    を含み、
    前記マルチチャネル情報は、ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当し、前記追加マルチチャネル情報は、前記マルチチャネル信号を変形するための情報に該当し、
    プロセッサが実行される時、前記プロセッサにより前記動作が行なわれる命令が記憶されている、コンピュータ読み取り可能媒体。
  19. ミックス情報を受信するユーザインタフェースと、
    オブジェクト情報及び前記ミックス情報を受信し、前記オブジェクト情報及び前記ミックス情報を用いて一つ以上のゲイン変形ファクタを含むマルチチャネル情報を生成する情報生成ユニットと、
    を含み、
    前記ゲイン変形ファクタは、前記ダウンミックス信号のゲインを制御するための時間−サブバンド変化ファクタに該当することを特徴とする、オーディオ信号処理装置。
  20. ミックス情報を受信するユーザインタフェースと、
    オブジェクト情報を受信し、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成し、前記ミックス情報を用いて追加マルチチャネル情報を生成し、前記マルチチャネル情報及び前記追加マルチチャネル情報を伝送する情報生成ユニットと、
    を含み、
    前記マルチチャネル情報は、ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当し、前記追加マルチチャネル情報は、前記マルチチャネル信号を変形するための情報に該当することを特徴とする、オーディオ信号処理装置。
JP2009540165A 2006-12-07 2007-12-06 オーディオ処理方法及び装置 Expired - Fee Related JP5270566B2 (ja)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US86907706P 2006-12-07 2006-12-07
US60/869,077 2006-12-07
US87713406P 2006-12-27 2006-12-27
US60/877,134 2006-12-27
US88356907P 2007-01-05 2007-01-05
US60/883,569 2007-01-05
US88404307P 2007-01-09 2007-01-09
US60/884,043 2007-01-09
US88434707P 2007-01-10 2007-01-10
US60/884,347 2007-01-10
US88458507P 2007-01-11 2007-01-11
US60/884,585 2007-01-11
US88534707P 2007-01-17 2007-01-17
US88534307P 2007-01-17 2007-01-17
US60/885,347 2007-01-17
US60/885,343 2007-01-17
US88971507P 2007-02-13 2007-02-13
US60/889,715 2007-02-13
US95539507P 2007-08-13 2007-08-13
US60/955,395 2007-08-13
PCT/KR2007/006317 WO2008069595A1 (en) 2006-12-07 2007-12-06 A method and an apparatus for processing an audio signal

Publications (2)

Publication Number Publication Date
JP2010511910A true JP2010511910A (ja) 2010-04-15
JP5270566B2 JP5270566B2 (ja) 2013-08-21

Family

ID=39492395

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2009540167A Expired - Fee Related JP5302207B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540165A Expired - Fee Related JP5270566B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540164A Active JP5450085B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540166A Expired - Fee Related JP5290988B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540163A Active JP5209637B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009540167A Expired - Fee Related JP5302207B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2009540164A Active JP5450085B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540166A Expired - Fee Related JP5290988B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540163A Active JP5209637B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置

Country Status (11)

Country Link
US (11) US8311227B2 (ja)
EP (6) EP2102857B1 (ja)
JP (5) JP5302207B2 (ja)
KR (5) KR101100222B1 (ja)
CN (5) CN101553867B (ja)
AU (1) AU2007328614B2 (ja)
BR (1) BRPI0719884B1 (ja)
CA (1) CA2670864C (ja)
MX (1) MX2009005969A (ja)
TW (1) TWI371743B (ja)
WO (5) WO2008069593A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507173A (ja) * 2013-01-15 2016-03-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． バイノーラルのオーディオ処理
JP2022544795A (ja) * 2019-08-19 2022-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオのバイノーラル化のステアリング

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2006126843A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
US8494667B2 (en) * 2005-06-30 2013-07-23 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
CA2613731C (en) * 2005-06-30 2012-09-18 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
CN101156065B (zh) * 2005-07-11 2010-09-29 松下电器产业株式会社 超声波探伤方法和超声波探伤装置
KR100953645B1 (ko) * 2006-01-19 2010-04-20 엘지전자 주식회사 미디어 신호 처리 방법 및 장치
JP2009526264A (ja) * 2006-02-07 2009-07-16 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
WO2008004812A1 (en) * 2006-07-04 2008-01-10 Electronics And Telecommunications Research Institute Apparatus and method for restoring multi-channel audio signal using he-aac decoder and mpeg surround decoder
JP5302207B2 (ja) * 2006-12-07 2013-10-02 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
CN101578658B (zh) * 2007-01-10 2012-06-20 皇家飞利浦电子股份有限公司 音频译码器
JP5541928B2 (ja) 2007-03-09 2014-07-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
KR20080082916A (ko) 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
CN103299363B (zh) * 2007-06-08 2015-07-08 Lg电子株式会社 用于处理音频信号的方法和装置
KR101569032B1 (ko) 2007-09-06 2015-11-13 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
WO2010008198A2 (en) * 2008-07-15 2010-01-21 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR101171314B1 (ko) * 2008-07-15 2012-08-10 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2010041877A2 (en) * 2008-10-08 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a signal
EP2356825A4 (en) 2008-10-20 2014-08-06 Genaudio Inc AUDIO SPACE AND ENVIRONMENT SIMULATION
US8861739B2 (en) * 2008-11-10 2014-10-14 Nokia Corporation Apparatus and method for generating a multichannel signal
KR20100065121A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010064877A2 (en) * 2008-12-05 2010-06-10 Lg Electronics Inc. A method and an apparatus for processing an audio signal
JP5309944B2 (ja) * 2008-12-11 2013-10-09 富士通株式会社 オーディオ復号装置、方法、及びプログラム
KR101187075B1 (ko) * 2009-01-20 2012-09-27 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US8620008B2 (en) 2009-01-20 2013-12-31 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR101137360B1 (ko) 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010087627A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US8255821B2 (en) * 2009-01-28 2012-08-28 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
TWI478149B (zh) * 2009-10-16 2015-03-21 Fraunhofer Ges Forschung 用以利用平均值而基於下混信號表示型態和與下混信號表示型態相關聯之參數側邊資訊來提供用於提供上混信號表示型態之一或多個經調整參數的裝置、方法與電腦程式
AU2010309867B2 (en) 2009-10-20 2014-05-08 Dolby International Ab Apparatus for providing an upmix signal representation on the basis of a downmix signal representation, apparatus for providing a bitstream representing a multichannel audio signal, methods, computer program and bitstream using a distortion control signaling
KR101106465B1 (ko) * 2009-11-09 2012-01-20 네오피델리티 주식회사 멀티밴드 ｄｒｃ 시스템의 게인 설정 방법 및 이를 이용한 멀티밴드 ｄｒｃ 시스템
RU2607267C2 (ru) * 2009-11-20 2017-01-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования, устройство для обеспечения битового потока, представляющего многоканальный звуковой сигнал, способы, компьютерные программы и битовый поток, представляющий многоканальный звуковой сигнал посредством использования параметра линейной комбинации
EP2511908A4 (en) * 2009-12-11 2013-07-31 Korea Electronics Telecomm AUDIO AUTOMATION DEVICE AND AUDIO REPRODUCTION DEVICE FOR A OBJECT-BASED AUDIO DEVICE AND AUDIO-AUTO PROCESS AND AUDIO REPRODUCTION PROCESS THEREWITH
WO2011083979A2 (en) 2010-01-06 2011-07-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
JP5720674B2 (ja) * 2010-03-29 2015-05-20 日立金属株式会社 初期超微結晶合金、ナノ結晶軟磁性合金及びその製造方法、並びにナノ結晶軟磁性合金からなる磁性部品
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
WO2012009851A1 (en) 2010-07-20 2012-01-26 Huawei Technologies Co., Ltd. Audio signal synthesizer
US8948403B2 (en) * 2010-08-06 2015-02-03 Samsung Electronics Co., Ltd. Method of processing signal, encoding apparatus thereof, decoding apparatus thereof, and signal processing system
JP5903758B2 (ja) * 2010-09-08 2016-04-13 ソニー株式会社 信号処理装置および方法、プログラム、並びにデータ記録媒体
ES2984840T3 (es) 2011-07-01 2024-10-31 Dolby Laboratories Licensing Corp Sistema y método para la generación, codificación e interpretación informática (o renderización) de señales de audio adaptativo
KR101958227B1 (ko) * 2011-07-01 2019-03-14 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
EP2560161A1 (en) 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
CN103050124B (zh) 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
US9966080B2 (en) * 2011-11-01 2018-05-08 Koninklijke Philips N.V. Audio object encoding and decoding
WO2013108200A1 (en) * 2012-01-19 2013-07-25 Koninklijke Philips N.V. Spatial audio rendering and encoding
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
US9564138B2 (en) 2012-07-31 2017-02-07 Intellectual Discovery Co., Ltd. Method and device for processing audio signal
KR20140017338A (ko) * 2012-07-31 2014-02-11 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 장치 및 방법
BR112015002367B1 (pt) * 2012-08-03 2021-12-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev Decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix
BR122021021494B1 (pt) * 2012-09-12 2022-11-16 Fraunhofer - Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho e método para fornecer capacidades melhoradas de downmix guiado para áudio 3d
US9344050B2 (en) * 2012-10-31 2016-05-17 Maxim Integrated Products, Inc. Dynamic speaker management with echo cancellation
MX368349B (es) 2012-12-04 2019-09-30 Samsung Electronics Co Ltd Aparato de suministro de audio y metodo de suministro de audio.
WO2014111829A1 (en) 2013-01-17 2014-07-24 Koninklijke Philips N.V. Binaural audio processing
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
US9208775B2 (en) 2013-02-21 2015-12-08 Qualcomm Incorporated Systems and methods for determining pitch pulse period signal boundaries
WO2014141577A1 (ja) 2013-03-13 2014-09-18 パナソニック株式会社 オーディオ再生装置およびオーディオ再生方法
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
CN104982042B (zh) 2013-04-19 2018-06-08 韩国电子通信研究院 多信道音频信号处理装置及方法
EP2989631A4 (en) 2013-04-26 2016-12-21 Nokia Technologies Oy AUDIO SIGNAL ENCODER
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
CN116935865A (zh) 2013-05-24 2023-10-24 杜比国际公司 对音频场景进行解码的方法以及计算机可读介质
CN110223702B (zh) 2013-05-24 2023-04-11 杜比国际公司 音频解码系统和重构方法
EP3270375B1 (en) 2013-05-24 2020-01-15 Dolby International AB Reconstruction of audio scenes from a downmix
US20140358565A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Compression of decomposed representations of a sound field
KR101454342B1 (ko) * 2013-05-31 2014-10-23 한국산업은행 서라운드 채널 오디오 신호를 이용한 추가 채널 오디오 신호 생성 장치 및 방법
KR101984356B1 (ko) * 2013-05-31 2019-12-02 노키아 테크놀로지스 오와이 오디오 장면 장치
EP2830333A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
EP2830048A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
MY195412A (en) 2013-07-22 2023-01-19 Fraunhofer Ges Forschung Multi-Channel Audio Decoder, Multi-Channel Audio Encoder, Methods, Computer Program and Encoded Audio Representation Using a Decorrelation of Rendered Audio Signals
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
TWI634547B (zh) 2013-09-12 2018-09-01 瑞典商杜比國際公司 在包含至少四音訊聲道的多聲道音訊系統中之解碼方法、解碼裝置、編碼方法以及編碼裝置以及包含電腦可讀取的媒體之電腦程式產品
ES2932422T3 (es) 2013-09-17 2023-01-19 Wilus Inst Standards & Tech Inc Método y aparato para procesar señales multimedia
EP3074970B1 (en) * 2013-10-21 2018-02-21 Dolby International AB Audio encoder and decoder
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
WO2015060654A1 (ko) 2013-10-22 2015-04-30 한국전자통신연구원 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
CN108712711B (zh) 2013-10-31 2021-06-15 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
JP6151866B2 (ja) 2013-12-23 2017-06-21 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置
WO2015104447A1 (en) 2014-01-13 2015-07-16 Nokia Technologies Oy Multi-channel audio signal classifier
CN108600935B (zh) 2014-03-19 2020-11-03 韦勒斯标准与技术协会公司 音频信号处理方法和设备
KR101856540B1 (ko) 2014-04-02 2018-05-11 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
CN110636415B (zh) 2014-08-29 2021-07-23 杜比实验室特许公司 用于处理音频的方法、系统和存储介质
CN106688253A (zh) * 2014-09-12 2017-05-17 杜比实验室特许公司 在包括环绕扬声器和/或高度扬声器的再现环境中呈现音频对象
TWI587286B (zh) 2014-10-31 2017-06-11 杜比國際公司 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體
US9609383B1 (en) * 2015-03-23 2017-03-28 Amazon Technologies, Inc. Directional audio for virtual environments
CN107787584B (zh) * 2015-06-17 2020-07-24 三星电子株式会社 处理低复杂度格式转换的内部声道的方法和装置
CN111970629B (zh) 2015-08-25 2022-05-17 杜比实验室特许公司 音频解码器和解码方法
CN109427337B (zh) 2017-08-23 2021-03-30 华为技术有限公司 立体声信号编码时重建信号的方法和装置
US11004457B2 (en) * 2017-10-18 2021-05-11 Htc Corporation Sound reproducing method, apparatus and non-transitory computer readable storage medium thereof
DE102018206025A1 (de) * 2018-02-19 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering
KR102471718B1 (ko) * 2019-07-25 2022-11-28 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
CN111654745B (zh) * 2020-06-08 2022-10-14 海信视像科技股份有限公司 多声道的信号处理方法及显示设备
WO2021252748A1 (en) * 2020-06-11 2021-12-16 Dolby Laboratories Licensing Corporation Encoding of multi-channel audio signals comprising downmixing of a primary and two or more scaled non-primary input channels

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006084916A2 (en) * 2005-02-14 2006-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Parametric joint-coding of audio sources

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1982004314A1 (en) 1981-05-29 1982-12-09 Sturm Gary V Aspirator for an ink jet printer
FR2567984B1 (fr) * 1984-07-20 1986-08-14 Centre Techn Ind Mecanique Distributeur hydraulique proportionnel
ES2087522T3 (es) 1991-01-08 1996-07-16 Dolby Lab Licensing Corp Descodificacion/codificacion para campos sonoros multidimensionales.
US6141446A (en) 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
EP0798866A2 (en) 1996-03-27 1997-10-01 Kabushiki Kaisha Toshiba Digital data processing system
US6128597A (en) 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
US6131084A (en) 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
US6625587B1 (en) 1997-06-18 2003-09-23 Clarity, Llc Blind signal separation
US6026168A (en) 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
EP1072036B1 (en) 1998-04-15 2004-09-22 STMicroelectronics Asia Pacific Pte Ltd. Fast frame optimisation in an audio encoder
US6122619A (en) 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
FI114833B (fi) * 1999-01-08 2004-12-31 Nokia Corp Menetelmä, puhekooderi ja matkaviestin puheenkoodauskehysten muodostamiseksi
US7103187B1 (en) * 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
US6539357B1 (en) 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
BR0109017A (pt) 2000-03-03 2003-07-22 Cardiac M R I Inc Aparelho para análise de espécimes por ressonância magnética
EP1295511A2 (en) 2000-07-19 2003-03-26 Koninklijke Philips Electronics N.V. Multi-channel stereo converter for deriving a stereo surround and/or audio centre signal
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7032116B2 (en) 2001-12-21 2006-04-18 Intel Corporation Thermal management for computer systems running legacy or thermal management operating systems
US8498422B2 (en) 2002-04-22 2013-07-30 Koninklijke Philips N.V. Parametric multi-channel audio representation
KR100978018B1 (ko) 2002-04-22 2010-08-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 오디오의 파라메터적 표현
JP4013822B2 (ja) 2002-06-17 2007-11-28 ヤマハ株式会社 ミキサ装置およびミキサプログラム
EP1523863A1 (en) 2002-07-16 2005-04-20 Koninklijke Philips Electronics N.V. Audio coding
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
JP4084990B2 (ja) 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
JP4496379B2 (ja) 2003-09-17 2010-07-07 財団法人北九州産業学術推進機構 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US6937737B2 (en) 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
TWI233091B (en) 2003-11-18 2005-05-21 Ali Corp Audio mixing output device and method for dynamic range control
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
CA2556575C (en) * 2004-03-01 2013-07-02 Dolby Laboratories Licensing Corporation Multichannel audio coding
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
EP1768107B1 (en) 2004-07-02 2016-03-09 Panasonic Intellectual Property Corporation of America Audio signal decoding device
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100745688B1 (ko) 2004-07-09 2007-08-03 한국전자통신연구원 다채널 오디오 신호 부호화/복호화 방법 및 장치
WO2006006809A1 (en) 2004-07-09 2006-01-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and cecoding multi-channel audio signal using virtual source location information
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
EP1769491B1 (en) * 2004-07-14 2009-09-30 Koninklijke Philips Electronics N.V. Audio channel conversion
CN102122508B (zh) 2004-07-14 2013-03-13 皇家飞利浦电子股份有限公司 方法、装置、编码器设备、译码器设备和音频系统
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
KR100682904B1 (ko) * 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
RU2407073C2 (ru) * 2005-03-30 2010-12-20 Конинклейке Филипс Электроникс Н.В. Кодирование многоканального аудио
US20060262936A1 (en) * 2005-05-13 2006-11-23 Pioneer Corporation Virtual surround decoder apparatus
KR20060122693A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 다운믹스된 오디오 신호에 공간 정보 비트스트림을삽입하는 프레임 크기 조절방법
WO2006126858A2 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method of encoding and decoding an audio signal
MX2007015118A (es) 2005-06-03 2008-02-14 Dolby Lab Licensing Corp Aparato y metodo para codificacion de senales de audio con instrucciones de decodificacion.
US20070055510A1 (en) 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
EP1920437A4 (en) 2005-07-29 2010-01-06 Lg Electronics Inc METHOD FOR SIGNALING CUTTING INFORMATION
US20070083365A1 (en) 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
EP1640972A1 (en) 2005-12-23 2006-03-29 Phonak AG System and method for separation of a users voice from ambient sound
EP1971978B1 (en) 2006-01-09 2010-08-04 Nokia Corporation Controlling the decoding of binaural audio signals
JP4399835B2 (ja) * 2006-07-07 2010-01-20 日本ビクター株式会社 音声符号化方法及び音声復号化方法
EP2112652B1 (en) 2006-07-07 2012-11-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for combining multiple parametrically coded audio sources
KR101396140B1 (ko) 2006-09-18 2014-05-20 코닌클리케 필립스 엔.브이. 오디오 객체들의 인코딩과 디코딩
MX2008012315A (es) * 2006-09-29 2008-10-10 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basados en objeto.
MY144273A (en) 2006-10-16 2011-08-29 Fraunhofer Ges Forschung Apparatus and method for multi-chennel parameter transformation
MX2009003570A (es) * 2006-10-16 2009-05-28 Dolby Sweden Ab Codificacion mejorada y representacion de parametros para codificacion de objetos de mezcla descendente de multicanal.
JP5302207B2 (ja) * 2006-12-07 2013-10-02 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006084916A2 (en) * 2005-02-14 2006-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Parametric joint-coding of audio sources

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507173A (ja) * 2013-01-15 2016-03-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． バイノーラルのオーディオ処理
US9860663B2 (en) 2013-01-15 2018-01-02 Koninklijke Philips N.V. Binaural audio processing
US10334379B2 (en) 2013-01-15 2019-06-25 Koninklijke Philips N.V. Binaural audio processing
US10334380B2 (en) 2013-01-15 2019-06-25 Koninklijke Philips N.V. Binaural audio processing
US10506358B2 (en) 2013-01-15 2019-12-10 Koninklijke Philips N.V. Binaural audio processing
JP2022544795A (ja) * 2019-08-19 2022-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオのバイノーラル化のステアリング
JP7586573B2 (ja) 2019-08-19 2024-11-19 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオのバイノーラル化のステアリング

Also Published As

Publication number Publication date
EP2187386B1 (en) 2020-02-05
CN101553867A (zh) 2009-10-07
US20080205657A1 (en) 2008-08-28
US8340325B2 (en) 2012-12-25
EP2122613A4 (en) 2010-01-13
CN101553868A (zh) 2009-10-07
CN101553866A (zh) 2009-10-07
KR20090098866A (ko) 2009-09-17
CN101553865B (zh) 2012-01-25
KR20090098865A (ko) 2009-09-17
TWI371743B (en) 2012-09-01
US8005229B2 (en) 2011-08-23
US20100010818A1 (en) 2010-01-14
KR20090098864A (ko) 2009-09-17
US7783048B2 (en) 2010-08-24
JP5290988B2 (ja) 2013-09-18
JP5302207B2 (ja) 2013-10-02
WO2008069595A1 (en) 2008-06-12
EP2122613B1 (en) 2019-01-30
EP2187386A3 (en) 2010-07-28
JP2010511912A (ja) 2010-04-15
JP5270566B2 (ja) 2013-08-21
BRPI0719884A2 (pt) 2014-02-11
US7783050B2 (en) 2010-08-24
CN101553867B (zh) 2013-04-17
EP2102857A4 (en) 2010-01-20
US20090281814A1 (en) 2009-11-12
KR101111521B1 (ko) 2012-03-13
JP5450085B2 (ja) 2014-03-26
EP2102858A1 (en) 2009-09-23
US20080205671A1 (en) 2008-08-28
US20100010819A1 (en) 2010-01-14
JP2010511908A (ja) 2010-04-15
EP2122612A4 (en) 2010-01-13
CN101553865A (zh) 2009-10-07
JP2010511911A (ja) 2010-04-15
AU2007328614B2 (en) 2010-08-26
US8428267B2 (en) 2013-04-23
US20080192941A1 (en) 2008-08-14
EP2102857B1 (en) 2018-07-18
CA2670864A1 (en) 2008-06-12
KR101100223B1 (ko) 2011-12-28
EP2102857A1 (en) 2009-09-23
JP2010511909A (ja) 2010-04-15
CN101568958A (zh) 2009-10-28
WO2008069594A1 (en) 2008-06-12
KR20090098863A (ko) 2009-09-17
TW200834544A (en) 2008-08-16
JP5209637B2 (ja) 2013-06-12
EP2102856A1 (en) 2009-09-23
EP2122612A1 (en) 2009-11-25
KR20090100386A (ko) 2009-09-23
EP2122612B1 (en) 2018-08-15
CN101568958B (zh) 2012-07-18
WO2008069596A1 (en) 2008-06-12
US20100014680A1 (en) 2010-01-21
EP2102856A4 (en) 2010-01-13
AU2007328614A1 (en) 2008-06-12
US20100010820A1 (en) 2010-01-14
US7986788B2 (en) 2011-07-26
KR101111520B1 (ko) 2012-05-24
US7715569B2 (en) 2010-05-11
US8311227B2 (en) 2012-11-13
US8488797B2 (en) 2013-07-16
EP2102858A4 (en) 2010-01-20
KR101100222B1 (ko) 2011-12-28
KR101128815B1 (ko) 2012-03-27
US20100010821A1 (en) 2010-01-14
BRPI0719884B1 (pt) 2020-10-27
US7783049B2 (en) 2010-08-24
WO2008069597A1 (en) 2008-06-12
CA2670864C (en) 2015-09-29
US20080199026A1 (en) 2008-08-21
US7783051B2 (en) 2010-08-24
CN101553868B (zh) 2012-08-29
MX2009005969A (es) 2009-06-16
WO2008069593A1 (en) 2008-06-12
CN101553866B (zh) 2012-05-30
EP2187386A2 (en) 2010-05-19
US20080205670A1 (en) 2008-08-28
EP2122613A1 (en) 2009-11-25

Similar Documents

Publication Publication Date Title
JP5209637B2 (ja) オーディオ処理方法及び装置
RU2417549C2 (ru) Способ и устройство для обработки аудиосигнала

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130213

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130509

R150 Certificate of patent or registration of utility model

Ref document number: 5270566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees