WO2006022308A1

WO2006022308A1 - マルチチャネル信号符号化装置およびマルチチャネル信号復号装置

Info

Publication number: WO2006022308A1
Application number: PCT/JP2005/015375
Authority: WO
Inventors: Michiyo Goto; Chun Woei Teo; Sua Hong Neo; Koji Yoshida
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-08-26
Filing date: 2005-08-24
Publication date: 2006-03-02
Anticipated expiration: 2007-02-26
Also published as: EP1783745A1; CN101010725A; EP1783745B1; ATE442644T1; JPWO2006022308A1; EP1783745A4; JP4963962B2; DE602005016571D1; BRPI0514998A; KR20070051864A; US7630396B2; US20070233470A1

Abstract

　低ビットレートで高品質の音声を実現することができるマルチチャネル信号符号化装置。マルチチャネル信号符号化装置（２）において、ダウンミックス部（１０）は、Ｎ個のチャネルの信号に対するモノラルの基準チャネル信号を生成する。符号化部（１１）は、生成された基準チャネル信号を符号化する。信号分析部（１２）は、Ｎ個のチャネルの信号の各々の特性を示すパラメータを抽出する。ＭＵＸ部（１３）は、符号化された基準チャネル信号と抽出されたパラメータとを互いに多重する。

Description

明細書

マルチチャネル信号符号化装置およびマルチチャネル信号復号装置技術分野

[0001] 本発明は、マルチチャネル信号符号化装置およびマルチチャネル信号復号装置に関し、特に、マルチチャネルの音声信号またはオーディオ信号を伝送するシステムにて使用されるマルチチャネル信号符号ィ匕装置およびマルチチャネル信号復号装置に関する。

背景技術

[0002] 大抵の音声コーデックは、音声のモノラル表現のみを符号化する。一般に、そのようなモノラルコーデックは、信号が例えば人間の発声など単一ソース力得られるような通信機器 (例えば、携帯電話、テレコンファレンス機器など）において用いられる。以前は、送信帯域幅や DSP (Digital Signal Processor)の処理速度に制限があったため、そのようなモノラル信号でも十分であつたが、技術が進歩し帯域幅が改善されてきたことにより、音声の品質は、より重要な考慮すべきファクタとなった。この結果、モノラルの音声に関する短所が顕在化してきた。例えば、空間的な情報 (例えば、サゥンドイメージング、発話者の位置など）が提供されないことが、モノラル音声の短所として挙げられる。発話者の位置特定が有用となるアプリケーションの一例としては、同時に複数の発話者が存在する状況の下で発話者の位置を識別できるような、高品質のマルチスピーカテレコンファレンス機器が挙げられる。空間的情報の提供は、マルチチャネルの信号で音声を表現することによって、実現される。また、それは可能な限り低、ビットレートで実現されることが好ま、。

[0003] 音声符号化に比べてオーディオ符号化では、マルチチャネルの符号化がより一般的に行われている。オーディオ符号ィ匕におけるマルチチャネル符号ィ匕では、チヤネル間の相互相関冗長性を利用することがある。例えばステレオ (換言すれば、チヤネル数が 2つ）のオーディオ信号では、相互相関冗長性は、ジョイントステレオ符号ィ匕の概念を用いて実現される。ジョイントステレオとは、ミドルサイド（MS)ステレオのモードおよびインテンシティ (I)ステレオのモードを組み合わせたステレオ技術である。これらのモードを組み合わせて用いることでより良いデータ圧縮率を達成し、符号化ビットレートを低減している。

[0004] ところが、 MSステレオでは、低ビットレートで符号ィ匕がなされる場合に、エイリアジング歪みが生じやすぐまた、信号のステレオイメージングも影響を受ける。また、 Iステレオは、人間の聴覚系統の周波数成分の分解能が低下する高周波域では有効である力低周波域では必ずしも有効ではない。大抵の音声コーデックは、線形予測の一種を用いて人間の声道をパラメータでモデルィ匕することによって機能するもの（パラメトリック符号化）と考えられるので、ジョイントステレオ符号ィ匕を音声コーデックに適用することは適切ではない。

[0005] 一方、オーディオ符号化に比べて音声符号化では、マルチチャネル符号ィ匕にっヽての十分な検討はなされていない。音声コーデックにおいて、マルチチャネルの信号を符号ィ匕する従来の装置としては、例えば特許文献 1に記載されたものが挙げられる。この文献に開示された技術の基本的な考え方は、パラメータを用いて音声信号を表現することである。より具体的には、使用帯域が複数の周波数帯 (サブバンドと呼ばれる）に分割され、パラメータがサブバンド毎に計算される。計算されるパラメータの例としては、チャネル間レベル差、つまり、左（L)チャネルと右（R)チャネルとの間の電力比が挙げられる。チャネル間レベル差は、復号側でスペクトル係数を修正するのに用いられる。

特許文献 1：国際公開第 03Z090208号パンフレット

発明の開示

発明が解決しょうとする課題

[0006] しかしながら、上記従来の装置においては、各サブバンドにおいて一つのチャネル間レベル差が求められる。したがって、あるサブバンド内の全てのスペクトル係数に対し同一のチャネル間レベル差が変更係数として適用される。すなわち、サブバンド内で共通のパラメータを用いるため、復号側においてレベル調整をきめ細力べ行うことができな!/ヽと!ヽぅ問題があった。

[0007] 本発明の目的は、低ビットレートで高品質の音声を実現することができるマルチチヤネル信号符号ィ匕装置およびマルチチャネル信号復号装置を提供することである。課題を解決するための手段

[0008] 本発明のマルチチャネル信号符号ィ匕装置は、複数チャネルの信号に対する一チヤネルの基準信号を生成する生成手段と、生成された基準信号を符号化する符号ィ匕手段と、前記複数チャネルの信号の各々の特性を示すパラメータを抽出する抽出手段と、符号化された基準信号と抽出されたパラメータとを互いに多重する多重手段と、を有する構成を採る。

[0009] 本発明のマルチチャネル信号復号装置は、符号化された基準信号であって複数チャネルの信号に対する一チャネルの基準信号と基準信号に多重されたパラメータであって前記複数チャネルの信号の各々の特性を示すパラメータとを互いに分離する分離手段と、分離された基準信号を復号する復号手段と、復号された基準信号と分離されたパラメータとから、前記複数チャネルの信号を生成する生成手段と、を有する構成を採る。

[0010] 本発明のマルチチャネル信号伝送システムは、符号化された基準信号であって複数チャネルの信号に対する一チャネルの基準信号と前記複数チャネルの信号の各々の特性を示すパラメータとを互いに多重する多重手段と、多重された基準信号とパラメータとを互いに分離する分離手段と、を有する構成を採る。

[0011] 本発明のマルチチャネル信号符号ィ匕方法は、複数チャネルの信号に対する一チヤネルの基準信号を生成する生成ステップと、生成された基準信号を符号化する符号ィ匕ステップと、前記複数チャネルの信号の各々の特性を示すパラメータを抽出する抽出ステップと、符号化された基準信号と抽出されたパラメータとを互いに多重する多重ステップと、を有するようにした。

[0012] 本発明のマルチチャネル信号復号方法は、符号化された基準信号であって複数チャネルの信号に対する一チャネルの基準信号と基準信号に多重されたパラメータであって前記複数チャネルの信号の各々の特性を示すパラメータとを互いに分離する分離ステップと、分離された基準信号を復号する復号ステップと、復号された基準信号と分離されたパラメータとから、前記複数チャネルの信号を生成する生成ステップと、を有するようにした。

発明の効果 [0013] 本発明によれば、低ビットレートで高品質の音声を実現することができる。

図面の簡単な説明

[0014] [図 1]本発明の一実施の形態に係るマルチチャネル信号伝送システムの構成を示すブロック図

[図 2]本実施の形態に係る信号分析部の構成を示すブロック図

[図 3]本実施の形態に係るパラメータ抽出部の構成を示すブロック図

[図 4]本実施の形態に係る信号合成部の構成を示すブロック図

[図 5]本実施の形態に係る基準チャネル信号処理部の構成を示すブロック図

[図 6]本実施の形態に係るターゲットチャネル信号生成部の構成を示すブロック図

[図 7]本実施の形態に係るターゲットチャネル信号生成部における電力推定部の構成を示すブロック図

[図 8]本実施の形態に係るスペクトル生成部の構成を示すブロック図

[図 9]本実施の形態に係る基準チャネル信号処理部における電力演算部の構成を示すブロック図

[図 10]本実施の形態に係る基準チャネル信号処理部の構成の変形例を示すブロック図

[図 11A]本実施の形態に係る電力スペクトルの包絡線の例を示す図

[図 11B]本実施の形態に係る電力スペクトルの包絡線の他の例を示す図

発明を実施するための最良の形態

[0015] 以下、本発明の実施の形態について、図面を用いて詳細に説明する。

[0016] (実施の形態 1)

図 1は、本発明の一実施の形態に係るマルチチャネル信号伝送システムの構成を示すブロック図である。マルチチャネル信号伝送システム 1は、 N (Nは 2以上の整数 )チャネルの信号を符号ィ匕するマルチチャネル信号符号ィ匕装置 2と、 Nチャネルの信号 (以下「Nチャネル信号」と言う）を復号するマルチチャネル信号復号装置 3と、マルチチャネル信号符号ィ匕装置 2によって得られた信号をマルチチャネル信号復号装置 3に伝送する伝送路 4と、を有する。

[0017] マルチチャネル信号符号ィ匕装置 2は、 Nチャネル信号をダウンミックスしてモノラルの基準信号 (以下「基準チャネル信号」と言う）を得るダウンミックス部 10と、基準チヤネル信号を符号化する符号化部 11と、 Nチャネル信号をそれぞれ分析し、 Nチヤネル信号の各々の特性を示すパラメータを抽出し、抽出されたパラメータのセットを取得する信号分析部 12と、符号化された基準チャネル信号および取得されたパラメ一タセットを互いに多重し、伝送路 4を介してマルチチャネル信号復号装置 3に送信する MUX部 13と、を有する。なお、基準チャネル信号は、マルチチャネル信号復号装置 3で復号されることによりモノラルの信号 (音声信号またはオーディオ信号）として出力される信号であるとともに、 Nチャネル信号の復号を行う際に参照される信号でもある。

[0018] マルチチャネル符号ィ匕装置 2において、信号分析部 12は、図 2に示すように、 Nチャネルにそれぞれ対応して設けられた N個のパラメータ抽出部 21を有する。パラメ一タ抽出部 21は、 Nチャネル信号のそれぞれからパラメータを抽出する。なお、構成を明瞭化するために、図 2には、 1番目のチャネルに対応するパラメータ抽出部 21aおよび N番目のチャネルに対応するパラメータ抽出部 21bのみが図示されている。

[0019] ノメータ抽出部 21は、図 3に示すように、 n (nは 1以上 N以下の整数)番目のチヤネルの信号を複数の周波数帯域 (本実施の形態では、高域および低域を含む 2つの周波数帯域）に分離するフィルタバンド分析部 31と、高域の信号成分に対して LPC ( Linear Predictive Coding)分析を行って LPC係数および LPCゲインを得る LPC分析部 32aと、低域の信号成分に対して LPC分析を行って LPC係数および LPCゲインを得る LPC分析部 32bと、高域の信号成分のピッチ周期を検出するピッチ検出部 33a と、低域の信号成分のピッチ周期を検出するピッチ検出部 33bと、を有する。

[0020] 再び図 1を参照する。マルチチャネル信号復号装置 3は、伝送路 4を介してマルチチャネル信号符号化装置 2から送信された信号を受信し、基準チャネル信号およびパラメータを互ヽに分離する DEMUX部 14と、分離された基準チャネル信号を復号する復号部 15と、復号された基準チャネル信号および分離されたパラメータを用いて Nチャネル信号（以下、復号側に関しては、 N個のチャネルの各々を「ターゲットチャネル」と言、、 Nチャネル信号を「Nターゲットチャネル信号」と言う）を生成する信号合成部 16と、を有する。 [0021] 信号合成部 16は、図 4に示すように、復号された基準チャネル信号を処理して、基準チャネル信号の電力スペクトルおよび基準チャネル信号の周波数領域スペクトル値 (以下、単に「スペクトル値」と言う）を取得する基準チャネル信号処理部 42と、 Nタ一ゲットチャネルにそれぞれ対応して設けられ、分離されたパラメータならびに取得された電力スペクトルおよびスペクトル値に基づいて Nターゲットチャネル信号をそれぞれ生成する N個のターゲットチャネル信号生成部 43と、を有する。なお、構成を明瞭ィ匕するために、図 4には、 1番目のターゲットチャネルに対応するターゲットチヤネル信号生成部 43aおよび N番目のターゲットチャネルに対応するターゲットチャネル信号生成部 43bのみが図示されて、る。

[0022] 基準チャネル信号処理部 42は、図 5に示すように、復号された基準チャネル信号を複数の周波数帯域 (本実施の形態では、高域および低域を含む 2つの周波数帯域）に分離して複数の信号成分を得るとともに、基準チャネル信号の特性を示すパラメ一タとして、高域の信号成分の LPC係数および LPCゲインならびに低域の信号成分の LPC係数および LPCゲインを取得するパラメータ抽出部 51と、高域および低域の各信号成分にっ、てのパラメータに基づ、てインノルス応答を構成するインパルス応答構成部 52a、 52bと、高域および低域の各信号成分について構成されたインパルス応答に対して電力演算を行、、高域および低域の各信号成分にっ、ての電カスベクトルを取得する電力演算部 53a、 53bと、高域および低域の各信号成分を周波数領域の信号に変換する変換部 54a、 54bと、を有する。

[0023] ターゲットチャネル信号生成部 43は、図 6に示すように、 n番目のターゲットチヤネルのパラメータを分離することで得られた複数の信号成分パラメータ (本実施の形態では、高域信号パラメータおよび低域信号パラメータ）に基づいて、 n番目のターゲットチャネル信号 (以下「nターゲットチャネル信号」と言う）の高域成分および低域成分の各電力スペクトルを推定する電力推定部 6 la、 6 lbと、 nターゲットチャネル信号の高域成分および低域成分の各スペクトル値を生成するスぺクトル生成部 62a、 62bと、nターゲットチャネル信号の高域成分および低域成分の各スペクトル値を時間領域の信号に逆変換する逆変換部 63a、 63bと、逆変換された高域成分および低域成分の各スペクトル値を合成するフィルタバンド合成部 65と、を有する。前述の電力演算部 53a、 53bおよび電力推定部 61a、 6 lbの組み合わせは電力スペクトル推定手段を構成する。

[0024] 電力推定部 61 (図 6の電力推定部 61a、 61bは互いに同様の内部構成を有するため、ここでは電力推定部 61と総称する）は、図 7に示すように、入力されたパラメータに対応するチャネルの信号にっ、てフレーム毎に有音信号または無音信号の、ずれかに分類する分類部 71と、無音信号に分類された信号のパラメータに基づいてィンパルス応答を構成するインパルス応答構成部 72と、有音信号に分類された信号のパラメータに基づいて合成信号を取得する合成信号取得部 73と、構成されたインパルス応答を用いて電力演算を行、、 nターゲットチャネル信号の電力スペクトルを得る電力演算部 74aと、取得された合成信号を用いて電力演算を行い、 nターゲットチャネル信号の電力スペクトルを得る電力演算部 74bと、を有する。

[0025] スペクトル生成部 62 (図 6のスペクトル生成部 62a、 62bは互いに同様の内部構成を有するため、ここではスペクトル生成部 62と総称する）は、図 8に示すように、 nターゲットチャネルに対して求められた電力スペクトル力基準チャネル信号に対して求められた電力スペクトルを減算して電力スペクトル差を得る減算部 81と、電カスペタトル差に基づいて、基準チャネル信号のスペクトル値に乗算する倍率を算出する倍率算出部 82と、基準チャネル信号に倍率を乗算する倍率乗算部 83と、を有する。

[0026] 電力演算部 53 (図 5の電力演算部 53a、 53bは互いに同様の内部構成を有するため、ここでは電力演算部 53と総称する）は、図 9に示すように、対応するインパルス応答構成部 52aまたは 53bからの入力信号を周波数領域の信号に変換する変換部 91 と、変換された信号に対して対数演算を行う対数演算部 92と、対数演算結果に対して所定の係数を乗算する係数乗算部 93と、を有する。

[0027] 次いで、上記構成を有するマルチチャネル信号伝送システムにおける動作について説明する。

[0028] Nチャネル信号 C〜Cは、ダウンミックス部 10で混合され、モノラルの基準チャネル

1 N

信号 Mとなる。基準チャネル信号 Mは次の式（1)によって表される。なお、 Nチャネル信号 C〜Cは、図示されない AZD変換部によってデジタルフォーマットに変換され

1 N

ているものとする。以下の一連のプロセスはフレーム毎に実行される。 [数 1]

M =丄 C„ … （1 )

[0029] 基準チャネル信号 Mは、既存または最新の音声符号化器またはオーディオ符号ィ匕器である符号化部 11で符号化され、モノラルビットストリームが得られる。同時に、信号分析部 12では、 Nチャネル信号 C〜Cを分析して、各チャネル用の信号パラメ

1 N 一タが抽出される。符号ィ匕部 11からの出力と信号分析 12からの信号パラメータは、 M UX部 13で多重され、 1つのビットストリームとして送信される。

[0030] 復号側では、このビットストリームは、 DEMUX部 14でモノラルビットストリームと信号パラメータとのそれぞれに分離される。モノラルビットストリームは、復号部 15で復号され、再構成された基準チャネル信号 M'が得られる。復号部 15は、符号化側で用いられる符号化部 11の逆処理に対応する。復号されたモノラルの基準チャネル信号 M'は、信号合成部 16において、各ターゲットチャネルの信号パラメータと合わせて参照信号として用いられ、各ターゲットチャネル信号 C'〜C'力生成または合成され

1 N

る。

[0031] 信号分析部 12において、各チャネル信号 C

1〜Cのパラメータ p れ N CI〜p が抽出さ

CN

る。図 2において、各チャネル信号 C〜Cは、パラメータ抽出部 21にてフィルタリング

1 N

および分析され、一連のパラメータ p が得られる。例えば、チャネル Cがパラメータ

Cn 1

抽出部 21aで処理され、パラメータ p が得られる。このプロセスは、 N番目のチャネル

C1

が同様にパラメータ抽出部 21bで処理されパラメータ p が得られるまで、全てのチヤ

CN

ネルに対して実行される。各チャネルの全てのパラメータ p は、符号化側で生成され

Cn

る信号パラメータを構成する。

[0032] ノメータ抽出は、各チャネル信号 Cに対して適用される。入力されたチャネル信号 Cは、フィルタバンド分析部 31で、低域信号 C および高域信号 C を生成すること n n,l n,h により、低域と高域との 2つの帯域に分離される。別の方法としては、ローパスフィルタおよびハイパスフィルタを用いて、信号を 2つの帯域に分離する。低域信号 C は、 L

η,Ι

PC分析フィルタである LPC分析部 32aを用いて分析され、 LPCパラメータが得られる。これらのパラメータは、 LPC係数 a および LPCゲイン Gである。音声符号化に一般に見られるピッチ周期検出アルゴリズムを用いるピッチ検出部 33aでは、ピッチ周期 Pが得られる。高域信号 C もまた、 LPC分析フィルタである LPC分析部 32bおよ pi n,h

びピッチ検出部 33bで分析され、もう 1つの LPCパラメータセットとして、 LPC係数 a k，h

、 LPCゲイン Gおよびピッチ周期 P が得られる。これらのパラメータは、入力されたチ h ph

ャネル信号 Cのパラメータ p を構成する。また、パラメータ抽出部 21は、低域信号 C n Cn n および高域信号 C を、信号合成部 42などでのプロセスで用いるためにォプショナ

，1 n,h

ノレに出力しても良い。

[0033] 信号パラメータつまりパラメータ p 〜p は、 MUX部 13で、符号ィ匕された基準チヤ

CI Cn

ネル信号 Mと多重され、復号側に送られるビットストリームが形成される。

[0034] 復号側にお、ては、受信されたビットストリーム力 DEMUX部 14で、符号化されたモノラルビットストリームと信号パラメータとに分離される。符号ィ匕されたモノラルビットストリームは、復号部 15で復号され、基準チャネル信号 M'が得られる。

[0035] 信号合成部 16では、基準チャネル信号 M，とモノラルビットストリーム力も分離されたノラメータ p 〜p とを用いて、 N個のターゲットチャネル信号 C'〜C '力生成また

Cl CN 1 N

は合成される。ターゲットチャネル信号 C'〜c，の生成において、基準チャネル信号

1 N

処理部 42では、基準チャネル信号 M'のスペクトル値および電力スペクトルが演算される必要がある。低域の電力スペクトル P およびスペクトル値 S 、ならびに高域の電

M，l M，l

力スペクトル P およびスペクトル値 S が算出される。これらの算出結果は、ターゲッ

M，h 'h

トチャネル信号生成部 43において、パラメータ p 〜p とともに用いられ、 Nターゲッ

Cl CN

トチャネル信号 C'〜C，が生成または合成される。ターゲットチャネル信号 C'〜c，

I N I N

の生成につ!、ては後述する。

[0036] 図 5には、前述の電力スペクトルおよびスペクトル値の演算方法についての好適な方法が示されている。入力信号すなわち基準チャネル信号 M'は、パラメータ抽出部 51を経て、基準チャネル信号 M'の特性を表わす信号パラメータが演算される。パラメータ抽出は、低域および高域の信号パラメータならびに低域および高域の信号値を返す。低域のためのパラメータは、 LPC係数 aおよび LPCゲイン Gである。このパラメ

1 1

ータ抽出方法は、パラメータ抽出部 21について説明した方法と同様であるが、パラメータ抽出部 21での処理対象が Nチャネル信号 C〜Cであるのに対してパラメータ抽

1 N 出部 51での処理対象が基準チャネル信号 M'である。よって、パラメータ抽出部 21およびパラメータ抽出部 51でそれぞれ抽出されるパラメータは、互いに異なる値になることもあれば同じ値になることもある。

[0037] また、高域に対しても同様のパラメータ力抽出される。それらは、 LPC係数 aおよ h び LPCゲイン Gである。低域の信号パラメータは、インパルス応答構成部 52aにおい h

て、低域信号の信号特性を表わす低域インパルス応答 hを構成するために用いられ

1

る。そして、低域信号のインパルス応答 hは、電力演算部 53aにおいて、低域電カス

1

ベクトル P の推定値を演算するのに用いられる。低域信号 M'は、変換部 54aで変換

M，l 1

され、低域時間信号の周波数表現である低域スペクトル値 S が得られる。同様に、

M，l

高域の信号パラメータは、インパルス応答構成部 52bにおいて、高域信号の信号特性を表わす高域インパルス応答 hを構成する。高域信号のインパルス応答 hも同様 h h に、電力演算部 53bにおいて、高域電力スペクトル P の推定値を演算するのに用

M，h

いられる。高域信号 M'は、変換部 54bで変換され、高域時間信号の周波数表現で h

ある高域スペクトル値 s が得られる。

M'h

[0038] 信号の電力スペクトルを演算する方法は、図 9に示されている。本プロセスへの入力である Xは、実際の時間領域信号または関数のインパルス応答であり得る。すなわち、図 9に図示された演算方法は、電力演算部 53だけでなく電力演算部 74a、 74b にも適用することができる。入力信号 Xは、変換部 91において変換され、周波数領域における等価表現が得られる。これは、周波数成分またはスペクトル値 Sと呼ばれる。電力 Pを演算するために、対数演算部 92では、各々の絶対スペクトル値の対数値が式 (2)により演算され、係数乗算部 93では、式 (3)により係数「20」が対数値に乗算される。演算されたスペクトル値 Sは、他のプロセスで用いるためにオプショナルな出力として返しても良い。

[数 2]

S_x (z) = FT{x(n)} … ( 2 )

[数 3]

^ (ζ) = 201ο_{§ 10} |^ (^ … ( 3 ) [0039] 入力信号 xが式 (4)によって表されるインパルス応答 hである場合、変換部 91は伝達関数 Hを返す。すなわち、 S = Hである。伝達関数 Hは、式（5)によって表すことができる。

画 h(n) = a_kh[n - k] + Gd (n) … （4 )

[数 5]

H{z) = FT{x(n)} = FT{h(n)}

= ~ ~~ … （5 )

1 -ヌ

[0040] そして、対数演算部 92で伝達関数 Ηの対数振幅を取り、係数乗算部 93で係数「20 」を乗算して、信号の電力スペクトル Ρを推定することができる。この一連の演算は、式 (6)で表すことができる。

[数 6]

… （6 )

[0041] つまり、信号の電力スペクトルは、 LPC係数 aおよびゲイン G力導出される信号の伝達関数力推定することができる。

[0042] ここで、図 5を用いて説明した電力スペクトルおよびスペクトル値の演算方法の代替方法について説明する。図 10は、基準チャネル信号処理部 42の構成の変形例を示すブロック図である。図 10の基準チャネル信号処理部 42では、 LPCパラメータを用いて信号スペクトルを推定する代わりに、信号の電力スペクトルの演算に実際の信号が用いられる。入力信号である基準チャネル信号 M'は、フィルタバンド分析部 101で低域信号 M'および高域信号 M'の 2つの帯域に分離される。低域では、電力演算部

1 h

102aでの電力演算によって、電力スペクトル P およびスペクトル値 S が返され、高

M，l M，l

域では、電力演算部 102bでの電力演算によって、電力スペクトル P およびスぺタト

M，h

ル値 S が返される。

M，h

[0043] したがって、基準チャネル信号 M'のスペクトル値 S および電力スペクトル P は、図

' M，

5または図 10のいずれかに示された方法を用いて推定される。すなわち、入力された基準チャネル信号 M'のサンプルを式（7)によって時間周波数変換してスペクトル値 S

M，を得る。

S = FT{M'} · '· (7)

Μ，

[0044] また、入力された基準チャネル信号 Μ'のサンプルに対して式 (8)の演算を行うことにより、周波数領域の信号の対数振幅平方を取る。これによつて、電力スペクトル Ρ

Μ，が得られる。

[数 7]

[0045] なお、より好ましくは、入力されたサンプルがゼロかゼロでな、かに応じて演算を切り替えるようにする。例えば、入力されたサンプルがゼロでない場合は、式 (8)を用いた演算を実行する一方、入力されたサンプルがゼロの場合は、電力スペクトル P を

M，ゼロとする。

[0046] そして、ターゲットチャネル信号生成部 43では、図 6に示すように、 nターゲットチヤネル信号 C'を生成する。ターゲットチャネル信号生成部 43への入力は、基準チヤネル信号 M'の低域電力スペクトル P および高域電力スペクトル P 、低域信号スぺタト

M，l M，h

ル値 S および高域信号スペクトル値 S 、ならびに、パラメータ p である。パラメータ p

M，l M，h Cn

Cnは、低域のパラメータ P

Cn,lと高域のパラメータ p

Cn,hとを含む。各帯域について、以下の演算が行われる。

[0047] まず、電力推定部 61a、 6 lbにて、 LPCパラメータおよびピッチ周期を含むパラメ一タ p p

Cn,lおよび Cn,hを用いて、各帯域の電力スペクトル p

Cn,lおよび p

Cn,hが推定される。そして、スペクトル生成部 62a、 62bにて、演算された各域の電力スペクトル p および p

Cn,l は、基準チャネルのそれぞれの帯域の電力スペクトル p および p ならびにスぺ

Cn,h M，l M，h

クトル値 S および S と合わせて用いられ、 n番目のターゲットチャネルの各帯域のス

M，l M，h

ベクトル値 S および S が演算により生成される。生成されたスペクトル値 S および S

n，l n，h n，l n，h は、逆変換部 63a、 63bで逆変換され、時間領域において対応する信号 C' および C

η,Ι

' が得られる。各帯域からの時間領域信号は、フィルタバンド合成部 65で合成され、 n,h

時間領域の信号である nターゲットチャネル信号 C'が得られる。

[0048] ここで、前述の電力スペクトル推定につ!、て、図 7を用いて詳述する。電力推定部 6 1に設けられた分類部 71では、入力されるパラメータに対応する信号の各フレームを、有声信号 Vまたは無声信号 uvとして分類することができる。言い換えると、信号は定常または非定常のいずれかに分類される。分類部 71の有声 Z無声検出は、ピッチ周期 Ppのピッチ周期値に基づく。つまり、ピッチ周期 Ppがゼロでないならば、そのフレームは、有声信号 Vとして分類される。あるいは、ピッチ周期 Ppがゼロでない場合、定常信号または準定常信号として分類される。一方、ピッチ周期 Ppがゼロであるならば、そのフレームは、無声信号 uvとして分類される。あるいは、ピッチ周期 Ppがゼロの場合、非定常信号として分類される。ピッチ周期 Ppを用いて有声 Z無声を表わすことにより、そのような表示のための余分の情報ビットを送る必要が無ぐ伝送する情報ビットの量を削減することができる。

[0049] 無声信号として分類されたフレームに対しては、図 5を参照しつつ説明したのと同様に、電力スペクトル P 1S LPC係数 aおよびゲイン Gを用いて演算される。すなわち

Cn

、インパルス応答構成部 72では、 LPC係数 aおよびゲイン Gを用いてインパルス応答 hが構成される。電力演算部 74aでは、インパルス応答 hを用いて電力スペクトル P が

Cn 演算される。

[0050] 有声信号として分類されたフレームに対しては、 LPC係数 a、ゲイン Gおよびピッチ周期 Ppが用いられる。合成信号取得部 73では、音声符号ィ匕の分野において一般に音声合成として知られる方法を用いて、合成信号 s'が合成される。そして、電力演算部 74bでは、合成信号 s'の電力スペクトル P が演算される。

Cn

[0051] インパルス応答のみを用いて電力スペクトルが推定された場合、その推定結果には電力スペクトルの包絡線のみが保持されることとなるので、通常は、その推定結果には電力スペクトルのピークは存在しない。しかし、特に音声信号の場合、電カスペタトルのピークは、出力信号において正確なピッチを保持するのに非常に重要である。本実施の形態では、有音区間に対する電力スペクトル推定においてピッチ周期 Ppが用いられて、るので、電力スペクトル推定精度を向上することができる。

[0052] 続!、て、前述のスペクトル生成につ!、て詳述する。基準チャネルの電力スペクトル P およびターゲットチャネルの電力スペクトル P を得た後、減算部 81では、電カスペ

M， Cn

クトル P と基準チャネルの電力スペクトル P との電力スペクトル差 D力式（9)により演算される。

D = P — P - -- (9)

P Cn M'

[0053] なお、より好ましくは、入力された基準チャネル信号 M'のサンプルがゼロかゼロでないかに応じて演算を切り替えるようにする。例えば、入力されたサンプルがゼロでない場合は、式（9)を用いた演算を実行する一方、入力されたサンプルがゼロの場合は、電力スペクトル差 Dをゼロとする。

p

[0054] そして、電力スペクトル差 Dは、倍率算出部 82にて、スカラー値として式（10)で示

P

される倍率 R に変換される。入力されたサンプルがゼロのとき、倍率 R は「1」となる

Cn Cn

[数 8] = 10²。 … ( 1 0 )

[0055] そして、倍率乗算部 83では、式（11)により、基準チャネル信号 M'のスペクトル値 S を倍率 R でスケーリングして、ターゲットチャネルのスペクトル値 S を得る。

' Cn Cn

S = R x M' ー（11)

Cn Cn

[0056] そして、スペクトル値 S のうち低域のスペクトル値 S は逆変換部 63aで時間領域の

Cn η,Ι

信号 C' に逆変換され、スペクトル値 S のうち高域のスペクトル値 S は逆変換部 63b n,l Cn n,h で時間領域の信号 C' に逆変換される。信号 C' および C' は、フィルタバンド合成

n，h n，l n，h

部 65で合成され、 nターゲットチャネル信号 C'が得られる。

[0057] このように、本実施の形態によれば、符号ィ匕側においては、 Nチャネル信号に対するモノラルの基準チャネル信号 Mと Nチャネル信号の各々の特性を示す信号パラメ一タとをそれぞれ取得し互いに多重する。また、復号側においては、基準チャネル信号 Mの復号によって得られる基準チャネル信号 M'と信号パラメータとを互いに分離しそれらを用いて Nチャネル信号を Nターゲットチャネル信号として生成する。このため、符号ィ匕ビットレートを低減することができるとともに、復号側において、チャネル毎のェネルギー分布を近似する電力スペクトル P を推定することができ、近似されたチヤネ

Cn

ル毎のエネルギー分布と基準チャネル信号 M'とから、原信号である Nチャネル信号 Cを Nターゲットチャネル信号 C'として復元することができ、よって、低ビットレートで高品質の音声を実現することができる。また、システム全体としては、伝送路 4を介して伝送する基準チャネル信号 M'と信号パラメータとを互いに多重するため、低ビットレートで高品質な音声を表現する信号を送信機側力受信機側に伝送することができ、低ビットレートで高品質な音声を実現することができる。

[0058] また、本実施の形態によれば、電力スペクトル P と電力スペクトル P とに基づいて

Cn M，

、基準信号に乗算する倍率 R を Nチャネルの各々に対応付けて算出するため、算

Cn

出された倍率 R を基準チャネル信号 M'のスペクトル値 S に乗算するだけでマルチ

Cn M，

チャネルの効果を得ることができる。

[0059] なお、本実施の形態では、信号が低域および高域を含む 2つの周波数帯域に分離されているが、各帯域の帯域幅は、等しい必要はない。適切な割当の一例では、低域を 2〜4kHzに設定し、残りの帯域幅を高域に割り当てる。

[0060] また、本実施の形態では、各帯域にっ、て、パラメータつまり LPC係数、 LPCゲインおよびピッチ周期を抽出している。各帯域の信号の特性によっては、帯域毎に異なる次数の LPCフィルタを適用しても良い。この場合、 LPCフィルタの次数も信号パラメータに含まれ得る。

[0061] また、電力スペクトル P(P または P )の包絡線は、全極フィルタの伝達関数 H(z)を

Μ' Cn

プロットすることにより得られる。図 11Aおよび図 11Bは、電力スペクトルの包絡線の 2 つの例を示す図である。図 11Aおよび図 11Bにおいて、点線は、実際の信号の電力スペクトルを表し、実線は、前述の推定方法によって推定された電力スペクトルの包絡線を表している。

[0062] 以上説明したように、本実施の形態では、マルチチャネルシステムのためのビットレートの低減を実現することができる。各ターゲットチャネルのために符号ィ匕ビットストリームを送る代わりに、各チャネルの信号パラメータのみが付カ卩的情報として送られる。これらの信号パラメータを格納するのに用いられるビットは、通常は、同一信号を符号ィ匕したものを格納するのに用いられるビットに比べて少な、。

[0063] また、本実施の形態では、信号を 2つの帯域に分離する。これにより、信号パラメ一タは、各帯域の信号特性に適合するように調整することができるので、復元される信号に対する、より良い制御を提供することができる。そのようなパラメータの 1つは、 LP Cフィルタ次数であり、より高いフィルタ次数を低域信号に、より低いフィルタ次数を高域信号に適用することができる。別の可能性としては、より高いフィルタ次数を準周期的または定常の帯域に用い、より低いフィルタ次数を非定常信号に分類される帯域に用いることができる。また、正確な電力スペクトル推定は、復元される信号における改善に繋がるため、ピッチ周期をパラメータに導入することは、定常 (有声)信号に対する電力スペクトルの推定を改善するのにも役立つ。

[0064] 大抵の音声コーデック力 LPC分析を用いるように、本実施の形態も、 LPCの概念を用いて信号パラメータを生成するので、本実施の形態はとりわけ、音声信号タイプのシステムに適する。したがって、本実施の形態のマルチチャネル信号伝送システム 1は、各発話者が各々のマイクまたはチャネルを使用するような、多数参加型のマルチチャネルテレコンファレンスシステムなどのアプリケーションに適している。本実施の形態のマルチチャネル信号復号装置 3は、基準チャネル信号 M'および Nターゲットチャネル信号 C' 〜C' )のどちらも出力することができるので、これらのうちいずれか

1 N

を選択する手段と選択された方の信号を音波として出力する出力手段とがこの装置またはこのシステムに設けられた場合、さらなる利点がある。すなわち、受信側の聴衆は、同時に全ての発話者の発言をダウンミタスした信号 (つまり基準チャネル信号 Μ') または特定の発話者の発言のみを表現した信号 (つまり Νチャネル信号の、ずれか C )のどちらかを選択的に聴くことができる。

[0065] なお、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路である LSIとして実現される。これらは個別に 1チップ化されても良いし、一部又は全てを含むように 1チップィ匕されても良い。

[0066] ここでは、 LSIとした力集積度の違いにより、 IC、システム LSI、スーパー LSI、ゥノレ卜ラ LSIと呼称されることちある。

[0067] また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセッサで実現しても良い。 LSI製造後に、プログラムすることが可能な FPGA (Field Program mable Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブノレ ·プロセッサーを利用しても良、。

[0068] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行っても良い。バイオ技術の適応等が可能性としてありえる。

[0069] 本明細書は、 2004年 8月 26日出願の特願 2004— 247404に基づく。この内容はすべてここに含めておく。

産業上の利用可能性

[0070] 本発明のマルチチャネル信号符号化装置およびマルチチャネル信号復号装置は、マルチチャネルの音声信号またはオーディオ信号を伝送するシステムなどに適用することができる。

Claims

請求の範囲

[1] 複数チャネルの信号に対する一チャネルの基準信号を生成する生成手段と、生成された基準信号を符号化する符号化手段と、

前記複数チャネルの信号の各々の特性を示すパラメータを抽出する抽出手段と、符号化された基準信号と抽出されたパラメータとを互いに多重する多重手段と、を有するマルチチャネル信号符号ィ匕装置。

[2] 前記抽出手段は、

前記複数チャネルの信号の各々から、線形予測符号化の係数およびゲインを含むノラメータを抽出する、請求項 1記載のマルチチャネル信号符号化装置。

[3] 前記抽出手段は、

前記複数チャネルの信号の各々から、ピッチ周期を含むパラメータを抽出する、請求項 2記載のマルチチャネル信号符号化装置。

[4] 符号化された基準信号であって複数チャネルの信号に対する一チャネルの基準信号と基準信号に多重されたパラメータであって前記複数チャネルの信号の各々の特性を示すパラメータとを互いに分離する分離手段と、

分離された基準信号を復号する復号手段と、

復号された基準信号と分離されたパラメータとから、前記複数チャネルの信号を生成する生成手段と、

を有するマルチチャネル信号復号装置。

[5] 前記分離手段は、

線形予測符号ィ匕の係数およびゲインを含むパラメータを基準信号力分離し、前記生成手段は、

前記係数および前記ゲインに基づいて、前記複数チャネルの信号の各々に対して第一の電力スペクトルを推定する電力スペクトル推定手段を有し、

推定された第一の電力スペクトルを用いて、前記複数チャネルの信号を生成する、請求項 4記載のマルチチャネル信号復号装置。

[6] 前記電力スペクトル推定手段は、復号された基準信号に対して第二の電カスペ外ルを推定し、

前記生成手段は、

前記第一の電力スペクトルおよび前記第二の電力スペクトルに基づ、て、前記基準信号の倍率を、前記複数チャネルの各々に対応付けて算出する倍率算出手段をさらに有し、

算出された倍率を前記基準信号に乗算して前記複数チャネルの信号を生成する、請求項 5記載のマルチチャネル信号復号装置。

[7] 前記分離手段は、

ピッチ周期を含むパラメータを基準信号力分離し、

前記電力スペクトル推定手段は、

前記ピッチ周期に基づいて、前記第一の電力スペクトルを推定する、

請求項 6記載のマルチチャネル信号復号装置。

[8] 前記生成手段は、

分離されたパラメータに対応する信号の各フレームを有音信号または無音信号として分類する分類手段を有し、

前記電力スペクトル推定手段は、

フレームが無音信号として分類された場合、前記係数および前記ゲインを用いて、前記第一の電力スペクトルを推定する一方、

フレームが有音信号として分類された場合、前記係数、前記ゲインおよび前記ピッチ周期を用いて、前記第一の電力スペクトルを推定する、

請求項 7記載のマルチチャネル信号復号装置。

[9] 前記分類手段は、

前記ピッチ周期に基づいて、信号の分類を行う、

請求項 8記載のマルチチャネル信号復号装置。

[10] 符号化された基準信号であって複数チャネルの信号に対する一チャネルの基準信号と前記複数チャネルの信号の各々の特性を示すパラメータとを互いに多重する多重手段と、

多重された基準信号とパラメータとを互いに分離する分離手段と、を有するマルチチャネル信号伝送システム。

[11] 複数チャネルの信号に対する一チャネルの基準信号を生成する生成ステップと、生成された基準信号を符号化する符号化ステップと、

前記複数チャネルの信号の各々の特性を示すパラメータを抽出する抽出ステップと、

符号化された基準信号と抽出されたパラメータとを互いに多重する多重ステップと、を有するマルチチャネル信号符号化方法。

[12] 符号化された基準信号であって複数チャネルの信号に対する一チャネルの基準信号と基準信号に多重されたパラメータであって前記複数チャネルの信号の各々の特性を示すパラメータとを互ヽに分離する分離ステップと、

分離された基準信号を復号する復号ステップと、

復号された基準信号と分離されたパラメータとから、前記複数チャネルの信号を生成する生成ステップと、

を有するマルチチャネル信号復号方法。