[go: up one dir, main page]

JP4989095B2 - マルチチャネル符号化方法、その装置、そのプログラム及び記録媒体 - Google Patents

マルチチャネル符号化方法、その装置、そのプログラム及び記録媒体 Download PDF

Info

Publication number
JP4989095B2
JP4989095B2 JP2006105574A JP2006105574A JP4989095B2 JP 4989095 B2 JP4989095 B2 JP 4989095B2 JP 2006105574 A JP2006105574 A JP 2006105574A JP 2006105574 A JP2006105574 A JP 2006105574A JP 4989095 B2 JP4989095 B2 JP 4989095B2
Authority
JP
Japan
Prior art keywords
channel
prediction
residual
code
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006105574A
Other languages
English (en)
Other versions
JP2007279385A (ja
Inventor
健弘 守谷
登 原田
優 鎌本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006105574A priority Critical patent/JP4989095B2/ja
Publication of JP2007279385A publication Critical patent/JP2007279385A/ja
Application granted granted Critical
Publication of JP4989095B2 publication Critical patent/JP4989095B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、時系列信号の圧縮符号化技術に関する。
ステレオ信号のチャネル間相関を利用する符号化装置は多く知られている。
<従来法1>
その1つとして、複数サンプル(通常数百〜数千サンプル、以下ではnとする)により構成される短時間区間であるフレーム毎に、Lチャネルの信号、Rチャネルの信号、Lチャネルの信号からRチャネルの信号を減算したL−Rチャネルの信号、の3つの信号のうち、2つの信号を符号化した符号を選択して圧縮符号列とする装置がある(従来法1。以下、「差分手法」と呼ぶ。)。従来法1の符号化装置の構成を図21に示し、各部の動作を下記で説明する。
減算部:減算部は、Lチャネルの入力信号xL(1),xL(2),...,xL(n)のそれぞれからRチャネルの入力信号xR(1),xR(2),...,xR(n)のそれぞれを減算したL−Rチャネル入力信号xL-R(1),xL-R(2),...,xL-R(n)を生成する。
予測分析部L:予測分析部Lは、Lチャネルの信号xL(1),xL(2),...,xL(n)の予測分析を行い、予測係数αL(1),αL(2),...,αL(p)(ただし、pはあらかじめ設定した予測次数)を求める。なお、予測分析には線形予測分析を用いるのが一般的であるが、如何なる予測分析装置を適用してもよい。
予測係数符号化部L:予測係数符号化部Lは、予測係数αL(1),αL(2),...,αL(p)を量子化した量子化予測係数αL^(1),αL^(2),...,αL^(p)と、これらの係数符号Cpとを求める。
予測フィルタ部L:予測フィルタ部Lは、量子化予測係数αL^(1),αL^(2),...,αL^(p)を用いてLチャネルの入力信号xL(1),xL(2),...,xL(n)をフィルタリングし、Lチャネルの予測残差信号yL(1),yL(2),...,yL(n)を求める。
残差符号化部L:残差符号化部Lは、Lチャネルの予測残差信号yL(1),yL(2),...,yL(n)を、例えばエントロピー符号化を用いた可逆符号化により符号化して、残差符号Cを得る。
予測分析部R、予測係数符号化部R、予測フィルタ部R、残差符号化部R及び予測分析部L−R、予測係数符号化部L−R、予測フィルタ部L−R、残差符号化部L−Rも同様な処理を行う。なお、これらは、従来より一般的な音響信号の符号化に用いられてきた技術である。
符号量比較・符号決定部:符号量比較・符号決定部は、Lチャネルの合計符号量である係数符号Cpと残差符号Cの符号量の合計、Rチャネルの合計符号量である係数符号Cpと残差符号Cとの符号量の合計、L−Rチャネルの合計符号量である係数符号CpL−Rと残差符号CL−Rとの符号量の合計、の3つを比較する。そして、符号量比較・符号決定部は、符号量の合計が最小であるチャネルと2番目に小さいチャネルとを選択し、選択したチャネルに対応する係数符号と残差符号を、それぞれ、CpとC、CpとCとして出力する(装置1)。ただし、残差符号の符号量に比べ係数符号の符号量は非常に少ない。そのため、残差符号の符号量のみで比較・選択を行うことも可能である。この場合は、符号量比較・符号決定部は、Lチャネルの残差符号Cの符号量、Rチャネルの残差符号Cの符号量、L−Rチャネルの残差符号CL−Rの符号量、の3つを比較する。そして、符号量比較・符号決定部は、符号量が最小であるチャネルと2番目に小さいチャネルとを選択し、選択したチャネルに対応する係数符号と残差符号を、それぞれ、CpとC、CpとCとして出力する(装置2)。また、符号量比較・符号決定部は、選択したチャネルを示す選択情報も出力する。
従来法1の復号装置には、Cp,C,Cp,C及び選択情報が入力され、まず、Cp,C,Cp,Cから2つの復号信号x1(1),x1(2),...,x1(n)とx2(1),x2(2),...,x2(n)とを得る。次に、復号装置は、選択情報に基づき、2つの復号信号から復号チャネル信号を得る。すなわち、選択情報がLチャネルとRチャネルを示すものであれば、これら2つ復号信号をLチャネルの復号信号xL(1),xL(2),...,xL(n)、Rチャネルの復号信号xR(1),xR(2),...,xR(n)とする。また、選択情報がLチャネルとL−Rチャネルを示すものであれば、復号信号x1(1),x1(2),...,x1(n)をLチャネルの復号信号xL(1),xL(2),...,xL(n)とし、x1(1)‐x2(1),x1(2)‐x2(2),...,x1(n)‐x2(n)をRチャネルの復号信号xR(1),xR(2),...,xR(n)とする。また、選択情報がRチャネルとL−Rチャネルを示すものであれば、復号信号x1(1),x1(2),...,x1(n)をRチャネルの復号信号xR(1),xR(2),...,xR(n)とし、x1(1)+x2(1),x1(2)+x2(2),...,x1(n)+x2(n)をLチャネルの復号信号xL(1),xL(2),...,xL(n)とする。
従来法1は、ステレオ信号の歪のない符号化(ロスレス符号化)を行うの場合は、L−RとL+Rの2つを符号化する装置(MSステレオ)よりも圧縮効率が高いことが知られている。
<従来法2>
また、線形予測残差信号間でのチャネル間相関を使ったチャネル間予測、すなわち、他チャネルを基準にした重み付差分により圧縮効率を改善する装置がある(従来法2。以下、「予測誤差重み付差分手法」と呼ぶ。)。従来法2の符号化装置の構成を図22に示し、図21と異なる部分の動作を下記で説明する。
重み付き差分生成部:重み付き差分生成部は、チャネル間相関計算部と乗算部と減算部とにより構成される。チャネル間相関計算部は、Lチャネルの予測残差信号yL(1),yL(2),...,yL(n)とRチャネルの予測残差信号yR(1),yR(2),...,yR(n)との正規化自己相関
Figure 0004989095
を求める。乗算部は、この正規化自己相関γをRチャネルの予測残差信号yR(1),yR(2),...,yR(n)それぞれに乗算する。減算部は、これら各乗算結果γyR(1),γyR(2),...,γyR(n)をLチャネルの予測残差信号yL(1),yL(2),...,yL(n)から減算して、予測残差信号の重み付き差分信号yW(1)=yL(1)−γyR(1),yW(2)=yL(2)−γyR(2),...,yW(n)=yL(n)−γyR(n)を生成する。
残差符号化部w:予測残差信号の重み付き差分信号yW(1),yW(2),...,yW(n)を例えばエントロピー符号化を用いた可逆符号化により符号化して、残差符号Cを得る。
符号量比較・符号決定部:符号量比較・符号決定部は、Lチャネルの残差符号Cの符号量、Rチャネルの残差符号Cの符号量、予測残差信号の重み付き差分信号の残差符号Cの符号量、の3つを比較する。そして、符号量比較・符号決定部は、符号量が最小であるチャネルと2番目に小さいチャネルとを選択し、選択したチャネルに対応する残差符号をC、Cとして出力する。また、符号量比較・符号決定部は、選択したチャネルを示す選択情報も出力する。なお、従来法2の場合は、符号量比較・符号決定部が選択する残差符号に関わらず、CpとCpとが係数符号として出力される。
従来法2の復号装置には、Cp,Cp,C,C及び選択情報が入力され、まず、C,Cから2つの復号残差信号y1(1),y1(2),...,y1(n)とy2(1),y2(2),...,y2(n)とを得る。次に、復号装置は、選択情報に基づき、2つの復号残差信号からLチャネルとRチャネルの復号残差信号を得る。すなわち、選択情報がLチャネルとRチャネルを示すものであれば、これら2つ復号残差信号をLチャネルの復号残差信号yL(1),yL(2),...,yL(n)、Rチャネルの復号残差信号yR(1),yR(2),...,yR(n)とする。また、選択情報がLチャネルとL−Rチャネルを示すものであれば、復号残差信号y1(1),y1(2),...,y1(n)をLチャネルの復号残差信号yL(1),yL(2),...,yL(n)とし、y1(1)‐y2(1),y1(2)‐y2(2),...,y1(n)‐y2(n)をRチャネルの復号残差信号yR(1),yR(2),...,yR(n)とする。また、選択情報がRチャネルとL−Rチャネルを示すものであれば、復号残差信号y1(1),y1(2),...,y1(n)をRチャネルの復号残差信号yR(1),yR(2),...,yR(n)とし、y1(1)+y2(1),y1(2)+y2(2),...,y1(n)+y2(n)をLチャネルの復号残差信号yL(1),yL(2),...,yL(n)とする。そして、Lチャネルの復号残差信号とCp、及び、Rチャネルの復号残差信号とCp、からLチャネルの復号信号xL(1),xL(2),...,xL(n)とRチャネルの復号信号xR(1),xR(2),...,xR(n)とを得る。
<従来法3>
さらに、従来法1と従来法2との両方を組み合わせ、符号量の少ない方を選択することも可能である(従来法3)。従来法3の符号化装置の構成を図23に示し、動作を下記で説明する。
図23中の点線枠部分は、図21の従来法1、図22の従来法2と同じ構成であり、従来法1、従来法2と同じ動作をする。
符号量比較・符号決定部(従来法3):従来法1の出力符号の合計符号量と従来法2の出力符号の合計符号量とを求め、これらから合計符号量が小さい方を選択し、合計符号量が小さい方の符号を出力する(装置1)。ただし、残差符号の符号量に比べ係数符号の符号量は非常に少ない。そのため、残差符号の符号量のみでの比較・選択を行うことも可能である。この場合は、従来法1の残差符号の合計符号量と従来法2の残差符号の合計符号量とを求め、これらから合計符号量が小さい方を選択し、合計符号量が小さい方の符号を出力する(装置2)。また、符号量比較・符号決定部(従来法3)は、従来法1及び従来法2において出力された、何れのチャネルを選択したかを示す選択情報1,2と、従来法1と従来法2のどちらを選択したかを示す情報とから、出力される符号が何れのチャネルのものであるかを示す選択情報3を生成して出力する。
なお、上述の従来法1〜3の技術は、例えば非特許文献1に記載されており、従来法2の技術は、例えば特許文献1にも記載されている。また、上述では、一例として入力信号がLチャネルとRチャネルの2チャネルである場合の例を示したが、3チャネル以上の入力信号を符号化する場合に、上述の技術を拡張適用してもよい。
ISO/IEC 14496−3:2005/AMD2(通称MPEG−4 ALS) 特開2005−115267
一般に、符号化のための演算量は非常に多い。しかし、従来法では、実際に求めた符号量を比較し、出力する符号を選択していた。そのため、最終的に出力されない符号を得るための符号化処理も行わなければならず、符号化のための演算量が多くなってしまうという問題があった。
本発明はこのような点に鑑みてなされたものであり、チャネル間相関を利用した符号化において、符号化のため演算量を低く抑えることが可能な技術を提供することを目的とする。
本発明では、まず、各入力信号に対応する複数(N)個のチャネルと、当該N個のチャネル中の何れか1つ以上についての他チャネルとの相関に基づくチャネルと、からなるN+1個以上のチャネルの少なくとも一部であるM個のチャネルに対し、それぞれ、残差符号量推定値を算出する(残差符号量推定過程)。次に、残差符号量推定値を比較し、当該比較結果を出力する(比較過程)。さらに、比較結果を用い、残差符号量推定値が算出されたチャネルから、M個未満のチャネルを選択する(選択過程)。そして、選択されたM個未満のチャネルを含む合計N個のチャネルについて、それぞれ、第1の予測次数の予測が行われた予測残差信号の符号化を行って残差符号を生成する(残差符号化過程)。なお、本発明における「残差符号量推定値」とは、「予測残差信号の振幅の絶対値に対して単調増加の関係にある値」を意味する。
ここで、上述のように定義される残差符号量推定値は、対応する予測残差信号の残差符号の符号量に対し、単調増加の関係にある。よって、残差符号量推定値を比較することにより、残差符号の符号量が小さいと推定される予測残差信号を選択できる。また、このような残差符号量推定値を算出するための演算量は、予測残差信号を符号化するための演算量に比べ、大幅に少ない。よって、全ての予測残差信号に対して残差符号を生成し、符号列として出力する予測残差符号を選択していた従来例に比べ、符号化のための処理量を大幅に低減させることができる。
また、本発明において好ましくは、残差符号量推定過程は、残差符号量推定値を第1の予測次数よりも低次である第2の予測次数の予測により算出する過程である。この場合、残差符号量推定値を算出する過程までは、低い次数(第2の予測次数)で処理が為されるため、最終的に符号化が行われない信号系列に対する演算量を低く抑えることができる。一方、符号化を行う予測残差信号が決定された後の残差符号を生成する過程では、高い次数(第1の予測次数)を用いるため、高い精度の残差符号を生成することができる。すなわち、無駄な演算をより抑えつつ、精度の高い符号列を生成できる。
また、本発明において好ましくは、残差符号量推定値は、第1又は第2の予測次数の予測により算出した予測残差信号の振幅の絶対値、又は、第1又は第2の予測次数の予測により算出した予測残差信号のエネルギーを、上記各過程の処理単位であるフレーム内で総計した値である。なお、「エネルギー」とは、信号の振幅の二乗値を意味する。このような残差符号量推定値の演算量は、予測残差信号を符号化するための演算量よりも大幅に少ない。また、このような残差符号量推定値の大小関係は、対応する残差符号の符号量の大小関係とほぼ一致する。なお、予測残差信号の振幅が大きいと推定される場合、予測残差信号の振幅の絶対値をフレーム毎に総計した値を残差符号量推定値とすることが望ましい。振幅が大きくなっても、予測残差信号の振幅とその絶対値との関係は、予測残差信号の振幅とその残差符号の符号量との関係に、比較的良く近似するからである。一方、処理効率の面からは、予測残差信号のエネルギーをフレーム毎に総計した値を残差符号量推定値とすることが望ましい。エネルギーは、信号の振幅の二乗値であり、二乗値は分析処理に頻繁に用いられる最小二乗法に基づく処理に適するからである。
ここで、残差符号量推定値を、入力信号又はそれらの他チャネルとの相関に基づく信号と、第1又は第2の予測次数の予測係数とを用いた近似によって求めてもよい。この場合、予測残差信号を算出することなく、残差符号量推定値を生成し、符号量が小さいと推定される予測残差信号を選択することができる。その結果、最終的に符号列として出力されない残差符号に対して予測残差信号を算出する必要もなくなる。
さらにここで、好ましくは、残差符号量推定値は、
Figure 0004989095
である。ただし、Fは、入力信号又はそれらの他チャネルとの相関に基づく信号のエネルギーをフレーム毎に総計した値であり、k(i)(i∈{1,2,...,p})は、予測係数から求めた偏自己相関係数(PARCOR係数)である。
また、入力信号又はそれらの他チャネルとの相関に基づく信号の振幅の絶対値をフレーム毎に総計した値をFとし、残差符号量推定値を、
Figure 0004989095
としても好ましい。
また、本発明において好ましくは、さらに、残差符号量推定値の差が所定の閾値以下又は未満であるか否かを判定し(判定過程)、残差符号量推定値の差が所定の閾値以下又は未満であった場合、全ての予測残差信号を符号化し、残差符号を生成し(全残差符号化過程)、全残差符号化過程で生成された残差符号の符号量を比較し、N個の残差符号を選択する(残差符号選択過程)。残差符号量推定値の差が小さい場合、誤差の影響等より、残差符号量推定値の大小関係と、残差符号の符号量の大小関係とが逆転することもありうる。残差符号量推定値の差が小さい場合にのみ、実際の残差符号の符号量を比較する構成をとることにより、演算量をできるだけ低く抑えつつ、的確に符号量を最小値化することができる。
また、本発明において、残差符号量推定値の差が所定の閾値以下又は未満であった場合、選択過程及び残差符号化過程を実行する前に、当該残差符号量推定値よりも次数が高い残差符号量推定値を上記M個のチャネルに対して算出し(高次残差符号量推定過程)、高次残差符号量推定過程で算出された残差符号量推定値を比較し(高次比較過程)、高次比較過程での比較結果を用い、選択過程を実行してもよい。なお、「次数」とは、予測分析の次数である。また、「次数が高い残差符号量推定値」とは、高い次数まで行われた予測分析の結果に基づき生成された残差符号量推定値を意味する。予測分析の次数を高くした場合、残差符号量推定値の推定精度は向上するが、演算量は増加する。逆に、予測分析の次数を低くした場合、残差符号量推定値の推定精度は低下するが、演算量は減少する。残差符号量推定値の差が所定の閾値以下又は未満であった場合にのみ次数を高くする構成をとることにより、無用に演算量を増加させることなく、的確に符号量を最小値化することができる。
また、本発明において好ましくは、第1の入力信号と、第2の入力信号と、第1の入力信号から第2の入力信号を減じた差分信号とによる3つのチャネルに対し、それぞれ、残差符号量推定値を算出する(残差符号量推定過程)。そして、残差符号量推定値を相互に比較し、当該比較結果を出力する(比較過程)。次に、当該比較結果を用い、最小の残差符号量推定値と2番目に小さな残差符号量推定値とのそれぞれに対応するチャネルを選択する(選択過程)。そして、少なくとも選択過程で選択されたチャネルに対応する入力信号又は差分信号から、それぞれ、予測残差信号を求め(予測残差算出過程)、選択過程で選択されたチャネルの予測残差信号を符号化して残差符号を生成する(残差符号化過程)。これにより、全ての予測残差信号に対応する残差符号を算出することなく、残差符号の符号量が最小となると推定される2つの予測残差信号の組み合わせを選択できる。その結果、符号化のための演算量を抑えつつ、符号量を最小値化することができる。
また、本発明において好ましくは、第1チャネルの第1の入力信号と、第2チャネルの第2の入力信号とのそれぞれから予測残差信号を求め(予測残差算出過程)、入力信号に対し、それぞれ、残差符号量推定値を算出し(残差符号量推定過程)、残差符号量推定値をチャネル間で比較し、当該比較結果を出力する(比較過程)。そして、当該比較結果を用い、残差符号量推定値が小さい方のチャネルを基準チャネルとして選択する(第1の選択過程)。また、当該比較結果を用い、残差符号量推定値が大きい方のチャネルを符号化チャネルとして選択する(第2の選択過程)。そして、基準チャネルの予測残差信号を符号化し、第1の残差符号を生成する(第1の残差符号化過程)。さらに、符号化チャネルの予測残差信号と基準チャネルの予測残差信号との重み付き差分信号を生成し(重み付き差分生成過程)、重み付き差分信号を符号化し、第2の残差符号を生成する(第2の残差符号化過程)。これにより、第1の入力信号に対応する残差符号と、第2の入力信号に対応する残差符号とを算出することなく、これらの入力信号から、残差符号の符号量が小さいと推定される方を選択することができる。その結果、符号化のための演算量を抑えつつ、符号量を最小値化することができる。
また、本発明において好ましくは、第1チャネルの第1の入力信号と、第2チャネルの第2の入力信号と、上記第1の入力信号から上記第2の入力信号を減じた差分信号と、のそれぞれから予測残差信号を求め(予測残差算出過程)、上記入力信号に対し、それぞれ、残差符号量推定値を算出し(残差符号量推定過程)、残差符号量推定値をチャネル間で比較し、当該比較結果を出力する(比較過程)。また、当該比較結果を用い、残差符号量推定値が小さい方のチャネルを基準チャネルとして選択し(第1の選択過程)、残差符号量推定値が大きい方のチャネルを符号化チャネルとして選択する(第2の選択過程)。さらに、基準チャネルの予測残差信号を符号化し、第1の残差符号を生成し(第1の残差符号化過程)、符号化チャネルの予測残差信号と基準チャネルの予測残差信号との重み付き差分信号を生成する(重み付き差分生成過程)。そして、重み付き差分信号を符号化し、第2の残差符号を生成する(第2の残差符号化過程)。また、第1の入力信号から第2の入力信号を減じた差分信号の予測残差信号を符号化し、第3の残差符号を生成し(第3の残差符号化過程)、第1の残差符号と第2の残差符号、或いは、第1の残差符号と第3の残差符号を、残差符号の符号列として選択する(符号決定過程)。この構成の場合、残差符号を算出することなく、第1チャネルと、第2チャネルとから、残差符号の符号量が小さいと推定されるチャネルを1つ選択する。そのため、符号化のための演算量をさほど増加させることなく、より適切に符号量を最小値化することができる。
また、本発明において好ましくは、第1チャネルの第1の入力信号と、第2チャネルの第2の入力信号と、第1の入力信号から第2の入力信号を減じた差分信号と、のそれぞれから予測残差信号を求める(予測残差算出過程)。そして、入力信号に対し、それぞれ、残差符号量推定値を算出する(第1の残差符号量推定過程)。また、第1の残差符号量推定過程で算出された残差符号量推定値をチャネル間で比較し、当該比較結果を出力する(第1の比較過程)。そして、第1の比較過程での比較結果を用い、残差符号量推定値が小さい方のチャネルを基準チャネルとして選択する(第1の選択過程)。さらに、第1の比較過程での比較結果を用い、残差符号量推定値が大きい方のチャネルを符号化チャネルとして選択する(第2の選択過程)。そして、基準チャネルの予測残差信号を符号化し、第1の残差符号を生成し(第1の残差符号化過程)、符号化チャネルの予測残差信号と基準チャネルの予測残差信号との重み付き差分信号を生成する(重み付き差分生成過程)。そして、第1の入力信号から第2の入力信号を減じた差分信号と、重み付き差分信号とに対し、それぞれ、残差符号量推定値を算出し(第2の残差符号量推定過程)、第2の残差符号量推定過程で算出された残差符号量推定値を相互に比較し、当該比較結果を出力する(第2の比較過程)。さらに、この第2の比較過程での比較結果を用い、残差符号量推定値が小さい方の予測残差信号を選択し(第2の選択過程)、第2の選択過程で選択された予測残差信号を符号化し、第2の残差符号を生成する(第2の残差符号化過程)。
この構成の場合、残差符号を算出することなく、第1チャネルと、第2チャネルとから、残差符号の符号量が小さいと推定されるチャネルを1つ選択する。また、残差符号を算出することなく、予測残差信号の重み付き差分信号と、第1の入力信号から第2の入力信号を減じた差分信号とから、残差符号の符号量が小さいと推定される方を選択する。これにより、符号化のための演算量を増加させることなく、より適切に符号量を最小値化することができる。
本発明では、実際に予測残差信号を符号化して求められた符号量を比較するのではなく、上述の残差符号量推定値を比較し、符号量が小さいと推定される予測残差信号を選択し、選択された予測残差信号を符号化して残差符号を生成することとした。そのため、チャネル間相関を利用した符号化において、符号化のための演算量を低く抑えることができる。
以下、本発明を実施するための最良の形態を図面を参照して説明する。
本発明では、各入力信号に対応する複数(N)個のチャネルと、当該N個のチャネル中の何れか1つ以上についての他チャネルとの相関に基づくチャネルと、からなるN+1個以上のチャネルの少なくとも一部であるM個のチャネルに対し、それぞれ、残差符号量推定値を算出する。そして、当該残差符号量推定値を比較し、残差符号量推定値が算出されたチャネルから、M個未満のチャネルを選択する。そして、選択されたM個未満のチャネルを含む合計N個のチャネルについて、それぞれ、第1の予測次数の予測が行われた予測残差信号の符号化を行って残差符号を生成する。
しかし、下記実施例においては説明を簡略化するために、Nが2であり、Mが2から4の場合について説明する。すなわち、入力がLチャネルとRチャネルの2チャネルであり、2から4個の残差符号量推定値を用いて符号化を行う予測残差信号を選択し、Lチャネルの予測残差信号とRチャネルの予測残差信号とLチャネルとRチャネルとの相関に基づく予測残差信号のうち2つを符号化して残差符号を得る場合について説明する。
〔実施例1〕
まず、本発明の実施例1について説明する。実施例1は従来法1に対応するものである。実施例1では、予測残差信号を用い、3つのチャネル(Lチャネル、Rチャネル、L−Rチャネル)に対し、それぞれ残差符号量推定値を算出する。そして、算出した残差符号量推定値をチャネル間で比較して、2つのチャネルを選択し、選択されたチャネルについてのみ、予測残差信号を符号化し、残差符号を生成する。
<構成>
図1は、実施例1のマルチチャネル符号化装置10の構成を示したブロック図である。
図1に示すように、実施例1のマルチチャネル符号化装置10は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、予測残差符号量推定部10kと、符号決定部10mと、残差符号化部10n,10pと、制御部10qと、メモリ10rとを有している。また、符号決定部10mは、比較部10maと、選択部10mbとを有している。
なお、実施例1のマルチチャネル符号化装置10は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置等から構成される公知のコンピュータに所定のプログラム(マルチチャネル符号化プログラム)が読み込まれ、CPUがこのプログラムを実行することにより構成されるものである(以下の各実施例でも同様)。
<処理>
以下、実施例1のマルチチャネル符号化装置を説明していく。なお、実施例1のマルチチャネル符号化装置10は、制御部10qの制御のもと各処理を実行する。また、マルチチャネル符号化装置10の各処理過程におけるデータは、メモリ10rに逐一読み書きされるが、以下ではその説明を省略する。さらに、説明する処理の順序はあくまで一例であり、本実施例の趣旨を逸脱しない範囲で適宜変更が可能なことはいうまでもない。さらには、少なくとも一部の処理を並列的に実行してもよい(以下の各実施例でも同様)。
マルチチャネル符号化装置10は、入力されたLチャネルの信号とRチャネルの信号とを、チャネル間相関を利用して符号化する。ここで、マルチチャネル符号化装置10に入力されるLチャネルの入力信号とRチャネルの入力信号は、それぞれ、所定のサンプリング周波数でサンプリングされた離散的な信号である。また、各処理は、複数サンプル(通常数百〜数千サンプル、以下ではnとする)により構成される短時間区間であるフレーム毎に実行される。以下では、1つのフレームの処理のみを説明する(以下の各実施例でも同様)。
まず、減算部10aが、Lチャネルの各入力信号xL(j)からRチャネルの各入力信号xR(j)をそれぞれ減算したL−Rチャネルの入力信号xL-R(j)を算出して出力する。
次に、予測分析部10bが、Lチャネルの入力信号xL(j)の予測分析を行い、予測係数αL(i)(i=1,...,p)を算出して出力する。なお、pは予測次数(第1の予測次数に相当)である。pは予め設定されたものであっても良いし、入力信号等に応じてその都度算出されるものであっても良い。また、予測分析には線形予測分析を用いるのが一般的であるが、如何なる予測分析装置を適用してもよい。なお、予測分析の詳細については、例えば、“守谷健弘著、「音声符号化」、社団法人 電子情報通信学会、ISBN4−88552−156−4”や“古井貞煕著、「音響・音声工学」、株式会社 近代科学社、ISBN4−7649−0196−X”等に詳しいため説明を省略する。次に、予測係数符号化部10eが、入力された予測係数αL(i)を量子化した量子化予測係数αL^(i)と、量子化予測係数αL^(i)の係数符号CpLとを求め、これらを出力する。次に、予測フィルタ部10fが、入力された量子化予測係数αL^(i)を用い、Lチャネルの入力信号xL(j)をフィルタリングし、Lチャネルの予測残差信号yL(j)を求めて出力する。なお、ここでのフィルタリングとは、量子化予測係数を代入した予測モデル(フィルタ)と入力信号との差を求める処理を意味する。
また、同様に、予測分析部10cが、入力されたRチャネルの入力信号xR(j)の予測分析を行い、予測係数αR(i)(i=1,...,p)を算出して出力する。次に、予測係数符号化部10gが、入力された予測係数αR(i)を量子化した量子化予測係数αR^(i)と、量子化予測係数αR^(i)の係数符号CpRとを求め、これらを出力する。そして、予測フィルタ部10hが、入力された量子化予測係数αR^(i)を用い、Rチャネルの入力信号xR(j)をフィルタリングし、Rチャネルの予測残差信号yR(j)を求めて出力する。
また、同様に、予測分析部10dが、入力されたL−Rチャネルの入力信号xL-R(j)の予測分析を行い、予測係数αL-R(i)を算出して出力する(ステップS10)。次に、予測係数符号化部10iが、入力された予測係数αL-R(i)を量子化した量子化予測係数αL-R^(i)と、量子化予測係数αL-R^(i)の係数符号CpL-Rとを求め、これらを出力する。次に、予測フィルタ部10jが、入力された量子化予測係数αL-R^(i)を用い、L−Rチャネルの入力信号xL-R(j)をフィルタリングし、L−Rチャネルの予測残差信号yL-R(j)を求めて出力する。
その後、予測残差符号量推定部10kが、入力された予測残差信号yL(j),yR(j),yL-R(j)を用い、Lチャネル,Rチャネル,L−Rチャネルそれぞれに対し、残差符号量推定値PCL,PCR,PCL-Rを算出して出力する。なお、本発明では、残差符号量推定値をチャネル間で比較し、各チャネルの残差符号の符号量の大小を推定する。そのため、残差符号量推定値PCL,PCR,PCL-Rは、残差符号そのものを推定する値でなくてもよく、予測残差信号を符号化した際の符号量に対して単調増加の関係にあると推定されるものであればよい。本実施例では、予測残差信号の振幅の絶対値|yL(j)|、又は、予測残差信号のエネルギー|yL(j)|2を、フレーム内で総計した値を残差符号量推定値PCLとする。また、予測残差信号の振幅の絶対値|yR(j)|、又は、予測残差信号のエネルギー|yR(j)|2を、フレーム内で総計した値を残差符号量推定値PCRとする。また、予測残差信号の振幅の絶対値|yL-R(j)|、又は、予測残差信号のエネルギー|yL-R(j)|2を、フレーム内で総計した値を残差符号量推定値PCL-Rとする。なお、振幅の絶対値の総和を用いるのか、エネルギーの総和を用いるのかについては、チャネル間で統一する。
その後、符号決定部10mの比較部10maが、予測残差符号量推定部10kで求められた残差符号量推定値PCL,PCR,PCL-Rの大小を比較し、その比較結果を出力する。選択部10mbは、この比較結果を用い、Lチャネル,Rチャネル,L−Rチャネルから、残差符号量推定値が最小であるチャネル1と、残差符号量推定値が2番目に小さいチャネル2とを選択し、チャネル1,2に対応する予測残差信号y1(j)とy2(j)を、それぞれ残差符号化部10n,10pに出力する。残差符号化部10n,10pは、これら予測残差信号y1(j)とy2(j)を符号化し、残差符号C1とC2とを生成する。なお、符号化装置としては、例えば、エントロピー符号化等を用いる(以下の符号化についても同様)。
そして、符号決定部10mが、チャネル1,2とに対応する係数符号Cp1,Cp2と、チャネル1,2が何れのチャネルなのかを示す選択情報とを符号列として出力し、残差符号化部10n,10pが、残差符号C1,C2を符号列として出力する。
<実施例1の特徴>
予測残差符号量推定部10kで算出される残差符号量推定値は、予測残差信号の振幅の絶対値、又は、予測残差信号のエネルギーを、フレーム内で総計した値である。この値を計算するための演算量は、エントロピー符号化等の符号化に必要な処理量よりも相当少ない。そのため、全体としては、従来例1よりも大幅に処理量を少なくすることができる。また、予測残差信号の振幅の絶対値の総和、又は、予測残差信号のエネルギーの総和の大小は、実際の残差符号の符号量の大小とほぼ一致している。そのため、誤った推定により、符号量が多いチャネルが選択されてしまい、全体の圧縮符号量が増大してしまうこともほとんどない。
〔実施例2〕
次に、本発明の実施例2について説明する。実施例2は従来法2に対応するものである。実施例2では、予測残差信号を用い、2のチャネル(Lチャネル、Rチャネル)に対し、それぞれ、残差符号量推定値を算出し、算出した残差符号量推定値をチャネル間で比較して1つのチャネルを選択する。また、これら2つのチャネルの予測残差信号の重み付き差分信号を求める。そして、選択されたチャネルの予測残差信号と2つのチャネルの予測残差信号の重み付き差分信号についてのみ残差符号を生成する。なお、以下では、実施例1と共通する事項について説明を簡略化する。
<構成>
図2は、実施例2のマルチチャネル符号化装置20の構成を示したブロック図である。なお、図2において実施例1と共通する部分については図1と同じ符号を付した。
図2に示すように、実施例2のマルチチャネル符号化装置20は、予測分析部10b,10cと、予測係数符号化部10e,10gと、予測フィルタ部10f,10hと、予測残差符号量推定部10kと、符号決定部20mと、残差符号化部20n,20qと、重み付差分生成部20pと、制御部10qと、メモリ10rとを有している。また、符号決定部20mは、比較部20maと、選択部20mb,20mcとを有しており、重み付差分生成部20pは、チャネル間相関計算部20paと乗算部20pbと減算部20pcとを有している。
<処理>
以下、実施例2のマルチチャネル符号化装置を説明していく。
まず、予測分析部10bが、Lチャネルの入力信号xL(j)の予測分析を行い、予測係数αL(i)(i=1,...,p)を算出して出力する。次に、予測係数符号化部10eが、入力された予測係数αL(i)を量子化した量子化予測係数αL^(i)と、量子化予測係数αL^(i)の係数符号CpLとを求め、これらを出力する。次に、予測フィルタ部10fが、入力された量子化予測係数αL^(i)を用い、Lチャネルの入力信号xL(j)をフィルタリングし、Lチャネルの予測残差信号yL(j)を求めて出力する。
また、同様に、予測分析部10cが、入力されたRチャネルの入力信号xR(j)の予測分析を行い、予測係数αR(i)(i=1,...,p)を算出して出力する。次に、予測係数符号化部10gが、入力された予測係数αR(i)を量子化した量子化予測係数αR^(i)と、量子化予測係数αR^(i)の係数符号CpRとを求め、これらを出力する。そして、予測フィルタ部10hが、入力された量子化予測係数αR^(i)を用い、Rチャネルの入力信号xR(j)をフィルタリングし、Rチャネルの予測残差信号yR(j)を求めて出力する。
次に、符号決定部20mの比較部20maが、予測残差符号量推定部10kで求められた残差符号量推定値PCL,PCRの大小を比較し、その比較結果を出力する。選択部20mbは、この比較結果を用い、Lチャネル,Rチャネルから、残差符号量推定値が小さい方のチャネルを基準チャネルAとして選択し、基準チャネルAの予測残差信号yA(j)を出力する。また、選択部20mbは、この比較結果を用い、残差符号量推定値が大きい方のチャネルを符号化チャネルBとして選択し、符号化チャネルBの予測残差信号yB(j)を出力する。
次に、残差符号化部20nが、入力された予測残差信号yA(j)を符号化し、残差符号C1を生成する。また、重み付差分生成部20pが、入力された基準チャネルAの予測残差信号yA(j)と、符号化チャネルBの予測残差信号yB(j)とを用い、予測残差信号yB(j)と予測残差信号yA(j)との重み付き差分信号yW(j)=yB(j)−γ・yA(j)を生成して出力する。具体的には、まず、チャネル間相関計算部20paが、入力された予測残差信号yA(j)と予測残差信号yB(j)とを用い、これらの正規化自己相関
Figure 0004989095
を求める。次に乗算部20pbが、この正規化自己相関γを各予測残差信号yA(j)に乗算する。そして、減算部20pcが、これら各乗算結果γyA(j)を予測残差信号yB(j)から減算して、予測残差信号の重み付き差分信号yW(j)=yB(j)−γ・yA(j)を生成する。
次に、残差符号化部20qが、入力された重み付き差分信号yW(j)を符号化し、残差符号C2を生成する。そして、予測係数符号化部10e,10gが、それぞれ係数符号CpL,CpRを、残差符号化部20n,20qがそれぞれ残差符号C1,C2を、符号決定部20mが基準チャネルA及び符号化チャネルBが何れのチャネルなのかを示す選択情報を出力する。これらの残差符号、選択情報、係数符号がマルチチャネル符号化装置20から出力される符号列となる。なお、本実施例の場合は、選択部20mb,20mcが選択するチャネルに関わらず、係数符号CpL,CpRが符号列として出力される。
<実施例2の特徴>
予測残差符号量推定部10kで算出される残差符号量推定値は、予測残差信号の振幅の絶対値、又は、予測残差信号のエネルギーを、フレーム内で総計した値である。この値を計算するための演算量は、エントロピー符号化等の符号化に必要な処理量よりも相当少ない。そのため、全体としては、従来例2よりも大幅に処理量を少なくすることができる。また、予測残差信号の振幅の絶対値の総和、又は、予測残差信号のエネルギーの総和の大小は、実際の残差符号の符号量の大小とほぼ一致している。そのため、誤った推定により、符号量が多いチャネルが選択されてしまい、全体の圧縮符号量が増大してしまうこともほとんどない。
〔実施例3〕
次に、実施例3について説明する。実施例3は、従来法3に対応するものである。本実施例は、図23の「従来法1」及び「従来法2」の処理を共用し、処理量を減らすものである。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図3は、実施例3のマルチチャネル符号化装置30の構成を示したブロック図である。なお、図3において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図3に示すように、実施例3のマルチチャネル符号化装置30は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、重み付差分生成部20pと、残差符号化部20q,30a〜30eと、符号決定部30j,30k,30mと、制御部10qと、メモリ10rとを有している。また、符号決定部30j,30k,30mは、それぞれ、比較部30jaと選択部30jb、比較部30kaと選択部30kb、比較部30maと選択部30mbを有している。
<処理>
以下、実施例3のマルチチャネル符号化装置を説明していく。
まず、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jとが、実施例1と同様な処理を行う。これにより、予測係数符号化部10e,10g,10iが、それぞれ、係数符号CpL,CpR,CpL-Rを出力し、予測フィルタ部10f,10h,10jが、それぞれ、予測残差信号yL(j),yR(j) ,yL-R(j)を出力する。
次に、残差符号化部30a,30b,30cが、それぞれ、入力された予測残差信号yL(j),yR(j) ,yL-R(j)を符号化し、残差符号CL,CR,CL-Rを算出して出力する。
次に、符号決定部30jの比較部30jaが、入力された係数符号CpL,CpR,CpL-R及び残差符号CL,CR,CL-Rから各チャネル(Lチャネル、Rチャネル、L−Rチャネル)の合計符号量を算出し、それらを比較し、その比較結果を出力する。そして、選択部30jbが、この比較結果を用い、合計符号量が最小であるチャネル1と、合計符号量が2番目に小さいチャネル2とを選択し、選択されたチャネル1,2に対応する係数符号Cp1,Cp2と、残差符号C1,C2と、チャネル1,2が何れのチャネルなのかを示す選択情報1とを出力する。
なお、残差符号の符号量に比べ係数符号の符号量は非常に少ない。そのため、残差符号の符号量のみで比較・選択を行うことも可能である。この場合は、比較部30jaは、Lチャネルの残差符号Cとの符号量、Rチャネルの残差符号Cとの符号量、L−Rチャネルの残差符号CL−Rとの符号量、の3つを比較する。そして、選択部30jbは、符号量が最小であるチャネル1と2番目に小さいチャネル2とを選択し、選択したチャネル1,2に対応する係数符号Cp1,Cp2と残差符号C1,C2と、チャネル1,2が何れのチャネルなのかを示す選択情報1とを出力する。
次に、残差符号化部30d,30eが、それぞれ、入力された予測残差信号yL(j),yR(j)を符号化し、残差符号CL,CRを算出して出力する。
次に、重み付き差分生成部20pが、入力された予測残差信号yL(j)と予測残差信号yR(j)との重み付き差分信号yW(j)=yL(j)−γ・yR(j)を生成して出力する。具体的には、まず、チャネル間相関計算部20paが、入力された予測残差信号yL(j)と予測残差信号yR(j)とを用い、これらの正規化自己相関
Figure 0004989095
を求める。次に乗算部20pbが、この正規化自己相関γを各予測残差信号yR(j)に乗算する。そして、減算部20pcが、これら各乗算結果γyR(j)を予測残差信号yL(j)から減算して、予測残差信号の重み付き差分信号yW(j)=yL(j)−γ・yR(j)を生成する。次に、残差符号化部20qが、入力された重み付き差分信号yW(j)を符号化し、重み付き差分信号チャネルの残差符号CWを生成し、出力する。
その後、符号決定部30kの比較部30kaが、残差符号化部30d,30e,20qからそれぞれ出力された(Lチャネル、Rチャネル、重み付き差分信号チャネルにそれぞれ対応する)残差符号CL,CR,CWを比較し、その比較結果を出力する。次に、選択部30kbが、この比較結果を用い、符号量が最小であるチャネル3と、符号量が2番目に小さいチャネル4とを選択し、選択されたチャネル3,4に対応する残差符号C3,C4と、チャネル3,4が何れのチャネルなのかを示す選択情報2と、係数符号CpL,CpRとを出力する。
次に、符号決定部30mの比較部30maが、入力されたチャネル1,2に対応するCp1,Cp2,C1,C2の合計符号量と、チャネル3,4に対応するC3,C4,CpL,CpRの合計符号量とを比較し、合計符号量が小さいチャネルの組(チャネル5,6)を選択する。そして、選択部30mbが、チャネル5,6に対応する残差符号C5,C6と、係数符号Cp5,Cp6と、チャネル5,6が何れのチャネルなのかを示す選択情報3とを符号列として出力する。なお、選択情報3の生成には、入力された選択情報1,2が用いられる。また、チャネル1,2に対応する合計符号量と、チャネル3,4に対応する合計符号量とを比較し、合計符号量が小さいチャネルの組(チャネル5,6)を選択する代わりに、チャネル1,2に対応する残差符号C1,C2の合計符号量と、チャネル3,4に対応する残差符号C3,C4の合計符号量とを比較し、合計符号量が小さいチャネルの組(チャネル5,6)を選択してもよい。
<実施例3の特徴>
実施例3では、L、Rチャネルの入力信号に対する予測分析処理、予測係数符号化処理及び予測フィルタ処理を、差分手法と予測誤差重み付差分手法とで共用する構成とした。そのため、差分手法と予測誤差重み付差分手法とで、別々に予測分析処理、予測係数符号化処理及び予測フィルタ処理を実行していた従来例3に比べ、演算量を低減できる。
〔実施例3の変形例〕
実施例3では、依然としてLチャネルの予測残差信号とRチャネルの予測残差信号について、それぞれ2回の残差符号化を行っていた。この残差符号化の処理をそれぞれ1回ずつ行うようにしたのがこの変形例である。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図4は、実施例3の変形例のマルチチャネル符号化装置40の構成を示したブロック図である。なお、図4において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図4に示すように、マルチチャネル符号化装置40は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、重み付差分生成部20pと、残差符号化部20q,40a〜40cと、符号決定部40dと、制御部10qと、メモリ10rとを有している。また、符号決定部40dは、比較部40daと選択部40dbとを有している。
<処理>
以下、実施例3の変形例のマルチチャネル符号化装置を説明していく。
まず、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jとが、実施例1と同様な処理を行う。これにより、予測係数符号化部10e,10g,10iが、それぞれ、係数符号CpL,CpR,CpL-Rを出力し、予測フィルタ部10f,10h,10jが、それぞれ、予測残差信号yL(j),yR(j) ,yL-R(j)を出力する。
次に、残差符号化部30a,30b,30cが、それぞれ、入力された予測残差信号yL(j),yR(j) ,yL-R(j)を符号化し、残差符号CL,CR,CL-Rを算出して出力する。
次に、重み付き差分生成部20pが、入力された予測残差信号yL(j)と予測残差信号yR(j)との重み付き差分信号yW(j)=yL(j)−γ・yR(j)を生成して出力し、残差符号化部20qが、入力された重み付き差分信号yW(j)を符号化し、重み付き差分信号チャネルの残差符号CWを生成し、出力する。
その後、符号決定部40dが、符号列として出力する係数符号と残差符号とを選択する。しかし、この例では、従来法1〜3の処理を組み合わせてこの選択処理を行うことができない。そのため、符号決定部40dは、例えば下記の処理により、符号列として出力する係数符号と残差符号とを決定する。以下、図5のフローチャートに沿って、この符号決定部の処理例を説明する。
まず、符号決定部40dの比較部40daが、入力されたL−Rチャネルに対応する残差符号CL-Rの符号量と、重み付き差分信号チャネルに対応する残差符号CWの符号量とを比較し、符号量が小さい方のチャネルを選択する(ステップS11)。なお、ここで選択されたチャネルをチャネル1とする。次に、比較部49daが、入力されたLチャネルに対応する残差符号CLの符号量と、Rチャネルに対応する残差符号CRの符号量と、チャネル1に対応する残差符号Cの符号量とを比較する(ステップS12)。
そして、選択部40dbが、その比較結果を用い、これらのチャネル(Lチャネル,Rチャネル,チャネル1)から符号量が最小のチャネル2と、符号量が2番目に小さいチャネル3とを選択する。そして、選択部40dbは、チャネル2に対応する残差符号C2と、チャネル3に対応する残差符号C3と、を符号列の一部として出力する(ステップS13)。
次に、選択部40dbが、チャネル2,3は重み付き差分信号チャネルを含むか否かを判断する(ステップS14)。ここで、チャネル2,3が重み付き差分信号チャネルを含むと判断された場合、選択部40dbは、入力された係数符号CpL,CpRと、ステップS13とS15で符号を出力するチャネルを示す選択情報とを符号列の一部として出力する(ステップS15)。一方、チャネル2,3が重み付き差分信号チャネルを含まないと判断された場合、選択部40dbは、CpL,CpR,CpL-Rのうちのチャネル2,3に対応する係数符号Cp2,Cp3と、ステップS13とS16で符号を出力するチャネルを示す選択情報とを、符号列の一部として出力する(ステップS16)。
なお、この実施例では、ステップS13とS15で符号を出力するチャネル或いはステップS13とS16で符号を出力するチャネルを示す情報を、選択情報として出力した。しかし、ステップS13において選択されたチャネルが分かればステップS15やS16で選択されたチャネルも分かるので、ステップS13で選択されたチャネルを示す選択情報のみを出力してもよい。
<実施例3の変形例の特徴>
これにより、実施例3に比べ、残差符号化のための演算量を低減させることができる。
〔実施例4〕
次に、本発明における実施例4について説明する。実施例4は、従来例3に対応するものである。実施例4では、予測残差符号量推定値を用いた比較により、符号化のための演算量を抑え、符号化のための演算量を大幅に低減させる。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図6は、実施例4のマルチチャネル符号化装置50の構成を示したブロック図である。なお、図6において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図6に示すように、マルチチャネル符号化装置50は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、予測残差符号量推定部10kと、重み付差分生成部20pと、選択部50a,50c,50eと、比較部50bと、残差符号化部20q,30c,50f,50gと、符号決定部50hと、制御部10qと、メモリ10rとを有している。また、符号決定部50hは、比較部50haと選択部50hbとを有している。
<処理>
以下、実施例4のマルチチャネル符号化装置を説明していく。
まず、減算部10aと、予測分析部10b,10cと、予測係数符号化部10e,10gと、予測フィルタ部10f,10hとが、実施例1と同様な処理を行う。これにより、予測係数符号化部10e,10gが、それぞれ、係数符号CpL,CpRを出力し、予測フィルタ部10f,10hが、それぞれ、予測残差信号yL(j),yR(j) を出力する。
その後、予測残差符号量推定部10kが、入力された予測残差信号yL(j),yR(j)を用い、Lチャネル,Rチャネルそれぞれに対し、実施例1と同様な残差符号量推定値PCL,PCRを算出して出力する。
次に、比較部50bが、入力された残差符号量推定値PCL,PCRを比較し、比較結果を出力する。次に、選択部50a,50cが、入力された当該比較結果を用い、LチャネルとRチャネルとから、残差符号量推定値が小さい方のチャネルを基準チャネルAとして選択する。そして、選択部50aは、入力された係数符号CpL,CpRから基準チャネルAに対応する係数符号Cpを選択し、これを、基準チャネルAがL,Rの何れのチャネルであるかを示す選択情報1とともに出力する。なお、ここでは、選択部50aのみから選択情報1が出力される構成とするが、選択部50a,50c,50eの少なくとも1つから選択情報1が出力されればよく、複数の選択部から選択情報1が出力されてもよい。また、選択部50cが、入力された予測残差信号yL(j),予測残差信号yR(j)から基準チャネルAに対応する予測残差信号yA(j)を選択して出力する。そして、残差符号化部50f,50gが、入力された基準チャネルAの予測残差信号yA(j)を符号化し、残差符号CAを生成し、これらを出力する。
次に、予測分析部10dと、予測係数符号化部10iと、予測フィルタ部10jとが、実施例1と同様な処理を行う。これにより、予測係数符号化部10iが、係数符号CpL-Rを出力し、予測フィルタ部10jが、それぞれ、予測残差信号yL-R(j)を出力する。そして、残差符号化部30cが、入力された予測残差信号yL-R(j) を符号化し、残差符号CL-Rを算出して出力する。
次に、選択部50eが、入力された上記の比較結果を用い、残差符号量推定値が大きい方のチャネルを符号化チャネルBとして選択する 。そして、選択部50eは、入力された予測残差信号yL(j),予測残差信号yR(j)から符号化チャネルBに対応する予測残差信号yB(j)を選択して出力する。また、残差符号化部50f,50gが、入力された基準チャネルAの予測残差信号yA(j)を符号化し、残差符号CAを生成し、これらを出力する。
次に、重み付き差分生成部20pが、実施例2と同様に、入力された符号化チャネルBの予測残差信号yB(j)と、基準チャネルAの予測残差信号yA(j)との重み付き差分信号yW(j)=yB(j)−γ・yA(j)を生成して出力する。そして、残差符号化部20qが、入力された重み付き差分信号yW(j)を符号化し、重み付き差分信号チャネルの残差符号CWを生成して出力する。
次に、符号決定部50hの比較部50haが、入力された基準チャネルA及びL−Rチャネルに対応する係数符号Cp,CpL-R及び残差符号C,CL-Rの合計符号量と、基準チャネルA及び重み付き差分信号チャネルに対応する係数符号Cp,CpR及び残差符号C,CL-Rの合計符号量とを比較し、その比較結果を出力する。選択部50hbは、この比較結果を用い、基準チャネルAとL−Rチャネルとの組、及び、基準チャネルAと重み付き差分信号チャネルとの組から、合計符号量が小さいチャネルの組をチャネル1,2として選択する。そして、選択部50hbは、チャネル1,2に対応する残差符号C1,C2と、係数符号Cp1,Cp2と、チャネル1,2を示す選択情報2とを符号列として出力する。なお、選択情報2の生成には、基準チャネルAが何れのチャネルであるかを示す選択情報1が用いられる。
<実施例4の特徴>
予測残差符号量推定部10kにおけるエネルギーの総和、又は、振幅の絶対値の総和の計算のための演算量は、エントロピー符号化等の符号化の処理量より相当少ない。よって、全体としては実施例3よりもさらに大幅に処理量を少なくすることができる。また、予測残差信号の振幅の絶対値の総和、又は、予測残差信号のエネルギーの総和の大小は、実際の残差符号の符号量の大小とほぼ一致している。そのため、誤った推定により、符号量が多いチャネルが選択されてしまい、全体の圧縮符号量が増大してしまうこともほとんどない。
〔実施例4の変形例1〕
実施例4では、予測残差信号のうち推定符号量が小さいものについて、残差符号化部50f,50gが、同じ2つの残差符号Cを生成し、これらが符号決定部50hでの処理に用いられていた。本変形例は、これらの残差符号化の処理を一度だけ行い、符号決定部での処理を変形した例である。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図7は、実施例4の変形例1のマルチチャネル符号化装置60の構成を示したブロック図である。なお、図7において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図7に示すように、マルチチャネル符号化装置60は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、予測残差符号量推定部10kと、重み付差分生成部20pと、選択部50c,50eと、比較部50bと、残差符号化部20q,30c,50fと、符号決定部60hと、制御部10qと、メモリ10rとを有している。また、符号決定部60hは、比較部60haと選択部60hbとを有している。
<処理>
以下、実施例4の変形例1のマルチチャネル符号化装置を説明していく。
まず、減算部10aと、予測分析部10b,10cと、予測係数符号化部10e,10gと、予測フィルタ部10f,10hとが、実施例1と同様な処理を行う。これにより、予測係数符号化部10e,10gが、それぞれ、係数符号CpL,CpRを出力し、予測フィルタ部10f,10hが、それぞれ、予測残差信号yL(j),yR(j) を出力する。
その後、予測残差符号量推定部10kが、入力された予測残差信号yL(j),yR(j)を用い、Lチャネル,Rチャネルそれぞれに対し、実施例1と同様な残差符号量推定値PCL,PCRを算出して出力する。
次に、比較部50bが、入力された残差符号量推定値PCL,PCRを比較し、比較結果を出力する。次に、選択部50cが、入力された当該比較結果を用い、LチャネルとRチャネルとから、残差符号量推定値が小さい方のチャネルを基準チャネルAとして選択する。そして、選択部50cは、入力された予測残差信号yL(j),予測残差信号yR(j)から基準チャネルAに対応する予測残差信号yA(j)を選択して出力し、これを、基準チャネルAがL,Rの何れのチャネルであるかを示す選択情報1とともに出力する。なお、ここでは、選択部50aのみから選択情報1が出力される構成とするが、選択部50c,50eの少なくとも1つから選択情報1が出力されればよく、両方の選択部から選択情報1が出力されてもよい。そして、残差符号化部50fが、入力された基準チャネルAの予測残差信号yA(j)を符号化し、残差符号CAを生成し、これらを出力する。
次に、予測分析部10dと、予測係数符号化部10iと、予測フィルタ部10jとが、実施例1と同様な処理を行う。これにより、予測係数符号化部10iが、係数符号CpL-Rを出力し、予測フィルタ部10jが、それぞれ、予測残差信号yL-R(j)を出力する。そして、残差符号化部30cが、入力された予測残差信号yL-R(j) を符号化し、残差符号CL-Rを算出して出力する。
また、選択部50eが、入力された上記の比較結果を用い、残差符号量推定値が大きい方のチャネルを符号化チャネルBとして選択する 。そして、選択部50eは、入力された予測残差信号yL(j),予測残差信号yR(j)から符号化チャネルBに対応する予測残差信号yB(j)を選択して出力する。
次に、重み付き差分生成部20pが、実施例2と同様に、入力された符号化チャネルBの予測残差信号yB(j)と、基準チャネルAの予測残差信号yA(j)との重み付き差分信号yW(j)=yB(j)−γ・yA(j)を生成して出力する。そして、残差符号化部20qが、入力された重み付き差分信号yW(j)を符号化し、重み付き差分信号チャネルの残差符号CWを生成して出力する。
次に、符号決定部60hが、符号列を決定する。しかし、この変形例では、この処理に従来法3のものを用いることができない。そのため、符号決定部60hは、例えば下記の処理により出力する係数符号と残差符号を決定する。
図8は、この符号決定部60hの処理例を説明するためのフローチャートである。以下、この図に沿って符号決定部60hの処理例を説明する。
まず、符号決定部60hの比較部60haが、入力されたL−Rチャネルに対応する残差符号CL-Rの符号量と、重み付き差分信号チャネルに対応する残差符号CWの符号量とを比較し、符号量が小さい方のチャネルを選択する(ステップS51)。ここで選択されたチャネルをチャネル1とする。
次に、選択部60hbが、選択されたチャネル1に対応する残差符号C1と、基準チャネルA(チャネル2)の残差符号CA (残差符号C2)と、チャネル1,2を示す選択情報2とを符号列の一部として出力する(ステップS53)。
そして、選択部60hbが、チャネル1が重み付き差分信号チャネルであるか否かを判断する(ステップS53)。ここで、チャネル1が重み付き差分信号チャネルであると判断された場合、選択部60hbは、係数符号CpL,CpRを符号列の一部として出力する(ステップS54)。一方、チャネル1が重み付き差分信号チャネルでないと判断された場合、チャネル1,2に対応する係数符号Cp1,Cp2を符号列の一部として出力する(ステップS55)。
<実施例4の変形例1の特徴>
この変形例では、実施例4に比べ、少ない演算量で符号列を生成することができる。
〔実施例4の変形例2〕
実施例4の変形例2では、実施例4及び実施例4の変形例1において、比較部50bが、残差符号量推定値PCL,PCRが所定の閾値以下(或いは未満)であるか否かを判定する。そして、残差符号量推定値PCL,PCRが所定の閾値以下(或いは未満)であると判定された場合、予測分析部10dと、予測係数符号化部10iと、予測フィルタ部10jと、残差符号化部30cと、選択部50eと、重み付き差分生成部20pと、残差符号化部50gと、残差符号化部20qとの処理が省略される。この場合、選択部50cは、LチャネルとRチャネルを双方選択し、LチャネルとRチャネルとを選択したことを示す選択情報3を出力する。選択されたLチャネルとRチャネルの残差信号は、残差符号化部L及び残差符号化部Rによって、それぞれ符号化され、残差符号CL,CRが生成される。そして、符号決定部60hが、Lチャネルの係数符号CpLと、Rチャネルの係数符号CpRと、Lチャネルの残差符号CLと、Rチャネルの残差符号CRと、選択情報3とを符号列として出力する。
〔実施例5〕
次に、本発明における実施例5について説明する。実施例5は従来法3に対応するものである。
本実施例では、実施例4のように残差符号量の推定によって、LチャネルとRチャネルとから残差符号量が小さいと推定されるチャネルを選択することに加え、L−Rチャネルと重み付き差分信号チャネルとについても、残差符号量の推定によって、残差符号量が小さいと推定されるチャネルを選択する。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図9は、実施例5のマルチチャネル符号化装置70の構成を示したブロック図である。なお、図9において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図9に示すように、マルチチャネル符号化装置70は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、予測残差符号量推定部10k,70aと、重み付差分生成部20pと、選択部50a,50c,50e,70c,70eと、比較部50b,70bと、残差符号化部50f,50g,70dと、制御部10qと、メモリ10rとを有している。
<処理>
以下、実施例5のマルチチャネル符号化装置を説明していく。
まず、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、予測残差符号量推定部10kと、選択部50a,50c,50eと、重み付差分生成部20pと、比較部50bと、残差符号化部50f,50gとが、実施例4と同様な処理を実行する。これにより、予測係数符号化部10e,10g,10iから係数符号CpL,CpR,CpL-Rが、選択部50aから選択情報1と係数符号CpAが、残差符号化部50f,50gから残差符号CAが、予測フィルタ部10jから予測残差信号yL-R(j)が、それぞれ出力される。
その後、予測残差符号量推定部70aが、入力された予測残差信号yL-R(j)を用い、L−Rチャネルに対応する残差符号量推定値PCL-Rを算出する。また、予測残差符号量推定部70aは、入力された重み付き差分信号yW(j)を用い、重み付き差分信号チャネルに対応する残差符号量推定値PCWを算出する。なお、予測残差符号量推定部70aが算出する残差符号量推定値も、予測残差符号量推定部10kが算出する残差符号量推定値と同様に、各信号を符号化した際の符号量に対して単調増加の関係にあると推定されるものであればよい。本実施例でも、予測残差信号(重み付き差分信号も含む)の振幅の絶対値、又は、予測残差信号(重み付き差分信号も含む)のエネルギーを、フレーム内で総計した値を残差符号量推定値とする。算出された残差符号量推定値PCL-R,PCWは、比較部70bに出力される。
比較部70bは、残差符号量推定値PCL-R,PCWを比較し、その比較結果を出力する。そして、選択部70cが、この比較結果を用い、L−Rチャネルと重み付き差分信号チャネルとから、残差符号量推定値が小さい方のチャネルを選択し、選択したチャネル(選択チャネル)を示す選択情報2を出力する。その後、残差符号化部70dが、選択チャネルに対応する予測残差信号yL-R(j)又は重み付き差分信号yW(j)を符号化して、残差符号C2を生成し、符号列の一部として出力する。
次に、選択部70eが、他に出力する符号列を選択する。図10は、この選択部70eの処理を説明するためのフローチャートである。
まず、選択部70eは、入力された選択情報2が示す選択チャネルは、重み付き差分信号チャネルであるか否かを判断する(ステップS71)。
ここで、選択情報2が示す選択チャネルが重み付き差分信号チャネルであると判断された場合、選択部70eは、入力された係数符号CpL,CpR,CpL-Rと、係数符号CpAと、残差符号CAと、残差符号CL-Rとから、基準チャネルAの残差符号CAである残差符号C1と、Lチャネルの予測係数符号CpLである係数符号Cp1と、Rチャネルの係数符号CpRである係数符号Cp2とを符号列の一部として出力する。また、基準チャネルA及び選択チャネルが何れのチャネルなのかを示す選択情報も符号列の一部として出力する(ステップS72)。一方、選択情報2が示す選択チャネルが重み付き差分信号チャネルでないと判断された場合、選択部70eは、基準チャネルAの残差符号CAである残差符号C1と、基準チャネルAの予測係数符号Cpである係数符号Cp1と、L−Rチャネルの係数符号CpL-Rである係数符号Cp2と、基準チャネルA及び選択チャネルを示す選択情報3とを、符号列の一部として出力する(ステップS73)。なお、選択情報3は、選択情報1,2に基づいて生成される。
<実施例5の特徴>
本実施例によれば、実施例4よりも残差符号化処理が1つ少なくて済むため、さらに大幅に処理量を少なくすることができる。
〔実施例5の変形例〕
実施例5では、依然としてLチャネルの予測残差信号とRチャネルの予測残差信号のうち推定符号量が小さい方のチャネルについて符号化の処理を2回行っている。この変形例は、この残差符号化の処理を一度だけ行うようにしたものである。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図11は、実施例5の変形例のマルチチャネル符号化装置80の構成を示したブロック図である。なお、図11において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図11に示すように、マルチチャネル符号化装置80は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、予測残差符号量推定部10k,70aと、重み付差分生成部20pと、選択部50c,50e,70c,80aと、比較部50b,70bと、残差符号化部50f,70dと、制御部10qと、メモリ10rとを有している。
<処理>
以下、実施例5の変形例のマルチチャネル符号化装置を説明していく。
まず、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部10f,10h,10jと、予測残差符号量推定部10kと、選択部50c,50eと、重み付差分生成部20pと、比較部50bと、残差符号化部50fとが、実施例4の変形例1と同様な処理を実行する。これにより、予測係数符号化部10e,10g,10iから係数符号CpL,CpR,CpL-Rが、選択部50cから選択情報1が、残差符号化部50fから残差符号C1が、予測フィルタ部10jから予測残差信号yL-R(j)が、それぞれ出力される。このうち残差符号C1はマルチチャネル符号化装置80が出力する符号列の一部となる。
次に、予測残差符号量推定部70aと、比較部70bと、選択部70cと、残差符号化部70dが、実施例5と同様な処理を実行する。これにより、選択部70cから選択情報2が、残差符号化部70dから残差符号C2が、それぞれ出力される。このうち残差符号C2はマルチチャネル符号化装置80が出力する符号列の一部となる。
次に、選択部80aが、他の符号列を選択する。図12は、この選択部80aの処理を説明するためのフローチャートである。
まず、選択部80aは、入力された選択情報2が示す選択チャネルが、重み付き差分信号チャネルであるか否かを判断する(ステップS101)。
ここで、選択情報2が示す選択チャネルが、重み付き差分信号チャネルであると判断された場合、選択部80aは、入力された係数符号CpL,CpR,CpL-Rから、Lチャネルの係数符号CpLである係数符号Cp1と、Rチャネルの係数符号CpRである係数符号Cp2とを、符号列の一部として出力する。また、基準チャネルA及び選択チャネルを示す選択情報3とを、符号列の一部として出力する(ステップS102)。一方、選択情報2が示す選択チャネルが、重み付き差分信号チャネルでないと判断された場合、選択部80aは、基準チャネルAの係数符号Cpである係数符号Cp1と、L−Rチャネルの係数符号CpL-Rである係数符号Cp2と、基準チャネルA及び選択チャネルを示す選択情報3とを、符号列の一部として出力する(ステップS103)。なお、選択情報3は、選択情報1,2に基づいて生成される。
<実施例5の変形例の特徴>
この変形例では、実施例5に比べ、少ない演算量で符号列を生成することができる。
〔実施例6〕
次に、本発明の実施例6について説明する。実施例6は従来法1に対応するものである。実施例6では、各チャネルに対応する入力信号と、当該入力信号を予測分析して得られる予測係数とを用いて算出した近似値を残差符号量推定値とし、これにより、予測フィルタ部によるフィルタリング処理数を1つ減らす。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図13は、実施例6のマルチチャネル符号化装置90の構成を示したブロック図である。なお、図13において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図13に示すように、マルチチャネル符号化装置90は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iと、予測フィルタ部90b,90cと、予測残差符号量推定部90kと、符号決定部90aと、残差符号化部10n,10pと、制御部10qと、メモリ10rとを有している。また、符号決定部90aは、比較部90aaと選択部90abとを有している。
<処理>
以下、実施例6のマルチチャネル符号化装置を説明していく。
まず、減算部10aと、予測分析部10b〜10dと、予測係数符号化部10e,10g,10iとが、実施例1の変形例と同様な処理を実行する。これにより、減算部10aからL−Rチャネルの入力信号xL-R(j)が出力され、予測係数符号化部10e,10g,10iから、それぞれ、係数符号CpL,CpR,CpL-Rと量子化予測係数α^L(i),α^R(i),α^L-R(i)とが出力される。
次に、予測残差符号量推定部90kが、入力信号xL(j)と、量子化予測係数αL^(i)とを用い、Lチャネルに対する残差符号量推定値PCLを算出し、入力信号xR(j)と、量子化予測係数αR^(i)とを用い、Rチャネルに対する残差符号量推定値PCRを算出し、入力信号xL-R(j)と、量子化予測係数αL-R^(i)とを用い、L−Rチャネルに対する残差符号量推定値PCL-Rを算出し、各残差符号量推定値PCL,PCR,PCL-Rを出力する。以下、Lチャネルを例にとって、本実施例の残差符号量推定値の算出手順を例示する。
[フレーム当りのエネルギーの総和を残差符号量推定値とする場合]
フレーム当りのエネルギーの総和を残差符号量推定値とする場合、まず、予測残差符号量推定部90kが、入力信号xL(j)のエネルギー|xL(j)|2のフレーム当りの総和Fを求める。次に、予測残差符号量推定部90kは、量子化予測係数αL^(i)から偏自己相関係数(PARCOR係数)をk(i)(i∈{1,2,...,p})算出する。なお、予測係数と偏自己相関係数とは等価なパラメータであり、それらの関係や変換装置も公知である。偏自己相関係数の算出アルゴリズムには、例えば、MATLAB(登録商標)で採用されているもの等を用いる。次に、予測残差符号量推定部90kは、残差符号量推定値E(= PCL)を、次式を用いて算出する。
Figure 0004989095
[フレーム当りの振幅の絶対値の総和を残差符号量推定値とする場合]
フレーム当りの振幅の総和を残差符号量推定値とする場合、まず、予測残差符号量推定部90kが、入力信号xL(j)の振幅の絶対値|xL(j)|のフレーム当りの総和Fを求める。次に、予測残差符号量推定部90kは、量子化予測係数αL^(i)から偏自己相関係数(PARCOR係数)をk(i)(i∈{1,2,...,p})算出する。次に、予測残差符号量推定部90kは、残差符号量推定値E(= PCL)を式(1)を用いて算出する。また、より好ましくは、予測残差符号量推定部90kは、次式を用いて残差符号量推定値Eを算出する。式(2)を用いることにより、より推定精度の高い残差符号量推定値Eを算出することができる。
Figure 0004989095
R,L−Rチャネルに対する残差符号量推定値PCR,PCL-Rも同様にして算出できる。
次に、符号決定部90aが、入力された残差符号量推定値PCL,PCR,PCL-Rを比較し、当該比較結果を出力する。そして、選択部90abが、この比較結果を用い、Lチャネル,Rチャネル,L−Rチャネルから、残差符号量推定値が最小であるチャネル1と、残差符号量推定値が2番目に小さいチャネル2とを選択する。さらに、選択部90abは、入力された入力信号xL(j) xR(j),xL-R(j)と係数符号CpL,CpR,CpL-Rと量子化予測係数α^L(i),α^R(i),α^L-R(i)とから、チャネル1,2に対応する入力信号x1(j),x2(j)と係数符号Cp1,Cp2と量子化予測係数α1^(i),α2^(i)とを選択し、出力する。また、選択部90abは、チャネル1,2が何れのチャネルなのかを示す選択情報と、係数符号Cp1,Cp2とを符号列の一部として出力する。
次に、予測フィルタ部90b,90cが、それぞれ、チャネル1,2に対応する量子化予測係数α1^(i),α2^(i)とを用い、チャネル1,2の入力信号x1(j) ,x2(j)をフィルタリングし、チャネル1,2の予測残差信号y1(j),y2(j)を求め、これらを出力する。さらに、残差符号化部10n,10pが、入力された予測残差信号y1(j),y2(j)を、それぞれ符号化し、残差符号C1とC2とを生成し、これらを符号列の一部として出力する。
<実施例6の特徴>
本実施例では、実施例1より予測フィルタ部の処理数を1つ減らすことができる。そして、予測フィルタ部での演算量は、予測残差符号量推定部90kでの演算量よりも大幅に多いため、実施例1よりも少ない演算処理量で符号化を行うことができる。
〔実施例6の変形例〕
次に、実施例6の変形例を説明する。この例は、実施例6において、さらに、予測係数符号化部での処理数を1つ減らした構成である。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図14は、実施例6の変形例のマルチチャネル符号化装置100の構成を示したブロック図である。なお、図14において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図14に示すように、マルチチャネル符号化装置100は、減算部10aと、予測分析部10b〜10dと、予測係数符号化部100b,100dと、予測フィルタ部100c,100dと、予測残差符号量推定部100kと、符号決定部100aと、残差符号化部10n,10pと、制御部10qと、メモリ10rとを有している。また、符号決定部100aは、比較部100aaと選択部100abとを有している。
<処理>
以下、実施例6の変形例のマルチチャネル符号化装置を説明していく。
まず、減算部10aと、予測分析部10b〜10dが、実施例1の変形例と同様な処理を実行する。これにより、減算部10aからL−Rチャネルの入力信号xL-R(j)が出力され、予測分析部10b〜10dから、それぞれ、予測係数αL(i),αR(i),αL-R(i)が出力される。
次に、予測残差符号量推定部100kが、入力信号xL(j)と、予測係数αL(i)とを用い、Lチャネルに対する残差符号量推定値PCLを算出し、入力信号xR(j)と、予測係数αR(i)とを用い、Rチャネルに対する残差符号量推定値PCRを算出し、入力信号xL-R(j)と、予測係数αL-R(i)とを用い、L−Rチャネルに対する残差符号量推定値PCL-Rを算出し、各残差符号量推定値PCL,PCR,PCL-Rを出力する。以下、Lチャネルを例にとって、本実施例の残差符号量推定値の算出手順を例示する。
[フレーム当りのエネルギーの総和を残差符号量推定値とする場合]
フレーム当りのエネルギーの総和を残差符号量推定値とする場合、まず、予測残差符号量推定部100kが、入力信号xL(j)のエネルギー|xL(j)|2のフレーム当りの総和Fを求める。次に、予測残差符号量推定部100kは、予測係数αL(i)から偏自己相関係数(PARCOR係数)をk(i)(i∈{1,2,...,p})算出する。次に、予測残差符号量推定部100kは、残差符号量推定値E(= PCL)を、前述の式(1)を用いて算出する。
[フレーム当りの振幅の絶対値の総和を残差符号量推定値とする場合]
フレーム当りの振幅の総和を残差符号量推定値とする場合、まず、予測残差符号量推定部100kが、入力信号xL(j)の振幅の絶対値|xL(j)|のフレーム当りの総和Fを求める。次に、予測残差符号量推定部100kは、予測係数αL(i)から偏自己相関係数(PARCOR係数)をk(i)(i∈{1,2,...,p})算出する。次に、予測残差符号量推定部100kは、残差符号量推定値E(= PCL)を前述の式(1)を用いて算出する。また、より好ましくは、予測残差符号量推定部100kは、前述の式(2)を用いて残差符号量推定値Eを算出する。式(2)を用いることにより、より推定精度の高い残差符号量推定値Eを算出することができる。
R,L−Rチャネルに対する残差符号量推定値PCR,PCL-Rも同様にして算出できる。
次に、符号決定部100aが、入力された残差符号量推定値PCL,PCR,PCL-Rを比較し、当該比較結果を出力する。そして、選択部100abが、この比較結果を用い、Lチャネル,Rチャネル,L−Rチャネルから、残差符号量推定値が最小であるチャネル1と、残差符号量推定値が2番目に小さいチャネル2とを選択する。さらに、選択部100abは、入力された入力信号xL(j) xR(j),xL-R(j)と予測係数αL(i),αR(i),αL-R(i)とから、チャネル1,2に対応する入力信号x1(j),x2(j)と予測係数α1(i),α2(i)とを選択し、出力する。また、選択部100abは、チャネル1,2が何れのチャネルなのかを示す選択情報を符号列の一部として出力する。
次に、予測係数符号化部100b,100dが、それぞれ、入力された予測係数α1(i),α2(i)を量子化した量子化予測係数α1^(i),α2^(i)と、量子化予測係数α1^(i),α2^(i)の係数符号Cp1,Cp2とを求め、これらを出力する。なお、係数符号Cp1,Cp2は符号列の一部となる。次に、予測フィルタ部100c,100eが、それぞれ、入力された量子化予測係数α1^(i),α2^(i)を用い、入力信号x1(j),x2(j)をフィルタリングし、チャネル1,2の予測残差信号y1(j),y2(j)を求めて出力する。次に、残差符号化部10n,10pが、入力された予測残差信号y1(j),y2(j)を、それぞれ符号化し、残差符号C1とC2とを生成し、これらを符号列の一部として出力する。
<実施例6の変形例の特徴>
この変形例では、実施例6より予測係数符号化部の処理を1つ減らすことができる。そのため、実施例6よりも少ない演算処理量で符号化を行うことができる。
〔実施例7〕
次に、本発明の実施例7について説明する。実施例7は従来法1に対応するものである。実施例7では、低次(第2の予測次数)の予測が行われた予測残差信号に対応する残差符号量推定値を用いて、チャネル間での符号量の大小を比較し、選択されたチャネルに対し、高次(第1の予測次数)の予測が行われた予測残差信号を符号化し、残差符号を生成する。ここで、第1の予測次数>第2の予測次数である。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図15は、実施例7のマルチチャネル符号化装置110の構成を示したブロック図である。なお、図15において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図15に示すように、マルチチャネル符号化装置110は、減算部10aと、低次予測分析部110b〜110dと、高次予測分析部110f,110gと、予測係数符号化部110g,110iと、予測フィルタ部110h,110jと、予測残差符号量推定部110kと、符号決定部110eと、残差符号化部10n,10pと、制御部10qと、メモリ10rとを有している。また、符号決定部110eは、比較部110eaと選択部110ebとを有している。
<処理>
以下、実施例7のマルチチャネル符号化装置を説明していく。
まず、減算部10aが、Lチャネルの各入力信号xL(j)からRチャネルの各入力信号xR(j)をそれぞれ減算したL−Rチャネルの入力信号xL-R(j)を算出して出力する。
次に、予測分析部110bが、Lチャネルの入力信号xL(j)の低次(第2の予測次数q)までの予測分析を行い、低次予測係数αL(i)(i=1,...,q)を算出して出力する。なお、qはp未満の予測次数である。予測次数qは、予め設定された値であっても良いし、入力信号等に応じてその都度算出される値であっても良い。また、予測分析には線形予測分析を用いるのが一般的であるが、如何なる予測分析装置を適用してもよい。同様に、予測分析部110c,110dそれぞれが、R,L−Rチャネルの入力信号xR(j),xL-R(j)の低次(第2の予測次数q)までの予測分析を行い、低次予測係数αR(i),αL-R(i)を算出して出力する。
次に、予測残差符号量推定部110kが、入力信号xL(j)と、低次予測係数αL(i)とを用い、Lチャネルに対する残差符号量推定値PCLを算出し、入力信号xR(j)と、低次予測係数αR(i)とを用い、Rチャネルに対する残差符号量推定値PCRを算出し、入力信号xL-R(j)と、低次予測係数αL-R(i)とを用い、L−Rチャネルに対する残差符号量推定値PCL-Rを算出し、各残差符号量推定値PCL,PCR,PCL-Rを出力する。また、残差符号量推定値の算出装置は、予測係数の次数が異なる以外は実施例6の変形例と同じである。なお、各入力信号と各低次予測係数とが入力される予測フィルタ部を設け、各低次予測残差信号を算出し、予測残差符号量推定部110kに各低次予測残差信号を入力させ、予測残差符号量推定部110kが、各低次予測残差信号を用いて実施例1と同様に予測残差符号量推定値を算出してもよい。
次に、符号決定部110eが、入力された残差符号量推定値PCL,PCR,PCL-Rを比較し、当該比較結果を出力する。そして、選択部110ebが、この比較結果を用い、Lチャネル,Rチャネル,L−Rチャネルから、残差符号量推定値が最小であるチャネル1と、残差符号量推定値が2番目に小さいチャネル2とを選択する。また、選択部110ebは、入力された入力信号xL(j) xR(j),xL-R(j)から、チャネル1,2に対応する入力信号x1(j),x2(j)を選択し、出力する。さらに、選択部110ebが、入力された低次予測係数αL(i),αR(i),αL-R(i)から、チャネル1,2に対応する低次予測係数α1’(i),α2’(i)を選択して出力してもよい。また、選択部110ebは、チャネル1,2が何れのチャネルなのかを示す選択情報を符号列の一部として出力する。
次に、高次予測分析部110f,110gが、それぞれ、チャネル1,2の入力信号x1(j),x2(j)の予測分析を、第1の予測次数p(>第2の予測次数q)まで行い、高次予測係数α1(i),α2(i)を算出して出力する。なお、チャネル1,2に対応する低次予測係数α1’(i),α2’(i)が入力される場合、高次予測分析部110f,110gは、それぞれ、低次予測係数α1’(i),α2’(i)と入力信号x1(j),x2(j)とを用い、残りのq+1次からp次までの予測係数のみを求めればよい。
次に、予測係数符号化部110g,110iが、それぞれ、チャネル1,2に対応する高次予測係数α1(i),α2(i)を量子化した量子化予測係数α1^(i),α2^(i)と、量子化予測係数α1^(i),α2^(i)の係数符号Cp1,Cp2とを求め、これらを出力する。そして、予測フィルタ部110h,110jが、それぞれ、入力された量子化予測係数α1^(i),α2^(i)を用い、入力信号x1(j),x2(j)をフィルタリングし、チャネル1,2の予測残差信号y1(j),y2(j)を求めて出力する。次に、残差符号化部10n,10pが、入力された予測残差信号y1(j),y2(j)を、それぞれ符号化し、残差符号C1とC2とを生成し、これらを符号列の一部として出力する。
〔実施例8〕
次に、本発明の実施例8について説明する。実施例8は、従来法3に対応するものである。本実施例では、L、R,L−Rチャネルの入力信号の予測分析によって符号量を推定し、L−Rの推定符号量がL,Rどちらかのチャネルの推定符号量より小さい場合は、実施例4,5等によって符号化を行い、そうでない場合はLチャネルとRチャネルを独立して符号化する。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図16は、実施例8のマルチチャネル符号化装置120の構成を示したブロック図である。なお、図16において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図16に示すように、マルチチャネル符号化装置120は、減算部10aと、予測分析部120b〜120dと、予測フィルタ部120f〜120fと、予測残差符号量推定部120kと、符号化装置決定部120mと、符号化部120n,120pと、制御部10qと、メモリ10rとを有している。また、符号化装置決定部120mは、比較部120maと選択部120mbとを有している。
<処理>
以下、実施例8のマルチチャネル符号化装置を説明していく。
まず、減算部10aが、Lチャネルの各入力信号xL(j)からRチャネルの各入力信号xR(j)をそれぞれ減算したL−Rチャネルの入力信号xL-R(j)を算出して出力する。
次に、予測分析部120bが、Lチャネルの入力信号xL(j)の低次(第2の予測次数q)までの予測分析を行い、低次予測係数αL(i)(i=1,...,q)を算出して出力する。同様に、予測分析部120c,120dそれぞれが、R,L−Rチャネルの入力信号xR(j),xL-R(j)の低次(第2の予測次数q)までの予測分析を行い、低次予測係数αR(i),αL-R(i)を算出して出力する。
次に、予測フィルタ部120f〜120jが、それぞれ、入力された低次予測係数αL(i),αR(i),αL-R(i)を用い、それぞれ、L,R,L−Rチャネルの入力信号xL(j),xR(j),xL-R(j)をフィルタリングし、L,R,L−Rチャネルの予測残差信号y’L(j),y’R(j),y’L-R(j)を求めて出力する。そして、予測残差符号量推定部120kが、入力された予測残差信号y’L(j),y’R(j),y’L-R(j)を用い、L,R,L−Rチャネルの残差符号量推定値PCL,PCR,PCL-Rをそれぞれ算出し、出力する。
次に、符号化装置決定部120mが、残差符号量推定値PCL,PCR,PCL-Rを用い、符号化装置を決定する。図17は、この符号化装置決定部120mの処理を説明するためのフローチャートである。
まず、符号決定部120mの比較部120maが、入力された残差符号量推定値PCL,PCR,PCL-Rを比較し、比較結果を出力する(ステップS131)。次に、選択部120maが、この比較結果を用い、L−Rチャネルの残差符号量推定値が、L,Rチャネルのどちらかの残差符号量推定値よりも小さいか否かを判断する(ステップS132)。ここで、L−Rチャネルの残差符号量推定値が、L,Rチャネルのどちらかの残差符号量推定値よりも小さいと判断された場合、選択部120mbは、入力された入力信号xL(j),xR(j),xL-R(j)を符号化部120nに出力し、符号化部120nは、各入力信号の予測分析を第1の予測次数p(>第2の予測次数)で予測分析を行い、チャネル間相関を利用し、実施例4又は5と同様に符号化を行い、係数符号Cp1,Cp2と残差符号C1,C2と選択情報とを符号列として出力する。一方、L−Rチャネルの残差符号量推定値が、L,Rチャネルのどちらかの残差符号量推定値よりも大きいと判断された場合、選択部120mbは、入力された入力信号xL(j),xR(j)を符号化部120pに出力し、符号化部120pは、各入力信号の予測分析を第1の予測次数p(>第2の予測次数)で予測分析を行い、第1の予測次数(>第2の予測次数)で予測分析を行い、LチャネルとRチャネルとをそれぞれ独立して符号化する。そして、L,Rチャネルに対応する係数符号Cp1,Cp2及び残差符号C1,C2と、出力符号がLチャネルとRチャネルであることを示す選択情報とを符号列として出力する。
なお、本実施例の低次予測分析部、低次予測フィルタ部、予測残差符号量推定部は、これまでの実施例で説明した何れのものを用いてもよい。また、本実施例では低次予測分析部、低次予測フィルタ部としているが、これらの処理を必ずしも実際の符号を求める際の予測分析よりも低次で行う必要もない。また、算出された予測係数を、選択部120mbを経由して符号化部120n又は120pに伝え、符号化に利用してもよい。さらには、低次予測係数量子化部を備え、量子化済の予測係数や係数符号、予測残差信号を、選択部120mbを経由して符号化部120n又は120pに伝え、符号化に利用してもよい。
また、符号化部120nと符号化部120pとに含まれる同じ処理部を、それぞれ別個に設けるのではなく1つだけ用意し、符号化部120nと符号化部120pとで共用して利用するようにしてもよい。
〔実施例9〕
次に本発明の実施例9について説明する。実施例9は、従来法1に対応するものである。実施例9では、短期予測分析(例えば、線形予測分析)によって、短期係数符号や短期予測残差信号を算出した後、短期予測残差信号の長期予測分析(ピッチ予測分析)を行って長期予測遅延量(ピッチ周期)や長期予測ゲインを算出する。そして、短期予測残差信号を用いて推定された短期残差符号量推定値と、長期予測ゲインとを用い、長期予測残差符号量を推定し、符号化を行うチャネルを選択する。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図18は、実施例9のマルチチャネル符号化装置130の構成を示したブロック図である。なお、図18において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図18に示すように、マルチチャネル符号化装置130は、減算部10aと、短期予測分析部130b〜130dと、短期予測係数符号化部130e,130g,130iと、短期予測フィルタ部と130f,130h,130jと、長期予測係数算出部130s〜130uと、予測残差符号量推定部130kと、符号決定部130mと、長期予測係数符号化部130n,130qと、長期予測フィルタ部130p,130rと、残差符号化部10n,10pと、制御部10qと、メモリ10rとを有している。また、符号決定部130mは、比較部130maと選択部130mbとを有している。
<処理>
以下、実施例9のマルチチャネル符号化装置を説明していく。
まず、減算部10aが、Lチャネルの各入力信号xL(j)からRチャネルの各入力信号xR(j)をそれぞれ減算したL−Rチャネルの入力信号xL-R(j)を算出して出力する。
次に、短期予測分析部130bが、Lチャネルの入力信号xL(j)の短期予測分析を行い、短期予測係数αL(i)(i=1,...,q)を算出して出力する。同様に、短期予測分析部130c,130dそれぞれが、R,L−Rチャネルの入力信号xR(j),xL-R(j)の短期予測分析を行い、短期予測係数αR(i),αL-R(i)を算出して出力する。
次に、短期予測係数符号化部130e,130g,130iが、それぞれ、入力された短期予測係数αL(i),αR(i),αL-R(i)を量子化した量子化予測係数αL^(i),αR^(i),αL-R^(i)と、量子化予測係数αL^(i),αR^(i),αL-R^(i)の係数符号CpL,CpR,CpL-Rを求め、これらを出力する。そして、短期予測フィルタ部130f,130h,130jが、それぞれ、入力された量子化予測係数αL^(i),αR^(i),αL-R^(i)を用い、L,R,L−Rチャネルの入力信号xL(j),xR(j),xL-R(j)をフィルタリングし、L,R,L−Rチャネルの短期予測残差信号yL(j),yR(j),yL-R(j)を求めて出力する。
次に、長期予測係数算出部130s〜130uが、それぞれ、L,R,L−Rチャネルの短期予測残差信号yL(j),yR(j),yL-R(j)の長期予測分析を行い、長期予測遅延量τL,τR,τL-Rと、長期予測ゲインγL,γR,γL-Rとを算出して出力する。なお、長期予測分析に関する詳細は、例えば、ハーフレート音声コーデック(PSI−CELP)規格書RCR STD−27C等に詳しいため説明を省略する。
その後、予測残差符号量推定部130kが、入力された短期予測残差信号yL(j)を用い、短期残差符号量推定値PCL’を算出し、短期残差符号量推定値PCL’と入力された長期予測ゲインγLとを用い、Lチャネルに対する長期残差符号量推定値PCLを算出し、出力する。同様に、R,L−Rチャネルに対しても長期残差符号量推定値PCR,PCL-Rを算出する。以下、これらの処理例を、Lチャネルを例にとって具体的に説明する。
[フレーム当りのエネルギーの総和を残差符号量推定値とする場合]
フレーム当りのエネルギーの総和を残差符号量推定値とする場合、まず、予測残差符号量推定部130kが、短期予測残差信号yL(j)のエネルギー|yL(j)|2のフレーム当りの総和E(=PCL’)を求める。次に、予測残差符号量推定部130kは、このEと長期予測ゲインγLとを用い、以下の式により長期残差符号量推定値G(=PCL)を算出する。
G=E(1−γL 2) …(3)
[フレーム当りの振幅の絶対値の総和を残差符号量推定値とする場合]
フレーム当りの振幅の総和を残差符号量推定値とする場合、まず、予測残差符号量推定部130kが、短期予測残差信号yL(j)の振幅の絶対値|yL(j)|のフレーム当りの総和Eを求める。次に、予測残差符号量推定部130kは、このEと長期予測ゲインγLとを用い、式(3)により長期残差符号量推定値G(=PCL)を算出する。また、より好ましくは、予測残差符号量推定部130kは、次式を用いて長期残差符号量推定値Gを算出する。式(4)を用いることにより、より推定精度の高い長期残差符号量推定値Gを算出することができる。
G=E(1−γL 2)1/2…(4)
また、前段のL,R,L−Rチャネルそれぞれに対し、長期フィルタ部及び長期予測係数符号化部を設け、これらによって実際の長期予測残差エネルギーの総和や振幅の絶対値の総和を実際に求め、それを残差符号量推定値としてもよい。
その後、符号決定部130mの比較部130maが、入力された長期残差符号量推定値PCL,PCR,PCL-Rを比較し、比較結果を出力する。また、選択部130mbが、この比較結果を用い、Lチャネル,Rチャネル,L−Rチャネルから、長期残差符号量推定値が最小であるチャネル1と、長期残差符号量推定値が2番目に小さいチャネル2とを選択する。さらに、選択部130mbは、入力された係数符号CpL,CpR,CpL-Rからチャネル1,2に対応する係数符号Cp1,Cp2を選択し、これらとチャネル1,2が何れのチャネルのものかを示す選択情報とを、符号列の一部として出力する。また、選択部130mbは、入力された長期予測遅延量τL,τR,τL-Rと、長期予測ゲインγL,γR,γL-Rと、短期予測残差信号yL(j),yR(j),yL-R(j)とから、チャネル1,2に対応する長期予測遅延量τ1,τ2と、長期予測ゲインγ1,γ2と、短期予測残差信号y1(j),y2(j)とを選択し、出力する。
また、長期予測係数符号化部130nが、チャネル1に対応する長期予測遅延量τ1と長期予測ゲインγ1とを、それぞれ量子化した量子化長期予測遅延量τ1^と量子化長期予測ゲインγ1^とを算出して出力する。また、長期予測係数符号化部130nは、量子化長期予測遅延量τ1^と量子化長期予測ゲインγ1^とを符号化した長期予測係数符号Cp’を算出し、符号列の一部として出力する。また、長期予測フィルタ部130pが、入力された量子化長期予測遅延量τ1^と量子化長期予測ゲインγ1^とを用い、チャネル1の短期予測残差信号y1(j)をフィルタリングし、チャネル1の長期予測残差信号y1(j)を求め、出力する。なお、ここでのフィルタリングとは、量子化長期予測遅延量と量子化長期予測ゲインとを代入した長期予測モデル(フィルタ)と、短期予測残差信号との差を求める処理を意味する。また、本実施例では次数が1次のフィルタによってフィルタリングを行う。そして、残差符号化部10nが、入力された長期予測残差信号y1(j)を符号化し、残差符号CL1を生成し、符号列の一部として出力する。
同様に、長期予測係数符号化部130qが、チャネル2に対応する長期予測遅延量τ2と長期予測ゲインγ2とを、それぞれ量子化した量子化長期予測遅延量τ2^と量子化長期予測ゲインγ2^とを算出して出力する。また、長期予測係数符号化部130qは、量子化長期予測遅延量τ2^と量子化長期予測ゲインγ2^とを符号化した長期予測係数符号Cp2’を算出し、符号列の一部として出力する。また、長期予測フィルタ部130rが、入力された量子化長期予測遅延量τ2^と量子化長期予測ゲインγ^とを用い、チャネル2の短期予測残差信号y2(j)をフィルタリングし、チャネル2の長期予測残差信号y2(j)を求め、出力する。そして、残差符号化部10pが、入力された長期予測残差信号y2(j)を符号化し、残差符号CL2を生成し、符号列の一部として出力する。
なお、前段のL,R,L−Rチャネルそれぞれに対し、長期フィルタ部及び長期予測係数符号化部を設けた場合、後段の長期予測フィルタ部130p,130r及び長期予測係数符号化部130n,130qは不要となる。この場合、前段のL,R,L−Rチャネルそれぞれに対し、長期予測係数符号と長期予測残差信号が算出され、選択部130mbが、チャネル1,2に対応する長期予測係数符号と長期予測残差信号とを選択する。
〔実施例9の変形例〕
次に、実施例9の変形例について説明する。この変形例では、長期予測残差符号量の推定を、短期予測残差信号を用いて行う。なお、以下では、既に説明した実施例と共通する事項を簡略化して説明する。
<構成>
図19は、実施例9の変形例のマルチチャネル符号化装置140の構成を示したブロック図である。なお、図19において既に説明した実施例と共通する部分については、これまで用いたものと同じ符号を付した。
図19に示すように、マルチチャネル符号化装置140は、減算部10aと、短期予測分析部130b〜130dと、短期予測係数符号化部130e,130g,130iと、短期予測フィルタ部と130f,130h,130jと、長期予測係数算出部140s,140tと、予測残差符号量推定部140kと、符号決定部140mと、長期予測係数符号化部130n,130qと、長期予測フィルタ部130p,130rと、残差符号化部10n,10pと、制御部10qと、メモリ10rとを有している。また、符号決定部140mは、比較部140maと選択部140mbとを有している。
<処理>
以下、実施例9の変形例のマルチチャネル符号化装置を説明していく。
減算部10aと、短期予測分析部130b〜130dと、短期予測係数符号化部130e,130g,130iと、短期予測フィルタ部と130f,130h,130jとが、実施例9と同様な処理を行う。これにより、短期予測係数符号化部130e,130g,130iから、それぞれ係数符号CpL,CpR,CpL-Rが出力され、短期予測フィルタ部130f,130h,130jから、それぞれ短期予測残差信号yL(j),yR(j),yL-R(j)が出力される。
その後、予測残差符号量推定部140kが、それぞれ、入力された短期予測残差信号yL(j),yR(j),yL-R(j)を用い、L,R,L−Rチャネルに対する残差符号量推定値PCL,PCR,PCL-Rを算出し、これらを出力する。予測残差符号量推定部140kの処理は、実施例1と同様である。
次に、符号決定部140mの比較部140maが、入力された残差符号量推定値PCL,PCR,PCL-Rを比較し、比較結果を出力する。また、選択部140mbが、この比較結果を用い、Lチャネル,Rチャネル,L−Rチャネルから、残差符号量推定値が最小であるチャネル1と、残差符号量推定値が2番目に小さいチャネル2とを選択する。さらに、選択部140mbは、入力された係数符号CpL,CpR,CpL-Rからチャネル1,2に対応する係数符号Cp1,Cp2を選択し、これらとチャネル1,2が何れのチャネルのものかを示す選択情報とを、符号列の一部として出力する。また、選択部140mbは、入力された短期予測残差信号yL(j),yR(j),yL-R(j)から、チャネル1,2に対応する短期予測残差信号y1(j),y2(j)とを選択し、出力する。
次に、長期予測係数算出部140s,140tは、それぞれ、入力された短期予測残差信号y1(j),y2(j)の長期予測分析を行い、チャネル1,2に対応する、長期予測遅延量τ1,τ2と、長期予測ゲインγ1,γ2とを算出し、出力する。
その後、長期予測係数符号化部130n,130qと、長期予測フィルタ部130p,130rと、残差符号化部10n,10pとが、実施例9と同様な処理を行い、長期予測係数符号Cp1’,Cp2’と残差符号CL1,CL2とを符号列の一部として出力する。
<実施例9の変形例の特徴>
この変形例は、実施例9に比べ、長期予測分析部による演算数を1つ減らすことができるため、実施例9よりもさらに演算量を低減することができる。また、本変形例では、短期予測残差信号から予測残差符号量推定値(短期予測残差信号のエネルギー又は振幅の絶対値のフレーム当りの総和等)を求め、これを長期予測残差信号の符号量の大小の推定に用いている。しかし、長期予測による符号量の低減効果は各チャネルにおいてほぼ同等であるため、これによって選択部140mbでの選択が誤ってしまうことは少ない。
〔実施例10〕
次に実施例10について説明する。実施例10は実施例3の適用例である。前述のように、実施例3では、L、Rチャネルの入力信号に対する予測分析処理、予測係数符号化処理及び予測フィルタ処理を、差分手法と予測誤差重み付差分手法とで共用し、演算量の低減を実現していた。実施例10では、この手法を、1フレームを複数の階層フレームに時間的にブロック分割(副フレーム分割)する場合や、複数のチャネルの系列を2チャネル毎に処理する場合に適用する。
図20に実施例10の概念図を示す。なお、図20における「分析」とは、予測分析、予測係数符号化及び予測フィルタリングを含む概念である。また、破線はブロック分割やチャネル分割した場合の各フレームを示す。フレームのとり方が相違する以外は、実施例3と同じである。
〔その他共通事項〕
また、上述の残差符号量推定値を比較してチャネル選択を行う実施例において、残差符号量推定値の差が所定の閾値以下又は未満であった場合、全てのチャネルの予測残差信号を符号化し、残差符号を生成し、生成された残差符号の符号量を比較し、他の残差符号よりも符号量が小さな残差符号を選択する構成としてもよい。具体的には、図1の構成と図3の構成とを複合させたマルチチャネル符号化装置を例示できる。この場合、制御部10qの制御のもと、通常は、図1の構成のみによって符号列を生成し、比較部10maにおいて残差符号量推定値の差が所定の閾値以下又は未満であったと判断された場合にのみ、図3の構成によって符号列を生成する。
また、残差符号量推定値の差が所定の閾値以下又は未満であった場合、各チャネルについて、さらに高い次数まで予測分析を行って残差符号量推定値を算出し、高い次数で算出された残差符号量推定値をチャネル間で比較し、当該比較結果を用い、チャネル選択や選択されたチャネルでの残差符号の生成を行ってもよい。例えば、図1のマルチチャネル符号化装置10においてこの構成を実現する場合、予測分析部10b〜10dが予測分析に用いる予測次数を、低次の予測次数pと高次の予測次数pの2段階に変更可能とする。そして、制御部10qの制御のもと、通常は、低次の予測次数pを用いて実施例1の処理を実行し、比較部10maが、残差符号量推定値の差が所定の閾値以下又は未満であると判断した場合にのみ、高次の予測次数p2を用いて実施例1の処理をやり直すか、次のフレームから数フレーム分だけ高次の予測次数p2を用いて実施例1の処理を実行する。また、予測次数を3段階以上に変更可能とし、残差符号量推定値の差が所定の閾値以上又は越えるまで、予測次数を更新しながら同様な処理を繰り返してもよい。
また、例えば、符号決定部が、L,R,L−Rチャネルのいずれか1つの入力信号のエネルギーが、他の2つのチャネルの入力信号のエネルギーよりも非常に大きい(例えば2倍を超えるような場合)と判断した場合、その時点で、入力信号のエネルギーの小さな2つのチャネルを符号化対象として選択する構成であってもよい。
また、本発明は上述の各実施例及びそれらの変更例に限定されるものではない。例えば、各実施例及びそれらの変更例では、予測残差信号の振幅の絶対値、又は、予測残差信号のエネルギーを、フレーム内で総計した値を残差符号量推定値とした。しかし、その他、予測残差信号の振幅の絶対値に対して単調増加の関係にある値を残差符号量推定値として用いてもよい。また、制御部10qの制御のもと、各実施例の構成を適宜組み合わせて実行してもよい。さらに、各実施例では、L,Rチャネルの2チャネルの入力信号を符号化する構成を例示したが、3チャネル以上の入力信号を符号化する構成に本発明を拡張適用してもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP−ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、各実施例では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
本発明の産業上の利用分野としては、例えば、ステレオ音響信号の圧縮符号化等を例示できる。
図1は、実施例1のマルチチャネル符号化装置の構成を示したブロック図である。 図2は、実施例2のマルチチャネル符号化装置の構成を示したブロック図である。 図3は、実施例3のマルチチャネル符号化装置の構成を示したブロック図である。 図4は、実施例3の変形例のマルチチャネル符号化装置の構成を示したブロック図である。 図5は、実施例3の変形例の符号列決定装置を説明するためのフローチャートである。 図6は、実施例4のマルチチャネル符号化装置の構成を示したブロック図である。 図7は、実施例4の変形例1のマルチチャネル符号化装置の構成を示したブロック図である。 図8は、実施例4の変形例1の符号列決定装置を説明するためのフローチャートである。 図9は、実施例5のマルチチャネル符号化装置の構成を示したブロック図である。 図10は、実施例5の符号列決定装置を説明するためのフローチャートである。 図11は、実施例5の変形例のマルチチャネル符号化装置の構成を示したブロック図である。 図12は、実施例5の変形例の符号列決定装置を説明するためのフローチャートである。 図13は、実施例6のマルチチャネル符号化装置の構成を示したブロック図である。 図14は、実施例6の変形例のマルチチャネル符号化装置の構成を示したブロック図である。 図15は、実施例7の変形例のマルチチャネル符号化装置の構成を示したブロック図である。 図16は、実施例8のマルチチャネル符号化装置の構成を示したブロック図である。 図17は、実施例8の符号列決定装置を説明するためのフローチャートである。 図18は、実施例9のマルチチャネル符号化装置の構成を示したブロック図である。 図19は、実施例9の変形例のマルチチャネル符号化装置の構成を示したブロック図である。 図20は、実施例10の概念図である。 図21は、従来法1の符号化装置の構成を示した図である。 図22は、従来法2の符号化装置の構成を示した図である。 図23は、従来法3の符号化装置の構成を示した図である。
符号の説明
10〜140 マルチチャネル符号化装置

Claims (8)

  1. 2個以上のチャネルの中から選択された2個のチャネルに対し、それぞれ、第1の予測次数での予測分析を行い、上記第1の予測次数までの各次数に対応する量子化予測係数の係数符号を求める第1の予測係数符号化過程と、
    上記2個のチャネルのそれぞれに対応する入力信号を、当該入力信号に対応する上記第1の予測係数符号化過程で求めた上記第1の予測次数までの量子化予測係数を用いてフィルタリングして得られる予測残差信号を求める第1の予測フィルタ過程と、
    上記2個のチャネルのそれぞれに対し、当該各チャネルの予測残差信号のエネルギーに対応する値である残差符号量推定値を算出する残差符号量推定過程と、
    上記2個のチャネルのうち上記残差符号量推定値が小さいほうのチャネルを基準チャネルとして選択する第1の選択過程と、
    上記2個のチャネルのうち上記残差符号量推定値が大きいほうのチャネルを符号化チャネルとして選択する第2の選択過程と、
    上記2個のチャネル間の差分信号について、第1の予測次数での予測分析を行い、各次数に対応する量子化予測係数の係数符号を求める第2の予測係数符号化過程と、
    上記第2の予測係数符号化過程で求めた量子化予測次数を用い、上記差分信号をフィルタリングして得られる予測残差信号を求める第2の予測フィルタ過程と、
    上記第2の予測フィルタ過程で求めた予測残差信号を符号化し、差分信号チャネルの残差符号を生成する第1の残差符号化過程と、
    所定の時間区間における、上記基準チャネルの予測残差信号の値と上記符号化チャネルの予測残差信号の値との乗算値の総和を、当該所定の時間区間における、上記基準チャネルの予測残差信号の値同士の乗算値の総和で除算して得られる値を上記基準チャネルの予測残差信号に乗算したものを、上記符号化チャネルの予測残差信号から減ずることにより、基準チャネルと符号化チャネルとの重み付き差分信号を生成する重み付き差分生成過程と、
    上記重み付き差分信号を符号化し、重み付き差分信号チャネルの残差符号を生成する第2の残差符号化過程と、
    上記重み付き差分信号チャネルの残差符号の符号量が上記差分信号チャネルの残差符号の符号量よりも小さい場合には、上記重み付き差分信号チャネルの残差符号と、上記基準チャネルの残差符号と、上記2個のチャネルに対応する係数符号と、を符号列として出力し、
    それ以外の場合には、上記差分信号チャネルの残差符号と、上記基準チャネルの残差符号と、上記差分信号チャネルと上記基準チャネルのそれぞれに対応する係数符号と、を符号列として出力する符号決定過程と、
    を有することを特徴とするマルチチャネル符号化方法。
  2. 請求項1に記載のマルチチャネル符号化方法であって、
    上記残差符号量推定過程は、
    上記各チャネルの予測残差信号のエネルギーに対応する値である残差符号量推定値を、
    当該チャネルの第1の予測次数よりも低次である第2の予測次数までの各量子化予測係数から求めた偏自己相関係数と、
    当該チャネルの入力信号のエネルギーと、
    を用いて算出する過程である、
    ことを特徴とするマルチチャネル符号化方法。
  3. 請求項2に記載のマルチチャネル符号化方法であって、
    上記残差符号量推定値は、
    上記入力信号のエネルギーを上記各過程の処理単位であるフレーム内で総計した値をFとし、上記第2の予測次数までの各量子化予測係数から求めた偏自己相関係数をk(i)(i∈{1,2,...,p})とした場合における、
    Figure 0004989095

    である、
    ことを特徴とするマルチチャネル符号化方法。
  4. 2個以上のチャネルの中から選択された2個のチャネルに対し、それぞれ、第1の予測次数での予測分析を行い、上記第1の予測次数までの各次数に対応する量子化予測係数の係数符号を求める第1の予測係数符号化部と、
    上記2個のチャネルのそれぞれに対応する入力信号を、当該入力信号に対応する上記第1の予測係数符号化部で求めた上記第1の予測次数までの量子化予測係数を用いてフィルタリングして得られる予測残差信号を求める第1の予測フィルタ部と、
    上記2個のチャネルのそれぞれに対し、当該各チャネルの予測残差信号のエネルギーに対応する値である残差符号量推定値を算出する残差符号量推定部と、
    上記2個のチャネルのうち上記残差符号量推定値が小さいほうのチャネルを基準チャネルとして選択する第1の選択部と、
    上記2個のチャネルのうち上記残差符号量推定値が大きいほうのチャネルを符号化チャネルとして選択する第2の選択部と、
    上記2個のチャネル間の差分信号について、第1の予測次数での予測分析を行い、各次数に対応する量子化予測係数の係数符号を求める第2の予測係数符号化部と、
    上記第2の予測係数符号化部で求めた量子化予測次数を用い、上記差分信号をフィルタリングして得られる予測残差信号を求める第2の予測フィルタ部と、
    上記第2の予測フィルタ部で求めた予測残差信号を符号化し、差分信号チャネルの残差符号を生成する第1の残差符号化部と、
    所定の時間区間における、上記基準チャネルの予測残差信号の値と上記符号化チャネルの予測残差信号の値との乗算値の総和を、当該所定の時間区間における、上記基準チャネルの予測残差信号の値同士の乗算値の総和で除算して得られる値を上記基準チャネルの予測残差信号に乗算したものを、上記符号化チャネルの予測残差信号から減ずることにより、基準チャネルと符号化チャネルとの重み付き差分信号を生成する重み付き差分生成部と、
    上記重み付き差分信号を符号化し、重み付き差分信号チャネルの残差符号を生成する第2の残差符号化部と、
    上記重み付き差分信号チャネルの残差符号の符号量が上記差分信号チャネルの残差符号の符号量よりも小さい場合には、上記重み付き差分信号チャネルの残差符号と、上記基準チャネルの残差符号と、上記2個のチャネルに対応する係数符号と、を符号列として出力し、
    それ以外の場合には、上記差分信号チャネルの残差符号と、上記基準チャネルの残差符号と、上記差分信号チャネルと上記基準チャネルのそれぞれに対応する係数符号と、を符号列として出力する符号決定部と、
    を有することを特徴とするマルチチャネル符号化装置。
  5. 請求項4に記載のマルチチャネル符号化装置であって、
    上記残差符号量推定部は、
    上記各チャネルの予測残差信号のエネルギーに対応する値である残差符号量推定値を、
    当該チャネルの第1の予測次数よりも低次である第2の予測次数までの各量子化予測係数から求めた偏自己相関係数と、
    当該チャネルの入力信号のエネルギーと、
    を用いて算出する、
    ことを特徴とするマルチチャネル符号化装置。
  6. 請求項5に記載のマルチチャネル符号化装置であって、
    上記残差符号量推定値は、
    上記入力信号のエネルギーを上記各の処理単位であるフレーム内で総計した値をFとし、上記第2の予測次数までの各量子化予測係数から求めた偏自己相関係数をk(i)(i∈{1,2,...,p})とした場合における、
    Figure 0004989095

    である、
    ことを特徴とするマルチチャネル符号化装置。
  7. 請求項1から3の何れかに記載のマルチチャネル符号化方法の各過程をコンピュータに実行させるためのマルチチャネル符号化プログラム。
  8. 請求項7に記載のマルチチャネル符号化プログラムを格納したコンピュータ読み取り可能な記録媒体。
JP2006105574A 2006-04-06 2006-04-06 マルチチャネル符号化方法、その装置、そのプログラム及び記録媒体 Active JP4989095B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006105574A JP4989095B2 (ja) 2006-04-06 2006-04-06 マルチチャネル符号化方法、その装置、そのプログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006105574A JP4989095B2 (ja) 2006-04-06 2006-04-06 マルチチャネル符号化方法、その装置、そのプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2007279385A JP2007279385A (ja) 2007-10-25
JP4989095B2 true JP4989095B2 (ja) 2012-08-01

Family

ID=38680899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006105574A Active JP4989095B2 (ja) 2006-04-06 2006-04-06 マルチチャネル符号化方法、その装置、そのプログラム及び記録媒体

Country Status (1)

Country Link
JP (1) JP4989095B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4634969B2 (ja) * 2006-05-29 2011-02-16 日本電信電話株式会社 線形予測モデル次数決定装置、線形予測モデル次数決定方法、そのプログラムおよび記録媒体
JP4691082B2 (ja) * 2007-09-11 2011-06-01 日本電信電話株式会社 線形予測モデル次数決定装置、線形予測モデル次数決定方法、そのプログラムおよび記録媒体
JP5413839B2 (ja) * 2007-10-31 2014-02-12 パナソニック株式会社 符号化装置および復号装置
JP5057334B2 (ja) * 2008-02-29 2012-10-24 日本電信電話株式会社 線形予測係数算出装置、線形予測係数算出方法、線形予測係数算出プログラム、および記憶媒体
JP5562332B2 (ja) * 2009-06-03 2014-07-30 日本電信電話株式会社 予測次数決定方法、予測次数決定装置、プログラム及び記録媒体
JP5990954B2 (ja) * 2012-03-19 2016-09-14 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、オーディオ復号装置、オーディオ復号方法ならびにオーディオ復号用コンピュータプログラム
CN114023338B (zh) * 2020-07-17 2025-06-03 华为技术有限公司 多声道音频信号的编码方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511798A (ja) * 1990-09-07 1993-01-22 Toshiba Corp 音声認識装置
JP2712925B2 (ja) * 1991-09-13 1998-02-16 松下電器産業株式会社 音声処理装置
JP3886482B2 (ja) * 2003-10-10 2007-02-28 日本電信電話株式会社 多チャネル符号化方法、復号方法、これらの装置、プログラムおよびその記録媒体
WO2006003993A1 (ja) * 2004-07-02 2006-01-12 Nippon Telegraph And Telephone Corporation 多チャネル信号符号化方法、その復号化方法、これらの装置、プログラム及びその記録媒体
US7733973B2 (en) * 2004-08-19 2010-06-08 The University Of Tokyo Multichannel signal encoding method, its decoding method, devices for these, program, and its recording medium

Also Published As

Publication number Publication date
JP2007279385A (ja) 2007-10-25

Similar Documents

Publication Publication Date Title
JP6422813B2 (ja) 符号化装置、復号装置、これらの方法及びプログラム
JP5521097B2 (ja) 信号を符号化する方法および信号を復号する方法
US8665945B2 (en) Encoding method, decoding method, encoding device, decoding device, program, and recording medium
JP4691082B2 (ja) 線形予測モデル次数決定装置、線形予測モデル次数決定方法、そのプログラムおよび記録媒体
US8326641B2 (en) Apparatus and method for encoding and decoding using bandwidth extension in portable terminal
JP6517924B2 (ja) 線形予測符号化装置、方法、プログラム及び記録媒体
JP4989095B2 (ja) マルチチャネル符号化方法、その装置、そのプログラム及び記録媒体
JP5663461B2 (ja) 符号化方法、符号化装置、プログラム、記録媒体
JP6457552B2 (ja) 符号化装置、復号装置、これらの方法及びプログラム
JP4634969B2 (ja) 線形予測モデル次数決定装置、線形予測モデル次数決定方法、そのプログラムおよび記録媒体
JP6668532B2 (ja) 復号装置、及びその方法、プログラム、記録媒体
JP4658852B2 (ja) 適応ブロック長符号化装置、その方法、プログラム及び記録媒体
JP4691050B2 (ja) Parcor係数算出方法、及びその装置とそのプログラムと、その記憶媒体
JP6387117B2 (ja) 符号化装置、復号装置、これらの方法、プログラム及び記録媒体
JP5057334B2 (ja) 線形予測係数算出装置、線形予測係数算出方法、線形予測係数算出プログラム、および記憶媒体
JP4658853B2 (ja) 適応ブロック長符号化装置、その方法、プログラム及び記録媒体
JP5395649B2 (ja) 符号化方法、復号方法、符号化装置、復号装置及びプログラム
JP4848049B2 (ja) 符号化方法、復号方法、それらの装置、プログラム及び記録媒体
JP4746532B2 (ja) 線形予測係数算出方法、及びその装置とそのプログラムと、その記憶媒体
JP5281485B2 (ja) 双方向予測符号化装置、双方向予測復号装置、それらの方法、それらのプログラム及びその記録媒体
JP5786044B2 (ja) 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体
JP3874851B2 (ja) 音声符号化装置
JP5800920B2 (ja) 符号化方法、符号化装置、復号方法、復号装置、プログラム及び記録媒体
JP2025005257A (ja) 処理装置、処理方法、及び処理プログラム
KR20060068278A (ko) 분산 음성 인식 시스템에서의 멜켑스트럼 계수의 양자화방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110512

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120427

R150 Certificate of patent or registration of utility model

Ref document number: 4989095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350