JP2002123298A - 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 - Google Patents
信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体Info
- Publication number
- JP2002123298A JP2002123298A JP2000318017A JP2000318017A JP2002123298A JP 2002123298 A JP2002123298 A JP 2002123298A JP 2000318017 A JP2000318017 A JP 2000318017A JP 2000318017 A JP2000318017 A JP 2000318017A JP 2002123298 A JP2002123298 A JP 2002123298A
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- calculating
- envelope
- weighting
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
包絡曲線における山と谷の位置を正確に推定することが
でき、これによって精度の高い聴覚マスキング方法を実
行できるようにする。 【解決手段】入力信号に対して時間軸/周波数軸変換を
行って周波数軸上の係数列X(n)を得るT/F変換部1
1と、係数列X(n)に基づいてスペクトル包絡を算出す
る包絡算出部13と、スペクトル包絡における山・谷の
位置を推定する山・谷推定部14と、スペクトル包絡に
おいて、推定された山・谷の位置へ情報量重み付けを行
う重み付け部15と、情報量重み付けされたスペクトル
包絡に基づいて、量子化用聴覚重みを算出する聴覚重み
算出部16と、量子化用聴覚重みに基づいて係数列X
(n)に対する量子化を行う量子化部17を設ける。
Description
/周波数軸変換して量子化を行う信号符号化方法及び装
置に関し、特に、符号化に際して発生する量子化誤差
を、人間の耳が知覚しづらいように変形するための聴覚
マスキング方法と、この聴覚マスキング方法による信号
符号化装置に関する。
化方法における聴覚マスキング方法としては、入力信号
を時間軸上または時間軸/周波数軸変換した上で、線形
予測分析方法等によりその入力信号のスペクトル包絡曲
線を推定し、その推定された曲線に妥当な変形操作を加
えることによってマスキング曲線を求めて聴覚マスキン
グを行なうという方法があった。あるいは、入力信号を
時間軸/周波数軸変換した信号から直接、スペクトル包
絡曲線を求め、この曲線に妥当な変形操作を加えること
によってマスキング曲線を求めて、聴覚マスキングによ
る量子化を行なう方法もあった。
は、周波数軸上でのマスキングとして、スペクトル包絡
曲線の谷付近の量子化雑音を減らし、その代りにスペク
トル包絡曲線の山付近の量子化雑音を増加させるような
ノイズシェイピングを行うことによって、人間の耳には
量子化雑音が聞こえにくいようにすることができる。こ
こで、上述したような従来法では、スペクトル包絡にお
ける山と谷の推定位置が不正確となる場合があったた
め、ノイズシェイピングが適切に行われずに、結果とし
て符号化再生音の音質が悪い場合があった。
線における山と谷の位置を正確に推定することができ、
これによって精度の高い聴覚マスキング方法を実行でき
る信号符号化方法及び装置を提供することにある。
の歪みが最小となるように量子化できる信号符号化を実
現するためのものであって、上述した課題を解決するた
めに、スペクトル包絡曲線の山と谷の位置を正確に推定
し、正確に推定した山と谷の位置から適切なノイズシェ
イピングを行う手法を取る。スペクトル包絡曲線の山と
谷の位置推定は、時間軸/周波数軸変換した信号の正確
なスペクトル包絡曲線から必要に応じて、微細な凹凸を
取り除き、さらに必要に応じて1階微分、2階微分を求
めて、これらの微分値または、微分値の相加平均値か
ら、山と谷の正確な位置を決定する。こうして得られた
山と谷の位置において適切な重みづけを行ない、効果的
なノイズシェイピングを実現する。
態について、図面を参照して説明する。図1は本発明の
実施の一形態の信号符号化装置の構成を示すブロック図
である。
号あるいは楽音信号である時系列の入力信号x(t)に対
して時間軸/周波数軸変換(T/F変換)を施して周波
数軸上の信号列X(n)を得るT/F変換部11と、この
信号列X(n)に対してベクトル量子化(VQ)及びスカ
ラー量子化(SQ)を施して量子化インデックスを得る
量子化部12を備えている。ここでT/F変換部11
は、例えば、MDCT(modified descrete cosine tra
nsform;変形離散コサイン変換)などの変換を実行し、
X(n)はこの変換によって得られた変換係数列などを指
す。さらにこの信号符号化装置では、どの周波数帯域に
どれだけの情報量を配分するのかを決定するための“聴
覚重み”を算出し、量子化部11での量子化に際し、人
間の耳に量子化雑音が聞こえ難いようにこの聴覚重みに
基づく聴覚重み付け量子化が行われるようになってい
る。聴覚重みの算出のために、この信号符号化装置は、
信号列X(n)に基づいてスペクトル包絡を算出する包絡
算出部13と、算出されたスペクトル包絡に基づいてス
ペクトルの山と谷の位置を推定する山・谷推定部14
と、推定されたスペクトルの山と谷の位置に基づき、情
報量の配分が「山の位置で特に小さく」かつ「谷の位置
で特に大きく」なるように、山の付近と谷の付近におい
て適切な重み付けを行う重み付け部15と、“聴覚重
み”として量子化部12に出力する聴覚重み算出部16
と、を備えている。ここで“聴覚重み”の原形として
は、スペクトル包絡の逆数を用いている。
として信号列X(n)をプロットし、ならした(平滑化し
た)ときに、周囲に比べて信号列の値が大きいところを
山と称し、周囲に比べて値が小さいところを谷と称して
いる。後述するように、平滑化は、例えばある区間長
(平均区間長ともいう)での相加平均を算出する(その
区間長による移動平均を算出する)ことによって行われ
ているが、このとき、その区間長を変化させることによ
り、微細な山・谷、やや微細な山・谷、大まかな山・谷
の位置などが推定されることになる。ここで相加平均と
は、1フレーム内のスペクトルを周波数区間内で平滑化
するためのものである。本発明では、平滑化の度合いが
異なる山・谷の位置の推定を組み合わせることにより、
より精度の高い聴覚マスキングを可能にしている。
る。
信号x(t)は、T/F変換部11によって周波数軸上の
信号列X(n)に変換される。この信号列X(n)は、ベク
トル量子化及びスカラー量子化のために量子化部12に
供給されるとともに、そのスペクトル包絡を算出するた
めに、包絡算出部13にも送られる。包絡算出部13
は、信号列X(n)のスペクトル包絡を算出し、山・谷推
定部14は、算出されたスペクトル包絡に基づいて、ス
ペクトルにおける山と谷の位置を推定し、推定した位置
を重み付け部15に出力する。重み付け部15は、包絡
算出部13において得られたスペクトル包絡の逆数に基
づいて、スペクトルの山と谷の位置においてそれぞれ、
情報量の配分が「山の位置で特に小さく」、「谷の位置
で特に大きく」なるように、山の付近と谷の付近におい
て、適切な情報量重み付けを行う。具体的には、山の付
近を高く持ち上げかつ谷の付近を深く下げるか、あるい
は、山の付近を低く下げ谷の付近を浅くなるように持ち
上げるような重み関数を用いて、山・谷の位置へ重み付
け操作を行う。重み付け部15には、包絡算出部13か
らスペクトル包絡曲線が供給されており、重み付け操作
が施されたスペクトル包絡曲線が重み付け部15から聴
覚重み算出部16に供給される。
ペクトル包絡曲線に基づいて量子化用聴覚重みを算出し
てそれを量子化部12に向けて出力する。その結果、量
子化部13は、供給された量子化用聴覚重みを使用し
て、T/F変換部11からの信号列X(n)に対するベク
トル量子化及びスカラー量子化を実行する。これによ
り、量子化部13から、精度の高い聴覚マスキングがな
された量子化インデックス(出力インデックス)が出力
される。
基本的動作を説明したが、本発明では、聴覚重み付けの
方法として、上述した重み付けの方法と、従来から一般
的に用いられている線形予測分析法等によりスペクトル
包絡を予測し包絡曲線の山と谷をべき乗演算によりなま
らせ重みとする方法とを併用してもよい。
過程を詳細を説明する。
行う過程を示すブロック図である。ここでは、スペクト
ル包絡算出部13において得られたスペクトル包絡曲線
から、山・谷推定部14において、スペクトルの微細な
山・谷の周波数位置を推定し、次にやや微細な山・谷の
周波数位置を推定し、というように、この手順を必要な
回数だけ繰り返し、最後に、スペクトルの大まかな山・
谷の周波数位置を推定する。重み付け部15は、これら
の推定された山と谷の付近に対して、各々、妥当な重み
関数によって重み付け操作を行う。
細を示すブロック図である。包絡算出部13は、周波数
領域の信号列X(n)に対して相加平均処理を施すことに
より、スペクトル包絡曲線を得るものである。図におい
て、相加平均(1)から相加平均(k)までは、それぞ
れ、区間長が異なる移動平均区間における相加平均であ
る。ここでは、信号列X(n)に対し、まず、第1の相加
平均(1)が適用され、その結果Y1(n)に対して第2
の相加平均(2)が適用され、さらにその結果Y2(n)
に対して第3の相加平均(3)が適用されるというよう
にして、k回の相加平均を順次行うようにしている。こ
こでkは1以上の整数の定数である。このようにして得
られた各相加平均の結果Y1(n),Y2(n),...,Y
k(n)は、それぞれ山・谷推定部14に送られる。各回
の相加平均での区間長は、各々の用途に応じて決定され
るものであるが、主として、相加平均(1)では平均区
間長を短くして微細な山と谷の位置を検出し、相加平均
(2)では相加平均(1)よりも平均区間長を長くして
大まかな山と谷の位置を検出する。以下、相加平均
(k)まで同様の操作とし、各回の相加平均での平均区
間長を徐々に長くして行くとよい。また、前述した“相
加平均(k)”の演算は、必要に応じて、平均区間長を
変えて複数回実施してもよい。
いて説明する。kは1以上の整数であればよいが、典型
的には2または3である。また、入力信号が通常の音声
信号であり、入力信号のサンプリング周波数が16kH
z、フレーム長が60msである場合には、相加平均
(1)の平均区間長は200μs程度、相加平均(2)
の平均区間長は1ms程度、相加平均(3)の平均区間
長は10ms程度、とすることが好ましい。
る。図4は、山・谷推定部14での処理を説明するブロ
ック図である。
の各回の相加平均によるスペクトル包絡を表す係数列Y
1(n),Y2(n),...,Yk(n)を入力として、係数列ご
とに、以下のようにして山と谷の位置を推定する。すな
わち、入力した係数列Yj(n)(1≦j≦k)をまずn
で微分して系列Y′j(n)を求め、この系列Y′j(n)に
対して適切な区間で相加平均をとり、微細な変動成分を
取り除いた系列
系列Y″j(n)を求め、この系列Y″j(n)の微細な変動
成分を取り除いた系列
うに、これらの値の正負からスペクトル包絡曲線の山と
谷の位置を推定する。また、前述した、微細な変動成分
を取り除くための“相加平均”の演算は、必要に応じ
て、平均区間長を変えて複数回実施してもよいし、これ
を実施しなくてもよい。
らスペクトル包絡の山と谷が検出された様子を例示する
図である。ここでは、k=2、すなわち包絡算出部13
において2段階に相加平均を求める場合を示している。
この図において、平均を取る前の係数列X(n)の絶対値
|X(n)|を、相加平均(1)による系数列Y1(n)
における絶対値|Y1(n)|を、相加平均(2)によ
る係数列Y2(n)における絶対値|Y2(n)|をとす
る。相加平均(1)から推定した山の位置をm1,
m2,...,m12、谷の位置をV1,V2,...,V11で表
し、相加平均(2)から推定した山の位置をM1,M2,
M3、谷の位置をV1,V2で表している。ここでは、相
加平均(1)での区間長よりも相加平均(2)での区間
長を長くしており、が微細な山・谷の周波数位置に相
当し、が大まかな山・谷の周波数位置に相当する。
の周波数位置が求められたとして、どのように情報量の
重み付けを行うかを説明する。図6は、スペクトル包絡
曲線の山・谷付近に情報量の重み付けを行った例を示す
図である。ここでは、説明を分かりやすくするために、
おおまかな波形を使って説明を行う。
クトル包絡曲線(|Y2(n)|)の逆数(1/|Y2
(n)|)を聴覚重みの原形とし、これの山と谷の推定位
置付近において、重み関数を使って重み付けを行う。こ
の図の例では、重み付け関数をに乗算することによ
って、山と谷の位置で情報量を補正した聴覚重み(W
L)を作成している。重み付け関数及びとしては、
種々の形のものが可能であるが、ここでは、一例とし
て、重み付けを行う区間長が2t、山の中心で0.5
倍、山の端で1.0倍、谷の中心で2.0倍、谷の端で
1.0倍となるような直線関数による重み付けを行った
結果をとして示している。図6から分かるように、山
と谷の正確な位置を推定し、谷の付近に情報量を多く
し、山の付近に情報量を少なく割り当る重みを作成する
ことができる。
表す山・谷の構造に重み付けしたい場合には100〜2
00Hz、ホルマント周波数を表す山・谷の構造に重み
付けしたい場合には300〜600Hz程度とすること
が好ましい。
線”と“おおまかな曲線”の各々の山・谷の付近におい
て、前述した方法により重み付けを行う。例えば、図5
に示すようにスペクトル包絡の“微細な曲線”と“おお
まかな曲線”の各々について山と谷の位置が推定されて
いる場合には、微細構造を表すスペクトル包絡の逆数
1/|Y1(n)|を聴覚重みの原形とし、この包絡曲線
の山と谷の位置m1,v1,m2,v2,...の付近におい
て、図6と同様にして聴覚重みの原形である1/|Y
1(n)|に対して適切な重み付けを行い、さらに、おお
まかなスペクトル構造を表す曲線の山と谷の位置
M1,V1,M2,V2,...の付近において、同様に聴覚
重みの原形である1/|Y1(n)|に対して適切な重み
付けを行う。
み付け関数としては、各種のものが考えられる。図7
は、そうした重み付け関数を例示するものである。
み付け関数の例を示しており、(a)は直線により構成さ
れたもの、(b)は放物線により構成されたものである。
いずれも山の中心n=Mの両側にtずつ、合計2tの区
間を重み付け区間としている。重み付け関数の値は、重
み付け区間の両端(M±t)においては1.0であるも
のとする。また、山の中心n=Mにおける重みの値α
は、通常、0<α<1.0における妥当な定数とすれば
よい。同様に図7中、(c),(d)は、谷に対する重み付け
関数の例を示しており、(c)は直線により構成されたも
の、(d)は放物線により構成されたものである。山の場
合と同様に、谷に対する重み付け関数も、その値は、重
み付け区間の両端(V±t)においては1.0である。
また、谷の中心n=Vにおける重みの値βは、通常、β
>1.0における妥当な定数を使用する。しかしなが
ら、場合によっては、α>1.0,0<β<1.0とす
ると効果的なこともある。
に、量子化雑音は図8に示すように変形される。すなわ
ち、聴覚重み付けを行わない場合には、量子化ノイズは
周波数によらずに一定であると考えられるが(図中
)、入力信号のスペクトル包絡が図中に示すような
ものであるとすると、上述した聴覚重み付けを行うこと
により、ノイズは、図中に示すようにその周波数特性
が変形され、入力信号のスペクトル特性であるに隠さ
れて、聴感的に聞こえ難くなる。
マスキングが行なえ、高品質な符号化を行なうことが可
能となる。
一般的な変換符号化方式の聴覚重み付けに適用した例を
説明する。図9はそのような聴覚重み付けを行う信号符
号化装置の構成を示している。
対してMDCTを施すMDCT変換部31と、MDCT
後の信号のスペクトルを平坦化するスペクトル平坦化部
32と、平坦化後のスペクトルに基づいてフレームゲイ
ンを正規化し量子化した後、ゲインインデックスを出力
するフレームゲイン正規化部33と、正規化されたフレ
ームゲインに基づいて残差成分を量子化(ベクトル量子
化あるいはスカラー量子化)し、量子化インデックスを
出力する残差成分量子化部34と、MDCT後の信号の
スペクトルからスペクトル包絡を推定するスペクトル包
絡推定部35と、残差成分量子化部34での量子化に際
して情報量重み付けを行うために、推定されたスペクト
ル包絡から聴覚重みを計算する聴覚重み計算部36と、
推定されたスペクトル包絡に基づいてスペクトル情報を
量子化しスペクトルインデックスを出力するスペクトル
情報量子化部37とを備えている。この信号符号化装置
では、MDCT変換部31が図1に示した信号符号化装
置のT/F変換部11に相当し、また、スペクトル包絡
推定部35は、図1に示す装置の包絡算出部13及び山
・谷推定部14で構成され、聴覚重み計算部36は、図
1に示す装置の重み付け部15及び聴覚重み算出部16
で構成される。
ーム内におけるスペクトルの山と谷を正確かつ細かに分
析し、その形に合わせて量子化の際に精度の高い聴覚マ
スキングを行うことができる。この聴覚マスキングは、
ベクトル量子化や、サブバンドスカラー量子化に対して
適用できる。
公報に開示される符号器及び復号器に本発明の聴覚重み
付けを適用した例を示している。図10に示されるもの
において、符号器110は、入力端子111に与えられ
た入力信号をフレームに分割するフレーム分割部114
と、フレームに時間窓を描ける時間窓掛部115と、時
間窓が掛けられたフレームにN次のMDCTを施すMD
CT部116と、時間窓が掛けられたフレームに対して
線形予測分析を行い予測係数を出力する線形予測分析部
117と、予測係数を量子化してインデックスIpを得
る量子化部118と、予測係数のスペクトラム概形を求
めるスペクトラム概形計算部121と、MDCT部11
6からのスペクトラム振幅をスペクトラム概形により正
規化し残差係数R(F)を得る正規化部122と、残差係
数概形ER(F)を計算する残差概形計算部123と、残
差係数概形及びスペクトラム概形に基づいて重み付け係
数(ベクトルW)を計算する重み計算部124と、重み
付け係数に基づいて量子化しインデックスImと量子化
小系列ベクトルC(m)を出力する量子化部125と、残
差係数R(F)を残差係数概形ER(F)で正規化して微細
構造係数を得る残差係数正規化部126と、現フレーム
の微細構造係数を正規化し正規化微細構造係数X(F)と
して量子化部125に与えるとともにインデックスIG
を出力するパワー正規化部127と、量子化小系列ベク
トルC(m)を逆正規化し量子化残差係数Rq(F)を残差
概形計算部123に出力する逆正規化部131とを備え
ている。
重み付けを行うためには、スペクトラム概形計算部12
1において、従来法に加えてさらに図1に示した信号符
号化装置の包絡算出部13及び山・谷推定部14での処
理と同様の処理を行わせ、その結果に基づいて、重み計
算部124においては、従来法に加えてさらに図1に示
した装置の重み付け部15及び聴覚重み算出部16での
処理と同様の処理を行い、得られた量子化用聴覚重みを
量子化部125に供給するようにすればよい。
スImから正規化微細構造係数を再生する再生部151
と、インデックスIGから正規化ゲインを再生する正規
化ゲイン再生部152と、正規化微細構造係数を正規化
ゲインにより逆正規化して微細構造係数を得るパワー逆
正規化部153と、微細構造係数を残差概形ERで逆正
規化して残差係数R(F)を再生する残差逆正規化部15
4と、残差概形ERを計算する残差概形計算部155
と、インデックスIpから線形予測係数を再生しスペク
トラム概形を計算する再生・スペクトラム概形計算部1
56と、スペクトラム概形を残差係数R(F)で逆正規化
し周波数領域係数を再生する逆正規化部157と、周波
数領域係数にフレームごとに逆MDCTを施し時間領域
信号を得る逆MDCT部158と、時間領域信号にフレ
ームごとに時間窓を掛ける窓掛部159と、窓掛け出力
に対してフレーム重ね合わせを行い再生音響信号を得て
これを出力端子191に出力するフレーム重ね合わせ部
161と、を備えている。
は、逆正規化部131を設けることなく、正規化部12
2の出力のみに基づいて残差概形計算部123が残差係
数概形ER(F)とインデックスIQを算出するようにする
ことが可能であり、この場合、復号器150において残
差概形計算部155はインデックスIQに基づいて残差
概形ERを計算する。
P(Code-Excited Linear Prediction)符号化の聴覚マス
キングに本発明を適用した例を説明する。CELP符号
化では、時間領域で聴覚マスキングが行われるため、本
発明に基づく聴覚重み付けを周波数領域で適用し、得ら
れた聴覚重みを時間領域に戻してから量子化に適用す
る。図11はそのような符号化を行う信号符号化装置の
構成を示すブロック図である。
FT(高速フーリエ変換)を施すFFT部38と、FF
T部の出力(周波数領域の信号列)に基づき、スペクト
ル包絡を推定するスペクトル包絡推定部35と、推定さ
れたスペクトル包絡から聴覚重みを計算する聴覚重み計
算部36と、聴覚重みを時間領域に戻すための逆FFT
部39と、時間領域の聴覚重みに基づいて入力信号のC
ELP符号化を行い、インデックスを出力するCELP
符号化部40とを備えている。この信号符号化装置にお
いては、FFT部38が図1に示した信号符号化装置の
T/F変換部11に相当し、また、スペクトル包絡推定
部35は、図1に示す装置の包絡算出部13及び山・谷
推定部14で構成され、聴覚重み計算部36は、図1に
示す装置の重み付け部15及び聴覚重み算出部16で構
成される。
号公報の図1に開示される音声符号化装置に本発明の聴
覚重み付けを適用した例を示している。図12に示され
る音声符号化装置は、入力端子201を介して入力した
音声信号をフレームに分割して線形予測分析を行い、予
測係数を決定する予測係数決定部202と、合成フィル
タ203と、予測係数を量子化して合成フィルタ203
に予測係数を設定する予測係数量子化部204と、複数
のピッチ周期ベクトルを記憶する適応符号帳217と、
複数の雑音波形ベクトルを記憶する雑音符号帳218
と、適応符号帳217から選択されたピッチ周期ベクト
ルに利得を加える利得部219a及び雑音符号帳218
から選択された雑音波形ベクトルに利得を加える利得部
219bとを有する利得符号帳219と、利得部219
bの過去の出力パワーに基づいて次の雑音波形ベクトル
の予測利得を得る予測利得決定部215と、利得部21
9bの入力側に設けられ選択された雑音波形ベクトルに
この予測利得を加える予測利得部216と、利得部21
9a、219bからの出力ベクトルを加算して駆動ベク
トルとして合成フィルタ203に供給する加算器209
と、入力音声ベクトル(入力信号)から合成フィルタ2
03の出力(合成音声ベクトル)を減算して歪データと
して出力する減算器211と、歪データに対して聴覚重
み付けを行う聴覚重み付けフィルタ220と、聴覚重み
付け後の歪データに基づいて歪パワーを計算し、歪パワ
ーが最小になるように各符号帳217〜219での選択
を行う歪パワー計算部212と、符号を出力する符号出
力部213と、を備えている。
く聴覚重み付けを行う場合には、上述の図11に示した
信号符号化装置をここでの聴覚重み付けフィルタ220
として、または聴覚重み付けフィルタ220と併用して
用いればよい。これにより、歪データに対して、本発明
に基づく聴覚重み付けがなされることになる。さらに、
ここでは図面を用いては説明しないが、特開平6−28
2298号公報の図2に開示される音声符号化装置にお
いても、その聴覚重み付けフィルタとして、図11に示
した信号符号化装置を上述のように変形したものを使用
することができる。
法及び装置は、それを実現するための計算機プログラム
を、計算機(コンピュータ)に読み込ませ、そのプログ
ラムを実行させることによっても実現できる。信号符号
化を行うためのプログラムは、磁気テープやCD−RO
Mなどの記録媒体によって、あるいは、ネットワークを
介して、計算機に読み込まれる。図13は、上述の信号
符号化方法を実行する計算機の構成を示すブロック図で
ある。
1と、プログラムやデータを格納するためのハードディ
スク装置22と、主メモリ23と、キーボードやマウ
ス、マイクロホンなどの入力装置24と、CRTやスピ
ーカなどの表示装置25と、磁気テープやCD−ROM
等の記録媒体27を読み取る読み取り装置26と、ネッ
トワークに接続した通信インタフェース28とから構成
されている。ハードディスク装置22、主メモリ23、
入力装置24、表示装置25、読み取り装置26及び通
信インタフェース28は、いずれも中央処理装置21に
接続している。ハードディスク装置22の代わりに、フ
ラッシュROMなどの不揮発性半導体記憶装置を用いて
もよい。この計算機は、信号符号化を行うためのプログ
ラムを格納した記録媒体27を読み取り装置26に装着
し、記録媒体27からプログラムを読み出してハードデ
ィスク装置22に格納し、ハードディスク装置22に格
納されたプログラムを中央処理装置21が実行すること
により、信号符号化装置として機能するようになる。も
ちろん、ネットワークを介して、信号符号化を行うため
のプログラムをこの計算機にダウンロードするようにし
てもよい。
音声・楽音信号を符号化する際に、従来法よりも精度の
高い聴覚マスキングが行なえ、高品質な符号化を行なう
ことが可能となる。具体的には、例えばMDCT変換等
によって時系列信号を周波数領域の係数列に変換して量
子化する際に、本発明を用いれば、人間の聴覚マスキン
グ特性を利用して、量子化誤差を知覚し難いように、周
波数軸上で従来法よりも高精度で配分することが可能と
なる。
を示すブロック図である。
すブロック図である。
図である。
ク図である。
包絡における山及び谷の様子の一例を示す図である。
た例を示す図である。
を示す図である。
トル包絡にマスキングされる様子を示した図である。
示すブロック図である。
号器及び復号器の構成の一例を示すブロック図である。
図である。
図である。
計算機システムの一例を示すブロック図である。
Claims (15)
- 【請求項1】 入力信号に対して量子化を行う信号符号
化方法であって、 前記入力信号に対して時間軸/周波数軸変換を行って周
波数軸上の係数列を得る工程と、 前記係数列に基づいてスペクトル包絡を算出する工程
と、 算出されたスペクトル包絡の山・谷の位置へ情報量重み
付けを行う工程と、 情報量重み付けされたスペクトル包絡に基づいて、量子
化用聴覚重みを算出する工程と、 前記量子化用聴覚重みに基づいて量子化を行う工程と、
を有する信号符号化方法。 - 【請求項2】 入力信号に対して量子化を行う信号符号
化方法であって、 前記入力信号に対して時間軸/周波数軸変換を行って周
波数軸上の係数列を得る工程と、 前記係数列に対して区間長にまたがった相加平均を求め
ることにより平滑化処理を行ってスペクトル包絡を求め
る工程と、 前回求めたスペクトル包絡に対して、前記前回求めたス
ペクトルを求める際に用いた区間長よりも長い区間長に
またがった相加平均を求めることにより平滑化処理を行
ってスペクトル包絡を求めることを1回以上実行する工
程と、 いずれかのスペクトル包絡において、前記各スペクトル
包絡での山・谷の位置へ情報量重み付けを行って、情報
量重み付けされたスペクトル包絡を得る工程と、 前記情報量重み付けされたスペクトル包絡に基づいて、
量子化用聴覚重みを算出する工程と、 前記量子化用聴覚重みに基づいて量子化を行う工程と、 を有する信号符号化方法。 - 【請求項3】 入力信号に対して量子化を行う信号符号
化方法であって、 前記入力信号に対して時間軸/周波数軸変換を行って周
波数軸上の係数列を得る工程と、 前記係数列に基づいてスペクトル包絡を算出する工程
と、 前記スペクトル包絡における山・谷の位置を推定する工
程と、 前記スペクトル包絡において、推定された山・谷の位置
へ情報量重み付けを行う工程と、 情報量重み付けされたスペクトル包絡に基づいて、量子
化用聴覚重みを算出する工程と、 前記量子化用聴覚重みに基づいて量子化を行う工程と、 を有し、 前記推定する工程が、前記スペクトル包絡の1階微分値
を求める工程と、前記1階微分値の相加平均値を求める
工程と、前記1階微分値の相加平均値の1階微分値を求
めて2階微分値とする工程と、前記2階微分値の相加平
均値を求める工程と、を有し、 前記1階微分値または前記1階微分値の相加平均値が正
の値から負の値に変化し、かつ、該変化の近傍で前記2
階微分値または前記2階微分値の相加平均値が常に負の
値ならば、その周波数を山の位置とし、前記1階微分値
また前記1階微分値の相加平均値が負の値から正の値に
変化し、かつ、該変化の近傍で前記2階微分値または2
階微分値の相加平均値が常に正の値ならば、その周波数
を谷の位置とする、信号符号化方法。 - 【請求項4】 情報量重み付けを行う工程は、山の付近
を高く持ち上げ谷の付近を深く下げるか、または山の付
近を低く下げ谷の付近を浅くなるように持ち上げるよう
な重み関数を用いて山・谷の位置へ重み付け操作を行う
工程を有する、請求項1に記載の信号符号化方法。 - 【請求項5】 量子化用聴覚重みを算出する工程は、山
・谷の位置へ情報量重み付けが行われた包絡曲線を元に
量子化用聴覚重みを求める工程である、請求項1に記載
の信号符号化方法。 - 【請求項6】 入力信号に対して量子化を行う信号符号
化装置であって、 前記入力信号に対して時間軸/周波数軸変換を行って周
波数軸上の係数列を得る変換手段と、 前記係数列に基づいてスペクトル包絡を算出する包絡算
出手段と、 算出されたスペクトル包絡の山・谷の位置へ情報量重み
付けを行う重み付け手段と、 情報量重み付けされたスペクトル包絡に基づいて、量子
化用聴覚重みを算出する聴覚重み算出手段と、 前記量子化用聴覚重みに基づいて量子化を行う量子化手
段と、 を有する信号符号化装置。 - 【請求項7】 入力信号に対して量子化を行う信号符号
化装置であって、 前記入力信号に対して時間軸/周波数軸変換を行って周
波数軸上の係数列を得る変換手段と、 前記係数列に対して区間長にまたがった相加平均を求め
ることにより平滑化処理を行ってスペクトル包絡を求
め、次いで、前回求めたスペクトル包絡に対して、前記
前回求めたスペクトルを求める際に用いた区間長よりも
長い区間長にまたがった相加平均を求めることにより平
滑化処理を行ってスペクトル包絡を求めることを1回以
上実行する、包絡算出手段と、 いずれかのスペクトル包絡において、前記包絡算出手段
で求めた各スペクトル包絡での山・谷の位置へ情報量重
み付けを行って、情報量重み付けされたスペクトル包絡
を得る重み付け手段と、 前記情報量重み付けされたスペクトル包絡に基づいて、
量子化用聴覚重みを算出する聴覚重み算出手段と、 前記量子化用聴覚重みに基づいて量子化を行う量子化手
段と、 を有する信号符号化装置。 - 【請求項8】 入力信号に対して量子化を行う信号符号
化装置であって、 前記入力信号に対して時間軸/周波数軸変換を行って周
波数軸上の係数列を得る変換手段と、 前記係数列に基づいてスペクトル包絡を算出する包絡算
出手段と、 前記スペクトル包絡における山・谷の位置を推定する山
・谷推定手段と、 前記スペクトル包絡において、推定された山・谷の位置
へ情報量重み付けを行う重み付け手段と、 情報量重み付けされたスペクトル包絡に基づいて、量子
化用聴覚重みを算出する聴覚重み算出手段と、 前記量子化用聴覚重みに基づいて量子化を行う量子化手
段と、 を有し、 前記山・谷推定手段は、前記スペクトル包絡の1階微分
値を求め、前記1階微分値の相加平均値を求め、前記1
階微分値の相加平均値の1階微分値を求めて2階微分値
とし、前記2階微分値の相加平均値を求め、前記1階微
分値または前記1階微分値の相加平均値が正の値から負
の値に変化し、かつ、該変化の近傍で前記2階微分値ま
たは前記2階微分値の相加平均値が常に負の値ならば、
その周波数を山の位置とし、前記1階微分値また前記1
階微分値の相加平均値が負の値から正の値に変化し、か
つ、該変化の近傍で前記2階微分値または2階微分値の
相加平均値が常に正の値ならば、その周波数を谷の位置
とする、信号符号化装置。 - 【請求項9】 重み付け手段は、山の付近を高く持ち上
げ谷の付近を深く下げるか、または山の付近を低く下げ
谷の付近を浅くなるように持ち上げるような重み関数を
用いて山・谷の位置へ重み付け操作を行う、請求項6に
記載の信号符号化装置。 - 【請求項10】 重み付け手段は、山・谷の位置へ情報
量重み付けが行われた包絡曲線を元に量子化用聴覚重み
を求める、請求項6に記載の信号符号化装置。 - 【請求項11】 計算機が読取り可能な記録媒体であっ
て、 前記計算機に、 入力信号に対して時間軸/周波数軸変換を行って周波数
軸上の係数列を得る工程と、 前記係数列に基づいてスペクトル包絡を算出する工程
と、 算出されたスペクトル包絡の山・谷の位置へ情報量重み
付けを行う工程と、 情報量重み付けされたスペクトル包絡に基づいて、量子
化用聴覚重みを算出する工程と、 前記量子化用聴覚重みに基づいて量子化を行う工程と、 を実行させる信号符号化プログラムを記録した記録媒
体。 - 【請求項12】 計算機が読取り可能な記録媒体であっ
て、 前記計算機に、 入力信号に対して時間軸/周波数軸変換を行って周波数
軸上の係数列を得る工程と、 前記係数列に対して区間長にまたがった相加平均を求め
ることにより平滑化処理を行ってスペクトル包絡を求め
る工程と、 前回求めたスペクトル包絡に対して、記前回求めたスペ
クトルを求める際に用いた区間長よりも長い区間長にま
たがった相加平均を求めることにより平滑化処理を行っ
てスペクトル包絡を求めることを1回以上実行する工程
と、 いずれかのスペクトル包絡において、前記各スペクトル
包絡での山・谷の位置へ情報量重み付けを行って、情報
量重み付けされたスペクトル包絡を得る工程と、 前記情報量重み付けされたスペクトル包絡に基づいて、
量子化用聴覚重みを算出する工程と、 前記量子化用聴覚重みに基づいて量子化を行う工程と、 を実行させる信号符号化プログラムを記録した記録媒
体。 - 【請求項13】 計算機が読取り可能な記録媒体であっ
て、 前記計算機に、 前記入力信号に対して時間軸/周波数軸変換を行って周
波数軸上の係数列を得る工程と、 前記係数列に基づいてスペクトル包絡を算出する工程
と、 前記スペクトル包絡における山・谷の位置を推定する工
程と、 前記スペクトル包絡において、推定された山・谷の位置
へ情報量重み付けを行う工程と、 情報量重み付けされたスペクトル包絡に基づいて、量子
化用聴覚重みを算出する工程と、 前記量子化用聴覚重みに基づいて量子化を行う工程と、 を実行させ、 前記推定する工程が、前記スペクトル包絡の1階微分値
を求める工程と、前記1階微分値の相加平均値を求める
工程と、前記1階微分値の相加平均値の1階微分値を求
めて2階微分値とする工程と、前記2階微分値の相加平
均値を求める工程と、を有し、 前記1階微分値または前記1階微分値の相加平均値が正
の値から負の値に変化し、かつ、該変化の近傍で前記2
階微分値または前記2階微分値の相加平均値が常に負の
値ならば、その周波数を山の位置とし、前記1階微分値
また前記1階微分値の相加平均値が負の値から正の値に
変化し、かつ、該変化の近傍で前記2階微分値または2
階微分値の相加平均値が常に正の値ならば、その周波数
を谷の位置とする、信号符号化プログラムを記録した記
録媒体。 - 【請求項14】 情報量重み付けを行う工程は、山の付
近を高く持ち上げ谷の付近を深く下げるか、または山の
付近を低く下げ谷の付近を浅くなるように持ち上げるよ
うな重み関数を用いて山・谷の位置へ重み付け操作を行
う工程を有する、請求項11に記載の記録媒体。 - 【請求項15】 量子化用聴覚重みを算出する工程は、
山・谷の位置へ情報量重み付けが行われた包絡曲線を元
に量子化用聴覚重みを求める工程である、請求項11に
記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000318017A JP3590342B2 (ja) | 2000-10-18 | 2000-10-18 | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000318017A JP3590342B2 (ja) | 2000-10-18 | 2000-10-18 | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002123298A true JP2002123298A (ja) | 2002-04-26 |
| JP3590342B2 JP3590342B2 (ja) | 2004-11-17 |
Family
ID=18796710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000318017A Expired - Fee Related JP3590342B2 (ja) | 2000-10-18 | 2000-10-18 | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3590342B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005112001A1 (ja) * | 2004-05-19 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置、復号化装置、およびこれらの方法 |
| WO2006093019A1 (ja) * | 2005-03-01 | 2006-09-08 | Japan Advanced Institute Of Science And Technology | 音声処理方法と装置及び記憶媒体並びに音声システム |
| JP2007178677A (ja) * | 2005-12-27 | 2007-07-12 | Victor Co Of Japan Ltd | 高能率符号化プログラム及び高能率符号化装置 |
| JP2010039059A (ja) * | 2008-08-01 | 2010-02-18 | Yamaha Motor Co Ltd | 発話区間検出装置 |
| JP2010526346A (ja) * | 2007-05-08 | 2010-07-29 | サムスン エレクトロニクス カンパニー リミテッド | オーディオ信号の符号化及び復号化方法並びにその装置 |
| WO2011086923A1 (ja) * | 2010-01-14 | 2011-07-21 | パナソニック株式会社 | 符号化装置、復号装置、スペクトル変動量算出方法及びスペクトル振幅調整方法 |
| WO2015166733A1 (ja) * | 2014-05-01 | 2015-11-05 | 日本電信電話株式会社 | 符号化装置、復号装置、及びその方法、プログラム |
| WO2015166734A1 (ja) * | 2014-05-01 | 2015-11-05 | 日本電信電話株式会社 | 符号化装置、復号装置、及びその方法、プログラム |
| JP2016514857A (ja) * | 2013-04-05 | 2016-05-23 | ドルビー・インターナショナル・アーベー | オーディオ・エンコーダおよびデコーダ |
| US9424830B2 (en) | 2012-12-06 | 2016-08-23 | Fujitsu Limited | Apparatus and method for encoding audio signal, system and method for transmitting audio signal, and apparatus for decoding audio signal |
| WO2018052004A1 (ja) * | 2016-09-15 | 2018-03-22 | 日本電信電話株式会社 | サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101996307B1 (ko) * | 2015-01-30 | 2019-07-04 | 니폰 덴신 덴와 가부시끼가이샤 | 부호화 장치, 복호 장치, 이들의 방법, 프로그램 및 기록 매체 |
-
2000
- 2000-10-18 JP JP2000318017A patent/JP3590342B2/ja not_active Expired - Fee Related
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8463602B2 (en) | 2004-05-19 | 2013-06-11 | Panasonic Corporation | Encoding device, decoding device, and method thereof |
| WO2005112001A1 (ja) * | 2004-05-19 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置、復号化装置、およびこれらの方法 |
| JP5013863B2 (ja) * | 2004-05-19 | 2012-08-29 | パナソニック株式会社 | 符号化装置、復号化装置、通信端末装置、基地局装置、符号化方法及び復号化方法 |
| US8688440B2 (en) | 2004-05-19 | 2014-04-01 | Panasonic Corporation | Coding apparatus, decoding apparatus, coding method and decoding method |
| WO2006093019A1 (ja) * | 2005-03-01 | 2006-09-08 | Japan Advanced Institute Of Science And Technology | 音声処理方法と装置及び記憶媒体並びに音声システム |
| JP2006243178A (ja) * | 2005-03-01 | 2006-09-14 | Japan Advanced Institute Of Science & Technology Hokuriku | 音声処理方法と装置及びプログラム並びに音声システム |
| KR100931419B1 (ko) * | 2005-03-01 | 2009-12-11 | 글로리 가부시키가이샤 | 음성 처리 방법과 장치, 기억 매체 및 음성 시스템 |
| US8065138B2 (en) | 2005-03-01 | 2011-11-22 | Japan Advanced Institute Of Science And Technology | Speech processing method and apparatus, storage medium, and speech system |
| JP2007178677A (ja) * | 2005-12-27 | 2007-07-12 | Victor Co Of Japan Ltd | 高能率符号化プログラム及び高能率符号化装置 |
| JP2010526346A (ja) * | 2007-05-08 | 2010-07-29 | サムスン エレクトロニクス カンパニー リミテッド | オーディオ信号の符号化及び復号化方法並びにその装置 |
| JP2010039059A (ja) * | 2008-08-01 | 2010-02-18 | Yamaha Motor Co Ltd | 発話区間検出装置 |
| US8892428B2 (en) | 2010-01-14 | 2014-11-18 | Panasonic Intellectual Property Corporation Of America | Encoding apparatus, decoding apparatus, encoding method, and decoding method for adjusting a spectrum amplitude |
| JP5602769B2 (ja) * | 2010-01-14 | 2014-10-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
| WO2011086923A1 (ja) * | 2010-01-14 | 2011-07-21 | パナソニック株式会社 | 符号化装置、復号装置、スペクトル変動量算出方法及びスペクトル振幅調整方法 |
| CN102714040A (zh) * | 2010-01-14 | 2012-10-03 | 松下电器产业株式会社 | 编码装置、解码装置、频谱变动量计算方法和频谱振幅调整方法 |
| US9424830B2 (en) | 2012-12-06 | 2016-08-23 | Fujitsu Limited | Apparatus and method for encoding audio signal, system and method for transmitting audio signal, and apparatus for decoding audio signal |
| US10043528B2 (en) | 2013-04-05 | 2018-08-07 | Dolby International Ab | Audio encoder and decoder |
| US12444426B2 (en) | 2013-04-05 | 2025-10-14 | Dolby International Ab | Voice encoding and decoding using transform coefficients adjusted by spectral model and spectral shaper |
| JP2016514857A (ja) * | 2013-04-05 | 2016-05-23 | ドルビー・インターナショナル・アーベー | オーディオ・エンコーダおよびデコーダ |
| US11621009B2 (en) | 2013-04-05 | 2023-04-04 | Dolby International Ab | Audio processing for voice encoding and decoding using spectral shaper model |
| US10515647B2 (en) | 2013-04-05 | 2019-12-24 | Dolby International Ab | Audio processing for voice encoding and decoding |
| WO2015166734A1 (ja) * | 2014-05-01 | 2015-11-05 | 日本電信電話株式会社 | 符号化装置、復号装置、及びその方法、プログラム |
| JPWO2015166733A1 (ja) * | 2014-05-01 | 2017-04-20 | 日本電信電話株式会社 | 符号化装置、復号装置、及びその方法、プログラム、記録媒体 |
| JPWO2015166734A1 (ja) * | 2014-05-01 | 2017-04-20 | 日本電信電話株式会社 | 符号化装置、復号装置、及びその方法、プログラム、記録媒体 |
| WO2015166733A1 (ja) * | 2014-05-01 | 2015-11-05 | 日本電信電話株式会社 | 符号化装置、復号装置、及びその方法、プログラム |
| WO2018052004A1 (ja) * | 2016-09-15 | 2018-03-22 | 日本電信電話株式会社 | サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム |
| JPWO2018052004A1 (ja) * | 2016-09-15 | 2019-07-04 | 日本電信電話株式会社 | サンプル列変形装置、信号符号化装置、信号復号装置、サンプル列変形方法、信号符号化方法、信号復号方法、およびプログラム |
| US11468905B2 (en) * | 2016-09-15 | 2022-10-11 | Nippon Telegraph And Telephone Corporation | Sample sequence converter, signal encoding apparatus, signal decoding apparatus, sample sequence converting method, signal encoding method, signal decoding method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3590342B2 (ja) | 2004-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE43191E1 (en) | Adaptive Weiner filtering using line spectral frequencies | |
| EP1252621B1 (en) | System and method for modifying speech signals | |
| US5706395A (en) | Adaptive weiner filtering using a dynamic suppression factor | |
| US8265940B2 (en) | Method and device for the artificial extension of the bandwidth of speech signals | |
| US8515747B2 (en) | Spectrum harmonic/noise sharpness control | |
| KR101213840B1 (ko) | 복호화 장치 및 복호화 방법, 및 복호화 장치를 구비하는 통신 단말 장치 및 기지국 장치 | |
| US8271292B2 (en) | Signal bandwidth expanding apparatus | |
| WO2010091013A1 (en) | Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder | |
| JPH0863196A (ja) | ポストフィルタ | |
| TWI524332B (zh) | 用於使用次頻帶時間平滑技術產生頻率增強信號之裝置及方法 | |
| US7792672B2 (en) | Method and system for the quick conversion of a voice signal | |
| JP3590342B2 (ja) | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 | |
| JP4382808B2 (ja) | 基本周波数情報を分析する方法、ならびに、この分析方法を実装した音声変換方法及びシステム | |
| JP3186013B2 (ja) | 音響信号変換符号化方法及びその復号化方法 | |
| US7389226B2 (en) | Optimized windows and methods therefore for gradient-descent based window optimization for linear prediction analysis in the ITU-T G.723.1 speech coding standard | |
| US10950251B2 (en) | Coding of harmonic signals in transform-based audio codecs | |
| TWI864704B (zh) | 用於音訊編碼器中之尺度參數之諧度相依傾斜控制之設備及方法 | |
| JPH0736484A (ja) | 音響信号符号化装置 | |
| US7512534B2 (en) | Optimized windows and methods therefore for gradient-descent based window optimization for linear prediction analysis in the ITU-T G.723.1 speech coding standard | |
| JPH1097288A (ja) | 背景雑音除去装置及び音声認識装置 | |
| JPH0990998A (ja) | 音響信号変換復号化方法 | |
| Huang et al. | Nonstationary linear prediction analysis of speech codec corrected by pre-stage forward volume normalizer | |
| Rabiner et al. | Use of a Computer Voice‐Response System for Wiring Communications Equipment | |
| HK1159300A1 (en) | Apparatus and method for processing an audio signal for speech enhancement using a feature extraction | |
| HK1159300B (en) | Apparatus and method for processing an audio signal for speech enhancement using a feature extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040510 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040811 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040819 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3590342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |