JP5089295B2 - 音声処理システム、方法及びプログラム - Google Patents
音声処理システム、方法及びプログラム Download PDFInfo
- Publication number
- JP5089295B2 JP5089295B2 JP2007225195A JP2007225195A JP5089295B2 JP 5089295 B2 JP5089295 B2 JP 5089295B2 JP 2007225195 A JP2007225195 A JP 2007225195A JP 2007225195 A JP2007225195 A JP 2007225195A JP 5089295 B2 JP5089295 B2 JP 5089295B2
- Authority
- JP
- Japan
- Prior art keywords
- power spectrum
- discrete cosine
- output
- cosine transform
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 50
- 238000000034 method Methods 0.000 title claims description 28
- 238000001228 spectrum Methods 0.000 claims description 77
- 230000005236 sound signal Effects 0.000 claims description 27
- 230000003595 spectral effect Effects 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims 3
- 238000003672 processing method Methods 0.000 claims 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000010473 stable expression Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
1.音楽再生
2.同乗者妨害音声
3.ファン風量が大きいときのノイズ、及び窓開け
1.処理フレーム毎に、観測音声の対数スペクトルを得る。
2.離散コサイン変換(DCT)により、そのケプストラム表現を得る。
3.人間の音声の調波構造の間隔より広い変化と狭い変化を除去すべく、ケプストラムの上位項と下位項をカット(ゼロに設定)する。
4.逆離散コサイン変換(IDCT)と指数関数により、そのスペクトル表現を得る。
5.平均が1になるように正規化し、それをフィルタとする。なお、この正規化ステップは、省略することもできる。
6.フィルタは、周波数bin ごとの重みとして求められている。これをフレーム毎にもとの観測音声のスペクトルに乗じる。
7.以下は、通常の音声認識処理と同様、メル軸での対数スペクトルを求め、メルケプストラムに変換し、音声認識の特徴量とする。
YT(j) = log(yT(j))
また、この対数スペクトルを算出する際、より安定した表現を得るために、前後数フレームのパワースペクトルを平均したものを用いても良い。よって、本明細書における「対数スペクトル」という用語は、前後数フレームのパワースペクトルを平均したものの対数スペクトルも含むものとする。
bin番号 周波数
0 0 Hz
1 31.25Hz
2 62.5Hz
3 93.75Hz
: :
256 8000Hz
となる。すなわち、離散フーリエ変換の出力は、階段状の周波数ごとにまとめられ、番号で参照される。
Y …観測音声の対数スペクトルのベクトル 256次元
D …離散コサイン変換行列 256x256次元
A …上位項と下位項をカットする行列 256x256次元
W …逆離散コサイン変換後の対数スペクトル 256次元
但しAは、下記のような形式の行列である。この行列中、εは、図6のステップ608で言及したのと同じ小さい数である。
Claims (9)
- コンピュータにより、音声信号を処理するためのシステムであって、
音声信号のパワースペクトルを入力して、該パワースペクトルの対数スペクトルを生成する手段と、
前記対数スペクトルを生成する手段の出力を、離散コサイン変換する手段と、
前記離散コサイン変換する手段の出力を入力して、人間の音声としてありえる範囲の調波構造に対応する領域を残すように、該出力のケプストラム上位及び下位項をカットする手段と、
前記ケプストラム上位及び下位項をカットする手段の出力を入力して、逆離散コサイン変換する手段と、
前記逆離散コサイン変換する手段の出力を、パワースペクトル領域に戻すように変換する手段と、
前記パワースペクトル領域に戻された出力を、前記音声信号のパワースペクトルに対して、フィルタするように作用させる手段を有する、
音声処理システム。 - 前記パワースペクトル領域に戻すように変換する手段が、前記逆離散コサイン変換する手段の出力を正規化する手段をさらに有する、請求項1の音声処理システム。
- コンピュータにより、音声信号を処理するための方法であって、
音声信号のパワースペクトルを入力して、該パワースペクトルの対数スペクトル信号を生成するステップと、
前記対数スペクトル信号を、離散コサイン変換するステップと、
前記離散コサイン変換された信号の、人間の音声としてありえる範囲の調波構造に対応する領域を残すように、ケプストラム上位及び下位項をカットするステップと、
前記ケプストラム上位及び下位項をカットされた信号を、逆離散コサイン変換するステップと、
前記逆離散コサイン変換された信号を、パワースペクトル領域に戻すステップと、
前記パワースペクトル領域に戻された信号を、前記音声信号のパワースペクトルに対して、フィルタするように作用させるステップとを有する、
音声処理方法。 - 前記パワースペクトル領域に戻された信号を正規化するステップをさらに有する、請求項3の音声処理方法。
- コンピュータの処理によって、音声認識のために、音声信号を処理するためのプログラムであって、
前記コンピュータに、
音声信号のパワースペクトルを入力して、該パワースペクトルの対数スペクトル信号を生成するステップと、
前記対数スペクトル信号を、離散コサイン変換するステップと、
人間の音声としてありえる範囲の調波構造に対応する領域を残すように、前記離散コサイン変換された信号の、ケプストラム上位及び下位項をカットするステップと、
前記ケプストラム上位及び下位項をカットされた信号を、逆離散コサイン変換するステップと、
前記逆離散コサイン変換された信号を、パワースペクトル領域に戻すステップと、
前記パワースペクトル領域に戻された信号を、前記音声信号のパワースペクトルに対して、フィルタとして作用させるステップを実行させる、
音声処理プログラム。 - 前記パワースペクトル領域に戻された信号を正規化するステップをさらに有する、請求項5の音声処理プログラム。
- コンピュータにより、音声認識を行うためのシステムであって、
音声信号のパワースペクトルを入力して、該パワースペクトルの対数スペクトルを生成する手段と、
前記対数スペクトルの出力を、離散コサイン変換する手段と、
前記離散コサイン変換する手段の出力を入力して、人間の音声としてありえる範囲の調波構造に対応する領域を残すように、ケプストラム上位及び下位項をカットする手段と、
前記ケプストラム上位及び下位項をカットする手段の出力を入力して、逆離散コサイン変換する手段と、
前記逆離散コサイン変換する手段の出力を、パワースペクトル領域に戻すように変換する手段と、
前記パワースペクトル領域に戻された出力を、前記音声信号のパワースペクトルに対して、フィルタとして作用させる手段を有し、
前記フィルタされたパワースペクトルを用いて、音声認識処理を行う、
音声認識システム。 - 前記パワースペクトル領域に戻すように変換する手段が、前記逆離散コサイン変換する手段の出力を正規化する手段をさらに有する、請求項7の音声認識システム。
- コンピュータにより、マイクから取り込んだ音声を出力するためのシステムであって、
前記マイクから取り込んだ音声をA/D変換して、ディジタル音声信号として出力する手段と、
前記ディジタル音声信号を離散フーリエ変換して、音声信号のパワースペクトルとして出力する手段と、
前記音声信号のパワースペクトルを入力して、該パワースペクトルの対数スペクトルを生成する手段と、
前記対数スペクトルの出力を、離散コサイン変換する手段と、
前記離散コサイン変換する手段の出力を入力して、人間の音声としてありえる範囲の調波構造に対応する領域を残すように、ケプストラム上位及び下位項をカットする手段と、
前記ケプストラム上位及び下位項をカットする手段の出力を入力して、逆離散コサイン変換する手段と、
前記逆離散コサイン変換する手段の出力を、パワースペクトル領域に戻すように変換する手段と、
前記パワースペクトル領域に戻された出力を、前記音声信号のパワースペクトルに対して、フィルタとして作用させる手段と、
前記フィルタされたパワースペクトルをD/A変換して、アナログ音声信号として出力する手段を有する、
音声出力システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007225195A JP5089295B2 (ja) | 2007-08-31 | 2007-08-31 | 音声処理システム、方法及びプログラム |
| US12/200,610 US8812312B2 (en) | 2007-08-31 | 2008-08-28 | System, method and program for speech processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007225195A JP5089295B2 (ja) | 2007-08-31 | 2007-08-31 | 音声処理システム、方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009058708A JP2009058708A (ja) | 2009-03-19 |
| JP5089295B2 true JP5089295B2 (ja) | 2012-12-05 |
Family
ID=40554507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007225195A Expired - Fee Related JP5089295B2 (ja) | 2007-08-31 | 2007-08-31 | 音声処理システム、方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8812312B2 (ja) |
| JP (1) | JP5089295B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5505896B2 (ja) | 2008-02-29 | 2014-05-28 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 発話区間検出システム、方法及びプログラム |
| GB2485926B (en) * | 2009-08-28 | 2013-06-05 | Ibm | Speech feature extracting apparatus, speech feature extracting method, and speech feature extracting program |
| JP5191500B2 (ja) * | 2010-02-04 | 2013-05-08 | 日本電信電話株式会社 | 雑音抑圧フィルタ算出方法と、その装置と、プログラム |
| SE535612C2 (sv) * | 2011-01-11 | 2012-10-16 | Arne Wallander | Förändring av ett ljuds upplevda styrkegrad medelst filtrering med en parametrisk equalizer |
| MY167843A (en) | 2011-03-21 | 2018-09-26 | Ericsson Telefon Ab L M | Method and arrangement for damping of dominant frequencies in an audio signal |
| EP2689419B1 (en) | 2011-03-21 | 2015-03-04 | Telefonaktiebolaget L M Ericsson (PUBL) | Method and arrangement for damping dominant frequencies in an audio signal |
| US9076446B2 (en) * | 2012-03-22 | 2015-07-07 | Qiguang Lin | Method and apparatus for robust speaker and speech recognition |
| EP2830066B1 (en) * | 2012-03-23 | 2017-10-11 | Panasonic Intellectual Property Corporation of America | Band power computation device and band power computation method |
| CN103366737B (zh) * | 2012-03-30 | 2016-08-10 | 株式会社东芝 | 在自动语音识别中应用声调特征的装置和方法 |
| CN104063155B (zh) * | 2013-03-20 | 2017-12-19 | 腾讯科技(深圳)有限公司 | 内容分享方法、装置及电子设备 |
| US9507852B2 (en) * | 2013-12-10 | 2016-11-29 | Google Inc. | Techniques for discriminative dependency parsing |
| JP6385101B2 (ja) * | 2014-03-28 | 2018-09-05 | 株式会社クボタ | コンバイン |
| CN105812995B (zh) * | 2016-03-09 | 2018-11-09 | 西安航空学院 | 一种噪音滤除方法和装置 |
| EP3242295B1 (en) * | 2016-05-06 | 2019-10-23 | Nxp B.V. | A signal processor |
| US10062378B1 (en) * | 2017-02-24 | 2018-08-28 | International Business Machines Corporation | Sound identification utilizing periodic indications |
| EP3396670B1 (en) * | 2017-04-28 | 2020-11-25 | Nxp B.V. | Speech signal processing |
| US11545143B2 (en) * | 2021-05-18 | 2023-01-03 | Boris Fridman-Mintz | Recognition or synthesis of human-uttered harmonic sounds |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2841797B2 (ja) * | 1990-09-07 | 1998-12-24 | 三菱電機株式会社 | 音声分析・合成装置 |
| JPH06289896A (ja) * | 1993-03-31 | 1994-10-18 | Hitachi Ltd | 音声の特徴強調方式および装置 |
| US5721694A (en) * | 1994-05-10 | 1998-02-24 | Aura System, Inc. | Non-linear deterministic stochastic filtering method and system |
| US5727124A (en) * | 1994-06-21 | 1998-03-10 | Lucent Technologies, Inc. | Method of and apparatus for signal recognition that compensates for mismatching |
| US5594834A (en) * | 1994-09-30 | 1997-01-14 | Motorola, Inc. | Method and system for recognizing a boundary between sounds in continuous speech |
| JPH08275087A (ja) * | 1995-04-04 | 1996-10-18 | Matsushita Electric Ind Co Ltd | 音声加工テレビ |
| WO1998022936A1 (en) * | 1996-11-22 | 1998-05-28 | T-Netix, Inc. | Subword-based speaker verification using multiple classifier fusion, with channel, fusion, model, and threshold adaptation |
| JP4156080B2 (ja) * | 1998-06-30 | 2008-09-24 | 株式会社デンソー | 要求推定装置 |
| US6711536B2 (en) * | 1998-10-20 | 2004-03-23 | Canon Kabushiki Kaisha | Speech processing apparatus and method |
| JP2001024976A (ja) | 1999-07-06 | 2001-01-26 | Canon Inc | 画像処理装置及び電子カメラ及びそれらの制御方法並びにメモリ媒体 |
| US6732073B1 (en) * | 1999-09-10 | 2004-05-04 | Wisconsin Alumni Research Foundation | Spectral enhancement of acoustic signals to provide improved recognition of speech |
| US6366880B1 (en) * | 1999-11-30 | 2002-04-02 | Motorola, Inc. | Method and apparatus for suppressing acoustic background noise in a communication system by equaliztion of pre-and post-comb-filtered subband spectral energies |
| JP3916834B2 (ja) * | 2000-03-06 | 2007-05-23 | 独立行政法人科学技術振興機構 | 雑音が付加された周期波形の基本周期あるいは基本周波数の抽出方法 |
| JP2002149200A (ja) * | 2000-08-31 | 2002-05-24 | Matsushita Electric Ind Co Ltd | 音声処理装置及び音声処理方法 |
| AU2001294974A1 (en) * | 2000-10-02 | 2002-04-15 | The Regents Of The University Of California | Perceptual harmonic cepstral coefficients as the front-end for speech recognition |
| JP2003076393A (ja) * | 2001-08-31 | 2003-03-14 | Inst Of Systems Information Technologies Kyushu | 騒音環境下における音声推定方法および音声認識方法 |
| JP3955967B2 (ja) * | 2001-09-27 | 2007-08-08 | 株式会社ケンウッド | 音声信号雑音除去装置、音声信号雑音除去方法及びプログラム |
| US7035797B2 (en) * | 2001-12-14 | 2006-04-25 | Nokia Corporation | Data-driven filtering of cepstral time trajectories for robust speech recognition |
| JP4195267B2 (ja) | 2002-03-14 | 2008-12-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音声認識装置、その音声認識方法及びプログラム |
| JP4332323B2 (ja) * | 2002-06-05 | 2009-09-16 | キヤノン株式会社 | 音声合成方法および装置並びに辞書生成方法および装置 |
| JP2004297273A (ja) * | 2003-03-26 | 2004-10-21 | Kenwood Corp | 音声信号雑音除去装置、音声信号雑音除去方法及びプログラム |
| JP2004356894A (ja) * | 2003-05-28 | 2004-12-16 | Mitsubishi Electric Corp | 音質調整装置 |
| JP2005062442A (ja) * | 2003-08-12 | 2005-03-10 | Kenwood Corp | 波形接続装置、波形接続方法及びプログラム |
| US7516067B2 (en) * | 2003-08-25 | 2009-04-07 | Microsoft Corporation | Method and apparatus using harmonic-model-based front end for robust speech recognition |
| JP2005249816A (ja) * | 2004-03-01 | 2005-09-15 | Internatl Business Mach Corp <Ibm> | 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム |
| US7698143B2 (en) * | 2005-05-17 | 2010-04-13 | Mitsubishi Electric Research Laboratories, Inc. | Constructing broad-band acoustic signals from lower-band acoustic signals |
| JP4760179B2 (ja) * | 2005-07-15 | 2011-08-31 | ヤマハ株式会社 | 音声特徴量算出装置およびプログラム |
| JP2007079389A (ja) * | 2005-09-16 | 2007-03-29 | Yamaha Motor Co Ltd | 音声分析方法および音声分析装置 |
| US7809559B2 (en) * | 2006-07-24 | 2010-10-05 | Motorola, Inc. | Method and apparatus for removing from an audio signal periodic noise pulses representable as signals combined by convolution |
| JP4929896B2 (ja) * | 2006-07-25 | 2012-05-09 | カシオ計算機株式会社 | 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム |
| US7672842B2 (en) * | 2006-07-26 | 2010-03-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for FFT-based companding for automatic speech recognition |
| US20080071540A1 (en) * | 2006-09-13 | 2008-03-20 | Honda Motor Co., Ltd. | Speech recognition method for robot under motor noise thereof |
| US8032365B2 (en) * | 2007-08-31 | 2011-10-04 | Tellabs Operations, Inc. | Method and apparatus for controlling echo in the coded domain |
-
2007
- 2007-08-31 JP JP2007225195A patent/JP5089295B2/ja not_active Expired - Fee Related
-
2008
- 2008-08-28 US US12/200,610 patent/US8812312B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20090210224A1 (en) | 2009-08-20 |
| JP2009058708A (ja) | 2009-03-19 |
| US8812312B2 (en) | 2014-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5089295B2 (ja) | 音声処理システム、方法及びプログラム | |
| KR101332143B1 (ko) | 음성 특징량 추출 장치, 음성 특징량 추출 방법, 및 음성 특징량 추출 프로그램 | |
| JP5875414B2 (ja) | 雑音抑制方法、プログラム及び装置 | |
| JP5230103B2 (ja) | 自動音声認識器のためのトレーニングデータを生成する方法およびシステム | |
| JP5505896B2 (ja) | 発話区間検出システム、方法及びプログラム | |
| US6173258B1 (en) | Method for reducing noise distortions in a speech recognition system | |
| Kim et al. | Nonlinear enhancement of onset for robust speech recognition. | |
| JP2002091478A (ja) | 音声認識システム | |
| CN104205214B (zh) | 噪声降低方法和装置 | |
| JP4705414B2 (ja) | 音声認識装置、音声認識方法、音声認識プログラムおよび記録媒体 | |
| Ishizuka et al. | A feature extraction method using subband based periodicity and aperiodicity decomposition with noise robust frontend processing for automatic speech recognition | |
| Kaur et al. | Optimizing feature extraction techniques constituting phone based modelling on connected words for Punjabi automatic speech recognition | |
| Prakash et al. | Fourier-Bessel cepstral coefficients for robust speech recognition | |
| JP4325044B2 (ja) | 音声認識システム | |
| Stark et al. | Use of speech presence uncertainty with MMSE spectral energy estimation for robust automatic speech recognition | |
| Fukuda et al. | Improved voice activity detection using static harmonic features | |
| JP2007206603A (ja) | 音響モデルの作成方法 | |
| Islam et al. | Wiener Filter in Wavelet Domain for Mel-LPC based Noisy Speech Recognition | |
| Fousek et al. | Additive noise and channel distortion-robust parametrization tool-performance evaluation on Aurora 2 & 3. | |
| CN111226278A (zh) | 低复杂度的浊音语音检测和基音估计 | |
| Wolf et al. | Evaluation of different feature extraction methods for speech recognition in car environment | |
| Bonde et al. | Noise robust automatic speech recognition with adaptive quantile based noise estimation and speech band emphasizing filter bank | |
| Kakino et al. | Experimental study of shout detection with the rahmonic structure | |
| Uddin Md et al. | Comparative study between MFCC and LP-Mel based front-ends for noisy speech recognition using HMM | |
| Ali et al. | The phase spectra based feature for robust speech recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120911 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |