JP2000305590A - 音声認識方法 - Google Patents
音声認識方法Info
- Publication number
- JP2000305590A JP2000305590A JP11109632A JP10963299A JP2000305590A JP 2000305590 A JP2000305590 A JP 2000305590A JP 11109632 A JP11109632 A JP 11109632A JP 10963299 A JP10963299 A JP 10963299A JP 2000305590 A JP2000305590 A JP 2000305590A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- speech
- candidate
- candidates
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000010586 diagram Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 1
Abstract
に活用する。 【解決手段】 音声辞書32をカテゴリー別に構成し、
認識エンジン33は入力音声に類似する複数の音声候補
を検索し、認識候補選択部34は類似度が最大の第1位
音声候補が属するカテゴリーと他の音声候補が属するカ
テゴリーを考慮して該他の音声候補の重みを決定し、各
音声候補の類似度に重み付けして得られる重み付け類似
度に基づいて第1位音声候補からの距離を識別し、前記
認識した第1位音声候補の提示に対して入力音声との距
離の大小を示す応答があった時、該応答に応じて次に提
示する音声候補を決定する。例えば、応答が入力音声と
の距離小であることを示す応答(「違う」)であれば、
距離が小さい音声候補を提示し、応答が入力音声との距
離大であることを示す応答(「全く違う」)であれば、
距離が大きい音声候補を提示する.
Description
り、特に、音声辞書を備え、入力音声と類似する音声を
音声辞書より検索して入力音声を認識する音声認識方法
に関する。
リモコンでの操作に替わって、音声認識装置を利用して
操作することが盛んに行われるようになってきている。
音声認識装置は通常、ユーザーがある特定の単語を発生
するとその単語を認識し、それに合わせたトークバック
を行う。ユーザーは、トークバックにより認識内容の確
認を行い、もし、トークバックの内容がユーザーの発声
内容と異なる場合には、再度入力を行うようにする。
は向上してきているが、現在の認識エンジンの能力で
は、大語彙化した場合どうしても誤認識がさけられな
い。誤認識した際の対応の代表例として、「戻り」操作
がある。これは、認識結果を破棄して、再度入力し直す
というものである。しかし、この方法だとシステム側で
誤認識をしたにも関わらず、ユーザーがそれをリカバー
せねばならないことになる。よって、あくまで機械を操
作しているという感覚が拭えない。又、誤認識に対して
場合によっては何度も同じ単語を発声せねばならなくな
るため、認識率が感覚的に実際より低く感じられてしま
う。仮に、データ的には70%の認識率があったとして
も、ユーザーにはほとんど認識できていないように感じ
られる。さらに、音声認識装置が完全なブラックボック
スであると同時に、複数の認識候補中の1つのみ提示す
るため、他の認識候補内に正解があったとしてもそれが
ユーザーからはわからずに、ただ“認識しない”という
イメージのみが残る。
で持っている複数の認識候補を有効に活用し、ユーザー
による再入力の回数を極力減らし、感覚的な認識率を向
上させることである。本発明の別の目的は、認識候補を
いくつか示すことで、音声認識の内部処理について感知
できるようにしてユーザに音声認識装置に対する安心感
を与えるることである。本発明の別の目的は、第1位の
認識候補とカテゴリーが異なる単語のうち入力音声と音
的に似た単語をすばやく探索することである。
え、入力音声と類似する音声を音声辞書より検索して入
力音声を認識する音声認識方法である。この音声認識方
法では、(1) 音声辞書をカテゴリー別に構成し、(2) 入
力音声に類似する複数の認識候補を検索し、(3) 類似度
が最高の第1位認識候補が属するカテゴリーと他の認識
候補が属するカテゴリーを考慮して該他の認識候補の重
みを決定し、(4) 各認識候補の類似度に重み付けして得
られる重み付け類似度に基づいて第1位認識候補からの
距離を識別し、(5) 前記認識した第1位認識候補の提示
に対して入力音声との距離の大小を示す応答があった
時、該応答に応じて次に提示する認識候補を決定する。
たとえば、前記応答が入力音声との距離小であることを
示す応答(「違う」)であれば、距離が小さい認識候補を提
示し、前記応答が入力音声との距離大であることを示す
応答(「全く違う」)であれば、距離が大きい認識候補を提
示する。以上のようにすれば、音声認識装置側で持って
いる認識候補を有効に活用し、ユーザーによる再入力の
回数を極力減らし、感覚的な認識率を向上させることが
できる。又、認識候補をいくつか示すことで、音声認識
の内部処理について感知できるようにしてユーザに音声
認識装置に対する安心感を与えることができる。更に、
第1位の認識候補とカテゴリーが異なる単語のうち入力
音声と音的に似た単語をすばやく探索することができ
る。
れらの認識候補それぞれに対して、スコア値(類似度)
の差および辞書構成に応じた重みをつけることで、認識
候補間の距離を決定する。その上で音声認識装置は、ま
ずスコア値(重み付け類似度)がもっとも高いものを第
1位候補として、ユーザに提示する(トークバックによ
る)。ユーザーはその提示された単語で良いか、違う
か、全く違うかを答える。(1) 「良い」という返事が返
ってくれば、音声認識装置は提示した単語を音声入力単
語とみなし、所定の処理を実行する。(2) 「違う」とい
う返事が返ってくれば、音声認識装置は提示した単語に
距離的に近い認識候補を第2候補として提示する。(3)
一方、「全く違う」という返事が返ってくれば、音声認
識装置は、提示した単語から距離的に遠い認識候補を第
2候補として提示する。以後、第2候補の提示に対する
ユーザの応答に応じて同様の処理を繰り返し、提示すべ
き適当な単語が認識候補に存在しなくなった時、初め
て、音声認識装置はユーザーに再入力を促す。
ションユニット、21は音声認識装置である。音声認識
装置21において、31は話者音声を検出するマイクロ
ホン、32はカテゴリー別に単語音声を辞書化して有す
る音声辞書、33は入力音声と類似する複数の認識候補
を音声辞書より検索して出力する認識エンジン、34は
複数の認識候補のうち所定の候補を選択する認識候補選
択部、35は選択された認識候補の音声を合成して出力
(トークバック)する合成エンジン、36は合成音声を
出力するスピーカである。図2は音声辞書における認識
単語のカテゴリー構成と重み値の説明図である。音声辞
書は、コマンド(ナビゲーション装置に対する指
示)、施設、地名、数字(電話番号)...等の
カテゴリー別に大分類され、更に各カテゴリーは階層的
に中分類カテゴリー、小分類カテゴリーに細分類されて
いる。例えば、地名は、「地名→都道府県→市町村」と
階層的に分類されている。重み値は同じ小分類カテゴリ
ーに属すれば「1」で最も大きく、以下、中分類が同じ
であるか、大分類が同じであるか等に応じて小さくなっ
ている。図2では、「いわき市」に対する重み値を小数
点数値で示している。
補順序決定処理フロー図である。音声を入力すると(ス
テップ101)、認識エンジン33は音声辞書32より
入力音声に類似する1以上の認識候補を検索し、検索し
た認識候補の識別コード、類似度(スコア)、所属する
カテゴリー(大分類/中分類/小分類カテゴリー)を認
識候補選択部34に入力する(ステップ102)。認識
候補選択部34は複数の認識候補が入力すると、各認識
候補の類似度(スコア)と重み値を考慮して認識候補順
を決定する(ステップ103)。すなわち、図4に示す
ように、類似度が最高の第1位認識候補を決定し(ステ
ップ103a)、第1位認識候補が属するカテゴリーと
他の認識候補が属するカテゴリーを考慮して該他の認識
候補の重み値を決定する(ステップ103b)。しかる
後、各認識候補のスコアに重み値を乗算し、重み付けス
コアの大きい順に認識候補を並べる。重み付けスコアの
差は認識候補間の距離であるから、第1位認識候補を先
頭にして以下第1位認識候補との距離が小さいものから
認識候補を順に並べて認識候補順を決定する(ステップ
103c)。
候補を音声出力するよう合成エンジン35に指示し、合
成エンジンは第1位認識候補の音声を合成出力(トーク
バック)する(ステップ104)。ユーザはトークバッ
クされた音声で良いか、違うか、全く違うか判断し(ス
テップ105)、良ければナビゲーションユニット11
のキー操作(音声入力も可能)で「良い」を入力する。
これにより、認識候補選択部34は、現在着目している
認識候補の識別コードをナビゲーションユニット11に
入力する(ステップ106)。
と異なれば、ユーザは違いの度合いを判断する。入力音
声の大分類カテゴリーとトークバック音声の大分類カテ
ゴリーが異なれば、音的に似ていても違い感が強く「全
く違う」という感じになり、カテゴリーが同じであれば
違い感は弱く単に「違う」とい感じになる。この違い感
に基づいてユーザはキー操作あるいは音声で「違う」あ
るいは「全く違う」を入力する(ステップ105)。
「違う」が入力すると、認識候補選択部34は、第1位
認識候補から所定距離内に認識候補が存在するかチェッ
クし(ステップ107)、存在すれば、該認識候補を音
声出力するよう合成エンジン35に指示し、合成エンジ
ンは該認識候補の音声をトークバックする(ステップ1
04)。以後、ステップ105でユーザはトークバック
された音声で良いか、違うか、全く違うかの判断を行
い、該判断により所定の処理を繰り返えす。
から所定距離内に認識候補が存在しなければ、認識候補
選択部34は、音声の再入力を音声応答あるいはランプ
等で指示し(ステップ108)、以後、始めに戻り、音
声の再入力を行う。ステップ105において、「全く違
う」が入力すると、認識候補選択部34は、第1位認識
候補から所定距離以上離れた認識候補が存在するかチェ
ックし(ステップ109)、存在すれば、第1位認識候
補と異なるカテゴリーに属する認識候補のうち第1位認
識候補から最短距離の認識候補を探し、新たな第1位認
識候補とする(ステップ110)。
位認識候補が属するカテゴリーの候補をのぞき、残った
認識候補について新たな第1位認識候補に基いて認識候
補順を再決定する(ステップ103)。ついで、新たな
第1位認識候補の音声をトークバックする(ステップ1
04)。以後、ステップ105でユーザはトークバック
された音声で良いか、違うか、全く違うかの判断を行
い、該判断により所定の処理を繰り返えす。ステップ1
09において、第1位認識候補から所定距離以上離れた
認識候補が存在しなくなれば、認識候補選択部34は、
音声の再入力を音声応答あるいはランプ等で指示し(ス
テップ108)、以後、始めに戻り、ユーザは音声の再
入力を行う。
り、辞書構成は図2に示すカテゴリー構成に区分されて
いるものとし、又、認識対象単語は1つのカテゴリーに
限定されず、全カテゴリー内の単語を検索対象とする。
又、「いわき市」から各カテゴリー迄の重み値は図2内
の数値で示し、「ゴルフ場」から所定のカテゴリー迄の
重み値は図6内の数値で示している。
ジン33が検索した認識候補(認識単語)とその類似度
(スコア)を示すものである。尚、認識単語とそのスコ
アは本発明の音声認識方法を理解するための単なる例示
にすぎない。図5(b)は、スコア最大の第1位認識候
補「好間工業団地」が所在する「いわき市」から各認識
候補が属するカテゴリー迄の重み値をスコアに乗算して
得られる重み付けスコアを示すものである。カテゴリー
「いわき市」に属する認識単語(好間工業団地)に対す
る重みは1.0であり、また「いわき市」に対する他のカ
テゴリーの重みは図2内の数値で示す通りである。この
重み値は、認識単語のカテゴリーを作成する際に設計者
が、任意に設定できる。又、重み値は大分類カテゴリー
が同じであるか、中分類カテゴリーが同じであるか、小
分類カテゴリーが同じであるか等に基づいて計算するよ
うに構成することもできる。図5(c)は、重み付けス
コア順に各認識候補を並べたもので、所定距離(例えば
40)より大きければ「全く違う認識候補」となり、所定距
離以内であれば「違う認識候補」となる。
とき、残った認識候補のスコアに重みを乗算した重み付
けスコアを示すものである。「全く違う」が入力された
とき、それまでの第1位認識候補「好間工業団地」が属
する大分類カテゴリーに属する候補を全て除き(図6斜
線部)、残った別カテゴリーに属する認識候補をスコア
順に並べ、かつ、スコア最大の認識候補「〜ゴルフ場」
を新たな第1位認識候補とし、該第1位認識候補が属す
るカテゴリーから各認識候補が属するカテゴリー迄の重
み値(図6参照)をスコアに乗算する。図5(d)はこ
のようにして得られた重み付けスコアを示している。図
5(e)は重み付けスコア順に各認識候補を並べたもの
で、所定距離(=40)より大きければ「全く違う認識候補」
となり、所定距離以内であれば「違う認識候補」となる。
以上の類似音声を音声辞書より検索し(図5(a))、
スコア最大の第1位認識候補「好間工業団地」が所在す
る「いわき市」から各認識候補が属するカテゴリー迄の
重み値をスコアに乗算し(図5(b))、得られる重み
付けスコア順に各認識候補を並べる(図5(c))。つ
いで、音声認識装置21は、第1位認識候補である「好
間工業団地」をトークバックし、ユーザが「違う」を入
力すれば、次に「栄町」をトークバックし、再びユーザ
が「違う」を入力すれば、「郡山」をトークバックし、
更に、ユーザが「違う」を入力すれば最早候補がないた
め音声再入力をユーザに促す。尚、トークバックに対し
てユーザが「良」いを入力すれば音声認識処理は終了す
る。
対してユーザが「全く違う」を入力すれば、第1位認識
候補「好間工業団地」が属する大分類カテゴリーに属す
る候補を全て除き、残った認識候補の中から、第1位認
識候補より最短距離の認識候補「〜ゴルフ場」を選び、
新たな第1位認識候補とする。そして、再度カテゴリー
間の重みを決定し、重み付けスコアを計算する(図5
(d))。しかる後、重み付けスコア順に並べて認識候
補順を再構成する(図5(e))。以後、音声認識装置
21は新たな第1認識候補「〜ゴルフ場」をトークバッ
クし、ユーザが「違う」を入力すれば、次に「日赤病
院」をトークバックし、再びユーザが「違う」を入力す
れば最早候補がないため音声再入力をユーザに促す。
尚、トークバックに対してユーザが「良」いを入力すれ
ば音声認識処理は終了する。以上では、「良い」、「違
う」、「全く違う」を入力した場合であるが、別の単語
を入力するようにもできる。例えば、「違う」の替わり
に、「おしい」や、「近い」等を入力できる。以上、本
発明を実施例により説明したが、本発明は請求の範囲に
記載した本発明の主旨に従い種々の変形が可能であり、
本発明はこれらを排除するものではない。
いう値を持たせ、ユーザーの返答に合わせ、その値を用
いて適当な認識候補を選択・提示するようにしたから、
従来の第一候補のみを一度提示する方法に比べ、音声認
識装置側で持っている複数の認識候補を有効に活用する
ため、ユーザーによる再入力の回数を極力減らし、感覚
的な認識率を向上させることができる。又、本発明によ
れば、大語彙辞書を認識対象とした場合、カテゴリーは
異なるが音的に似た単語を、従来のいちいち再入力する
方法に比べ早く探索できる。又、本発明によれば、認識
候補をいくつか示すことで、音声認識の内部処理を感知
できるようにしているため、ユーザーに音声認識装置に
対する安心感を与えることができる。
重み値の説明図である。
値の例である。
Claims (2)
- 【請求項1】 入力音声と類似する音声を音声辞書より
検索して入力音声を認識する音声認識方法において、 音声辞書をカテゴリー別に構成し、 入力音声に類似する複数の認識候補を検索し、 類似度が最高の第1位認識候補が属するカテゴリーと他
の認識候補が属するカテゴリーを考慮して該他の認識候
補の重みを決定し、 各認識候補の類似度に重み付けして得られる重み付け類
似度に基づいて第1位認識候補からの距離を識別し、前
記認識した第1位認識候補の提示に対して入力音声との
距離の大小を示す応答があった時、該応答に応じて次に
提示する認識候補を決定することを特徴とする音声認識
方法。 - 【請求項2】 前記応答が入力音声との距離小であるこ
とを示す応答であれば、距離が小さい認識候補を提示
し、前記応答が入力音声との距離大であることを示す応
答であれば、距離が大きい認識候補を提示することを特
徴とする請求項1記載の音声認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10963299A JP3708747B2 (ja) | 1999-04-16 | 1999-04-16 | 音声認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10963299A JP3708747B2 (ja) | 1999-04-16 | 1999-04-16 | 音声認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000305590A true JP2000305590A (ja) | 2000-11-02 |
| JP3708747B2 JP3708747B2 (ja) | 2005-10-19 |
Family
ID=14515210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10963299A Expired - Fee Related JP3708747B2 (ja) | 1999-04-16 | 1999-04-16 | 音声認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3708747B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005062293A1 (ja) * | 2003-12-05 | 2007-07-19 | 株式会社ケンウッド | オーディオ機器制御装置、オーディオ機器制御方法及びプログラム |
| JPWO2005062296A1 (ja) * | 2003-12-05 | 2007-07-19 | 株式会社ケンウッド | 機器制御装置及び機器制御方法 |
| JP2011221293A (ja) * | 2010-04-09 | 2011-11-04 | Mitsubishi Electric Corp | コマンド処理装置 |
| KR20190032498A (ko) * | 2016-07-29 | 2019-03-27 | 구글 엘엘씨 | 수정된 용어들을 사용하는 음향 모델 트레이닝 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6126133A (ja) * | 1984-07-17 | 1986-02-05 | Nippon Signal Co Ltd:The | 音声認識入力装置 |
| JPH06175688A (ja) * | 1992-12-08 | 1994-06-24 | Toshiba Corp | 音声認識装置 |
| JPH1124695A (ja) * | 1997-06-27 | 1999-01-29 | Sony Corp | 音声認識処理装置および音声認識処理方法 |
-
1999
- 1999-04-16 JP JP10963299A patent/JP3708747B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6126133A (ja) * | 1984-07-17 | 1986-02-05 | Nippon Signal Co Ltd:The | 音声認識入力装置 |
| JPH06175688A (ja) * | 1992-12-08 | 1994-06-24 | Toshiba Corp | 音声認識装置 |
| JPH1124695A (ja) * | 1997-06-27 | 1999-01-29 | Sony Corp | 音声認識処理装置および音声認識処理方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005062293A1 (ja) * | 2003-12-05 | 2007-07-19 | 株式会社ケンウッド | オーディオ機器制御装置、オーディオ機器制御方法及びプログラム |
| JPWO2005062296A1 (ja) * | 2003-12-05 | 2007-07-19 | 株式会社ケンウッド | 機器制御装置及び機器制御方法 |
| JP4533844B2 (ja) * | 2003-12-05 | 2010-09-01 | 株式会社ケンウッド | 機器制御装置、機器制御方法及びプログラム |
| JP4533845B2 (ja) * | 2003-12-05 | 2010-09-01 | 株式会社ケンウッド | オーディオ機器制御装置、オーディオ機器制御方法及びプログラム |
| JP2011221293A (ja) * | 2010-04-09 | 2011-11-04 | Mitsubishi Electric Corp | コマンド処理装置 |
| KR20190032498A (ko) * | 2016-07-29 | 2019-03-27 | 구글 엘엘씨 | 수정된 용어들을 사용하는 음향 모델 트레이닝 |
| KR102256705B1 (ko) * | 2016-07-29 | 2021-05-27 | 구글 엘엘씨 | 수정된 용어들을 사용하는 음향 모델 트레이닝 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3708747B2 (ja) | 2005-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10453117B1 (en) | Determining domains for natural language understanding | |
| KR100679044B1 (ko) | 사용자 적응형 음성 인식 방법 및 장치 | |
| US7949524B2 (en) | Speech recognition correction with standby-word dictionary | |
| KR101537370B1 (ko) | 녹취된 음성 데이터에 대한 핵심어 추출 기반 발화 내용 파악 시스템과, 이 시스템을 이용한 인덱싱 방법 및 발화 내용 파악 방법 | |
| US6751595B2 (en) | Multi-stage large vocabulary speech recognition system and method | |
| US5995928A (en) | Method and apparatus for continuous spelling speech recognition with early identification | |
| US20180137109A1 (en) | Methodology for automatic multilingual speech recognition | |
| US10170107B1 (en) | Extendable label recognition of linguistic input | |
| US20170133038A1 (en) | Method and apparatus for keyword speech recognition | |
| JP2005010691A (ja) | 音声認識装置、音声認識方法、会話制御装置、会話制御方法及びこれらのためのプログラム | |
| JPH096389A (ja) | 音声認識対話処理方法および音声認識対話装置 | |
| JP5089955B2 (ja) | 音声対話装置 | |
| KR20060037086A (ko) | 음성인식 방법 및 장치, 이를 이용한 네비게이션 시스템 | |
| WO2013163494A1 (en) | Negative example (anti-word) based performance improvement for speech recognition | |
| JPH10274996A (ja) | 音声認識装置 | |
| JP5378907B2 (ja) | 音声対話装置及び音声対話プログラム | |
| JP2000172294A (ja) | 音声認識方法、その装置及びプログラム記録媒体 | |
| JP5004863B2 (ja) | 音声検索装置および音声検索方法 | |
| KR101250897B1 (ko) | 전자사전에서 음성인식을 이용한 단어 탐색 장치 및 그 방법 | |
| JP5196114B2 (ja) | 音声認識装置およびプログラム | |
| JP3708747B2 (ja) | 音声認識方法 | |
| JP2001242885A (ja) | 音声認識装置および音声認識方法、並びに記録媒体 | |
| JPH1083195A (ja) | 入力言語認識装置及び入力言語認識方法 | |
| KR102392992B1 (ko) | 음성 인식 기능을 활성화시키는 호출 명령어 설정에 관한 사용자 인터페이싱 장치 및 방법 | |
| JP4661239B2 (ja) | 音声対話装置及び音声対話方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050804 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080812 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |