[go: up one dir, main page]

JP2008140319A - 個人認証装置および個人認証システム - Google Patents

個人認証装置および個人認証システム Download PDF

Info

Publication number
JP2008140319A
JP2008140319A JP2006328334A JP2006328334A JP2008140319A JP 2008140319 A JP2008140319 A JP 2008140319A JP 2006328334 A JP2006328334 A JP 2006328334A JP 2006328334 A JP2006328334 A JP 2006328334A JP 2008140319 A JP2008140319 A JP 2008140319A
Authority
JP
Japan
Prior art keywords
face image
face
image data
authentication
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006328334A
Other languages
English (en)
Other versions
JP4943127B2 (ja
Inventor
Takehiro Ohashi
岳洋 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006328334A priority Critical patent/JP4943127B2/ja
Publication of JP2008140319A publication Critical patent/JP2008140319A/ja
Application granted granted Critical
Publication of JP4943127B2 publication Critical patent/JP4943127B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Lock And Its Accessories (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Processing (AREA)

Abstract

【課題】ユーザが認証時に、利用したい機能が割付けられた顔で認証操作をするだけで、その機能を利用することができる個人認証装置および個人認証システムを提供する。
【解決手段】ユーザの顔を撮影して顔画像データを取得する顔画像取得手段4,5と、実行機能が割付けられたユーザの顔画像データを格納する顔画像データベース8と、前記顔画像取得手段で得られた顔画像データで前記顔画像データベースに保存された顔画像データを検索して顔認証を実行する顔認証手段9と、前記顔認証手段で顔認証が成立した時に、顔画像データベースに保存された該認証された顔画像データに割付けられた実行機能に基づき、該実行機能を実行する外部装置に対して動作指令信号を出力する機能決定手段10,11,12と、を備える。
【選択図】図1

Description

この発明は個人認証装置、特に各ユーザに対し異なる複数の顔画像を登録して使用する個人認証装置および個人認証システムに関する。
従来、厳格なユーザ認証を顔画像データを適用して実行する装置として、登録ユーザの様々な顔画像データを登録し、登録画像データからランダムに複数パターンを選択してシーケンスを設定し、さらに設定シーケンスが過去の実行シーケンスと重複しないことを確認してユーザにシーケンスに沿った動作、例えば顔の表情変化などを実行させて画像取得を行い、登録パターンとの照合を行なうものがある。これによれば、固定シーケンスに沿った動作と異なり、認証処理毎に異なるシーケンスが設定されて認証が実行される。従って、例えば隠し撮りなどによって不正に撮影したユーザの画像データを使用して不正に認証を成立させようとする処理は不可能となり、より厳格なユーザ認証が実現される。
特開2006−133930号公報
このような従来の装置では、ユーザの様々の表情の顔画像自体や照合順序に、例えばセキュリティのための機器を駆動させる等の実行機能を設定する機能は無いため、認証成立時に同時に別の機能を実行する場合には別途、そのための設定操作が必要になっていた。
この発明は上記の課題を解消するためになされたもので、ユーザの様々な表情の顔画像データを登録する際に、各顔画像データにユーザが実行したい機能をそれぞれ割付けて設定することで、ユーザが認証時に、利用したい機能が割付けられた顔で認証操作をするだけで、その機能を利用することができる個人認証装置および個人認証システムを提供することを目的とする。
この発明は、ユーザの顔を撮影して顔画像データを取得する顔画像取得手段と、実行機能が割付けられたユーザの顔画像データを格納する顔画像データベースと、前記顔画像取得手段で得られた顔画像データで前記顔画像データベースに保存された顔画像データを検索して顔認証を実行する顔認証手段と、前記顔認証手段で顔認証が成立した時に、顔画像データベースに保存された該認証された顔画像データに割付けられた実行機能に基づき、該実行機能を実行する外部装置に対して動作指令信号を出力する機能決定手段と、を備えたことを特徴とする個人認証装置にある。
また、実行機能が割付けられたユーザの顔画像データを格納するシステムで共有する顔画像データベースと、ユーザの顔を撮影して顔画像データを取得する顔画像取得手段と、前記顔画像取得手段で得られた顔画像データで前記顔画像データベースに保存された顔画像データを検索して顔認証を実行する顔認証手段と、前記顔認証手段で顔認証が成立した時に、顔画像データベースに保存された該認証された顔画像データに割付けられた実行機能に基づき、該実行機能を実行する外部装置に対して動作指令信号を出力する機能決定手段と、前記顔画像取得手段で得られた顔画像データにユーザからの入力に従って実行機能を割付けて顔画像データベースに登録する実行機能付き顔画像データ登録手段と、を含む少なくとも1つの第1個人認証装置と、ユーザの顔を撮影して顔画像データを取得する顔画像取得手段と、前記顔画像取得手段で得られた顔画像データで前記顔画像データベースに保存された顔画像データを検索して顔認証を実行する顔認証手段と、前記顔認証手段で顔認証が成立した時に、顔画像データベースに保存された該認証された顔画像データに割付けられた実行機能に基づき、該実行機能を実行する外部装置に対して動作指令信号を出力する機能決定手段と、を含む少なくとも1つの第2個人認証装置と、を備えたことを特徴とする個人認証システムにある。
この発明では、ユーザが認証時に、利用したい機能が割付けられた顔で認証操作をするだけで、その機能を利用することができる個人認証装置および個人認証システムを提供できる。
実施の形態1.
図1はこの発明の一実施の形態による個人認証装置の構成を示す図である。この個人認証装置は、機能選択部6、機能割付け部7、顔画像データベース8も装置内に備え、ユーザの登録と認証の両方を装置内で行う構成を有する。ユーザ1は、個人認証を受けるユーザである。電気錠2は、セキュリティのかけられた領域に入るためのドアのための電気錠である。上位システム3は、本願の個人認証装置100からの動作指令信号である警報信号を受信可能な異常の連絡先である上位システムである。
個人認証装置100において、カメラ4は、ユーザ1の顔を表情や細部まで撮影可能なカメラである。顔画像正規化部5は、カメラ4で撮影された画像からユーザ1の顔画像を切り出して、画像サイズに対する顔の大きさや明るさを調整して顔画像データを生成する機能を有する。
機能選択部6は、ユーザ登録時に登録顔画像に割付ける実行機能を選択する機能を有する。機能選択部6は、例えばユーザ1に撮影された顔画像等を含む情報の表示や操作を促す画面を表示する表示部とユーザが操作する操作部を含み(共に図示省略)、ユーザが表示部を見ながら顔画像データに割付ける実行機能を操作部を操作して選択する。機能割付け部7は、機能選択部6で選択された実行機能を顔画像正規化部5から入力された顔画像データに割付け、顔画像データベース8に登録する機能を有する。
顔画像データベース8は、機能割付け部7で実行機能を割付けられた顔画像データを保存するためのデータベースである。顔認証部9は、顔画像正規化部5で正規化された顔画像データで顔画像データベース8に保存された顔画像データを検索して顔認証を実行する。
機能決定部10は、顔認証部9から入力された顔認証結果と顔画像データベース8に保存された顔画像データを参照して実行すべき機能を決定する。すなわち、顔認証部9で顔認証が成立した時に、顔画像データベース8に保存された該認証された顔画像データに割付けられた実行機能に基づき実行機能を決定し、これに従って制御信号を出力する。電気錠制御部11は、機能決定部10からの制御信号を受けて、外部装置である電気錠2に通常解錠や一時解錠等の制御を実行するために動作指令信号を出力する。警報出力部12は、機能決定部10からの制御信号を受けて、外部装置である上位システム3に対して動作指令信号として警報信号を出力する。
図2には、顔画像データベース8に保存されている1人のユーザの顔画像データの一例を示す。微笑み顔の顔画像には電気錠2に関する電気錠通常解錠(電気錠を解錠してその状態を保つ)、怒り顔には電気錠一時解錠(電気錠を一時的に解錠する)、口を大きく開けた顔(叫んでいる状態の顔)には上位システム3に対する警報出力の各実行機能が割付けられている。
なお、カメラ4と顔画像正規化部5が顔画像取得手段を構成し、機能選択部6と機能割付け部7が実行機能付き顔画像データ登録手段を構成し、顔認証部9が顔認証手段を構成し、機能決定部10、電気錠制御部11、警報出力部12が機能決定手段を構成する。
図3には図1の個人認証装置の動作の一例を示す動作フローチャートを示し、以下、動作について説明する。まず力メラ4によりユーザ1の顔が撮影される(ステップS1)。撮影された顔画像は、顔画像正規化部5で正規化され顔画像データとなり(ステップS2)、顔認証部9では、この顔画像データで顔画像データベース8に保存された顔画像データを検索して認証(一致するものがあれば予め登録されたユーザであることを認証)が行われる(ステップS3)。
顔認証部9において、顔画像データベース8に該ユーザの顔画像データが全く保存されていないか(ステップS4)、又は保存されてはいるが顔画像データに、図2に例示するようなユーザ登録の実行機能が割付けられていなければ(ステップS5)、続いてカメラ4で撮影されたユーザ1の顔画像を(ステップS6)、顔画像正規化部5で正規化する(ステップS7)。
またこれと同時に顔認証部9は、顔画像データの登録が必要であることを示す信号を機能選択部6に送り、機能選択部6はユーザ1に対して、撮影した顔画像に割付ける実行機能を操作部の操作による入力で選択するよう促す画面を撮影した顔画像と共に表示部に表示し、選択された実行機能を得る(ステップS8)。
そして機能割付け部7は、正規化したユーザ1の顔画像データに機能選択部6でユーザ1が選択入力した実行機能を割付ける(ステップS9)。そして実行機能が割付けられた顔画像データは機能割付け部7により顔画像データベース8に保存される(ステップS10)。これにより、ユーザ1の実行機能が割付けられた顔画像データの登録は完了する。
一方、顔認証部9において、ステップS4で、顔画像データベース8に該ユーザの顔画像データがあり、ステップS5で、保存されている顔画像データに図2に例示するようなユーザ登録の実行機能が割付けられていれば顔認証が成立したと判断される。
これにより機能決定部10では、顔認証部9からの顔認証成立を示す結果と顔画像データベース8に保存された該認証された顔画像データに割付けられた実行機能に基づき、例えは該当する顔画像データに電気錠制御の実行機能が割付けられていれば(ステップS11)、割付けられている実行機能に従って制御信号を電気錠制御部11に送り、電気錠制御部11は制御信号に従って電気錠通常解錠又は電気錠一時解錠のための動作指令信号を電気錠2へ送り、電気錠2の動作制御を行う(ステップS12)。
また、該当する顔画像データに上位システム3への警報の実行機能が割付けられていれば(ステップS13)、割付けられている実行機能に従って制御信号を警報出力部12に送り、警報出力部12は制御信号に従って動作指令信号として警報信号を上位システム3へ送り、上位システム3に警報を発する(ステップS14)。
このように認証処理を行うことで、認証後に実行したい機能が自動的に選択実行されるため、認証後の実行機能の設定時間が省略可能となる。
なお、個人認証装置100が認証結果および割付けられた実行機能に従って制御を行う、制御対象である外部機器は、電気錠2や上位システム3に限定されず、種々のセキュリティに関連する機器、システムが制御対象になり得る。
また、図2に例示した顔画像データベース8に保存されるそれぞれ実行機能が割り当てられる各ユーザ毎の異なる顔画像データでは、顔の表情を変えているが、その他、顔の向き、撮影されている顔の範囲、目又は口の開閉状態、の少なくとも1つが異なる顔画像データとしてもよく、さらにはこれらを顔の表情と組み合わせて変えるようにしてもよい。
また、図4に例示するように、顔画像データベース8の顔画像データに関し、笑顔の顔画像データに電気錠通常解錠の実行機能を割付け、平常状態の無表情の顔の顔画像データに電気錠一時解錠及び警報出力の実行機能をそれぞれに割付けるようにしてもよい。これにより、ユーザが非常時に脅迫されて解錠操作をさせられても、無理に顔の表情を作る必要がないため、ユーザが危険にさらされることなく、電気錠2を一時解錠し、さらに上位システム3に警報を送ることができる。なお、平常状態の無表情の顔とは、正面を向き、目を自然に開き、口を自然に閉じた顔全体の顔のことである。
このように場合によっては、同一の顔画像データに異なる複数の実行機能を割付けるようにしても、逆に複数の異なる顔画像データに同一の実行機能を割付けるようにしてもよい。
また上記説明では、登録と認証を行う単体の個人認証装置について説明したが、図5に示すように顔画像データベース8を共有する複数の個人認証装置で構成された個人認証システムとして構成してもよい。この個人認証システムは、上述の個人認証装置100と同様に機能選択部6及び機能割付け部7も含む登録と認証を行う少なくとも1台の第1個人認証装置100aと、機能選択部6及び機能割付け部7は含まず認証を行う少なくとも1台の第2個人認証装置100bで構成される。また、上位システム3も共通のものとして設けられている。
このようにして複数の個人認証装置で個人認証システムを構成する場合には、機能選択部6及び機能割付け部7は最低1台の個人認証装置に設ければよく、また顔画像データベース8は共有化可能なため、他の個人認証装置から機能選択部6、機能割付け部7及び顔画像データベース8を省略でき、その分の装置の低価格化が可能となる。
この発明の一実施の形態による個人認証装置の構成を示す図である。 この発明における顔画像データベースに保存されている1人のユーザの顔画像データの一例を示す図である。 この発明の一実施の形態による個人認証装置の動作の一例を示す動作フローチャートである。 この発明における顔画像データベースに保存されている1人のユーザの顔画像データの別の例を示す図である。 この発明の一実施の形態による個人認証システムの構成を示す図である。
符号の説明
1 ユーザ、2 電気錠、3 上位システム、4 カメラ、5 顔画像正規化部、6 機能選択部、7 機能割付け部、8 顔画像データベース、9 顔認証部、10 機能決定部、11 電気錠制御部、12 警報出力部、100 個人認証装置、100a 第1個人認証装置、100b 第2個人認証装置。

Claims (7)

  1. ユーザの顔を撮影して顔画像データを取得する顔画像取得手段と、
    実行機能が割付けられたユーザの顔画像データを格納する顔画像データベースと、
    前記顔画像取得手段で得られた顔画像データで前記顔画像データベースに保存された顔画像データを検索して顔認証を実行する顔認証手段と、
    前記顔認証手段で顔認証が成立した時に、顔画像データベースに保存された該認証された顔画像データに割付けられた実行機能に基づき、該実行機能を実行する外部装置に対して動作指令信号を出力する機能決定手段と、
    を備えたことを特徴とする個人認証装置。
  2. 顔画像取得手段で得られた顔画像データにユーザからの入力に従って実行機能を割付けて顔画像データベースに登録する実行機能付き顔画像データ登録手段をさらに備えたことを特徴とする請求項1に記載の個人認証装置。
  3. 顔画像データベースにはユーザ毎に、異なる実行機能が割付けられた異なる顔画像データが複数格納されることを特徴とする請求項1又は2に記載の個人認証装置。
  4. 顔画像データベースのユーザ毎の顔画像データは、顔の表情が異なることを特徴とする請求項3に記載の個人認証装置。
  5. 顔画像データベースのユーザ毎の顔画像データは、顔の向き、撮影されている顔の範囲、目又は口の開閉状態、の少なくとも1つが異なることを特徴とする請求項3又は4に記載の個人認証装置。
  6. 実行機能を実行する外部装置がセキュリティのかけられた領域のための電気錠と警報を送る異常の連絡先である上位システムからなり、顔画像データベースが、電気錠を一時解錠する実行機能が割付けられた顔画像データおよび上位システムに警報を発生する実行機能が割付けられた顔画像データとして、共に平常状態の顔の顔画像データを格納していることを特徴とする請求項1から5までのいずれか1項に記載の個人認証装置。
  7. 実行機能が割付けられたユーザの顔画像データを格納するシステムで共有する顔画像データベースと、
    ユーザの顔を撮影して顔画像データを取得する顔画像取得手段と、前記顔画像取得手段で得られた顔画像データで前記顔画像データベースに保存された顔画像データを検索して顔認証を実行する顔認証手段と、前記顔認証手段で顔認証が成立した時に、顔画像データベースに保存された該認証された顔画像データに割付けられた実行機能に基づき、該実行機能を実行する外部装置に対して動作指令信号を出力する機能決定手段と、前記顔画像取得手段で得られた顔画像データにユーザからの入力に従って実行機能を割付けて顔画像データベースに登録する実行機能付き顔画像データ登録手段と、を含む少なくとも1つの第1個人認証装置と、
    ユーザの顔を撮影して顔画像データを取得する顔画像取得手段と、前記顔画像取得手段で得られた顔画像データで前記顔画像データベースに保存された顔画像データを検索して顔認証を実行する顔認証手段と、前記顔認証手段で顔認証が成立した時に、顔画像データベースに保存された該認証された顔画像データに割付けられた実行機能に基づき、該実行機能を実行する外部装置に対して動作指令信号を出力する機能決定手段と、を含む少なくとも1つの第2個人認証装置と、
    を備えたことを特徴とする個人認証システム。
JP2006328334A 2006-12-05 2006-12-05 個人認証装置および個人認証システム Expired - Fee Related JP4943127B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006328334A JP4943127B2 (ja) 2006-12-05 2006-12-05 個人認証装置および個人認証システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006328334A JP4943127B2 (ja) 2006-12-05 2006-12-05 個人認証装置および個人認証システム

Publications (2)

Publication Number Publication Date
JP2008140319A true JP2008140319A (ja) 2008-06-19
JP4943127B2 JP4943127B2 (ja) 2012-05-30

Family

ID=39601668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006328334A Expired - Fee Related JP4943127B2 (ja) 2006-12-05 2006-12-05 個人認証装置および個人認証システム

Country Status (1)

Country Link
JP (1) JP4943127B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192157A (ja) * 2010-03-16 2011-09-29 Secom Co Ltd 非常通報装置
JP2013140574A (ja) * 2011-12-07 2013-07-18 Nikon Corp 電子機器、情報処理方法およびプログラム
JP2015088080A (ja) * 2013-11-01 2015-05-07 日本電気株式会社 認証システム、認証方法、及びプログラム
JP2017014806A (ja) * 2015-07-01 2017-01-19 アイフォーコム株式会社 笑顔連動制御システム
JP2017068860A (ja) * 2011-06-03 2017-04-06 センシパス リミテッドSensipass Ltd. 認証を行うことによりコンピュータシステムへのアクセスを制御する方法及びコンピュータプログラム
JP2017529468A (ja) * 2014-09-02 2017-10-05 シー キング ルドルフ ドア及びホームセキュリティシステム及び方法
JP2023132474A (ja) * 2022-03-11 2023-09-22 Toppanエッジ株式会社 管理装置、管理方法および管理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318501A (ja) * 2003-04-16 2004-11-11 Victor Co Of Japan Ltd 人物認証装置
JP2004314855A (ja) * 2003-04-17 2004-11-11 Sumitomo Electric Ind Ltd 機器動作制御方法及び機器動作制御システム
JP2005092419A (ja) * 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
JP2006133930A (ja) * 2004-11-04 2006-05-25 Fuji Xerox Co Ltd 認証処理装置、および認証処理方法、並びにコンピュータ・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318501A (ja) * 2003-04-16 2004-11-11 Victor Co Of Japan Ltd 人物認証装置
JP2004314855A (ja) * 2003-04-17 2004-11-11 Sumitomo Electric Ind Ltd 機器動作制御方法及び機器動作制御システム
JP2005092419A (ja) * 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
JP2006133930A (ja) * 2004-11-04 2006-05-25 Fuji Xerox Co Ltd 認証処理装置、および認証処理方法、並びにコンピュータ・プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192157A (ja) * 2010-03-16 2011-09-29 Secom Co Ltd 非常通報装置
JP2017068860A (ja) * 2011-06-03 2017-04-06 センシパス リミテッドSensipass Ltd. 認証を行うことによりコンピュータシステムへのアクセスを制御する方法及びコンピュータプログラム
JP2013140574A (ja) * 2011-12-07 2013-07-18 Nikon Corp 電子機器、情報処理方法およびプログラム
JP2015088080A (ja) * 2013-11-01 2015-05-07 日本電気株式会社 認証システム、認証方法、及びプログラム
JP2017529468A (ja) * 2014-09-02 2017-10-05 シー キング ルドルフ ドア及びホームセキュリティシステム及び方法
JP2017014806A (ja) * 2015-07-01 2017-01-19 アイフォーコム株式会社 笑顔連動制御システム
JP2023132474A (ja) * 2022-03-11 2023-09-22 Toppanエッジ株式会社 管理装置、管理方法および管理プログラム

Also Published As

Publication number Publication date
JP4943127B2 (ja) 2012-05-30

Similar Documents

Publication Publication Date Title
CN104346554B (zh) 可编程显示器、控制方法
JP6481249B2 (ja) プログラマブル表示器、制御方法、およびプログラム
JPWO2007119818A1 (ja) 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
CN104346553A (zh) 可编程显示器、显示控制方法及程序
WO2018118120A1 (en) Analysis of reflections of projected light in varying colors, brightness, patterns, and sequences for liveness detection in biometric systems
US20240249560A1 (en) Authentication data generation device, authentication device, authentication data generation method, and recording medium
JP2018041293A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017004398A (ja) 認証装置及び認証方法
JP2015176555A (ja) 通信端末及び通信端末の認証方法
JP4943127B2 (ja) 個人認証装置および個人認証システム
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
TWI729679B (zh) 認證系統、認證裝置、及認證方法
JP2011096041A (ja) 姿勢情報付き生体情報による個人認証・操作指示入力方法、装置、及びプログラム
US12019722B2 (en) System, device and method for authentication with use of information code
KR102539533B1 (ko) 타인의 신분증 불법 촬영을 방지하기 위한 인증 방법 및 장치
JP2009020735A (ja) 個人認証装置
JP2002251614A (ja) 生体照合装置,生体照合システム,生体照合方法及びプログラム
JP2008165353A (ja) 監視システム
JP7006901B2 (ja) 視線の動きによる入室管理システム
EP3249499A1 (en) Method and device for providing a trusted environment for executing an analogue-digital signature
KR20100033882A (ko) 출입통제시스템 및 방법
JP7671559B2 (ja) 入退管理システム及び入退管理装置
KR101860227B1 (ko) 숨김 정보 및 사용자 인증 정보를 결합하여 사용자 인증을 수행하는 방법 및 장치
JP7579231B2 (ja) 認証システムおよび認証方法
JP2015049654A (ja) 顔認証を用いた本人確認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120229

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees