[go: up one dir, main page]

JP4556111B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP4556111B2
JP4556111B2 JP2004256188A JP2004256188A JP4556111B2 JP 4556111 B2 JP4556111 B2 JP 4556111B2 JP 2004256188 A JP2004256188 A JP 2004256188A JP 2004256188 A JP2004256188 A JP 2004256188A JP 4556111 B2 JP4556111 B2 JP 4556111B2
Authority
JP
Japan
Prior art keywords
wavelength
light
imaging
finger
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004256188A
Other languages
English (en)
Other versions
JP2006072764A (ja
Inventor
英雄 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004256188A priority Critical patent/JP4556111B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP05775162.0A priority patent/EP1785937B1/en
Priority to KR1020067006886A priority patent/KR101159142B1/ko
Priority to CNB200580001260XA priority patent/CN100478989C/zh
Priority to BRPI0506170 priority patent/BRPI0506170A/pt
Priority to HK07101566.5A priority patent/HK1096751B/xx
Priority to RU2006114755A priority patent/RU2328035C2/ru
Priority to US10/577,728 priority patent/US7634116B2/en
Priority to PCT/JP2005/015595 priority patent/WO2006025289A1/ja
Publication of JP2006072764A publication Critical patent/JP2006072764A/ja
Application granted granted Critical
Publication of JP4556111B2 publication Critical patent/JP4556111B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • G06V40/145Sensors therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、情報処理装置に関し、例えばバイオメトリクス認証対象として血管を撮像する場合に適用して好適なものである。
バイオメトリクス認証の対象として、生体内方に介在する血管等の固有構造物がある。この生体内方に介在する固有構造物は、生体表面に有する指紋等の固有構造物に比して生体からの直接的な盗用のみならず、第三者による登録者への成りすましをも困難となる点で、セキュリティを強化できるものとして着目されている。
従来、この種の認証装置として、血管を通る脱酸素化ヘモグロビン(静脈血)又は酸素化ヘモグロビン(動脈血)に近赤外線帯域の光が特異的に吸収されることを利用して血管を撮像し、当該撮像結果として得られる血管画像における血管形成パターンに基づいて正規ユーザの有無を判定するものが提案されている(例えば特許文献1参照)。
この認証装置では、生体から反射する反射光(可視光等の雰囲気中の通常光)の強度よりも強い強度の近赤外光を指腹面側から指に照射し、当該指内方の血管組織において内在するヘモグロビンに吸収されると共に血管組織以外の組織において散乱することにより得られた近赤外光を、近赤外光を透過するマクロレンズを介してCCD(Charge Coupled Device)に導光する。
そして認証装置は、この近赤外光を光電変換することによりCCDにチャージされる単位時間あたりの電荷量を、当該CCDにおける近赤外光に対する撮像感度が通常光よりも鋭敏となるようにCCDを調整するようにして血管画像信号を生成し、この血管画像信号における血管形成パターンに基づいて正規ユーザの有無を判定するようになされている。
従ってこの認証装置では、可視光等の雰囲気中の通常光に基づくノイズ成分の低減することができるため、血管画像の画質を向上することができ、この結果、認証精度を向上できる。
特開2004−135609公報
ところでかかる構成の認証装置においては、撮像時に指がずれた場合には、血管画像の画質が良質であっても認証精度の低下を引き起こすこととなる。
この位置ずれに起因する認証精度の低下を防止するための対処策として、基準画像に対する血管画像の位置ずれを検出する手法が考えられるが、そもそも血管画像は生体内方のため、生体表面の情報を用いて位置ずれを検出したほうがその検出精度が高くなる。
しかしながらかかる検出手法を認証装置に適用した場合、この認証装置では、生体表面とその内方の血管との双方の撮像が要することとなる結果、その分だけ処理負荷がかかることになり、ひいては即時性が低下するといった問題が生じる。この場合、生体表面とその内方の血管との双方に焦点深度を合わせることを想定すると、生体の脂肪量に応じて血管の介在する皮膚表面からの深さが異なるといったこと等に起因して、当該焦点深度を合わせる光学系の制御処理も複雑となる結果、より即時性が低下することとなる。
本発明は以上の点を考慮してなされたもので、即時性を向上し得る情報処理装置を提案しようとするものである。
かかる課題を解決するため本発明は、情報処理装置であって、ヘモグロビンに吸収される性質をもつ波長域に含まれる波長と、該波長域外の波長の光を照射する照射手段と、波長域の波長を透過する領域と、該波長域外における特定の波長を透過する領域とを単位として配列されるフィルタアレイと、フィルタアレイを介して導光される光を光電変換する撮像素子と、撮像素子での撮像結果として出力される撮像信号から、波長域の波長を透過する領域に対応する画素データと、波長域外における特定の波長を透過する領域に対応する画素データとをそれぞれ抽出する抽出手段と、抽出手段により抽出される各画素データに対応付けられる処理をそれぞれ実行する信号処理手段とを有する。
照射手段は、ヘモグロビンに吸収される性質をもつ波長域に含まれる波長の光を照射する第1の光源と、該波長域外の波長の光を照射する第2の光源と、指が配される面に形成される開口から該面に対して直交する状態で入射される光を後方に透過するための偏光素子とを含む。
第1の光源をとおり指が配される面に垂直となる直線が該面と交わる位置と、第2の光源をとおり指が配される面に垂直となる垂線が該面と交わる位置とは、開口表面の中心までの仮想直線により得られる角が直角となる関係とされる。
従って本発明では、光学系の制御処理を要することなく撮像対象を同時期に撮像することができるため、撮像時における処理負荷を低減することができる。
本発明によれば、互いに波長の異なる複数の光を生体に照射し、その生体より得られる各光を分光し、当該分光された各光に対する撮像素子での撮像結果として出力される撮像信号から、当該各光に対応する複数の画像成分を分離し、これら画像成分に対応する処理をそれぞれ実行するようにしたことにより、光学系の制御処理を要することなく撮像対象を同時期に撮像することができるため、撮像時における処理負荷を低減することができ、かくして即時性を向上し得る情報処理装置を実現することができる。
以下図面について本発明を適用した実施の形態を詳述する。
(1)認証装置の全体構成
図1において、1は全体として本実施の形態による認証装置を示し、生体の指FG表面を撮像すると共に指FG内方における血管を認証対象として撮像するハイブリッド撮像部2と、当該指FG表面と血管とを同時に撮像するようにハイブリッド撮像部2を制御する撮像制御部3と、当該ハイブリッド撮像部2での撮像結果として出力される撮像信号に基づいて各種処理を実行する信号処理部4とによって構成される。
(1−1)血管撮像部の構成
この図1及び図2に示すように、ハイブリッド撮像部2は、略直方体形状の筺体11を有し、この筺体11の上面には湾曲形状のガイド溝12が指を模るようにして形成されており、当該ガイド溝12の先端近傍における底面には撮像開口部13が設けられている。
従ってこのハイブリッド撮像部2は、ガイド溝12にあてがうようにして配置される指FGの指腹を撮像開口部13上にガイドし、当該ガイド溝12の先端に指先を当接するように配置された指FGに対する撮像開口部13の位置を撮像者に応じて位置決めし得るようになされている。
そしてこの撮像開口部13の表面には、所定材質でなる無色透明の開口カバー部14が設けられている一方、筺体11の内部における撮像開口部13の直下には、カメラ部15が設けられている。
従ってこのハイブリッド撮像部2は、撮像開口部13から筺体11の内部への異物の流入を防止し、かつ指FGを撮像開口部13に配置することに起因するカメラ部15の汚れを未然に防止し得るようになされている。
一方、このガイド溝12の側面には、近赤外光を血管の撮像光として照射する1対の近赤外光光源16(16A及び16B)が、ガイド溝12の短手方向と平行となる状態で撮像開口部13を挟み込むようにして設けられている。
この近赤外光光源16においては、血管を通る酸素化ヘモグロビン及び脱酸素化ヘモグロビンの双方に波長依存性の有するおよそ900〜1000[nm]の波長域(以下、これを血管依存波長域と呼ぶ)の近赤外光を照射するようになされている。
またこの近赤外光光源16においては、図2に示すように、指腹での表面反射を低減するために、カメラ部15における撮像面に対して直行する方向ではなく、当該撮像面F1と鋭角αをなす照射方向(以下、これを近赤外光照射方向と呼ぶ)idから近赤外光を照射するようになされている。なお、この場合、カメラ部15における撮像面と30°〜60°をなす照射方向がより有効となる。
従ってこのハイブリッド撮像部2は、近赤外光光源16からガイド溝12に配置された指FGの指腹側部分に近赤外光を照射し得るようになされている。この場合、この近赤外光は、その指FG内方の血管組織において内在するヘモグロビンに吸収されると共に血管組織以外の組織において散乱するようにして指FG内方を経由し、当該指FGから血管投影光として撮像開口部13及び開口カバー部14を順次介してカメラ部15に入射することとなる。この血管投影光は、指FGに内在する毛細血管組織では一般に酸素化及び脱酸素化双方のヘモグロビンが混在するが、これら双方のヘモグロビンに波長依存性の有する血管依存波長域の近赤外光が照射されていることから、当該指FGに内在する毛細血管組織がより反映されたものとなる。
他方、このガイド溝12の側面には、可視光を指紋の撮像光として照射する1対の可視光光源17(17A及び17B)が、ガイド溝12の長手方向と平行となる状態で撮像開口部13を挟み込むようにして設けられている。この可視光光源17においては、カメラ部15における撮像面に対して略直交する照射方向(以下、これを可視光照射方向と呼ぶ)から可視光を照射するようになされている。
従ってこのハイブリッド撮像部2は、可視光光源17からガイド溝12に配置された指FGの指腹中央部分に可視光を照射し得るようになされている。この場合、この可視光は、その指FG表面において反射することにより指表面投影光として撮像開口部13及び開口カバー部14を順次介してカメラ部15に入射することとなる。
このカメラ部15は、開口カバー部14から入射する光の光路上に、マクロレンズ21と、フィルタアレイ22と、CCD撮像素子23とを順次配することにより構成されている。
マクロレンズ21は、開口カバー部14から入射する血管投影光及び指表面投影光をフィルタアレイ22に集光する。
フィルタアレイ22は、所定の色に対応する波長の光を透過する複数の画素フィルタを単位(以下、これを色分光単位と呼ぶ)として格子状に配列してなり、この実施の形態の場合には、「R」画素フィルタ、「G」画素フィルタ及び「B」画素フィルタを色分光単位として採用している。
この場合、図4(A)及び図4(B)に示すように、互いに隣接する4個の画素フィルタのうち左上及び右下をおよそ500〜600[nm]の波長域の光を透過する「G」画素フィルタとし、右上をおよそ400〜500[nm]の波長域の光を透過する「B」画素フィルタとし、左下をおよそ600〜700[nm]の波長域の光を透過する「R」画素フィルタとして配列している点で、一般的なRGBフィルタアレイとしてフィルタアレイ22が構成されている。
但し、このフィルタアレイ22においては、「R」画素フィルタが血管依存波長域(およそ900〜1000[nm])も透過するようになされている点で、一般的なRGBフィルタアレイとは相違している。
従ってこのフィルタアレイ22は、マクロレンズ21から得られる指表面投影光及び血管投影光を分光し得るようになされている。
CCD撮像素子23は、画素に対応させて格子状に配された複数の光電変換素子を撮像面に有し、当該撮像面に入射する血管投影光及び指表面投影光を光電変換する。そしてCCD撮像素子23は、この光電変換結果によりチャージされる電荷を撮像制御部3による制御のもとに読み出し、当該読み出した電荷を撮像信号S10として信号処理部4に出力するようになされている。
ここで、開口カバー部7からカメラ部15に入射する近赤外光は、上述したように、指FGの内方を経由して得られたもの(血管投影光)の他に、主として指FGの表面で反射するものも混在している(以下、指FGの表面で反射する近赤外光を表面反射近赤外光と呼ぶ)。この表面反射近赤外光は、主として近赤外光照射方向に対して垂直となる方向から入射する。
一方、開口カバー部7からカメラ部15に入射する血管投影光及び指表面投影光は、指断面の中央に骨が介在することや照射方向等に起因して、撮像面に対して略垂直方向又は垂直方向から入射することが多い。
そこで、このカメラ部15では、上述の構成に加えて、近赤外光照射方向に対して垂直となる方向と直交する方向に偏光軸を有し、かつ可視光照射方向と平行な方向に偏光軸を有する偏光板24がRGBフィルタアレイ21上に設けられている。
この偏光板24は、近赤外光照射方向に対して垂直となる方向と直交する方向に偏光軸を有しているため、カメラ部15に入射する表面反射近赤外光を光路上から逸らし、また可視光照射方向と平行な方向に偏光軸を有しているため、撮像面に対して垂直方向となる血管投影光及び指表面投影光を透過し得るようになされている。
従ってこのカメラ部15においては、開口カバー部7を介して入射する血管投影光及び指表面投影光を選択的にCCD撮像素子23の撮像面に導光するようにして撮像し得るようになされている。
このようにしてこのハイブリッド撮像部2は、指FG表面を撮像すると共に、その内方における血管を撮像することができるようになされている。
(1−2)撮像制御部の構成
撮像制御部3(図1及び図3)は、近赤外光光源16、可視光光源17及びCCD撮像素子23をそれぞれ駆動制御するようになされている。
実際上、撮像制御部3は、この情報処理装置1に設けられた主電源部(図示せず)から供給される電圧を第1の電圧レベルでなる近赤外光光源制御信号S21として生成すると共に、第2の電圧レベルでなる可視光光源制御信号S22として生成する。そして撮像制御部3は、これら近赤外光光源制御信号S21及び可視光光源制御信号S22を、対応する近赤外光光源16及び可視光光源17に印加することにより駆動するようになされている。
この結果、ガイド溝12に配置された指FGの指腹側部分には近赤外光照射方向から近赤外光が照射されると同時に、当該指FGの指腹中央部分には可視光照射方向から可視光が照射されることとなる。
この場合、CCD撮像素子23の撮像面には、指FGの表面から得られる指表面投影光と、当該指FGの内方を経由して得られる血管投影光とが同時期に入射される。
一方、撮像制御部3は、クロック発生部(図示せず)から供給されるクロック信号に基づいて、所定のデューティ比でなるCCD撮像素子制御信号S23を生成し、これをCCD撮像素子23に対して出力することにより駆動するようになされている。
この結果、CCD撮像素子23では、このCCD撮像素子制御信号S23の立ち下がり(又は立ち上がり)を読み出し時点として、当該読み出し時点までに指表面投影光及び血管投影光双方の光電変換結果としてチャージされている電荷が撮像信号S10として順次信号処理部4に出力されることとなる。
このようにしてこの撮像制御部3は、指FG表面と血管とを同時に撮像するようにハイブリッド撮像部2を制御することができるようになされている。
(1−3)信号処理部の構成
信号処理部4は、図5に示すように、撮像信号S10から指表面投影光に対応する第1の画像信号成分(以下、これを指表面画像成分と呼ぶ)と、血管投影光に対応する第2の画像信号成分(以下、これを血管画像成分と呼ぶ)とを分離する信号分離部31、指表面画像成分に基づいて血管画像成分における血管画像に対する位置ずれ検出処理を実行する位置ずれ検出処理部32及び血管撮像成分に基づいて認証処理を実行する認証処理部33によって構成される。
この信号分離部31は、CCD撮像素子23から出力される撮像信号S10に対してA/D(Analog/Digital)変換を施すことにより撮像データを生成する。
そして信号分離部31は、この撮像データから例えば「G」に対応する画素データを色分光単位ごとに抽出し、これら画素データ群を指表面画像成分のデータ(以下、これを指表面画像データと呼ぶ)D31として位置ずれ検出処理部32に送出する。
また信号分離部31は、撮像データから「R」に対応する画素データを色分光単位ごとに抽出し、これら画素データ群を血管画像成分のデータ(以下、これを血管画像データと呼ぶ)D32として認証処理部33に送出する。
このようにして信号分離部31は、撮像信号S10から指表面画像成分と、血管投影光に対応する血管画像成分とを分離することができるようになされている。
位置ずれ検出処理部32は、基準位置に配置された指FG表面の画像(以下、これを基準指表面画像と呼ぶ)を保持しており、この基準指表面画像と、指表面画像データD31の指表面画像との相互相関を算出するようにして、当該指表面画像におけるX方向及びY方向の位置ずれ状態を検出する。
そして位置ずれ検出処理部32は、この検出結果を、血管画像データD32の血管画像における位置を補正するためのデータ(以下、これをと位置補正データ呼ぶ)D33として認証処理部33に送出するようになされている。
このようにしてこの位置ずれ検出処理部32は、指FG表面の撮像結果を対象として撮像時における指FGの位置ずれ状態を検出することにより、当該生体内方の撮像結果を対象とする場合に比して散乱等に起因するノイズ成分が少ない分だけ精度よく位置ずれ状態を検出することができるようになされている。
この場合、この位置ずれ検出処理部32は、指FG表面の撮像結果として、色分光単位のうち最も光量の多い「G」に対応する画素データ(指表面画像データD31)を用いるため、当該指表面画像の解像度を上げることができ、この結果、一段と精度よく位置ずれ状態を検出することができるようになされている。
認証処理部33は、血管抽出部33A及び照合部33Bからなり、信号分離部31から供給される血管画像データと、位置ずれ検出処理部32から供給される位置補正データD33とを血管抽出部33Aに入力するようになされている。
血管抽出部33Aは、血管画像データD32に基づく血管画像の位置を位置補正データD33に対応する量だけずらすようにして補正し、当該補正後の血管画像データD32に対してメディアンフィルタ処理を施すようにしてノイズ成分を除去する。
そして血管抽出部33Aは、ノイズ成分が除去された血管撮像データD32に対して例えばラプラシアン処理を施すようにして、当該血管撮像データD32に基づく血管画像の血管輪郭を強調するようにして抽出し、このようにして血管輪郭が抽出された血管画像を認証情報D34として照合部33Bに送出する。
照合部33Bは、操作部(図示せず)から供給されるモード決定信号に応じて登録モード又は認証モードを実行するようになされており、当該登録モード時には、血管抽出部33Aから供給される認証情報D34を登録認証情報D35として登録データベースDBに登録する。
これに対して照合部33Bは、認証モード時には、血管抽出部33Aから供給される認証情報D34の血管画像と、登録データベースDBに登録された登録認証情報D35の血管画像との相互相関を算出するようにして、当該血管画像の血管形成パターンを照合する。
ここで照合部33Bは、この照合結果として、所定の閾値以下となる相互相関値が得られた場合には、このときハイブリッド撮像部2で撮像した撮像対象者が登録データベースDBに登録された登録者ではないと判定する一方、当該閾値よりも高い相互相関値が得られた場合には撮像対象者が登録者本人であると判定し、この判定結果を判定データD36として外部に送出する。
このようにしてこの認証処理部33は、生体に内在する血管形成パターンを対象として認証処理を実行することにより、当該生体表面に有する指紋形成パターン等を対象とする場合に比して生体からの直接的な盗用を防止できるのみならず、第三者による登録者への成りすましをも防止できるようになされている。
この場合、認証処理部33は、認証処理の前処理として血管画像の位置ずれを補正するため、撮像時における指FGの位置ずれに起因する登録者の有無の誤判定を回避することができ、この結果、当該位置ずれに起因する認証精度(照合精度)の低下を未然に防止することができるようになされている。
さらにこの場合、認証処理部33は、画質劣化要素が比較的多い指FG内方の撮像結果(血管画像)から位置ずれを検出するのではなく、当該指FG内方の撮像結果よりも画質劣化要素が少ない撮像結果(指紋画像)から検出された位置補正データD33を用いて補正するため、簡易かつ高精度で血管画像の位置ずれを補正することができ、この結果、認証精度(照合精度)の低下を一段と防止することができるようになされている。
(2)動作及び効果
以上の構成において、この認証装置1は、第1の光(可視光)と、当該第1の光とは異なる波長でなる第2の光(近赤外光)とを生体に同時期に照射し、当該生体より得られる第1の光(指表面投影光(可視光))をフィルタアレイ22の主として「G」画素フィルタで透過すると共に、第2の光(血管投影光(近赤外光))を「R」画素フィルタで透過するようにして分光する。
そして認証装置1は、このようにして分光された第1の光及び第2の光に対する撮像素子での撮像結果として出力される撮像信号S10から、第1の光に対応する第1の画像信号成分(指表面画像データD31)と、第2の光に対応する第2の画像信号成分(血管画像データD32)とを分離し、当該第1の画像信号成分(指表面画像データD31)に基づいて第1の処理(位置ずれ補正処理)を実行すると共に、第2の画像信号成分に基づいて(血管画像データD32)第2の処理(認証処理)を実行する。
従ってこの認証装置1では、撮像対象を同時期に撮像すると共に、当該撮像結果から異なる処理を実行するようにして、当該撮像対象を2度撮像することを省くことができるため、撮像時における処理負荷を低減することができる。
この際、認証装置1では、第1の画像信号成分と第2の画像信号成分との分離を信号処理系のみで行わない分だけ、複雑な信号処理を採用するといった事態を回避できるため、また光学系の制御処理を回避できるため、一段と撮像時における処理負荷を低減することができる。さらにこの場合、認証装置1では、撮像時に光学系を物理的に切り替えるといったことを回避することができるため、小型化も実現できる。
またこの認証装置1は、第1の光として可視光を採用すると共に、第2の光として第1の波長とは異なり、かつ認証対象となる生体内方の血管に依存性を有する近赤外光を採用し、生体の表面より得られる指表面投影光(可視光)及び生体の内方を経由して得られる血管投影光(近赤外光)を分光する。従ってこの認証装置1では、生体の奥行き方向に異なる性質のものを同時に得ることができる一方、当該撮像時における処理負荷を低減することができる。
この場合、この認証装置1は、指表面投影光(可視光)に対応する画像信号成分に基づいて、血管投影光(近赤外光)に対応する第2の画像信号成分における血管画像の位置ずれ状態を検出し、この検出結果に応じて補正した第2の画像信号成分に基づいて認証処理を実行する。
従ってこの認証装置1では、画質劣化要素が比較的多い指FG内方の第2の成分信号から位置ずれを検出するのではなく、当該指FG内方の撮像結果よりも画質劣化要素が少ない第1の成分信号から検出した結果を用いて補正するため、簡易かつ高精度で第2の成分信号の血管画像の位置ずれを補正することができ、この結果、認証精度の低下を防止することができる。
以上の構成によれば、第1の波長でなる第1の光と、当該第1の波長とは異なる波長でなる第2の光とを生体に照射し、当該生体より得られる第1及び第2の光に対する撮像素子での撮像結果として出力される撮像信号S10から第1の光に対応する第1の成分信号と、第2の光に対応する第2の成分信号とを分離した後、当該第1の成分信号に基づいて第1の処理を実行すると共に、第2の成分信号に基づいて第2の処理を実行するようにしたことにより、撮像対象を2度撮像することを省くことができるため、撮像時における処理負荷を低減することができ、かくして即時性を向上し得る情報処理装置を実現することができる。
(3)他の実施の形態
上述の実施の形態においては、互いに波長の異なる複数の光を生体に照射する照射手段として、可視光と、認証対象となる血管に依存性を有する900〜1000[nm]の近赤外光との2種類の光を照射するようにした場合について述べたが、本発明はこれに限らず、例えば生体内方の病巣に対して特異性のあるマーカを注入し、当該可視光と近赤外光とは異なりかつマーカに対して依存性の有する波長でなる第3の光を照射する、あるいは認証対象となる血管に依存性を有する近赤外光に代えて、生体内方に有する認証対象(固有構造物)に対して特異性のあるマーカを注入し、当該可視光とは異なりかつマーカに対して依存性の有する波長でなる光を照射する等、実施の用途に応じて互いに波長の異なる複数の光を選択し、これら光を生体に照射することができる。
また上述の実施の形態においては、生体より得られる各光を分光する分光手段として、図4に示したRGB系のフィルタアレイ22を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のフィルタアレイを適用することができる。
例えば、生体の表面より得られる可視光(指表面投影光)を「Cy」、「Ye」、「Mg」及び「G」に色分光する補色系のフィルタアレイを適用することができる。この補色系のフィルタアレイにおける色分光単位としては、様々なものを採用することができる。この場合、一般に補色系のフィルタアレイでは、「Mg」に対応する画素フィルタが赤外光を透過するようになっているため、フィルタ特性を特別に変更することなく適用することができるといった利点がある。
また例えば、「R」画素フィルタが血管依存波長域(およそ900〜1000[nm])も透過する特性となるように構成されたフィルタアレイ22を適用したが、これに代えて、一般に用いられているRGBフィルタを適用するようにしても良い。この場合、一般的なRGBフィルタアレイであっても、当該「R」画素フィルタは、「R」に相当する波長域近くの近赤外光をカットするように厳密には構成されていないため、当該「R」に対応する画素データを色分光単位ごとに抽出した血管画像データD32の解像度は上述の実施の形態に比して劣ることになるが、認証処理結果に大きく反映されない。従ってこの場合であっても上述の実施の形態と同様の効果を得ることができる。なおRGBフィルタアレイにおける色分光単位としては、図4(A)に示したものに代えて、様々なものを採用することができる。
また例えば、可視光、近赤外光及び又は第3の光を透過する画素フィルタを色分光単位として構成してなるフィルタアレイを適用することもできる。この場合、一般に用いられるフィルタアレイではないため製造コスト等がかさむ反面、照射手段で照射する複数の光を高精度で分光できる利点がある。特に、上述したように生体内方の病巣に対して特異性のあるマーカを注入し、当該可視光と近赤外光とは異なりかつマーカに対して依存性の有する波長でなる第3の光を照射するような用途等において有効である。
さらに上述の実施の形態においては、分光手段により分光された各光に対する撮像素子での撮像結果として出力される撮像信号から当該各光に対応する複数の画像成分を分離する分離手段として、「G」(又は「R」)に対応する画素データを色分光単位ごとに抽出する信号分離部31を適用するようにした場合について述べたが、この抽出処理手法については、フィルタアレイにおける色分光単位の画素数や、フィルタアレイの種類に応じて種々のものを採用することができる。
さらに上述の実施の形態においては、分離手段により分離された各画像成分に対応する処理をそれぞれ実行する信号処理手段として、指表面投影光(可視光)に対応する第1の画像信号成分に基づいて、血管投影光(近赤外光)に対応する第2の画像信号成分における血管画像の位置ずれ状態を検出し、この検出結果に応じて補正した第2の画像信号成分に基づいて認証処理を実行する信号処理部4を適用するようにした場合について述べたが、本発明はこれに限らず、この他の信号処理部4を適用するようにしても良い。
例えば信号処理部4は、指表面投影光(可視光)に対応する画像信号成分に基づいて、血管投影光(近赤外光)に対応する第2の画像信号成分における血管画像の位置ずれ状態を検出すると共に、予め登録された指紋画像との指紋照合処理を実行する。そして信号処理部4は、この指紋照合処理結果として登録者本人である判定結果が得られた場合に、かかる検出結果に応じて補正した第2の画像信号成分に基づいて認証処理を実行する。このようにすれば、認証装置1における一段と認証精度を向上することができる。
また、上述したように生体内方の病巣に対して特異性のあるマーカを注入し、当該可視光と近赤外光とは異なりかつマーカに対して依存性の有する波長でなる第3の光を照射するような場合には、例えば信号処理部4は、この第3の光に基づいて断層画像データを生成する。そして信号処理部4は、上述の実施の形態の場合と同様にして位置ずれ検出結果に応じて補正した第2の画像信号成分に基づいて認証処理を実行し、この認証処理結果として登録者本人である判定結果が得られた場合に、かかる断層画像データをデータベースに登録するあるいは表示部に表示する等の処理を実行する。
このように、上述した照射手段と同様に、信号処理手段についても実施の用途に応じて分離手段により分離された各画像成分に対応する処理を選択し、これら処理をそれぞれ実行することができる。
さらに上述の実施の形態においては、撮像素子として、CCD撮像素子23を適用するようにした場合について述べたが、本発明はこれに限らず、CMOS(Complementary Metal Oxide Semiconductor)等のこの他種々の撮像素子に代替するようにしても良い。この場合も上述の実施の形態と同様の効果を得ることができる。
さらに上述の実施の形態においては、指FGの指腹側から近赤外光を照射し、その指FG内方を経由することにより指腹側から得られる血管投影光を撮像するハイブリット撮像部2を適用するようにした場合について述べたが、本発明はこれに限らず、指FGの指背側から近赤外光を照射し、その指FG内方を経由することにより指腹側から得られる血管投影光を撮像するハイブリット撮像部を適用するようにしても良い。このハイブリット撮像部を適用した場合であっても上述の実施の形態と同様の効果を得ることができる。なお、ハイブリット撮像部2は、図1及び図2に示した構成でなるものを適用したが、この他種々の構成でなるものを採用するようにしても良い。
本発明は、撮像対象を多面的に観察する場合等に利用可能である。
本実施の形態による認証装置の全体構成を示す略線図である。 血管撮像部の外観構成を示す略線図である。 近赤外光の照射方向を示す略線図である。 フィルタアレイの構成単位及び特性を示す略線図である。 信号処理部の構成を示すブロック図である。
符号の説明
1……認証装置、2……ハイブリット撮像部、3……撮像制御部、4……信号処理部、11……筺体、12……ガイド溝、13……撮像開口部、14……開口カバー部、15……カメラ部、16A、16B……近赤外光光源、17A、17B……可視光光源、21……フィルタアレイ、22……マクロレンズ、23……CCD撮像素子、24……偏光板、31……信号分離部、32……位置ずれ検出処理部、33……認証処理部、33A……血管抽出部、33B……照合部、DB……登録データベース、id……近赤外光照射方向、F1……撮像面、S10……撮像信号、D31……指表面画像データ、D32……血管画像データ、D33……位置補正データ、D34……認証情報、D35……登録認証情報、D36……判定データ。

Claims (4)

  1. ヘモグロビンに吸収される性質をもつ波長域に含まれる波長と、該波長域外の波長の光を照射する照射手段と、
    波長域の波長を透過する領域と、該波長域外における特定の波長を透過する領域とを単位として配列されるフィルタアレイと、
    上記フィルタアレイを介して導光される光を光電変換する撮像素子と、
    上記撮像素子での撮像結果として出力される撮像信号から、上記波長域の波長を透過する領域に対応する画素データと、上記波長域外における特定の波長を透過する領域に対応する画素データとをそれぞれ抽出する抽出手段と、
    上記抽出手段により抽出される各上記画素データに対応付けられる処理をそれぞれ実行する信号処理手段と
    を具え
    上記照射手段は、
    上記ヘモグロビンに吸収される性質をもつ波長域に含まれる波長の光を照射する第1の光源と、該波長域外の波長の光を照射する第2の光源と、上記指が配される面に形成される開口から上記面に対して直交する状態で入射される光を後方に透過するための偏光素子
    を含み、
    上記第1の光源をとおり上記指が配される面に垂直となる直線が該面と交わる位置と、上記第2の光源をとおり上記指が配される面に垂直となる垂線が該面と交わる位置とは、開口表面の中心までの仮想直線により得られる角が直角となる関係とされる
    情報処理装置。
  2. 上記信号処理手段は、
    上記波長域外における特定の波長を透過する領域に対応する画素データに基づいて、上記波長域の波長を透過する領域に対応する画素データから得られる画像の位置ずれを補正し、当該補正した画像に基づいて認証処理を実行する
    請求項1に記載の情報処理装置。
  3. 上記第1の光源及び上記第2の光源は、上記開口を挟むペアとして上記フィルタアレイが配される側と同じ側に配され、当該ペアとされる光源を同じ高さとして結んだときの仮想直線が直交する位置関係とされる
    請求項1に記載の情報処理装置。
  4. 上記フィルタアレイは、
    波長域の波長を透過する領域と、該波長域外において互いに異なる波長域を透過する3つの領域とを単位として格子状に配列される
    請求項2又は請求項3に記載の情報処理装置。
JP2004256188A 2004-09-02 2004-09-02 情報処理装置 Expired - Fee Related JP4556111B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2004256188A JP4556111B2 (ja) 2004-09-02 2004-09-02 情報処理装置
KR1020067006886A KR101159142B1 (ko) 2004-09-02 2005-08-22 정보 처리 장치
CNB200580001260XA CN100478989C (zh) 2004-09-02 2005-08-22 信息处理装置
BRPI0506170 BRPI0506170A (pt) 2004-09-02 2005-08-22 aparelho de processamento de imagem
EP05775162.0A EP1785937B1 (en) 2004-09-02 2005-08-22 Information processing device
HK07101566.5A HK1096751B (zh) 2004-09-02 2005-08-22 信息处理装置
RU2006114755A RU2328035C2 (ru) 2004-09-02 2005-08-22 Устройство обработки информации
US10/577,728 US7634116B2 (en) 2004-09-02 2005-08-22 Information processing device
PCT/JP2005/015595 WO2006025289A1 (ja) 2004-09-02 2005-08-22 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004256188A JP4556111B2 (ja) 2004-09-02 2004-09-02 情報処理装置

Publications (2)

Publication Number Publication Date
JP2006072764A JP2006072764A (ja) 2006-03-16
JP4556111B2 true JP4556111B2 (ja) 2010-10-06

Family

ID=35999943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004256188A Expired - Fee Related JP4556111B2 (ja) 2004-09-02 2004-09-02 情報処理装置

Country Status (8)

Country Link
US (1) US7634116B2 (ja)
EP (1) EP1785937B1 (ja)
JP (1) JP4556111B2 (ja)
KR (1) KR101159142B1 (ja)
CN (1) CN100478989C (ja)
BR (1) BRPI0506170A (ja)
RU (1) RU2328035C2 (ja)
WO (1) WO2006025289A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751594B2 (en) 2003-04-04 2010-07-06 Lumidigm, Inc. White-light spectral biometric sensors
US7460696B2 (en) * 2004-06-01 2008-12-02 Lumidigm, Inc. Multispectral imaging biometrics
US8229185B2 (en) * 2004-06-01 2012-07-24 Lumidigm, Inc. Hygienic biometric sensors
US8787630B2 (en) * 2004-08-11 2014-07-22 Lumidigm, Inc. Multispectral barcode imaging
CA2588172C (en) 2004-11-15 2012-08-14 Nec Corporation Apparatus for inputting biometrical feature
JP4864511B2 (ja) * 2006-03-31 2012-02-01 富士フイルム株式会社 電子内視鏡装置およびプログラム
JP4182987B2 (ja) 2006-04-28 2008-11-19 日本電気株式会社 画像読取装置
JP5015496B2 (ja) * 2006-06-01 2012-08-29 ルネサスエレクトロニクス株式会社 固体撮像装置、撮像方法および撮像システム
US7995808B2 (en) * 2006-07-19 2011-08-09 Lumidigm, Inc. Contactless multispectral biometric capture
US8355545B2 (en) * 2007-04-10 2013-01-15 Lumidigm, Inc. Biometric detection using spatial, temporal, and/or spectral techniques
US8175346B2 (en) * 2006-07-19 2012-05-08 Lumidigm, Inc. Whole-hand multispectral biometric imaging
JP4969206B2 (ja) * 2006-11-01 2012-07-04 京セラ株式会社 生体認証装置
US8027519B2 (en) * 2006-12-13 2011-09-27 Hitachi Maxwell, Ltd. Imaging module for biometrics authentication, biometrics authentication apparatus and prism
JP2008198083A (ja) * 2007-02-15 2008-08-28 Mitsubishi Electric Corp 個人識別装置
FR2913788B1 (fr) * 2007-03-14 2009-07-03 Sagem Defense Securite Procede et installation d'identification d'un individu par capture optique d'une image d'une empreinte corporelle
CN101641049A (zh) * 2007-03-21 2010-02-03 光谱辨识公司 基于局部一致特征的生物测定
JP5050644B2 (ja) * 2007-05-15 2012-10-17 ソニー株式会社 登録装置、照合装置、プログラム及びデータ構造
JP5050642B2 (ja) * 2007-05-15 2012-10-17 ソニー株式会社 登録装置、照合装置、プログラム及びデータ構造
JP5034713B2 (ja) * 2007-06-28 2012-09-26 株式会社日立製作所 指静脈認証装置および情報処理装置
JP4910923B2 (ja) * 2007-07-20 2012-04-04 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
US7787112B2 (en) * 2007-10-22 2010-08-31 Visiongate, Inc. Depth of field extension for optical tomography
US20090159786A1 (en) * 2007-12-19 2009-06-25 Sony Corporation Display apparatus and illumination apparatus
JP5186929B2 (ja) * 2008-01-21 2013-04-24 日本電気株式会社 認証用撮像装置
US20100246902A1 (en) * 2009-02-26 2010-09-30 Lumidigm, Inc. Method and apparatus to combine biometric sensing and other functionality
EP2471023A1 (en) * 2009-08-26 2012-07-04 Lumidigm, Inc. Multiplexed biometric imaging and dual-imager biometric sensor
JP5709016B2 (ja) * 2009-11-10 2015-04-30 日本電気株式会社 偽指判定装置、偽指判定方法および偽指判定プログラム
US8570149B2 (en) 2010-03-16 2013-10-29 Lumidigm, Inc. Biometric imaging using an optical adaptive interface
JP2011197786A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置および情報処理方法
JP5435746B2 (ja) * 2011-01-24 2014-03-05 富士フイルム株式会社 内視鏡装置
RU2604168C2 (ru) * 2011-01-27 2016-12-10 Линксрейл Корпорейшен Система машинного зрения, позволяющая определять неоднородности глубины объектов изображения
US9594891B2 (en) * 2012-03-16 2017-03-14 Universal Robot Kabushiki Kaisha Personal authentication method and personal authentication device
TWI536272B (zh) 2012-09-27 2016-06-01 光環科技股份有限公司 生物辨識裝置及方法
US10229257B2 (en) * 2013-01-31 2019-03-12 Nec Corporation Authentication apparatus, prism member for authentication, and authentication method
CN103279733A (zh) * 2013-03-19 2013-09-04 陈威霖 可提高辨识成功率的手指静脉辨识装置
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
JP2013225324A (ja) * 2013-06-12 2013-10-31 Hitachi Ltd 個人認証装置、画像処理装置、端末、及びシステム
FR3049089B1 (fr) * 2016-03-21 2018-02-16 Sebastien Jean Serge Dupont Procede permettant de gerer les validations des messages relatifs a une chaine de messages de facon unitaire a travers un reseau de validation decentralise
FR3049090B1 (fr) * 2016-03-21 2021-06-25 Sebastien Jean Serge Dupont Dispositif d'authentification biometrique adaptatif par echographie, photographies en lumiere visible de contraste et infrarouge, sans divulgation, a travers un reseau informatique decentralise
DE102016213111B4 (de) * 2016-07-19 2018-08-09 Koenig & Bauer Ag Inspektionssystem mit mehreren Erfassungsbereichen
WO2020061740A1 (zh) * 2018-09-25 2020-04-02 深圳市汇顶科技股份有限公司 指纹识别装置、方法和终端设备
JP7519871B2 (ja) 2020-10-21 2024-07-22 株式会社日立製作所 生体認証装置および生体認証方法
US20240202551A1 (en) * 2022-12-16 2024-06-20 Intuit Inc. Visual Question Answering for Discrete Document Field Extraction

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2565168B2 (ja) * 1986-07-16 1996-12-18 ソニー株式会社 撮像装置
JP2655571B2 (ja) * 1986-12-27 1997-09-24 オリンパス光学工業株式会社 撮像装置
US5246002A (en) * 1992-02-11 1993-09-21 Physio-Control Corporation Noise insensitive pulse transmittance oximeter
US5726443A (en) * 1996-01-18 1998-03-10 Chapman Glenn H Vision system and proximity detector
JPH10289304A (ja) * 1997-02-12 1998-10-27 Nec Corp 指紋画像入力装置
JPH11128176A (ja) * 1997-10-29 1999-05-18 Hitachi Ltd 生体光計測装置
JP3869545B2 (ja) * 1998-01-19 2007-01-17 株式会社日立製作所 指の特徴パターン特徴検出装置及び個人識別装置
JP3315648B2 (ja) * 1998-07-17 2002-08-19 沖電気工業株式会社 アイリスコード生成装置およびアイリス認識システム
JP3658227B2 (ja) * 1999-01-20 2005-06-08 シャープ株式会社 画像読取装置
RU2235359C2 (ru) * 1999-07-22 2004-08-27 Свисском Мобиле Аг Способ транзакции и устройство для осуществления способа
US6292576B1 (en) * 2000-02-29 2001-09-18 Digital Persona, Inc. Method and apparatus for distinguishing a human finger from a reproduction of a fingerprint
WO2001065466A2 (en) * 2000-02-29 2001-09-07 Digital Persona, Inc. Method and apparatus for detecting a color change of a live finger
JP3836302B2 (ja) * 2000-06-09 2006-10-25 帝眞貿易株式会社 識別マークによる識別方法および識別装置
JP3559754B2 (ja) * 2000-07-25 2004-09-02 Necエレクトロニクス株式会社 指紋認証装置
JP3558025B2 (ja) * 2000-09-06 2004-08-25 株式会社日立製作所 個人認証装置及び方法
JP3396680B2 (ja) * 2001-02-26 2003-04-14 バイオニクス株式会社 生体認証装置
JP2003006627A (ja) * 2001-06-18 2003-01-10 Nec Corp 指紋入力装置
JP3617476B2 (ja) * 2001-07-19 2005-02-02 株式会社日立製作所 指認証装置
JP2003050993A (ja) * 2001-08-06 2003-02-21 Omron Corp 指紋読取方法および指紋読取装置
JP2003075135A (ja) * 2001-08-31 2003-03-12 Nec Corp 指紋画像入力装置および指紋画像による生体識別方法
JP3751872B2 (ja) * 2001-10-30 2006-03-01 日本電気株式会社 指紋入力装置
EP1353292B1 (en) * 2002-04-12 2011-10-26 STMicroelectronics (Research & Development) Limited Biometric sensor apparatus and methods
JP2003303178A (ja) * 2002-04-12 2003-10-24 Nec Corp 個人識別システム
JP4232079B2 (ja) 2002-07-22 2009-03-04 有限会社イオネットワーク 個人識別装置

Also Published As

Publication number Publication date
US7634116B2 (en) 2009-12-15
CN100478989C (zh) 2009-04-15
EP1785937B1 (en) 2015-05-06
JP2006072764A (ja) 2006-03-16
KR101159142B1 (ko) 2012-06-22
US20070014437A1 (en) 2007-01-18
EP1785937A1 (en) 2007-05-16
WO2006025289A1 (ja) 2006-03-09
CN1879127A (zh) 2006-12-13
KR20070050860A (ko) 2007-05-16
RU2328035C2 (ru) 2008-06-27
RU2006114755A (ru) 2007-11-20
BRPI0506170A (pt) 2006-10-31
HK1096751A1 (zh) 2007-06-08
EP1785937A4 (en) 2012-03-21

Similar Documents

Publication Publication Date Title
JP4556111B2 (ja) 情報処理装置
KR101349892B1 (ko) 다중 생체인식 다중 스펙트럼 이미저
JP4636140B2 (ja) 静脈撮像装置、静脈撮像方法および静脈認証装置
JP5292821B2 (ja) 静脈画像取得装置および静脈画像取得方法
JP4748199B2 (ja) 静脈撮像装置および静脈撮像方法
US20190125221A1 (en) Imaging apparatus, authentication processing apparatus, imaging method, authentication processing method, and program
JP5229489B2 (ja) 生体認証装置
JP2008212311A (ja) 生体認証装置
CN106446808A (zh) 确定设备、指纹输入设备、确定方法以及确定程序
JP4385284B2 (ja) 撮像装置及び撮像方法
JP4802121B2 (ja) 生体認証装置および生体認証装置を用いた認証方法
JP7392779B2 (ja) 撮像装置、生体画像処理システム、生体画像処理方法、および生体画像処理プログラム
JP5229490B2 (ja) 生体認証装置
JP2006288872A (ja) 血管画像入力装置、血管画像構成方法、およびこれらを用いた個人認証システム
CN219960739U (zh) 图像传感器、摄像头模组及识别设备
JP2009277054A (ja) 指静脈認証装置及び指静脈認証方法
JP2005353014A (ja) 撮像装置
JP4953292B2 (ja) 画像入力装置、個人認証装置及び電子機器
HK1096751B (zh) 信息处理装置
JP2006068328A (ja) 撮像装置
JP2007219624A (ja) 血管画像入力装置、及び個人認証システム
JP5176556B2 (ja) 静脈認証装置および静脈認証方法
JP2007011989A (ja) 画像処理装置、画像処理方法及びプログラム
CN118044791A (zh) 生物体信息获取装置
JP2007018248A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100707

R151 Written notification of patent or utility model registration

Ref document number: 4556111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees