JP2008181468A - 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置 - Google Patents
赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置 Download PDFInfo
- Publication number
- JP2008181468A JP2008181468A JP2007022526A JP2007022526A JP2008181468A JP 2008181468 A JP2008181468 A JP 2008181468A JP 2007022526 A JP2007022526 A JP 2007022526A JP 2007022526 A JP2007022526 A JP 2007022526A JP 2008181468 A JP2008181468 A JP 2008181468A
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- face
- light
- authentication
- face authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 230000005855 radiation Effects 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 11
- 238000012546 transfer Methods 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 210000000554 iris Anatomy 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000003351 Melanosis Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Image Input (AREA)
Abstract
【課題】赤外光画像によって顔認証を行い、きわめて高い顔認識の認識率を達成できる赤外線顔認証装置を提供する。
【解決手段】赤外線顔認証装置(100)は、760nm以上の波長の赤外光を顔に照射する光源(60)と、照射された赤外光の反射光を検出し赤外光画像として出力する撮像部(110)と、赤外光画像を利用して顔の認証を行う認証部(130)と、を備える。さらに撮像部(110)から出力された赤外光画像を表示する表示部(30)を備え、撮像部(110)の表面と表示部(30)の表面とが同一面に設けている。
【選択図】図2
【解決手段】赤外線顔認証装置(100)は、760nm以上の波長の赤外光を顔に照射する光源(60)と、照射された赤外光の反射光を検出し赤外光画像として出力する撮像部(110)と、赤外光画像を利用して顔の認証を行う認証部(130)と、を備える。さらに撮像部(110)から出力された赤外光画像を表示する表示部(30)を備え、撮像部(110)の表面と表示部(30)の表面とが同一面に設けている。
【選択図】図2
Description
本発明は、赤外光を顔に照射した反射光から赤外光画像を用いて顔認証を行う技術に関する。
本人であるかを確認する認証方法は、3つのカテゴリに大別できる。第1の認証方法は、鍵やIDカードなどによる所有物による認証である。しかし、所有物による認証には、紛失や盗難によりセキュリティが脅かされる。第2の認証方法は、パスワードなどによる知識による認証である。しかし、知識による認証にも、忘却や盗み見などにより、やはりセキュリティ上の問題がある。
近年になって注目されている第3の認証方法は、指紋、掌紋、虹彩、静脈、声紋、または顔などの生体情報によるバイオメトリクス認証である。バイオメトリクス認証には、先に示した所有物や知識による認証に伴う「失うこと」によるセキュリティ上の懸念が相当に抑制される。また、バイオメトリクス認証によれば、他人では認証が得られないことからセキュリティ向上が図れるといった利点があり、今後ともバイオメトリクスを使った認証システムが普及するものと考えられる。
このうち、指紋または掌紋を使ったバイオメトリクス認証は、指先または手をよく使うために表面の皮膚が薄くなることがあり、その際に認識率が著しく悪くなることが多い。声紋を使ったバイオメトリクス認証は、現時点では認識率が悪い。虹彩または静脈を使ったバイオメトリクス認証は、指紋または掌紋の認証に比べ認識率が高いが、本人の目または手を認証装置に近づける必要があった。また、虹彩または静脈を使ったバイオメトリクス認証装置は大きく、銀行などのATMなど大型の固定装置に取り付けることができるが、人が持ち運べるような携帯機器には搭載ができない。顔を使ったバイオメトリクス認証も、可視光の下では精度を向上させるのに他人の受け入れ率を下げるために認証の閾値を上げざるを得ず、それによって本人の拒否率が高くなってしまうといった問題がある。また、可視光を使った顔認証装置は、顔写真と実際の人の顔とを区別することもできない。このため、特許文献1では、顔を使ったバイオメトリクス認証に虹彩を使ったバイオメトリクス認証を組み合わせて認証精度を向上させている
特開平2005−242677号公報
顔を使ったバイオメトリクス認証に虹彩を使ったバイオメトリクス認証を組み合わせると、バイオメトリクス認証装置が大きくなる。そのため、とくに携帯電話やPDA(Personal Digital Assistance)などの携帯機器に、このようなバイオメトリクス認証装置を実装する場合において、スペースの制約が問題となる。また、これまでの顔を使ったバイオメトリクス認証は、可視光画像を用いて行われてきたために認証精度が悪かった。
また、ビルなどの入館に際して可視光画像を使った顔認証を行う場合には、日中と夜との照度の違いが大きいため、夜間に白熱灯などを顔に照明して顔認証を行っても認証精度が低いといった問題もある。また、自動車の盗難をさけるために顔認証装置を自動車に取り付ける場合でも、日中と夜との照度の違いが大きいため、可視光を使った顔認証装置は認証の精度が悪い。
本発明は、このような課題に鑑みてなされたものであり、その目的は、赤外光画像を用いて顔の認証率の高い赤外線顔認証装置を提供することである。また、この赤外線顔認証装置を備えた携帯端末器またはセキュリティ装置を提供することにある。
第一の観点の赤外線顔認証装置は、760nm以上の波長の赤外光を顔に照射する光源と、照射された赤外光の反射光を検出し赤外光画像として出力する撮像部と、赤外光画像を利用して顔の認証を行う認証部と、を備える。
この構成によれば、蛍光灯などの照明の下、太陽の下、または真っ暗闇などのいろいろな条件下であっても、顔を認証することができる。顔を使ったバイオメトリクス認証に虹彩を使ったバイオメトリクス認証を組み合わせる必要もなく、精度の高い小型装置で認証を実現することができる。
この構成によれば、蛍光灯などの照明の下、太陽の下、または真っ暗闇などのいろいろな条件下であっても、顔を認証することができる。顔を使ったバイオメトリクス認証に虹彩を使ったバイオメトリクス認証を組み合わせる必要もなく、精度の高い小型装置で認証を実現することができる。
第二の観点の赤外線顔認証装置は、認証部が赤外光画像から顔全体の輪郭を特定し、さらに、顔の両目の位置を特定することで認証を行う。
本構成により、赤外光を使って目の中まで透過して目の位置を透過しているので、誤認識する確立が少ない。赤外光画像では、眼鏡をかけた人の顔認証であっても、眼鏡のレンズの影響をほとんど受けない。
本構成により、赤外光を使って目の中まで透過して目の位置を透過しているので、誤認識する確立が少ない。赤外光画像では、眼鏡をかけた人の顔認証であっても、眼鏡のレンズの影響をほとんど受けない。
第三の観点の赤外線顔認証装置は、認証部が赤外光画像から顔全体の輪郭を特定し、さらに、顔の両目の位置、鼻の穴の位置および口の位置を特定することで、認証を行う。
本構成により、赤外光で皮膚の下まで透過した画像を得ることができ、その上で顔の両目の位置、鼻の穴の位置および口の位置を特定している。濃い化粧をして他人と同じような顔に似せても、皮膚の下まで透過した画像に基づいて特定しているので、誤認識する確立が少ない。
本構成により、赤外光で皮膚の下まで透過した画像を得ることができ、その上で顔の両目の位置、鼻の穴の位置および口の位置を特定している。濃い化粧をして他人と同じような顔に似せても、皮膚の下まで透過した画像に基づいて特定しているので、誤認識する確立が少ない。
第四の観点の赤外線顔認証装置は、光源が一または複数のダイオードであり、一または複数のダイオードの合計の放射強度が、0.3mW/sr以上である。
限られた容量の電源で、顔に赤外光を照射しなければならない。一方で、弱すぎる赤外光では顔認識率が悪くなり、さらに所定距離は離れると顔認識率が悪くなる。たとえば携帯端末器に赤外線顔認証装置が備えられると、人が手に持って顔と光源または撮像部との距離を調整できる。また、高感度な受光素子を使用する場合には、0.3mW/srほどのダイオードであれば、顔認証を行うことができる。
限られた容量の電源で、顔に赤外光を照射しなければならない。一方で、弱すぎる赤外光では顔認識率が悪くなり、さらに所定距離は離れると顔認識率が悪くなる。たとえば携帯端末器に赤外線顔認証装置が備えられると、人が手に持って顔と光源または撮像部との距離を調整できる。また、高感度な受光素子を使用する場合には、0.3mW/srほどのダイオードであれば、顔認証を行うことができる。
第五の観点の光源は、複数のダイオードであり、この複数のダイオードのうち一つのダイオードが照射する赤外光と、別の一つのダイオードが照射する赤外光とが異なる波長である。
基本的に、赤外線顔認証に適した赤外線の波長は760nmであればよいが、太陽光の赤外光と干渉しないような波長領域が好ましい。太陽光の赤外光と干渉しない波長領域は複数存在する。このため、顔に照射する赤外光の波長が異なるダイオードを複数設けてもよい。
基本的に、赤外線顔認証に適した赤外線の波長は760nmであればよいが、太陽光の赤外光と干渉しないような波長領域が好ましい。太陽光の赤外光と干渉しない波長領域は複数存在する。このため、顔に照射する赤外光の波長が異なるダイオードを複数設けてもよい。
第六の観点の赤外線顔認証装置は、撮像部は一つの光電変換素子であり、光電変換素子には可視光の光を受光する可視光フィルタが配置された可視光受光素子と760nm以上の赤外光を受光する赤外線フィルタが配置されたIr受光素子とが配置され、電気的に可視光受光素子とIr受光素子とを切り替える素子切り替え手段を有する。
この構成によれば、可視光カメラと赤外光カメラとを別々に設ける必要がなく、携帯端末器などの小型の装置であってもスペースを有効に使うことができる。また、電気的に可視光受光素子とIr受光素子とを切り替えるので、応答が速く故障も少ない。
この構成によれば、可視光カメラと赤外光カメラとを別々に設ける必要がなく、携帯端末器などの小型の装置であってもスペースを有効に使うことができる。また、電気的に可視光受光素子とIr受光素子とを切り替えるので、応答が速く故障も少ない。
第七の観点の赤外線顔認証装置は、撮像部は一つの光電変換素子であり、光電変換素子の全面を覆うように配置されて可視光の波長の光を透過する可視光フィルタと、光電変換素子の全面を覆うように配置されて760nmより長い波長の赤外光を透過する赤外線フィルタとを機械的に切り替えるフィルタ切り替え手段を有する。
この構成によれば、可視光カメラと赤外光カメラとを別々に設ける必要がなく、携帯端末器の限られたスペースを有効に使うことができる。また、機械的に可視光受光素子とIr受光素子とを切り替えるので、個々の受光素子の面積を大きくできる。
この構成によれば、可視光カメラと赤外光カメラとを別々に設ける必要がなく、携帯端末器の限られたスペースを有効に使うことができる。また、機械的に可視光受光素子とIr受光素子とを切り替えるので、個々の受光素子の面積を大きくできる。
第八の観点の赤外線顔認証装置は、撮像部から出力された赤外光画像を表示する表示部を備え、撮像部の表面と表示部の表面とが同一面に設けられている。
操作者は表示部に表示される自分の顔の大きさおよび位置を確認しながら、顔認識ができるため、携帯端末器などの小型の装置であれば自分の腕を上下左右に動かしたり腕を伸ばしたり縮めたりして、認識率を向上させることができる。また、固定されたセキュリティ装置であれば、表示部に表示された自分の顔の大きさおよび位置を確認しながら、自分の座る位置または立つ位置を調整して認識率を向上させることができる。
操作者は表示部に表示される自分の顔の大きさおよび位置を確認しながら、顔認識ができるため、携帯端末器などの小型の装置であれば自分の腕を上下左右に動かしたり腕を伸ばしたり縮めたりして、認識率を向上させることができる。また、固定されたセキュリティ装置であれば、表示部に表示された自分の顔の大きさおよび位置を確認しながら、自分の座る位置または立つ位置を調整して認識率を向上させることができる。
第九の観点の赤外線顔認証装置は、赤外線フィルタは、760nm以上の波長を透過する赤外線フィルタである。
これにより、赤外光画像を撮像するときに可視光を遮断できるので、可視光の影響を受けることなく、撮像部はきれいな赤外光画像を出力することができる。
これにより、赤外光画像を撮像するときに可視光を遮断できるので、可視光の影響を受けることなく、撮像部はきれいな赤外光画像を出力することができる。
第十の観点の赤外線顔認証装置は、第九の観点において、赤外線フィルタが、地表において太陽光の赤外光の放射量の落ち込み領域の波長を透過する赤外線フィルタである。
760nm以上の赤外光の領域においても、特に赤外線フィルタが地表において太陽光の赤外光の放射量の落ち込み領域の波長を透過する領域であれば、太陽光が含む赤外光と干渉することが少なくなる。特に夏場の日差しが強いときには赤外光も強いため、赤外光による顔認識の認証率が下がるが、この太陽光の赤外光の放射量の落ち込み領域の波長であれば、高い認証率を維持することができる。
760nm以上の赤外光の領域においても、特に赤外線フィルタが地表において太陽光の赤外光の放射量の落ち込み領域の波長を透過する領域であれば、太陽光が含む赤外光と干渉することが少なくなる。特に夏場の日差しが強いときには赤外光も強いため、赤外光による顔認識の認証率が下がるが、この太陽光の赤外光の放射量の落ち込み領域の波長であれば、高い認証率を維持することができる。
第十一の観点の赤外線顔認証装置は、光源が、地表において太陽光の赤外光の放射量の落ち込み領域の波長を含む。
760nm以上の赤外光の領域においても、特に赤外線フィルタが地表において太陽光の赤外光の放射量の落ち込み領域の波長を透過する領域であれば、太陽光が含む赤外光と干渉することが少なくなる。この領域の波長を光源から照射すれば太陽光の赤外光と干渉が少なくなる。
760nm以上の赤外光の領域においても、特に赤外線フィルタが地表において太陽光の赤外光の放射量の落ち込み領域の波長を透過する領域であれば、太陽光が含む赤外光と干渉することが少なくなる。この領域の波長を光源から照射すれば太陽光の赤外光と干渉が少なくなる。
第十二の観点の持ち運び可能な携帯端末器は、第一の観点ないし第十一の観点のいずれかの赤外線顔認証装置を備え、認証部がこの携帯端末器の使用開始時または金銭決済開始時に起動する。
携帯端末器が個人情報など重要な情報または金銭決済機能を有している際には、顔認証に合格してから携帯端末器にアクセスできるので、重要な情報が漏れたり金銭が不正に引き出されたりするおそれが少ない。
携帯端末器が個人情報など重要な情報または金銭決済機能を有している際には、顔認証に合格してから携帯端末器にアクセスできるので、重要な情報が漏れたり金銭が不正に引き出されたりするおそれが少ない。
第十三の観点の移動物または固定物に取り付けられるセキュリティ装置は、第一の観点ないし第十一の観点のいずれかの赤外線顔認証装置を備え、認証部がこの移動物または固定物に近づいた人物の顔の認証を行う。
セキュリティ装置が、赤外光により人物の顔の認証を行うので、完全確保を保証できる。
セキュリティ装置が、赤外光により人物の顔の認証を行うので、完全確保を保証できる。
本発明によれば、赤外光画像によって顔認証を行うので、これまで認識率が低いといわれてきた顔認証の認識率が、きわめて高い認識率を達成できる。
以下、本発明の好適な実施の形態を説明する。この実施の形態は、赤外光を顔に照射して、その反射光から赤外光画像を撮像して顔認証を行う赤外線顔認証装置に関する。
<携帯端末器の構成>
図1は、本発明の実施の形態に係る携帯端末器の一例を示した外観図である。図1Aは折畳み式の携帯電話10の斜視図である。折畳み式の携帯電話10を開くと、第一筐体10にモニター30が配置され、第二筐体12に入力ボタン40とが配置されている。さらに、第一筐体11のモニター30と同一面に、一つのカメラ110と四つの赤外光を発光するIrLED(Laser Emitting Diode)60が配置されている。カメラ110とIrLED60は、以下に説明する赤外線顔認証装置100の構成部品である。カメラ110は、少なくとも赤外光の画像を撮影できる。所定の入力ボタン40を押したりまたは折畳み式の携帯電話10を開いたりすると、IrLED60とカメラ110が起動する。
図1は、本発明の実施の形態に係る携帯端末器の一例を示した外観図である。図1Aは折畳み式の携帯電話10の斜視図である。折畳み式の携帯電話10を開くと、第一筐体10にモニター30が配置され、第二筐体12に入力ボタン40とが配置されている。さらに、第一筐体11のモニター30と同一面に、一つのカメラ110と四つの赤外光を発光するIrLED(Laser Emitting Diode)60が配置されている。カメラ110とIrLED60は、以下に説明する赤外線顔認証装置100の構成部品である。カメラ110は、少なくとも赤外光の画像を撮影できる。所定の入力ボタン40を押したりまたは折畳み式の携帯電話10を開いたりすると、IrLED60とカメラ110が起動する。
図1Bは、回転機能を有する回転式の携帯電話20の背面図である。第一筐体21の正面には不図示の大型モニターが設けられ、背面には小型モニター30が配置されている。回転式の携帯電話20の入力ボタン40などは第二筐体22の背面に配置されている。第一筐体21の背面には小型モニター30と同一面に、一つのカメラ110と二つの赤外光を発光するIrLED60が配置されている。所定の入力ボタン40を押したりまたは回転式の携帯電話20を回転させたりすると、IrLED60とカメラ110が起動する。
携帯端末器の一例として、図1では折畳み式の携帯電話10および回転式の携帯電話20を示した。しかし、本発明の携帯端末器はこれに限られるものでなく、ストレート式、スライド式の携帯電話であってもよいし、PDAであっても良い。さらには、USBカメラを取り付けた携帯可能なノートパソコンも携帯端末器に含まれる。本発明の携帯端末器は、人が手に持ってカメラ110と顔との距離を変えることができるものをいう。
<赤外線顔認証装置の構成>
図2は、赤外線顔認証装置100の構成図である。この赤外線顔認証装置100は、赤外光を発光するIrLED60と、少なくとも赤外光画像を撮像できるカメラ110と、カメラ110で撮像された赤外光画像を用いて顔認証を行う顔認証部130と、赤外光画像を表示するモニター30とを含む。本実施形態では、折畳み式の携帯電話10および回転式の携帯電話20は、カメラ110は、赤外光画像に加えて可視光画像を撮像できるものであってもよい。可視光画像を撮像する場合には、カメラ110からの可視光画像は可視光画像処理部140に送られる。カメラ110の詳細については図3または図4で説明する。可視光画像処理部140に送られた可視光画像は、モニター30に送られて可視光画像を表示する。このようにモニター30は、赤外光画像に加えて可視光画像を表示してもよいし、別々のモニターを備えてもよい。
図2は、赤外線顔認証装置100の構成図である。この赤外線顔認証装置100は、赤外光を発光するIrLED60と、少なくとも赤外光画像を撮像できるカメラ110と、カメラ110で撮像された赤外光画像を用いて顔認証を行う顔認証部130と、赤外光画像を表示するモニター30とを含む。本実施形態では、折畳み式の携帯電話10および回転式の携帯電話20は、カメラ110は、赤外光画像に加えて可視光画像を撮像できるものであってもよい。可視光画像を撮像する場合には、カメラ110からの可視光画像は可視光画像処理部140に送られる。カメラ110の詳細については図3または図4で説明する。可視光画像処理部140に送られた可視光画像は、モニター30に送られて可視光画像を表示する。このようにモニター30は、赤外光画像に加えて可視光画像を表示してもよいし、別々のモニターを備えてもよい。
顔認証部130を詳述すると、顔認証部130は、赤外光画像の画像処理を行う画像処理部131と、本人の顔画像データを保存する顔画像ファイル135と、顔の認証を行うため顔の輪郭または特徴部分を抽出し、顔画像ファイル135からの顔データと比較演算する顔認証演算部133と、これらの制御を行う画像制御部137を有している。画像制御部137には入力ボタン40(図1参照)またはスイッチなどによる指示信号を受け取るI/F部160が接続されている。さらに、画像制御部137は、IrLED60とカメラ110とに接続されており、I/F部160を経由して送られてきた指令信号に基づいて、IrLED60およびカメラ110を制御する。
<赤外線顔認証装置の動作>
ここで、図2を使って赤外線顔認証装置100の動作について説明する。まず、入力ボタン40(図1参照)またはスイッチなどによる指示信号をI/F部160が受け取ると、その指令信号が画像制御部137に伝達される。すると画像制御部137は、IrLED60とカメラ110を駆動させる。IrLED60は顔認証を行っている最中は常時点灯してもよいし、カメラ110の撮像タイミングに合わせて点滅してもよい。また、画像制御部137は、画像処理部131にモニター30に、顔の位置および大きさを示す枠32を表示してもよい。
ここで、図2を使って赤外線顔認証装置100の動作について説明する。まず、入力ボタン40(図1参照)またはスイッチなどによる指示信号をI/F部160が受け取ると、その指令信号が画像制御部137に伝達される。すると画像制御部137は、IrLED60とカメラ110を駆動させる。IrLED60は顔認証を行っている最中は常時点灯してもよいし、カメラ110の撮像タイミングに合わせて点滅してもよい。また、画像制御部137は、画像処理部131にモニター30に、顔の位置および大きさを示す枠32を表示してもよい。
IrLED60から発光された赤外光は、人物の顔に照射されて、その反射光がカメラ110に入射する。カメラ110はその反射光を電気信号に変えて、その電気信号を画像処理部131へ送る。画像処理部131では、モニター30に赤外光画像を表示するように画像処理して、赤外光画像信号をモニター30に送る。すると、モニター30は、顔の位置および大きさを示す枠32に加えて、顔の赤外光画像を表示する。モニター30の枠32から顔が外れていたり、顔が大きく表示されすぎてモニター30の枠からはみ出ていたり、顔が小さすぎたりしないように、操作者は腕を左右上下に動かしたり、伸ばしたり又縮めたりして、折畳み式の携帯電話10または回転式の携帯電話20の位置を調整する。
画像処理部131は、顔の輪郭および顔の特徴部分などを含む画像信号を、顔認証演算部133に送る。顔認証演算部133では、まず、髪型を除く顔の輪郭を抽出する。また、両目の位置、鼻の孔の位置および口の位置ならびにそれらの位置関係を演算する。そして写された顔の特徴部分を把握する。次に、顔認証演算部133は顔画像ファイル135にアクセスし、顔画像ファイル135に保存された顔画像データを読み出す。そして、読み出された顔画像データと、今回演算した結果の顔の輪郭および顔の特徴部分とを比較する。顔認証演算部133は、比較した後に認識結果の信号を赤外線顔認証装置100の外部へ出力する。なお、顔認証演算部133からモニター30への点線矢印で示すように、顔認証演算部133は、認識結果の信号をモニター30に送り、「本人と認識できました。」または「本人と認識できませんでした。」と表示するようにしてもよい。また、モニター30に表示することなく、音声で操作者に顔認識の状態を知らせるようにしてもよい。
モニター30に表示される顔の赤外光画像は単色であり、いわゆる白黒画像に近い画像である。しかし、赤外光を顔に照射することにより、顔の皮膚の表面の画像でなく、顔の皮膚の表面から内部へ数ミリ入り込んだ画像をカメラ110は撮像している。例えば、顔表面に吹き出ている「そばかす」やキズは撮像されない。また、濃い化粧をしても化粧は撮像されないので、他人が本人に似せて化粧したとしても、誤って本人と判断することはない。また、赤外光画像では、眼鏡をかけた人の顔認証であっても、眼鏡のレンズの影響をほとんど受けないので、眼鏡を取り替えたりしても顔認証で高い認識率を得ることができる。さらに、操作者本人の同じ寸法の顔写真をカメラ110が撮影しても、顔写真は赤外光を写真の全面からほぼ同じ反射率でそのまま反射する。すなわち、顔写真を撮像した赤外光画像は、可視光の下で白紙を写すような画像しか取得できないので、同一人物と認証することはない。赤外光で撮影された、両目の位置、鼻の孔の位置および口の位置ならびにそれらの位置関係を把握すれば、高い認識率で顔認証を行うことができる。
可視光を使わないことで、外乱の影響を受けにくいため顔認証の認証率は高い。例えば可視光で顔認証を試みると、蛍光灯の下では蛍光灯のチラツキの影響を受ける。また、顔認証の際にフラッシュ撮影または正面からの照明などを行われない限り、屋根などの取り付けた照明により鼻の横または下に影が生じる。このため可視光を使った顔認識は、認識率が低かった。一方、本実施形態は赤外光を照射しているので、これらの問題は生じない。
<カメラの構成>
図3および図4はカメラ110の基本構成を示した構成図である。同じ機能のものには、同じ符号を付している。図3Aは、可視光カメラ受光部120と赤外光カメラ受光部122とを備えるカメラ110−Aである。可視光カメラ受光部120は、可視光のみを透過し、約760nm以上の波長は遮断する可視光フィルタ125と、可視光フィルタ125を透過した可視光を集光するレンズ129と、レンズ129で集光された光を電気信号に変換する光電変換素子、例えばエリアCCD(Charge Coupled Device)121とから構成される。一方、赤外光カメラ受光部122は、約760nm以上の波長のみを透過させる赤外線フィルタ127と、赤外線フィルタ127を透過した赤外光を集光するレンズ129と、レンズ129で集光された光を電気信号に変換するエリアCCD121とから構成される。なお、可視光フィルタ125および赤外線フィルタ127は、操作者の顔とレンズ129との光路間に配置されるようになっているが、レンズ129とエリアCCD121との光路間に配置してもよい。なお、可視光カメラ受光部120で風景などを撮影する必要がなければ、赤外光カメラ受光部122のみを有しておけばよい。
図3および図4はカメラ110の基本構成を示した構成図である。同じ機能のものには、同じ符号を付している。図3Aは、可視光カメラ受光部120と赤外光カメラ受光部122とを備えるカメラ110−Aである。可視光カメラ受光部120は、可視光のみを透過し、約760nm以上の波長は遮断する可視光フィルタ125と、可視光フィルタ125を透過した可視光を集光するレンズ129と、レンズ129で集光された光を電気信号に変換する光電変換素子、例えばエリアCCD(Charge Coupled Device)121とから構成される。一方、赤外光カメラ受光部122は、約760nm以上の波長のみを透過させる赤外線フィルタ127と、赤外線フィルタ127を透過した赤外光を集光するレンズ129と、レンズ129で集光された光を電気信号に変換するエリアCCD121とから構成される。なお、可視光フィルタ125および赤外線フィルタ127は、操作者の顔とレンズ129との光路間に配置されるようになっているが、レンズ129とエリアCCD121との光路間に配置してもよい。なお、可視光カメラ受光部120で風景などを撮影する必要がなければ、赤外光カメラ受光部122のみを有しておけばよい。
さらに、カメラ110−Aは、エリアCCD121の出力をデジタル信号に変換するA/D変換器115、カメラ110全体を制御するカメラ制御部116を備えている。カメラ制御部116は、画像制御部137からの指令信号に基づいて、可視光カメラ受光部120と赤外光カメラ受光部122とのそれぞれのエリアCCD121を別々に駆動し、A/D変換器115でアナログ信号をデジタル信号に変換する。これらの動作により、カメラ110−Aから赤外光画像または可視光画像のデジタル信号が出力される。折畳み式の携帯電話10の場合、図1Aに示したように顔認証を行う際には、モニター30側に赤外光カメラ受光部122が配置されていた方が使い勝手がよい。一方、自分が風景や他人などを撮影したい場合には、第一筐体10のモニター30の背面に可視光カメラ受光部120が配置されていた方が使い勝手がよい。つまり、第一筐体10の大きさまたは厚みが大きくなるが、顔認証の使い勝手と通常撮影の使い勝手とを考えた場合には、可視光カメラ受光部120と赤外光カメラ受光部122とを備えるカメラ110−Aは有効である。
図3Bは、フィルタ切り替えカメラ受光部123を備えるカメラ110−Bである。カメラ110−Aと異なる箇所を説明し、同じ機能のところは説明を割愛する。フィルタ切り替えカメラ受光部123は、一つのエリアCCD121と一つのレンズ129とを有している。さらに、フィルタ切り替えカメラ受光部123は、可視光フィルタ125と赤外線フィルタ127とをレンズ129の前で切り替える機械的な機構とその機構を駆動する駆動モ−タ114と、どちらのフィルタがレンズ129の前に配置されているかを認識するセンサー113とを有している。カメラ制御部116は、画像制御部137から、赤外光画像または可視光画像のどちらを出力するかの指令信号を受ける。仮に指令信号が可視光画像であれば、信号センサー113からレンズ129の前にあるフィルタがどちらであるかの信号を受け、赤外線フィルタ127がレンズ129の前に配置されているのであれば、駆動モ−タ114を駆動して可視光フィルタ125をレンズ129の前に移動させ、赤外線フィルタ127を光路から退避させる。可視光フィルタ125がレンズ129の前に配置されている信号であれば、そのまま次の動作に移行する。このような動作をすることで、エリアCCD121の全面が可視光フィルタ125に覆われ、エリアCCD121から可視光画像を出力することができる。一つのエリアCCD121と一つのレンズ129で、可視光画像および赤外光画像を得ることができるので、スペースとコストを減らすことができる。また、エリアCCD121は一つで済むので、画素の大きな高性能なCCDを使用することもできる。
図4Aは、受光素子にフィルタが設けられているカメラ受光部124を備えるカメラ110−Cである。図4Aのカメラ受光部124には、ホコリを防ぎ幅広い波長を透過させるガラス板128が設けられており、切り替えCCD117には、その受光素子の前に可視光フィルタ125と赤外線フィルタ127とが設けられている。図4Bは、そのCCD117の受光素子の拡大図である。図4Bでは、可視光フィルタ125は、赤色を透過させるRフィルタ、緑色を透過させるGフィルタおよび青色を透過させるBフィルタで示している。切り替えCCD117は、RフィルタとGフィルタとが交互に配列された第1の可視光ライン118、赤外光を透過させるIrフィルタ127が配列された赤外光ライン119、GフィルタとBフィルタとが交互に配列された第2の可視光ライン118およびIrフィルタが配列された赤外光ライン119の4つのラインで構成される。この4つのラインの配列が、CCD117のエリア内において順次繰り返される。
図4Aにおいて、カメラ制御部116は、画像制御部137から、赤外光画像または可視光画像のどちらを出力するかの指令信号を受ける。仮に指令信号が可視光画像であれば、カメラ制御部116は可視光ライン118からのみ画像信号を出力するように制御する。その画像信号がA/D変換器115に入り、デジタル信号として可視光画像を出力する。指令信号が赤外光画像であれば、カメラ制御部116は赤外光ライン119からのみ画像信号を出力するように制御する。電気的に切り替えることができるので、応答が速く故障も少なくすることができる。
図3および図4において、カメラ110について説明してきたが、これらで使われる固体撮像素子はCCDに限られるものでなく、CMOS(Complementary Metal-Oxide Semiconductor)であってもよい。また、図4Bにおいて、RGBフィルタを使用したが、マゼンタ(Mg)フィルタ、シアン(Cy)フィルタ、黄(Ye)フィルタおよびGフィルタで可視光フィルタ125を構成してもよい。
図5は、エリアCCD121またはCCD117などの分光感度特性を示した図である。横軸に波長(nm)を、縦軸に感度(A/W)をとっている。
現在、携帯端末器の一例である携帯電話10などは、多くの製品にカメラ機能を備えている。これらのカメラのCCDは、インタートランスファー(Inter Transfer)方式のCCDであり、IT−CCDと略して記載されている。IT−CCDは、1つの画素領域に光を電荷に変えるフォトダイオード部分と、その電荷をアンプ部分に伝送する垂直転送用CCDおよび水平転送用CCDが納められている。このためIT−CCDは、受光面積が小さくなってしまうなど特性を有している。たとえば、IT−CCDは、図5の分布IT−Cのような特性を有している。可視光領域380nmから760nmまでは、感度がある程度高いが約720nm以上の可視光および赤外光では感度が0.1A/W以下である。
現在、携帯端末器の一例である携帯電話10などは、多くの製品にカメラ機能を備えている。これらのカメラのCCDは、インタートランスファー(Inter Transfer)方式のCCDであり、IT−CCDと略して記載されている。IT−CCDは、1つの画素領域に光を電荷に変えるフォトダイオード部分と、その電荷をアンプ部分に伝送する垂直転送用CCDおよび水平転送用CCDが納められている。このためIT−CCDは、受光面積が小さくなってしまうなど特性を有している。たとえば、IT−CCDは、図5の分布IT−Cのような特性を有している。可視光領域380nmから760nmまでは、感度がある程度高いが約720nm以上の可視光および赤外光では感度が0.1A/W以下である。
一方、フレームトランスファー(Frame Transfer)方式のCCDもあり、FT−CCDとして記載されている。FT−CCDでは、電荷を発生させる撮像領域とそれをためておく蓄積領域が分かれている。撮像領域と蓄積領域の両方とも電荷を転送できるので、これらは垂直転送用CCDとして働き。そして、水平転送用CCDを使ってアンプ部分へ電荷を送ることができる。FT−CCDは、電荷を発生する領域を大きく取れるため、ダイナミックレンジが大きく、また赤外線フィルタを備え付けても感度が高い。たとえば、FT−CCDは、図5の分布FT−Cのような特性を有している。赤外光領域760nm以上であっても、感度が高くが約900nm前後の赤外光であっても感度が0.25A/W以下である。たとえば、赤外光領域880nm〜1020nm付近では、10倍程度の感度差がある。
<IrLEDの構成>
次に、図6ないし図8を使ってIrLED60について説明する。
携帯端末器である携帯電話10または携帯電話20で、操作者本人の顔を認証させるためには、携帯電話10または携帯電話20を自分の手で持って自分の顔を撮影する必要がある。このため、携帯電話を使った本実施形態では、IrLED60またはカメラ110と顔との距離を、腕を曲げた状態の20cmから腕を伸ばした状態の80cmまでを使用状態として想定している。そして、最良の顔認証のための撮像の距離を、30cmから50cmぐらいと想定している。腕を曲げればカメラ110と顔との距離を10cmから15cmにすることも可能であるが、カメラ110のレンズ129を非常に広角にしなければならない。しかし、非常に広角なレンズを使用すると、カメラ110と顔との距離が40cmぐらいの場合に、顔が小さくなりすぎて顔認証ができなくなるおそれがある。携帯端末機の用途に応じて、最良の顔認証のための撮像の距離を適宜変更することができる。例えば、携帯端末器が赤外線顔認証装置100を取り付けたノートパソコンの場合、カメラ110と顔との距離が50cmから60cmぐらいが最良の距離とすることができる。ビル内または室内への入館に際して顔認証を行うため、ビル入り口扉、または室内扉にセキュリティ装置を配置する場合には、カメラに顔を近づけることなく顔認証ができるようにカメラ110と顔との距離を60cmから150cm程度にすることが好ましい。自動車にセキュリティ装置を配置する場合にはハンドルを握る状態を想定して、カメラ110と顔との距離を40cmから70cm程度に想定している。
次に、図6ないし図8を使ってIrLED60について説明する。
携帯端末器である携帯電話10または携帯電話20で、操作者本人の顔を認証させるためには、携帯電話10または携帯電話20を自分の手で持って自分の顔を撮影する必要がある。このため、携帯電話を使った本実施形態では、IrLED60またはカメラ110と顔との距離を、腕を曲げた状態の20cmから腕を伸ばした状態の80cmまでを使用状態として想定している。そして、最良の顔認証のための撮像の距離を、30cmから50cmぐらいと想定している。腕を曲げればカメラ110と顔との距離を10cmから15cmにすることも可能であるが、カメラ110のレンズ129を非常に広角にしなければならない。しかし、非常に広角なレンズを使用すると、カメラ110と顔との距離が40cmぐらいの場合に、顔が小さくなりすぎて顔認証ができなくなるおそれがある。携帯端末機の用途に応じて、最良の顔認証のための撮像の距離を適宜変更することができる。例えば、携帯端末器が赤外線顔認証装置100を取り付けたノートパソコンの場合、カメラ110と顔との距離が50cmから60cmぐらいが最良の距離とすることができる。ビル内または室内への入館に際して顔認証を行うため、ビル入り口扉、または室内扉にセキュリティ装置を配置する場合には、カメラに顔を近づけることなく顔認証ができるようにカメラ110と顔との距離を60cmから150cm程度にすることが好ましい。自動車にセキュリティ装置を配置する場合にはハンドルを握る状態を想定して、カメラ110と顔との距離を40cmから70cm程度に想定している。
図6は、携帯電話10または携帯電話20で顔に赤外光を照射したイメージ図である。図6において、携帯電話10または携帯電話20には、IrLED60とカメラ110とを実装した光学基板150が備え付けてある。製造コストおよび省スペースのためIrLED60とカメラ110とが一体に製造されている。モニター30も、IrLED60とカメラ110と同一面に配置されるので、IrLED60、カメラ110及びモニター30を一体に製造してもよい。光学基板150には、カメラ110を挟んでIrLED60が2つ設けられているが、図6に示すようにいろいろなバリエーションが適用できる。このIrLED60同士の距離は約15mmから40mmに配置される。IrLED60に限らず、一般に、LEDは指向性が高くなるように製造されている。今回は視覚角度Vが約30度から40度のIrLED60を使用した。視覚角度Vを約80度にするために、散乱板をIrLED60の発光付近に配置することもできるが、赤外光が遠くまで届かなくなる。
図7は、携帯電話10または携帯電話20にIrLED60をどの程度配置すればよいかを実験したデータ表1である。図7は、図5で示した分布IT−Cの特性を有するIT−CCDを使用した実験データである。顔とIrLED60との距離は、10cmから20cmまでと60cmから80cmまでとは5cm間隔、20cmから60cmまでは10cm間隔で測定した。また、IrLED60の放射強度(mW/sr:ミリワット/ステラジアン)は、一つのIrLED60の放射強度の変化とIrLED60の個数を変化させた。図7に示すIrLED60の放射強度は、電圧値5Vで電流値が50mAの場合の放射強度である。また、距離とIrLED60の放射強度との組み合わせのセルにおいて、「○」は10回のテスト結果中9回以上顔認証ができたことを示し、「△」は10回のテスト結果中6回から8回顔認証ができたことを示し、「×」は10回のテスト結果中5回以下しか顔認証ができなかったことを示す。また、現在IrLED60は、760nmから1200nmの波長の範囲で赤外光を発光するものである。いろいろな波長のIrLEDが販売されているが、特に800nmから1020nmのIrLEDが顔認証の認証率が高い。
図7に示す結果から、IrLED60と顔との距離が短いと、強い放射強度のIrLED60は、顔表面に照度ムラが生じて認識率が悪い傾向があることが読み取れる。また、距離が長くなれば顔表面に照度ムラが生じにくいが、弱い放射強度のIrLED60では、赤外光が十分に届かない傾向であることが読み取れる。
顔とIrLED60との距離が約30cmになるようにして、携帯電話10または携帯電話20で顔認証を行えば、3mW/srのIrLED60一つで足りる。複数のIrLED60を用いると消費電力が多くなる。消費電力ができるだけ少ないほうが好ましい携帯電話としては、3mW/srのIrLED60を一つ光学基板150に設けるとよい。30cmから50cmの最適な顔認証の距離で顔認証を行うことができるようにするためには、7mW/srのIrLED60を四つほど光学基板150に配置するとよい。
図8は、携帯電話10等にIrLED60をどの程度配置すればよいかを実験したデータ表2である。図8は、図5で示した分布FT−Cの特性を有するFT−CCDを使用した実験データである。顔とIrLED60との距離は、10cmから20cmまでと60cmから80cmまでとは5cm間隔、20cmから60cmまでは10cm間隔で測定した。図8に示すIrLED60の放射強度は、電圧値5Vで電流値が10mAの場合の放射強度である。また、「○」「△」「×」図7と同様なテスト結果を意味する。
図7と異なりIrLED60の放射強度は1/5〜1/10程度である。しかし、800nmから1020nmのFT−CCDの感度が約10倍程度異なるため、弱い放射強度であっても、顔認証を行うことができる。図8に示す結果から、IrLED60と顔との距離が短いと、強い放射強度のIrLED60は、顔表面に照度ムラが生じて認識率が悪い傾向があることが読み取れる。また、距離が長くなれば顔表面に照度ムラが生じにくいが、弱い放射強度のIrLED60では、赤外光が十分に届かない傾向であることが読み取れる。
携帯電話10などに複数のIrLED60を設ける場合は、必ずしも同じ波長のIrLED60である必要はない。後述するように、赤外線顔認証に適した複数の赤外線波長に合わせて設けることも可能である。
<赤外線フィルタ>
図9は、太陽光波長スペクトルを示したグラフである。横軸に波長、縦軸に放射量をとっている。大気圏外の放射線量OEは、可視光領域でピークがあり、3000nmの赤外光まできれいな曲線を描いて放射量が減少している。
図9は、太陽光波長スペクトルを示したグラフである。横軸に波長、縦軸に放射量をとっている。大気圏外の放射線量OEは、可視光領域でピークがあり、3000nmの赤外光まできれいな曲線を描いて放射量が減少している。
一方、地表の放射線量EEは、可視光領域の680nm〜760nm付近で急な放射量の落ち込み領域a1がある。また、赤外光領域においても、860nm〜980nm付近で急な放射量の落ち込み領域a2があり、1150nm〜1350nm付近で急な放射量の落ち込み領域a3があり、1580nm〜1750nm付近で急な放射量の落ち込み領域a4がある。可視光領域の放射量の落ち込み領域a1は、680nm〜760nm付近の波長の可視光が大気中の酸素に吸収されて起こる現象と考えられている。赤外光領域の放射量の落ち込み領域a2ないしa4は、大気中の水蒸気により上記波長の赤外光が吸収されるためと考えられている。
図10は、IrLED60の第一例である第一IrLED60−1の波長と赤外線フィルタ127の第一例である第一赤外線フィルタ127−1の波長カットとの関係を示したグラフである。
これまで説明してきたように、本発明では、IrLED60からの赤外光を顔に照射している。特に、真夏の太陽からの放射量は大きく、赤外光の放射量も多い。このため太陽光に含まれる赤外光成分と干渉が起きてしまい、真夏の野外での顔認証の認証率が悪くなる場合がある。したがって、真夏の野外においても顔認証の認証率を高くすることができるように、IrLED60の波長および赤外線フィルタ127を設定することが好ましい。
これまで説明してきたように、本発明では、IrLED60からの赤外光を顔に照射している。特に、真夏の太陽からの放射量は大きく、赤外光の放射量も多い。このため太陽光に含まれる赤外光成分と干渉が起きてしまい、真夏の野外での顔認証の認証率が悪くなる場合がある。したがって、真夏の野外においても顔認証の認証率を高くすることができるように、IrLED60の波長および赤外線フィルタ127を設定することが好ましい。
図10は、図9の放射量の落ち込み領域a2を拡大している。この860nm〜980nm領域では、地表の赤外光の放射量は少ないため、この波長領域に第一IrLED60−1のピーク値があるLEDを用意する。こうすれば、太陽光に含まれる赤外光成分と干渉することが少なくなる。また、第一赤外線フィルタ127−1は830nm〜1040nmを透過するフィルタに設定する。図中830nm以下の波長領域FC−1と1040nm以上の波長領域FC−1とは、第一赤外線フィルタ127−1で遮断されている。この第一赤外線フィルタ127−1により、太陽光に含まれる赤外光成分と干渉することが少なくなる。したがって、第一IrLED60−1と第一赤外線フィルタ127−1とを両方とも、上記波長範囲に設定すれば、真夏の野外であっても顔認証の認証率が悪くなることがない。
図11は、図9の650nmより波長の長い太陽光波長スペクトルを示したグラフである。図11Aは、IrLED60の第二例である第二IrLED60−2の波長と赤外線フィルタ127の第二例である第二赤外線フィルタ127−2の波長カットとの関係を示したグラフである。図11Bは、IrLED60の第三例である第三IrLED60−3の波長と赤外線フィルタ127の第三例である第三赤外線フィルタ127−3の波長カットとの関係を示したグラフである。
図11Aでは、第二赤外線フィルタ127−2が、約780nm以下の波長領域FC−2をカットしている。すなわち、第二赤外線フィルタ127−2はすべての可視光をカットしている。第二IrLED60−2は、880nm〜980nm付近の波長を多く含むIrLED60−21と、1150nm〜1350nm付近の波長を多く含むIrLED60−22とを使用している。このため、約780nm以下の波長猟奇FC−2をカットする第二赤外線フィルタ127−2であっても、地表の放射線量EEの落ち込み領域a2および落ち込み領域a3(図9参照)において、第二IrLED60−2の光量が大きいため、真夏の太陽光であっても干渉を受けにくい。
図11Bでは、第三IrLED60−31は、900nm〜1300nm付近の波長を多く含むIrLED60を使用している。つまり、第三IrLED60−31は、広範囲な赤外光を照射している。一方、第三赤外線フィルタ127−3が、約940nm〜1000nmおよび約1150nm〜1320nm以外の波長領域FC−3をカットしている。このため、広範囲な赤外光を照射する第三IrLED60−3であっても、地表の放射線量EEの落ち込み領域a2および落ち込み領域a3(図9参照)において、第三IrLED60−31の光量が大きいため、真夏の太陽光であっても干渉を受けにくい。
第三IrLED60−32は、可視光領域の700nm〜赤外領域の1500nm付近の波長領域の広いIrLED60を使用している。つまり、第三IrLED60−32は、広範囲な赤外光を照射している。このように一部に可視光領域を含むIrLEDで照射しても、地表の放射線量EEの落ち込み領域a2および落ち込み領域a3(図9参照)において、第三IrLED60−32の光量が大きいため、真夏の太陽光であっても干渉を受けにくい。
図9の放射量の落ち込み領域a4に関しては図示しないが、同様にIrLED60の波長と赤外線フィルタ127の透過波長とを設定しても、同様な効果を得ることができる。
図9の放射量の落ち込み領域a4に関しては図示しないが、同様にIrLED60の波長と赤外線フィルタ127の透過波長とを設定しても、同様な効果を得ることができる。
<携帯端末器における顔認証のフローチャート>
携帯端末器の一例として携帯電話10における顔認証の動作を説明する。図12は、第一実施例で、携帯電話10を使用開始する際に顔認証を行うフローチャートである。携帯電話10には多くの個人情報またはメールが含まれている。このため、顔認証で合格しなければ、携帯電話10の使用ができないようにしている。
携帯端末器の一例として携帯電話10における顔認証の動作を説明する。図12は、第一実施例で、携帯電話10を使用開始する際に顔認証を行うフローチャートである。携帯電話10には多くの個人情報またはメールが含まれている。このため、顔認証で合格しなければ、携帯電話10の使用ができないようにしている。
図12のステップS71において、顔認証に使われる変数NとMとを初期化する。次にステップS72において顔認証を開始する。この際にモニター30には、顔の位置および大きさを示す枠32(図2参照)を表示してもよい。顔の認識率を上げるため、操作者が腕を左右上下および腕を伸ばしたり又縮めたりして、顔が最適な位置および大きさになるように操作者に促すためである。顔の大きさを示す枠は、縦長の楕円であったり長方形の枠であったり、人の一般的な顔の輪郭であったりしてもよい。
ステップS73において、顔の輪郭および顔の特徴部分を把握する。図2で示した画像処理部131の画像処理速度に応答して、顔認証演算部133で顔の輪郭および特徴部分を抽出する。顔が大きすぎたり小さすぎたりして、所定の輪郭および特徴部分が把握できない場合には、ステップS74およびステップS75に進み、閾値S1に達するまで、顔の輪郭および顔の特徴部分を把握するまでステップS72からステップS75を繰り返す。ステップS74において閾値S1に達すると、ステップS76において顔認識ができなかったことをモニター30に表示する。
ステップS73において、顔の輪郭および顔の特徴部分を把握できた場合には、ステップS77に進み、図2に示した顔画像ファイル135で保存されている登録画像と一致するかを判断する。例えば、ステップS73において顔の輪郭および顔の特徴部分が把握できていても、顔が斜め横向きであったために同一人物でないと判断されてしまう。登録画像と一致しない場合には、ステップS78およびステップS79に進む。そして、再度、顔の輪郭および顔の特徴部分を把握するステップを経由して、そして登録画像と一致するか否かを判断する。ステップS78において閾値S2に達すると、ステップS76において顔認識ができなかったことをモニター30に表示する。ステップS77において登録画像と一致した場合には、携帯電話10の各種操作を許可する。
図13は、第二実施例で、特定の機能、例えば金銭決済をする際に顔認証を行うフローチャートである。携帯電話10には多くの機能が盛り込まれているが、最近は金銭決済などもできるようになっている。顔認証を使わないでも携帯電話10を使用できるが、金銭決済など不正使用により被害が大きくなると判断されるような特定の機能に、顔認証で合格しなければその特定の機能を使用できなくするためである。
図13のフローチャートは、図12とほぼ同じであるが異なる箇所には違うステップ番号を付している。図12では、顔認証ができない場合にはステップS76において顔認識ができなかったことをモニター30に表示した。図13では、顔の撮影が不十分の場合、すなわちステップS74において閾値S1に達すると、ステップS81において「顔が枠内に入るように撮影してください」とモニター30に表示する。また、登録画像と一致しない場合、すなわちステップS78において閾値S2に達すると、ステップS82において「登録画像と一致しません」とモニター30に表示する。顔認証ができない理由を表示することで、操作者に顔認証ができないことを認識させるためである。
以上、いろいろな実施形態を説明したが、これらの実施形態は例示であり、それらの各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、レンズ129は固定焦点の前提で説明してきたが、オートフォーカス機能を設けても良いことはいうまでもない。また、可視光フィルタと赤外線フィルタとの境界を、約760nmの波長で説明したが約780nmまたは約800nmにしてもよい。さらに、可視光フィルタが800nm以下の波長を透過するようにし、赤外線フィルタが約760nm以上の光を透過するようにして、一部重複領域があってもよい。
さらに、上記実施形態では、携帯電話を主に説明してきたが、セキュリティが必要な箇所に本発明の赤外線顔認証装置100を組み込んでもよい。たとえば、ビルへ入室する扉に赤外線顔認証装置100を備えた場合および自動車の扉もしくは室内に赤外線顔認証装置100を備えた場合には、真夏の炎天下であっても真っ暗闇であっても精度よい顔認証を行うことができる。また固定されたセキュリティ装置であれば、表示部に表示された自分の顔の大きさおよび位置を確認しながら、自分の座る位置または立つ位置を調整して認識率を向上させることができる。
ATMまたは貸金庫など金融決済などを行うセキュリティ装置では、不正に金銭を引き出されないようにする必要がある。赤外光顔認証装置をそれらセキュリティ装置に組み込むことで、顔写真などを使った不正引き出しなどに対処することができる。
また、個人情報保護または営業秘密保護の観点から、不審者の入退室または不正なコピーもしくはアクセスなどを防ぐ手段が求められている。入退室管理もしくは出欠管理、コピー機、またはパソコンなどのセキュリティが必要な装置に、赤外光顔認証装置を組み込むことで、不正アクセスに対処することができる。
また、個人情報保護または営業秘密保護の観点から、不審者の入退室または不正なコピーもしくはアクセスなどを防ぐ手段が求められている。入退室管理もしくは出欠管理、コピー機、またはパソコンなどのセキュリティが必要な装置に、赤外光顔認証装置を組み込むことで、不正アクセスに対処することができる。
30 … モニター
40 … 入力ボタン
60 … IrLED
100 … 赤外線顔認証装置
110 … カメラ
117,121 … CCD
125 … 可視光フィルタ
127 … 赤外線フィルタ
130 … 顔認証部
150 … 光学基板
40 … 入力ボタン
60 … IrLED
100 … 赤外線顔認証装置
110 … カメラ
117,121 … CCD
125 … 可視光フィルタ
127 … 赤外線フィルタ
130 … 顔認証部
150 … 光学基板
Claims (13)
- 760nm以上の波長の赤外光を顔に照射する光源と、
照射された赤外光の反射光を検出し、赤外光画像として出力する撮像部と、
前記赤外光画像を利用して顔の認証を行う認証部と、
を備えることを特徴とする赤外線顔認証装置。 - 前記認証部は、前記赤外光画像から顔全体の輪郭を特定し、さらに、顔の両目の位置を特定することで、認証を行うことを特徴とする請求項1に記載の赤外線顔認証装置。
- 前記認証部は、前記赤外光画像から顔全体の輪郭を特定し、さらに、顔の両目の位置、鼻の穴の位置および口の位置を特定することで、認証を行うことを特徴とする請求項1に記載の赤外線顔認証装置。
- 前記光源は、一または複数のダイオードであり、前記一または複数のダイオードの合計の放射強度が、0.3mW/sr以上であることを特徴とする請求項1ないし請求項3のいずれか一項に記載の赤外線顔認証装置。
- 前記光源は、複数のダイオードであり、この複数のダイオードのうち一つのダイオードが照射する赤外光と、別の一つのダイオードが照射する赤外光とが異なる波長であることを特徴とする請求項1ないし請求項4のいずれか一項に記載の赤外線顔認証装置。
- 前記撮像部は一つの光電変換素子であり、該光電変換素子には可視光の光を受光する可視光フィルタが配置された可視光受光素子と760nm以上の赤外光を受光する赤外線フィルタが配置されたIr受光素子とが配置され、電気的に前記可視光受光素子とIr受光素子とを切り替える素子切り替え手段を有することを特徴とする請求項1ないし請求項5いずれか一項に記載の赤外線顔認証装置。
- 前記撮像部は一つの光電変換素子であり、該光電変換素子の全面を覆うように配置されて可視光の波長の光を透過する可視光フィルタと、前記光電変換素子の全面を覆うように配置されて760nmより長い波長の赤外光を透過する赤外線フィルタとを機械的に切り替えるフィルタ切り替え手段を有することを特徴とする請求項1ないし請求項5のいずれか一項に記載の赤外線顔認証装置。
- 前記撮像部から出力された赤外光画像を表示する表示部を備え、
前記撮像部の表面と前記表示部の表面とが同一面に設けられていることを特徴とする請求項1ないし請求項7のいずれか一項に記載の赤外線顔認証装置。 - 前記赤外線フィルタは、760nm以上の波長を透過する赤外線フィルタであることを特徴とする請求項1ないし請求項8のいずれか一項に記載の赤外線顔認証装置。
- 前記赤外線フィルタは、地表において太陽光の赤外光の放射量の落ち込み領域の波長を透過する赤外線フィルタであることを特徴とする請求項9に記載の赤外線顔認証装置。
- 前記光源が、地表において太陽光の赤外光の放射量の落ち込み領域の波長を含むことを特徴とする請求項1または請求項5に記載の赤外線顔認証装置。
- 持ち運び可能な携帯端末器であって、
請求項1ないし請求項11のいずれか一項に記載の赤外線顔認証装置を備え、
前記認証部は、この携帯端末器の使用開始時または金銭決済開始時に起動することを特徴とする携帯端末器。 - 移動物または固定物に取り付けられるセキュリティ装置であって、
請求項1ないし請求項11のいずれか一項に記載の赤外線顔認証装置を備え、
前記認証部は、この移動物または固定物に近づいた人物の顔の認証を行うことを特徴とするセキュリティ装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007022526A JP2008181468A (ja) | 2006-02-13 | 2007-02-01 | 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置 |
| KR1020070014456A KR20070081773A (ko) | 2006-02-13 | 2007-02-12 | 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치 |
| US11/674,622 US20070189583A1 (en) | 2006-02-13 | 2007-02-13 | Infrared face authenticating apparatus, and portable terminal and security apparatus including the same |
| EP07003025A EP1818855A3 (en) | 2006-02-13 | 2007-02-13 | Infrared face authenticating apparatus, and portable terminal and security apparatus including the same |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006035530 | 2006-02-13 | ||
| JP2006354744 | 2006-12-28 | ||
| JP2007022526A JP2008181468A (ja) | 2006-02-13 | 2007-02-01 | 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008181468A true JP2008181468A (ja) | 2008-08-07 |
Family
ID=39725304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007022526A Pending JP2008181468A (ja) | 2006-02-13 | 2007-02-01 | 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008181468A (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010136223A (ja) * | 2008-12-05 | 2010-06-17 | Sony Corp | 撮像装置及び撮像方法 |
| JP2010231336A (ja) * | 2009-03-26 | 2010-10-14 | Seiko Epson Corp | 撮像装置及び認証装置 |
| WO2011016420A1 (ja) * | 2009-08-03 | 2011-02-10 | 株式会社エヌ・ピー・シー | 太陽電池の欠陥検査装置、欠陥検査方法、およびプログラム |
| WO2011019192A3 (ko) * | 2009-08-11 | 2011-04-28 | 주식회사 크라스아이디 | Ir 조명을 이용한 얼굴인식 시스템 및 방법 |
| JP2011129004A (ja) * | 2009-12-21 | 2011-06-30 | Hitachi Media Electoronics Co Ltd | 個人認証装置及び移動通信端末 |
| US8582833B2 (en) | 2008-11-25 | 2013-11-12 | Electronics And Telecommunications Research Institute | Method and apparatus for detecting forged face using infrared image |
| EP2908512A3 (en) * | 2014-02-17 | 2015-12-02 | Eyesmart Technology Ltd. | Method and device for mobile terminal biometric feature imaging |
| JP2016510467A (ja) * | 2013-01-17 | 2016-04-07 | サイオニクス、エルエルシー | 生体撮像装置および関連方法 |
| JP2017525068A (ja) * | 2014-06-20 | 2017-08-31 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 個人識別のための方法 |
| US9826173B2 (en) | 2014-08-21 | 2017-11-21 | Nintendo Co., Ltd. | Information processing apparatus, information processing system, computer-readable non-transitory storage medium having stored therein information processing program, and information processing method |
| JPWO2016135934A1 (ja) * | 2015-02-26 | 2017-12-07 | 富士通株式会社 | 電子機器及び生体認証プログラム |
| WO2018003336A1 (ja) * | 2016-06-29 | 2018-01-04 | シャープ株式会社 | ユーザ認証装置、ユーザ認証装置の制御方法、制御プログラム、及び記録媒体 |
| US9979917B2 (en) | 2014-08-21 | 2018-05-22 | Nintendo Co., Ltd. | Information processing apparatus, information processing system, computer-readable non-transitory storage medium having stored therein information processing program, and information processing method |
| JP2018174510A (ja) * | 2017-03-31 | 2018-11-08 | 日本電気株式会社 | 画像取得装置、スタンド型スキャナ装置および画像取得方法 |
| US10361083B2 (en) | 2004-09-24 | 2019-07-23 | President And Fellows Of Harvard College | Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate |
| JP2021501401A (ja) * | 2017-10-23 | 2021-01-14 | ルミレッズ ホールディング ベーフェー | Vcselベースのバイオメトリック認証デバイス |
| TWI722872B (zh) * | 2020-04-17 | 2021-03-21 | 技嘉科技股份有限公司 | 人臉辨識裝置以及人臉辨識方法 |
| US11069737B2 (en) | 2013-06-29 | 2021-07-20 | Sionyx, Llc | Shallow trench textured regions and associated methods |
| CN113361308A (zh) * | 2020-03-06 | 2021-09-07 | 技嘉科技股份有限公司 | 人脸识别方法以及人脸识别装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10221016A (ja) * | 1997-02-05 | 1998-08-21 | Nec Corp | 視点位置検出装置 |
| JP2005149515A (ja) * | 2003-11-19 | 2005-06-09 | Samsung Electronics Co Ltd | 赤外線を用いた人間識別装置およびその方法 |
| JP2005323180A (ja) * | 2004-05-10 | 2005-11-17 | Denso Corp | 撮像制御装置及びプログラム |
| WO2006013678A1 (ja) * | 2004-08-03 | 2006-02-09 | Matsushita Electric Industrial Co., Ltd. | 生体判別装置およびそれを用いた認証装置ならびに生体判別方法 |
-
2007
- 2007-02-01 JP JP2007022526A patent/JP2008181468A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10221016A (ja) * | 1997-02-05 | 1998-08-21 | Nec Corp | 視点位置検出装置 |
| JP2005149515A (ja) * | 2003-11-19 | 2005-06-09 | Samsung Electronics Co Ltd | 赤外線を用いた人間識別装置およびその方法 |
| JP2005323180A (ja) * | 2004-05-10 | 2005-11-17 | Denso Corp | 撮像制御装置及びプログラム |
| WO2006013678A1 (ja) * | 2004-08-03 | 2006-02-09 | Matsushita Electric Industrial Co., Ltd. | 生体判別装置およびそれを用いた認証装置ならびに生体判別方法 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10361083B2 (en) | 2004-09-24 | 2019-07-23 | President And Fellows Of Harvard College | Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate |
| US10741399B2 (en) | 2004-09-24 | 2020-08-11 | President And Fellows Of Harvard College | Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate |
| US8582833B2 (en) | 2008-11-25 | 2013-11-12 | Electronics And Telecommunications Research Institute | Method and apparatus for detecting forged face using infrared image |
| JP2010136223A (ja) * | 2008-12-05 | 2010-06-17 | Sony Corp | 撮像装置及び撮像方法 |
| US8416303B2 (en) | 2008-12-05 | 2013-04-09 | Sony Corporation | Imaging apparatus and imaging method |
| JP2010231336A (ja) * | 2009-03-26 | 2010-10-14 | Seiko Epson Corp | 撮像装置及び認証装置 |
| US8811682B2 (en) | 2009-03-26 | 2014-08-19 | Seiko Epson Corporation | Fingerprint and finger vein image capturing and authentication apparatuses |
| WO2011016420A1 (ja) * | 2009-08-03 | 2011-02-10 | 株式会社エヌ・ピー・シー | 太陽電池の欠陥検査装置、欠陥検査方法、およびプログラム |
| WO2011019192A3 (ko) * | 2009-08-11 | 2011-04-28 | 주식회사 크라스아이디 | Ir 조명을 이용한 얼굴인식 시스템 및 방법 |
| JP2011129004A (ja) * | 2009-12-21 | 2011-06-30 | Hitachi Media Electoronics Co Ltd | 個人認証装置及び移動通信端末 |
| JP2016510467A (ja) * | 2013-01-17 | 2016-04-07 | サイオニクス、エルエルシー | 生体撮像装置および関連方法 |
| US11069737B2 (en) | 2013-06-29 | 2021-07-20 | Sionyx, Llc | Shallow trench textured regions and associated methods |
| EP2908512A3 (en) * | 2014-02-17 | 2015-12-02 | Eyesmart Technology Ltd. | Method and device for mobile terminal biometric feature imaging |
| US9690970B2 (en) | 2014-02-17 | 2017-06-27 | Eyesmart Technology Ltd. | Method and device for mobile terminal biometric feature imaging |
| JP2017525068A (ja) * | 2014-06-20 | 2017-08-31 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 個人識別のための方法 |
| US9826173B2 (en) | 2014-08-21 | 2017-11-21 | Nintendo Co., Ltd. | Information processing apparatus, information processing system, computer-readable non-transitory storage medium having stored therein information processing program, and information processing method |
| US9979917B2 (en) | 2014-08-21 | 2018-05-22 | Nintendo Co., Ltd. | Information processing apparatus, information processing system, computer-readable non-transitory storage medium having stored therein information processing program, and information processing method |
| JPWO2016135934A1 (ja) * | 2015-02-26 | 2017-12-07 | 富士通株式会社 | 電子機器及び生体認証プログラム |
| WO2018003336A1 (ja) * | 2016-06-29 | 2018-01-04 | シャープ株式会社 | ユーザ認証装置、ユーザ認証装置の制御方法、制御プログラム、及び記録媒体 |
| JPWO2018003336A1 (ja) * | 2016-06-29 | 2019-03-07 | シャープ株式会社 | ユーザ認証装置、ユーザ認証装置の制御方法、制御プログラム、及び記録媒体 |
| JP2018174510A (ja) * | 2017-03-31 | 2018-11-08 | 日本電気株式会社 | 画像取得装置、スタンド型スキャナ装置および画像取得方法 |
| JP2021501401A (ja) * | 2017-10-23 | 2021-01-14 | ルミレッズ ホールディング ベーフェー | Vcselベースのバイオメトリック認証デバイス |
| JP7277453B2 (ja) | 2017-10-23 | 2023-05-19 | ルミレッズ ホールディング ベーフェー | Vcselベースのバイオメトリック認証デバイス |
| CN113361308A (zh) * | 2020-03-06 | 2021-09-07 | 技嘉科技股份有限公司 | 人脸识别方法以及人脸识别装置 |
| JP2021140734A (ja) * | 2020-03-06 | 2021-09-16 | 技嘉科技股▲ふん▼有限公司Giga−Byte Technology Co., Ltd. | 顔認識方法及び顔認識装置 |
| US11282296B2 (en) | 2020-03-06 | 2022-03-22 | Giga-Byte Technology Co., Ltd. | Face identification method and face identification apparatus |
| JP7235707B2 (ja) | 2020-03-06 | 2023-03-08 | 技嘉科技股▲ふん▼有限公司 | 顔認識方法及び顔認識装置 |
| TWI722872B (zh) * | 2020-04-17 | 2021-03-21 | 技嘉科技股份有限公司 | 人臉辨識裝置以及人臉辨識方法 |
| US11417149B2 (en) | 2020-04-17 | 2022-08-16 | Giga-Byte Technology Co., Ltd. | Face recognition device and face recognition method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008181468A (ja) | 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置 | |
| US20070189583A1 (en) | Infrared face authenticating apparatus, and portable terminal and security apparatus including the same | |
| CN101021898A (zh) | 红外面部认证设备及包括该设备的便携式终端和安全设备 | |
| CN109074475B (zh) | 包括针孔阵列掩膜的电子设备和相关方法 | |
| CN100361135C (zh) | 一种获取人脸图像的方法及人脸识别方法与系统 | |
| US9321394B2 (en) | LED lamp fitted with a safety device | |
| CN103699872A (zh) | 生物辨识装置及方法 | |
| CN101533473B (zh) | 单usb接口的双眼虹膜图像获取及处理设备 | |
| CN1221503A (zh) | 身份识别 | |
| JP2004164483A (ja) | 目画像認証装置ならびにそれを用いた入退出管理装置および情報処理装置 | |
| TW201101196A (en) | Optical fingerprint identification device with living body scanning function, and optical fingerprints identification method capable of recognizing living body | |
| CN106611164A (zh) | 虹膜识别方法、装置及电子设备 | |
| JP2002101322A (ja) | 虹彩カメラモジュール | |
| JP2008158597A (ja) | 顔認証装置、その方法および顔認証装置を有する携帯端末器 | |
| EP3724815B1 (en) | Anti-spoofing face id sensing based on retro-reflection | |
| KR101815610B1 (ko) | 지문 및 지정맥의 인증처리시 도어록 lcd표시창에 광고를 연계한 사용자 얼굴을 표출시키는 보안인증시스템 및 그 처리방법 | |
| JP7801676B2 (ja) | 生体情報取得装置 | |
| WO2005024709A1 (en) | Apparatus for photographing iris pattern | |
| WO2020073169A1 (zh) | 生物特征识别的方法、装置和电子设备 | |
| KR101547265B1 (ko) | 인증기능을 가진 soc 타입의 홍채 촬영장치 | |
| KR101883676B1 (ko) | 지문 및 지정맥의 인증처리시 비밀번호입력을 위한 키패드모듈이 형성된 도어록 | |
| JP2003037708A (ja) | 画像認証装置 | |
| JP2008021072A (ja) | 撮影システム、撮影装置およびそれを用いた照合装置ならびに撮影方法 | |
| KR20200107167A (ko) | 자연광 환경에서 적외선을 이용하여 얼굴 인식이 가능한 이미지를 생성할 수 있는 얼굴인식장치 및 그 인식방법 | |
| CN201207692Y (zh) | 具有特征辨识功能的摄像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080818 |