[go: up one dir, main page]

JP2007036928A - 携帯情報端末装置 - Google Patents

携帯情報端末装置 Download PDF

Info

Publication number
JP2007036928A
JP2007036928A JP2005220085A JP2005220085A JP2007036928A JP 2007036928 A JP2007036928 A JP 2007036928A JP 2005220085 A JP2005220085 A JP 2005220085A JP 2005220085 A JP2005220085 A JP 2005220085A JP 2007036928 A JP2007036928 A JP 2007036928A
Authority
JP
Japan
Prior art keywords
authentication
imaging unit
feature information
unit
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005220085A
Other languages
English (en)
Inventor
Masaaki Sasa
雅明 笹
Hiroyasu Hamamura
博康 濱村
Seiji Hamaguchi
清治 濱口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2005220085A priority Critical patent/JP2007036928A/ja
Priority to EP06768140.3A priority patent/EP1916588B1/en
Priority to PCT/JP2006/313876 priority patent/WO2007013307A1/ja
Priority to HK08111753.6A priority patent/HK1119801B/xx
Priority to CN2006800228774A priority patent/CN101228493B/zh
Priority to US11/997,128 priority patent/US8279043B2/en
Publication of JP2007036928A publication Critical patent/JP2007036928A/ja
Priority to KR1020077030159A priority patent/KR100910289B1/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/26—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition using a biometric sensor integrated in the pass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)
  • Telephone Set Structure (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】 認証処理に要する手間を削減できる携帯情報端末装置を提供することを目的とする。
【解決手段】ユーザによる「シークレットモード」の選択操作に基づいてサブカメラを起動し（図９（ａ））、そのサブカメラの初期化処理の終了後に撮影可能な状態になった後、認証処理を自動的に行う（図９（ｂ））。これにより、サブカメラが起動してから撮影可能になるまでの時間の経過を待ってから撮影操作を行うといった煩わしさを回避できるので、認証処理に要する手間を削減できる。また、サブカメラが起動後に撮影可能になったことをユーザが確認してから撮影操作を行うまでに生じるタイムラグを削減でき、サブカメラの起動後により短時間で認証処理を行うことができるので、認証処理に要する時間を短縮できる。
【選択図】 図９

Description

本発明は、携帯情報端末装置に係り、更に詳しくは、撮影画像に基づいて認証処理を行う携帯情報端末装置の改良に関する。
携帯電話機などの携帯情報端末装置の中には、被写体を撮影して画像データを生成するカメラを備えているものがある。カメラには、例えば、光電変換素子として、ＣＣＤ(Charge-Coupled Device)又はＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどが備えられている。
この種の携帯情報端末装置において、最近では、操作中にカメラによる顔画像の撮影を促し、撮影した顔画像から抽出される目、鼻、口及び輪郭の形や大きさなどの特徴情報を、携帯情報端末装置に備えられたメモリに予め記憶されているユーザの特徴情報と比較することにより、認証処理（いわゆる顔認証）を行うようになっているものがある。認証処理の結果、撮影画像から抽出された特徴情報とユーザの特徴情報との一致度が認識閾値を超えた場合にのみ、そのとき操作を行っている者が真のユーザであると判断し、その後の処理の実行を許可することにより、セキュリティの向上やプライバシーの保護を図ることができる（例えば、特許文献１参照）。
認証処理の際には、まず、カメラに電源が投入されることによりカメラが起動され、カメラに備えられた光電変換素子の初期化処理が行われることにより撮影が可能になる。カメラによる撮影が可能になると、カメラに対する被写体の画像が携帯情報端末装置に備えられた表示部にリアルタイムで表示される。操作を行う者は、表示部の表示画面（ファインダ画面）を見ながら、自分の顔がカメラで撮影されるように調整し、決定操作を行うことにより顔画像を撮影する。これにより、撮影された顔画像から特徴情報が抽出され、それらの特徴情報が予め記憶されているユーザの特徴情報と比較されることにより、認証処理が行われる。
特開２０００−２７８６５８号公報
しかしながら、従来の認証処理の方法では、認証処理を要する処理の実行を決定するための操作が行われたときに、まずカメラを起動し、カメラによる撮影が可能になった後、撮影操作に基づいて顔画像が撮影されなければ、認証処理が行われない。カメラが起動してから撮影可能になるまでには、通常、０．５秒程度の時間を要するため、ユーザはその時間の経過を待ってから撮影操作を行わなければならず、煩わしいという問題があった。
また、真のユーザであると判断されなかった場合には、撮影操作を再度行わなければならず、さらに煩わしさが増すとともに、認証処理に時間がかかるという問題があった。
本発明は、上記の事情に鑑みてなされたものであり、認証処理に要する手間を削減できる携帯情報端末装置を提供することを目的とする。
また、本発明は、認証処理に要する時間を短縮できる携帯情報端末装置を提供することを目的とする。
第１の本発明による携帯情報端末装置は、被写体を撮影するための撮像ユニットと、ユーザ操作に基づいて、上記撮像ユニットに電源を投入し、上記撮像ユニットの初期化処理を実行する撮像ユニット起動手段と、上記撮像ユニットによる撮影動作を制御する撮影制御手段と、顔画像から抽出された特徴情報を登録特徴情報として予め記憶しておく特徴情報記憶手段と、上記登録特徴情報を用いて、上記撮像ユニットによる撮影画像に基づく認証処理を行う認証処理手段とを備え、上記撮影制御手段が、上記撮像ユニット起動手段による上記撮像ユニットの初期化処理の終了に基づいて撮影を開始する。
このような構成によれば、ユーザ操作に基づいて撮像ユニットが起動され、初期化処理が終了して撮影可能になるのに基づいて、認証処理が自動的に行われる。すなわち、撮像ユニットの起動後にユーザが撮影操作を行うことなく、自動的に、撮像ユニットにより撮影される画像から特徴情報が抽出され、その特徴情報が予め記憶されている登録特徴情報と比較されることにより、認証処理が行われる。したがって、従来のように、撮像ユニットが起動してから撮影可能になるまでの時間の経過を待ってから撮影操作を行うといった煩わしさを回避できるので、認証処理に要する手間を削減できる。
また、従来のように、撮像ユニットが起動後に撮影可能になったことをユーザが確認してから撮影操作を行うまでに生じるタイムラグを削減でき、撮像ユニットの起動後により短時間で認証処理を行うことができるので、認証処理に要する時間を短縮できる。
第２の本発明による携帯情報端末装置は、被写体を撮影するための撮像ユニットと、ユーザ操作に基づいて、上記撮像ユニットに電源を投入し、上記撮像ユニットの初期化処理を実行する撮像ユニット起動手段と、上記撮像ユニットによる撮影動作を制御する撮影制御手段と、顔画像から抽出された特徴情報を登録特徴情報として予め記憶しておく特徴情報記憶手段と、上記登録特徴情報を用いて、上記撮像ユニットによる撮影画像に基づく認証処理を行う認証処理手段と、上記撮影制御手段及び上記認証処理手段を制御することにより、上記認証処理において認証に失敗した場合に再度撮影を行い、その撮影画像に基づく認証処理を行う連続認証手段とを備えて構成される。
このような構成によれば、認証処理において認証に失敗した場合に、再度自動的に認証処理を行うことができる。したがって、真のユーザが操作を行う場合に、１回目の認証処理により真のユーザであると判断されなかった場合でも、その後にユーザが撮影操作を行うことなく、認証処理が再度行われる。すなわち、真のユーザであると判断されるまで繰り返し自動的に認証処理が行われるので、認証処理に要する手間を削減できるとともに、認証処理に要する時間を短縮できる。
第３の本発明による携帯情報端末装置において、上記認証処理手段が、上記撮影画像から特徴情報を抽出する特徴抽出手段と、上記特徴抽出手段により抽出された特徴情報を上記特徴情報記憶手段に記憶されている登録特徴情報と比較し、数値化された一致度を求める一致度算出手段と、上記一致度を認証閾値と比較する一致度判定手段とを有し、認証処理時における上記一致度と上記認証閾値との比較結果を表示する比較結果表示手段を備えて構成される。
このような構成によれば、認証処理時における一致度と認証閾値との比較結果が表示されるので、ユーザは、その表示に基づいて、その認証処理時に撮影された自己の顔画像が認識しやすい画像であったか否かを確認することができる。
第４の本発明による携帯情報端末装置において、上記認証処理手段が、一連の操作に基づいて認証処理を行い、上記撮像ユニット起動手段が、上記一連の操作における最終操作よりも前に行われる操作に基づいて、上記撮像ユニットを起動させる。
このような構成によれば、最終操作よりも前に行われる操作に基づいて、撮像ユニットを早く起動することができる。この場合、最終操作が行われるときまでに撮像ユニットを撮影可能な状態にしておけば、撮像ユニットが撮影可能な状態になるまでの待ち時間を省略できる。また、撮像ユニットが撮影可能な状態になり次第、自動的に認証処理を行うような構成にすれば、最終操作が行われるときまでに認証処理を完了させておくことができるので、認証処理に要する時間をさらに短縮できる。
第５の本発明による携帯情報端末装置は、上記撮像ユニットが起動された後、所定時間内に上記一連の操作における次の操作が行われない場合に、上記撮像ユニットへの電力供給を停止させる撮像ユニット停止手段を備えて構成される。
このような構成によれば、撮像ユニットが起動された後、認証処理が開始されることなく長時間放置されるのを防止できる。撮像ユニットは比較的多くの駆動電力を消費するので、認証処理が開始されない場合に撮像ユニットの駆動を停止させることにより、消費電力を低減することができる。
第６の本発明による携帯情報端末装置は、上記撮像ユニットが起動された後、上記一連の操作における次の操作とは異なる操作が行われた場合に、上記撮像ユニットへの電力供給を停止させる撮像ユニット停止手段を備えて構成される。
このような構成によれば、撮像ユニットが起動された後、認証処理が開始されることなく長時間放置されるのを防止できる。撮像ユニットは比較的多くの駆動電力を消費するので、認証処理が開始されない場合に撮像ユニットの駆動を停止させることにより、消費電力を低減することができる。
本発明の携帯情報端末装置によれば、ユーザ操作に基づいて撮像ユニットが起動され、初期化処理が終了して撮影可能になるのに基づいて、認証処理が自動的に行われる。したがって、撮像ユニットが起動してから撮影可能になるまでの時間の経過を待ってから撮影操作を行うといった煩わしさを回避できるので、認証処理に要する手間を削減できる。また、撮像ユニットが起動後に撮影可能になったことをユーザが確認してから撮影操作を行うまでに生じるタイムラグを削減でき、撮像ユニットの起動後により短時間で認証処理を行うことができるので、認証処理に要する時間を短縮できる。
また、本発明の携帯情報端末装置によれば、認証処理において認証に失敗した場合に、再度自動的に認証処理を行うことにより、真のユーザであると判断されるまで繰り返し自動的に認証処理を行うことができるので、認証処理に要する手間を削減できるとともに、認証処理に要する時間を短縮できる。認証処理時における一致度と認証閾値との比較結果を表示すれば、ユーザは、その表示に基づいて、その認証処理時に撮影された自己の顔画像が認識しやすい画像であったか否かを確認することができる。
また、本発明の携帯情報端末装置によれば、最終操作よりも前に行われる操作に基づいて、撮像ユニットを早く起動することができる。最終操作が行われるときまでに撮像ユニットを撮影可能な状態にしておけば、撮像ユニットが撮影可能な状態になるまでの待ち時間を省略できる。また、撮像ユニットが撮影可能な状態になり次第、自動的に認証処理を行うような構成にすれば、最終操作が行われるときまでに認証処理を完了させておくことができるので、認証処理に要する時間をさらに短縮できる。
また、本発明の携帯情報端末装置によれば、認証処理が開始されない場合に撮像ユニットの駆動を停止させることにより、撮像ユニットが起動された後、認証処理が開始されることなく長時間放置されるのを防止できるので、消費電力を低減することができる。
実施の形態１．
図１は、本発明の実施の形態１による携帯情報端末装置の一例を示した外観図であり、携帯情報端末装置の一例として携帯電話機１が示されている。この携帯電話機１は、いわゆる折り畳み式の携帯電話機であり、表示筐体１００及び操作筐体２００がヒンジ部３００を介して連結され、表示筐体１００及び操作筐体２００の一面を対向させて折り畳むことができる。
表示筐体１００は、折り畳み時に内側となる筐体面にメイン表示部１０１、受話用レシーバ１０３及びサブカメラ１０５が配置され、外側となる筐体面にサブ表示部１０２及びメインカメラ１０４が配置されている。また、操作筐体２００は、折り畳み時に内側となる筐体面に多数の操作キー２０１及び送話用マイクロフォン２０３が配置されている。このような折り畳み式携帯電話機１は、コンパクトに折り畳んだ状態で携帯することができ、筐体を展開させれば、メイン表示部１０１の表示を見ながら、操作キー２０１を押下操作することができる。つまり、主な情報表示はメイン表示部１０１を用いて行われ、主な操作入力は操作キー２０１を用いて行われている。
この携帯電話機１は、メイン表示部１０１の表示を見ながらユーザが操作キー２０１の操作を行っているときに、サブカメラ１０５によりユーザの顔画像を撮影し、その顔画像から抽出される特徴情報に基づいて認証処理を行った結果、そのとき操作を行っている者が真のユーザであると判断した場合にのみ、その後の処理の実行を許可する機能（いわゆる顔認証機能）を有している。秘匿性の高い機能の実行に際して認証処理を行うことにより、セキュリティの向上やプライバシーの保護を図ることができる。
図２は、図１に示した携帯電話機１の内部構成の一例を示したブロック図である。制御部４００は、携帯電話機１の主要な動作を制御するプロセッサであって、撮像ユニット駆動制御部４０１、認証処理部４０２、連続認証部４０３及び計時部４０４を備えている。制御部４００には、操作キー２０１からの操作信号が入力されるとともに、メモリ４１０、画像入出力部４３０、音声入出力部４４０及び通信部４５０が入出力可能に接続されている。
画像入出力部４３０には、メイン表示部１０１、サブ表示部１０２、メインカメラ１０４及びサブカメラ１０５が備えられている。メインカメラ１０４及びサブカメラ１０５は、それぞれ撮像ユニットとしてユニット化されており、これらの撮像ユニットには、ＣＣＤ(Charge-Coupled Device)又はＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの光電変換素子及び制御回路が備えられている。ここでは、撮像ユニットの電源投入後に、オフセットやゲインの調整などの初期化処理を行う必要がある光電変換素子が用いられている。
音声入出力部４４０には、受話用レシーバ１０３及び送話用マイクロフォン２０３が備えられている。通信部４５０は、図示しない基地局との間で電波の送受信を行うことにより、音声データや画像データなどの送受信を行う。
撮像ユニット駆動制御部４０１は、画像入出力部４３０に信号を送信することにより、メインカメラ１０４及びサブカメラ１０５の駆動を制御する。この実施の形態では、撮像ユニット駆動制御部４０１がサブカメラ１０５の駆動を制御することにより、メイン表示部１０１を見ながら操作キー２０１の操作を行っている者の顔画像をサブカメラ１０５で撮影し、その顔画像から抽出される特徴情報に基づいて認証処理を行うものとする。ただし、メインカメラ１０４により顔画像を撮影して認証処理を行うような構成であってもよい。
認証処理部４０２は、撮影画像から抽出された特徴情報を、メモリ４１０に予め記憶されているユーザの特徴情報（登録特徴情報）と比較することにより、そのとき操作を行っている者が真のユーザであるか否かを判断する。連続認証部４０３は、撮像ユニット駆動制御部４０１及び認証処理部４０２を制御することにより、複数回の認証処理を連続して行う。計時部４０４は、時間の計測を行い、時間情報を出力するためのものである。
メモリ４１０には、表示画面データ記憶部４１１、画像データ記憶部４１２、特徴情報記憶部４１３及びエラー履歴情報記憶部４１４が割り当てられている。表示画面データ記憶部４１１には、メイン表示部１０１やサブ表示部１０２に表示させる画面のデータが記憶される。画像データ記憶部４１２には、メインカメラ１０４やサブカメラ１０５で撮影した画像データや、通信部４５０を介して外部から受信した画像データなどが記憶される。特徴情報記憶部４１３には、認証処理に用いられる顔画像の特徴情報が記憶される。エラー履歴情報記憶部４１４には、認証に失敗した場合に、その認証時の情報がエラー履歴情報として記憶される。
ただし、認証処理に用いられる顔画像の特徴情報や顔画像の画像データは、例えばＳＩＭ(Subscriber Identity Module)カードのような携帯電話機１に対して着脱可能な記憶媒体（図示せず）に記憶されるような構成であってもよい。
図３は、図２の撮像ユニット駆動制御部４０１の構成例を示したブロック図である。撮像ユニット駆動制御部４０１は、撮像ユニット起動部４０５、撮影制御部４０６及び撮像ユニット停止部４０７を備えている。撮像ユニット起動部４０５は、メインカメラ１０４及びサブカメラ１０５に制御信号を送信して、これらを起動させるためのものであり、ユーザの操作に基づいて撮像ユニット１０６（メインカメラ１０４又はサブカメラ１０５）に電源を投入する電源投入部４０５Ａと、初期化処理を実行する初期化処理部４０５Ｂとを備えている。
撮影制御部４０６は、初期化処理部４０５Ｂからの入力信号やユーザによる撮影操作に基づいて、メインカメラ１０４又はサブカメラ１０５の撮影動作を制御することにより、そのときのメインカメラ１０４又はサブカメラ１０５に対する被写体の静止画像データを生成する。撮像ユニット停止部４０７は、メインカメラ１０４又はサブカメラ１０５に供給する電力を停止させることにより、それらの撮像ユニットの駆動を停止させる。
図４は、図２の認証処理部４０２の構成例を示したブロック図である。認証処理部４０２は、特徴抽出部４０２Ａ、一致度算出部４０２Ｂ及び一致度判定部４０２Ｃを備えている。認証処理が開始されると、特徴抽出部４０２Ａにより、サブカメラ１０５で撮影した顔画像から、目、鼻、口及び輪郭といった顔の各部分についての形や大きさなどの特徴情報が抽出される。特徴抽出部４０２Ａにより抽出された特徴情報は、一致度算出部４０２Ｂにより、メモリ４１０の特徴情報記憶部４１３に記憶されている登録特徴情報と比較され、数値化された一致度が算出される。
一致度判定部４０２Ｃは、一致度算出部４０２Ｂにより算出された一致度を所定の閾値（認証閾値）と比較し、その比較結果を出力する。このとき、一致度が認証閾値を超えた場合には、真のユーザであると判断されて認証に成功し、一致度が認証閾値よりも小さい場合には、真のユーザであると判断されず認証に失敗する。ここで、一致度とは、比較されたすべての特徴情報のうち一致した特徴情報の占める割合（％）であって、認証閾値は、通常、９０％以上の所定値に設定されている。
図５は、顔認証に関する設定を行う際のメイン表示部１０１の表示例を示した図である。ユーザが、操作キー２０１を操作してセキュリティ設定画面を読み出し（図５（ａ）参照）、そのセキュリティ設定画面に表示された項目の中から「顔認証設定」の項目を選択操作すると、その携帯電話機１に予め割り当てられている端末暗証番号の入力を促す画面がメイン表示部１０１に表示される（図５（ｂ）参照）。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
端末暗証番号は、例えば４〜８桁の任意の文字列からなり、携帯電話機１の購入時に予め設定されているが、ユーザが操作キー２０１を操作することにより変更することも可能である。図５（ｂ）の端末暗証番号入力画面において、操作キー２０１の操作により入力された文字列が、予め設定されている端末暗証番号と一致しない場合には、その旨がメイン表示部１０１に表示される（図５（ｃ）参照）。また、端末暗証番号入力画面において入力された文字列が３桁以下である場合には、４〜８桁の文字列を入力すべき旨がメイン表示部１０１に表示される（図５（ｄ）参照）。
メイン表示部１０１に図５（ｃ）又は図５（ｄ）に示すような表示がされた後、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
図５（ｂ）の端末暗証番号入力画面において入力された文字列が、予め設定されている端末暗証番号と一致する場合には、メイン表示部１０１の表示は、顔認証を行うモードのオン／オフを設定するための顔認証利用設定画面に切り替わる（図５（ｅ）参照）。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図５（ｂ）に示す端末暗証番号入力画面に戻る。また、顔認証利用設定画面において、操作キー２０１の操作により顔認証がオフされると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
図５（ｅ）の顔認証利用設定画面において、操作キー２０１の操作により顔認証がオンされると、メイン表示部１０１の表示は、顔認証に関する設定を行うための顔認証設定画面に切り替わる（図５（ｆ）参照）。
本実施の形態では、顔認証の際に使用する登録特徴情報として、最大７つの画像データから特徴情報を抽出し、メモリ４１０に記憶させておくことができる。２以上の画像データから抽出される登録特徴情報に基づいて顔認証を行うことにより、真のユーザが顔認証を行う場合に認証に成功する確率（本人受入率）を高めることができ、ユーザの表情や光が当たる角度などの微妙な違いによって認証に失敗するのを防止できる。ただし、顔認証に使用する登録特徴情報は、７つの画像データから抽出されるような構成に限らず、例えば１つの画像データから抽出される登録特徴情報に基づいて顔認証を行うような構成であってもよい。
ユーザの顔画像は、メインカメラ１０４又はサブカメラ１０５を用いてユーザにより予め撮影され、それらの画像データがメモリ４１０の画像データ記憶部４１２に記憶される。顔認証は、これらの画像データから抽出されてメモリ４１０の特徴情報記憶部４１３に記憶された登録特徴情報に基づいて行われるため、これらの画像データそのものは顔認証に際して必要とはならないが、メモリ４１０に記憶しておけば、ユーザがそれらの画像データを読み出して顔画像を確認することができるので、利便性が向上する。
図５（ｆ）の顔認証設定画面には、上記登録特徴情報の抽出元であるユーザを表す画像（顔認証用画像）にそれぞれ対応付けられた項目と、顔認証時の認証閾値の設定（セキュリティレベル設定）に対応付けられた項目と、エラー履歴に対応付けられた項目とが含まれる。この表示画面において、顔認証用画像に対応付けられた項目を選択すると、顔認証用画像の上書登録や確認を行うための画面（顔認証用画像登録画面）が表示される。また、セキュリティレベル設定に対応付けられた項目を選択すると、顔認証時の認証閾値を設定するための画面（セキュリティレベル設定画面）が表示される。また、エラー履歴に対応付けられた項目を選択すると、エラー履歴を表示するための画面（エラー履歴画面）が表示される。
これらの各種設定等を行った後、操作キー２０１を操作して、顔認証設定を完了すると、メイン表示部１０１の表示は、図５（ｇ）又は図５（ｈ）に示すような表示に切り替わる。すなわち、少なくとも１つの顔認証用画像が登録されていれば、その顔認証用画像から抽出された特徴情報に基づいて顔認証を行う旨がメイン表示部１０１に表示され（図５（ｇ）参照）、この画面に含まれる確認キー１１１を選択すると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。一方、顔認証用画像が１つも登録されていない場合には、顔認証用画像の登録を行うべき旨がメイン表示部１０１に表示され（図５（ｈ）参照）、この画面に含まれる確認キー１１２を選択すると、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。
図６は、顔認証用画像登録画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、顔認証用画像に対応付けられたいずれかの項目を選択すると、メイン表示部１０１の表示は、図６（ａ）に示すように、その顔認証用画像に対応する顔認証用画像登録画面に切り替わる。顔認証用画像登録画面には、「上書登録」の項目及び「登録データ確認」の項目が含まれる。
図６（ａ）の顔認証用画像登録画面に表示された項目の中から「上書登録」の項目を選択操作すると、サブカメラ１０５が起動され、サブカメラ１０５による撮影が可能な状態になった後、サブカメラ１０５に対する被写体の画像がリアルタイムでメイン表示部１０１に表示される（図６（ｂ）参照）。このとき、メイン表示部１０１は、サブカメラ１０５のファインダとして機能し、メイン表示部１０１により構成されるファインダ画面には、メイン表示部１０１を見ながら操作を行っている者の顔が映し出されることとなる。
図６（ｂ）のファインダ画面において、ユーザが自分の顔の位置合わせなどを行った後、操作キー２０１に含まれる決定キーを操作することにより登録操作を行うと、制御部４００の特徴抽出部４０２Ａが、そのときサブカメラ１０５で撮影された画像から特徴情報を抽出する処理を行う。
この際、ユーザの顔の位置合わせが適当に行われていれば、目、鼻、口及び輪郭の形や大きさなどの特徴情報を抽出することができるが、位置合わせが適当に行われていない場合や、ユーザの顔がメイン表示部１０１に全く映し出されていない場合などには、特徴情報を抽出することができない。特徴情報を抽出することに成功した場合には、その特徴情報がメモリ４１０の特徴情報記憶部４１３に記憶されるとともに、そのときの顔画像が顔認証用画像としてメモリ４１０の画像データ記憶部４１２に記憶される。
特徴情報の抽出に成功した場合には、その顔画像に基づく特徴情報をメモリ４１０に記憶（登録）した旨がメイン表示部１０１に表示される（図６（ｃ）参照）。この表示画面に含まれる確認キー１１３をユーザが選択すると、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。一方、特徴情報の抽出に失敗した場合には、その旨及び特徴情報の抽出に失敗した原因がメイン表示部１０１に表示され（図６（ｄ）参照）、この表示画面に含まれる確認キー１１４をユーザが選択すると、メイン表示部１０１の表示は、図５（ｂ）に示すファインダ画面に戻り、再びサブカメラ１０５で顔画像を撮影することが可能になる。
図６（ａ）の顔認証用画像登録画面に表示された項目の中から「登録データ確認」の項目を選択操作すると、メモリ４１０の画像データ記憶部４１２に記憶されている対応する顔認証用画像が読み出され、メイン表示部１０１に表示される（図６（ｅ）参照）。ユーザは、図６（ｅ）に示す顔認証用画像確認画面により、登録されている顔認証用画像を確認することができる。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図６（ａ）に示す顔認証用画像登録画面に戻る。
図６（ｅ）の顔認証用画像確認画面において、ユーザが操作キー２０１を操作することにより、対応する顔認証用画像を削除する操作を行うと、メイン表示部１０１の表示は、その顔認証用画像を削除してよいか否かを確認する削除確認画面に切り替わる（図６（ｆ）参照）。この表示画面には、顔認証用画像を削除すべき旨を指示する「はい」のキー１１５と、顔認証用画像を削除しない旨を指示する「いいえ」のキー１１６とが含まれる。図６（ｆ）の削除確認画面において、操作キー２０１の操作により「いいえ」のキー１１６が選択された場合には、メイン表示部１０１の表示は、図６（ｅ）に示す顔認証用画像確認画面に戻る。
図６（ｆ）の削除確認画面において、操作キー２０１の操作により「はい」のキー１１５が選択されると、メモリ４１０の画像データ記憶部４１２及び特徴情報記憶部４１３から対応する顔認証用画像及び登録特徴情報を削除するための処理が開始されるとともに、削除中である旨がメイン表示部１０１に表示される（図６（ｇ）参照）。そして、顔認証用画像及び登録特徴情報を削除する処理が完了すると、その旨がメイン表示部１０１に表示され（図６（ｈ）参照）、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されることに応答して、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。
図７は、セキュリティレベル設定画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、セキュリティレベル設定に対応付けられた項目を選択すると、メイン表示部１０１の表示は、図７に示すように、顔認証時の認証閾値の設定を行うためのセキュリティレベル設定画面に切り替わる。セキュリティレベルとしては、認証閾値が最も高い「レベル３」と、「レベル３」よりも認証閾値が低い「レベル２」と、「レベル２」よりも認証閾値が低い「レベル１」とが予め設定されており、セキュリティレベル設定画面において、いずれかのセキュリティレベルを選択することができる。
図８は、エラー履歴画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、エラー履歴に対応付けられた項目を選択すると、メイン表示部１０１の表示は、図８に示すように、エラー履歴を表示するためのエラー履歴画面に切り替わる。エラー履歴画面には、認証に失敗したときの日時を表す時間情報が、エラー履歴情報として所定回数分（例えば、９回分）だけリスト表示される。上記所定回数分のエラー履歴情報がメモリ４１０のエラー履歴情報記憶部４１４に記憶された状態で新たに認証に失敗した場合には、最も古いエラー履歴情報が削除され、新たなエラー履歴情報がメモリ４１０に記憶されるとともに、その新たなエラー履歴情報がエラー履歴画面に表示されるよう更新される。
図９は、顔認証を行う際のメイン表示部１０１の表示例を示した図である。この例では、携帯電話機１の管理機能に含まれるシークレットモードのオン／オフを切り替える際に顔認証が行われる。シークレットモードがオン状態のときには、通常のデータだけでなく、シークレットデータとして予め登録しているデータが表示される状態となり、シークレットモードがオフ状態のときには、シークレットデータは表示されず、通常のデータだけが表示される状態となる。
図９（ａ）に示すような携帯電話機１の管理機能を設定するための管理機能画面において、その管理機能画面に表示された項目の中から「シークレットモード」の項目を選択操作すると、サブカメラ１０５が起動される。そして、サブカメラ１０５による撮影が可能な状態になった後、サブカメラ１０５に対する被写体の画像がリアルタイムでメイン表示部１０１に表示され（図９（ｂ）参照）、自動認証が開始される。このとき、サブカメラ１０５の初期化処理が終了して撮影可能な状態になった時点で、ユーザが撮影操作を行わなくても、認証用の顔画像が撮影され、更にこの撮影画像から特徴情報が抽出される。そして抽出された特徴情報がメモリ４１０の特徴情報記憶部４１３に予め記憶されているユーザの特徴情報と比較されることにより、認証処理が自動的に行われる。
この認証処理において、抽出された顔画像の特徴情報とメモリ４１０に記憶されているユーザの特徴情報との一致度が、セキュリティレベル設定画面において予め設定されている認証閾値を超えた場合には、その操作者が真のユーザであると判断される。この場合、メイン表示部１０１に表示されているユーザの顔画像に対して、いわゆるアクションフォーカスによる強調表示が行われることにより、認証に成功した旨が視覚的効果により報知される。
その後、認証に成功した旨のメッセージがメイン表示部１０１に表示され（図９（ｃ）参照）、所定時間経過後に、シークレットモードのオン／オフを切り替えるための画面に切り替わる（図９（ｄ）参照）。一方、特徴情報の一致度が認証閾値よりも小さく、認証に失敗した場合には、その時点でサブカメラ１０５により撮影される画像から再び特徴情報が自動的に抽出され、その特徴情報がメモリ４１０に記憶されているユーザの特徴情報と比較される。
このように本実施形態では、認証に失敗した場合、所定時間（例えば、３秒）が経過してタイムアウトとなるまで認証処理が繰り返し連続的に行われ、認証に成功した時点で認証処理が終了する。例えば、タイムアウトの時間を３秒に設定した場合には、認証処理が最大で７回程度行われる。すなわち、１回の認証処理に要する時間は０．４秒程度であり、１回目の認証処理で認証に成功すれば、サブカメラ１０５の初期化処理終了後にほとんど待ち時間なく次の処理に進むことができる。認証処理が繰り返し行われている間、メイン表示部１０１にはファインダ画面が表示され、サブカメラ１０５に対する被写体の画像がリアルタイムで表示される。
認証処理が繰り返し行われる際、複数回の認証処理が行われるたびに、それらの認証処理における特徴情報の比較結果として、特徴情報の一致度に応じた表示がメイン表示部１０１になされる。より具体的には、メイン表示部１０１に表示されているファインダ画面の枠１１７の色が、特徴情報の一致度に応じた色で表示される。これにより、認証処理時の特徴情報の一致度の比較結果が表示されるので、ユーザは、その表示に基づいて、その認証処理時に撮影された自己の顔画像が認識しやすい画像であったか否かを確認することができる。
ただし、このような構成に限らず、特徴情報の一致度が数値やグラフなどを用いてメイン表示部１０１にレベル表示されるような構成であってもよい。また、すべての認証処理について比較結果を表示するような構成に限らず、少なくとも１回の認証処理について比較結果を表示するものであればよい。
自動認証が開始されてから所定時間が経過してタイムアウトとなった場合には、認証に失敗した旨がメイン表示部１０１に表示される（図９（ｅ）参照）。この表示画面に含まれる再認証キー１１８をユーザが選択すると、メイン表示部１０１の表示は、図９（ｂ）に示すファインダ画面に戻り、再び自動認証が開始される。一方、図９（ｅ）においてメイン表示部１０１に表示された端末暗証番号入力キー１１９をユーザが選択すると、メイン表示部１０１の表示は、端末暗証番号の入力を促す端末暗証番号入力画面に切り替わる（図９（ｆ）参照）。
図９（ｆ）の端末暗証番号入力画面において入力された文字列が、予め設定されている端末暗証番号と一致する場合には、メイン表示部１０１の表示は、シークレットモードのオン／オフを切り替えるための画面に切り替わる（図９（ｄ）参照）。
一方、図９（ｆ）の端末暗証番号入力画面において、操作キー２０１の操作により入力された文字列が、予め設定されている端末暗証番号と一致しない場合には、その旨がメイン表示部１０１に表示される（図９（ｇ）参照）。また、端末暗証番号入力画面において入力された文字列が３桁以下である場合には、４〜８桁の文字列を入力すべき旨がメイン表示部１０１に表示される（図９（ｈ）参照）。そして、図９（ｇ）又は図９（ｈ）に示すような表示がされた後、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されると、メイン表示部１０１の表示は、図９（ａ）に示す管理機能画面に戻る。
実施の形態２．
実施の形態１では、管理機能画面において「シークレットモード」の項目が選択されるのに基づいて、サブカメラ１０５が起動され、自動認証が行われるような構成について説明したが、実施の形態２では、顔認証が必要となるシークレットモードの選択操作（最終操作）よりも前に、管理機能の選択操作を行った時点でサブカメラ１０５を起動して、サブカメラ１０５を撮影可能な状態にしておき、シークレットモードの選択操作に基づいて、直ちに自動認証を開始できるような構成となっている。
図１０は、本発明の実施の形態２による顔認証を行う際のメイン表示部１０１の表示例を示した図である。図１０（ａ）に示すようなメニュー画面において、そのメニュー画面に表示された項目の中から「管理機能」の項目を選択操作すると、管理機能の設定を行うための管理機能設定画面が表示され（図１０（ｂ）参照）、この管理機能画面に表示された項目の中から「シークレットモード」の項目を選択操作することにより、シークレットモードのオン／オフを切り替えるための画面を表示させることができる（図１０（ｅ）参照）。すなわち、本実施の形態では、階層的な一連の操作により、シークレットモードのオン／オフを切り替えることができる。
図１０（ａ）のメニュー画面において、そのメニュー画面に表示された項目の中から「管理機能」の項目を選択操作すると、サブカメラ１０５が起動される。その後、メイン表示部１０１の表示が管理機能設定画面に切り替わり（図１０（ｂ）参照）、この管理機能設定画面において「シークレットモード」の項目が選択操作されると、メイン表示部１０１にファインダ画面が表示されて自動認証が開始される（図１０（ｃ）参照）。
サブカメラ１０５の初期化処理に要する時間、すなわちサブカメラ１０５が起動してから撮影可能な状態になるまでに要する時間は０．５秒程度であるので、通常は、図１０（ｂ）に示す管理機能画面に表示された項目の中からユーザが「シークレットモード」の項目を選択操作するまでの間に、サブカメラ１０５は撮影可能な状態になっている。したがって、管理機能画面において「シークレットモード」の項目が選択操作されるのに応答して、直ちに自動認証を開始することができる。自動認証開始後の処理及びメイン表示部１０１の表示（図１０（ｄ）〜（ｉ））は、実施の形態１における自動認証開始後の処理及びメイン表示部１０１の表示（図９（ｃ）〜（ｈ））と同様であるので、ここではその説明を省略することとする。
本実施の形態では、図１０（ａ）のメニュー画面において「管理機能」の項目が選択操作されてサブカメラ１０５が起動された後、所定時間内に、一連の操作における次の操作、すなわち図１０（ｂ）の管理機能画面における「シークレットモード」の項目を選択する操作が行われず、タイムアウトとなった場合に、サブカメラ１０５に供給する電力を停止させることにより、サブカメラ１０５の駆動を停止させるようになっている。
また、図１０（ａ）のメニュー画面において「管理機能」の項目が選択操作されてサブカメラ１０５が起動された後、一連の操作における次の操作とは異なる操作が行われた場合、例えば操作キー２０１に含まれるクリアキーの操作が行われてメニュー画面に戻った場合にも、サブカメラ１０５に供給する電力が停止されることにより、サブカメラ１０５の駆動が停止されるようになっている。
このような構成により、サブカメラ１０５が起動された後、認証処理が開始されることなく長時間放置されるのを防止できる。サブカメラ１０５は比較的多くの駆動電力を消費するので、所定時間内に次の選択操作が行われない場合にサブカメラ１０５の駆動を停止させることにより、消費電力を低減することができる。
ただし、認証処理を要する処理の実行を決定するための一連の操作における最終操作である「シークレットモード」の選択に対して、直前の選択操作である「管理機能」の選択に基づいて、サブカメラ１０５を起動するような構成に限らず、一連の操作におけるもっと前の選択操作に基づいてサブカメラ１０５を起動するような構成であってもよい。
実施の形態３．
実施の形態１では、管理機能画面において「シークレットモード」の項目が選択されるのに基づいて、サブカメラ１０５が起動され、自動認証が行われるような構成について説明したが、実施の形態３では、顔認証が必要となるシークレットモードの選択操作（最終操作）よりも前に、管理機能の選択操作を行った時点でサブカメラ１０５を起動し、サブカメラ１０５が撮影可能な状態になり次第、自動認証を開始するような構成となっている。
図１１は、本発明の実施の形態３による顔認証を行う際のメイン表示部１０１の表示例を示した図である。図１１（ａ）に示すようなメニュー画面において、そのメニュー画面に表示された項目の中から「管理機能」の項目を選択操作すると、管理機能の設定を行うための管理機能設定画面が表示され（図１１（ｂ）参照）、この管理機能画面に表示された項目の中から「シークレットモード」の項目を選択操作することにより、シークレットモードのオン／オフを切り替えるための画面を表示させることができる（図１１（ｃ）参照）。すなわち、本実施の形態では、階層的な一連の操作により、シークレットモードのオン／オフを切り替えることができる。
図１１（ａ）のメニュー画面において、そのメニュー画面に表示された項目の中から「管理機能」の項目を選択操作すると、サブカメラ１０５が起動され、初期化処理が終了して撮影可能な状態になった後、自動認証が開始される。すなわち、サブカメラ１０５の初期化処理の終了に基づいて、ユーザが撮影操作を行うことなく自動的に撮影された顔画像から特徴情報が抽出され、その特徴情報がメモリ４１０の特徴情報記憶部４１３に予め記憶されているユーザの特徴情報と比較されることにより、認証処理が自動的に行われる。
本実施の形態では、実施の形態１の場合と同様に、特徴情報の一致度が認証閾値よりも小さく、認証に失敗した場合には、その時点でサブカメラ１０５により撮影される画像から再び特徴情報が自動的に抽出され、その特徴情報がメモリ４１０に記憶されているユーザの特徴情報と比較されることにより、所定時間（例えば、３秒）が経過してタイムアウトとなるまで認証処理が繰り返し連続的に行われ、認証に成功した時点で認証処理が終了する。ただし、本実施の形態では、実施の形態１とは異なり、認証処理が繰り返し行われている間、メイン表示部１０１にファインダ画面は表示されない。
１回の認証処理に要する時間は０．４秒程度であるので、１回目の認証処理で認証に成功すれば、通常は、図１１（ｂ）に示す管理機能画面に表示された項目の中からユーザが「シークレットモード」の項目を選択操作するまでの間に、自動認証が終了している。したがって、認証に成功している場合には、管理機能画面において「シークレットモード」の項目が選択操作されるのに基づいて、メイン表示部１０１の表示が直ちに、シークレットモードのオン／オフを切り替えるための画面に切り替わる（図１１（ｃ）参照）。
ただし、１回目の認証処理で認証に失敗し、認証処理が複数回行われた場合のように、ユーザが「シークレットモード」の項目を選択操作した時点でまだ認証処理が終了していない場合には、「シークレットモード」の項目が選択操作された後、認証処理の完了を待ってから次の処理を行うようになっていてもよい。
所定時間内に繰り返し行われた認証処理においていずれも認証に失敗した場合には、図１１（ｂ）に示す管理機能画面に表示された項目の中から「シークレットモード」の項目が選択操作された後、端末暗証番号の入力を促す端末暗証番号入力画面がメイン表示部１０１に表示される（図１１（ｄ）参照）。
図１１（ｄ）の端末暗証番号入力画面において入力された文字列が、予め設定されている端末暗証番号と一致する場合には、メイン表示部１０１の表示は、シークレットモードのオン／オフを切り替えるための画面に切り替わる（図１１（ｃ）参照）。
一方、図１１（ｄ）の端末暗証番号入力画面において、操作キー２０１の操作により入力された文字列が、予め設定されている端末暗証番号と一致しない場合には、その旨がメイン表示部１０１に表示される（図１１（ｅ）参照）。また、端末暗証番号入力画面において入力された文字列が３桁以下である場合には、４〜８桁の文字列を入力すべき旨がメイン表示部１０１に表示される（図１１（ｆ）参照）。そして、図１１（ｅ）又は図１１（ｆ）に示すような表示がされた後、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されると、メイン表示部１０１の表示は、図１１（ａ）に示すメニュー画面に戻る。
ただし、認証処理を要する処理の実行を決定するための一連の操作における最終操作である「シークレットモード」の選択に対して、直前の選択操作である「管理機能」の選択に基づいて、サブカメラ１０５を起動するような構成に限らず、一連の操作におけるもっと前の選択操作に基づいてサブカメラ１０５を起動するような構成であってもよい。
また、自動認証中にメイン表示部１０１にファインダ画面を表示させてもよい。この場合、一連の操作の妨げとならないように、メイン表示部１０１の表示画面の一部にファインダ画面を表示させるような構成であることが好ましい。
図１２は、認証処理が完了するまでに要する時間を比較するためのタイムチャートであり、（ａ）は従来の携帯電話機の場合、（ｂ）は実施の形態１の携帯電話機の場合、（ｃ）は実施の形態２の携帯電話機の場合、（ｄ）は実施の形態３の携帯電話機の場合を示している。
実施の形態１〜３では、ユーザによる「シークレットモード」の選択操作（図１２（ｂ））又は「管理機能」の選択操作（図１２（ｃ）、（ｄ））に基づいてサブカメラ１０５が起動され、そのサブカメラ１０５の初期化処理の終了後に撮影可能な状態になった後（図１２（ｂ）、（ｄ））又は「シークレットモード」の選択操作の後（図１２（ｃ））、認証処理が自動的に行われる。すなわち、サブカメラ１０５の起動後にユーザが撮影操作を行うことなく、自動的に、サブカメラ１０５により撮影される画像から特徴情報が抽出され、その特徴情報が予め記憶されているユーザの特徴情報と比較されることにより、認証処理が行われる。したがって、図１２（ａ）に示す従来例のように、サブカメラ１０５が起動してから撮影可能になるまでの時間の経過を待ってから撮影操作を行うといった煩わしさを回避できるので、認証処理に要する手間を削減できる。
また、図１２（ａ）に示す従来例のように、サブカメラ１０５が起動後に撮影可能になったことをユーザが確認してから撮影操作を行うまでに生じるタイムラグＴＬを削減でき、サブカメラ１０５の起動後により短時間で認証処理を行うことができるので、認証処理に要する時間を短縮できる。
図１２（ｂ）に示す実施の形態１では、認証処理を要する処理の実行を決定するための一連の操作における最終操作である「シークレットモード」の選択操作に基づいて、図１２（ｃ）、（ｄ）に示す実施の形態２，３では、最終操作よりも前に行われる「管理機能」の選択操作に基づいて、サブカメラ１０５が自動的に起動され、認証処理が行われる。したがって、最終操作よりも前に行われる操作に基づいて、サブカメラ１０５を早く起動することができる。
特に、図１２（ｃ）、（ｄ）に示す実施の形態２，３では、最終操作よりも前に行われる「管理機能」の選択操作に基づいてサブカメラ１０５が起動されるので、最終処理が行われるときまでにサブカメラ１０５を撮影可能な状態にしておくことができ、サブカメラ１０５が撮影可能な状態になるまでの待ち時間ＴＳ（図１２（ａ）参照）を省略できる。
また、図１２（ｄ）に示す実施の形態３では、サブカメラ１０５が撮影可能な状態になり次第、自動的に認証処理が行われるので、最終操作が行われるときまでに認証処理を完了させておくことができ、認証処理に要する時間をさらに短縮できる。
実施の形態１〜３のように、認証処理において認証に失敗した場合に、再度自動的に認証処理を行うような構成によれば、真のユーザが操作を行う場合に、１回目の認証処理により真のユーザであると判断されなかった場合でも、その後にユーザが撮影操作を行うことなく、認証処理が再度行われる。すなわち、真のユーザであると判断されるまで繰り返し自動的に認証処理が行われるので、認証処理に要する手間を削減できるとともに、認証処理に要する時間を短縮できる。
認証処理における顔画像の撮影時には、シャッター音を発生させないような構成であることが好ましい。このような構成により、電車の中などの周囲に人がいる環境で認証処理を行う場合に、シャッター音の発生により盗撮等の誤解を受けるのを防止できる。本実施の形態では、認証処理に際して撮影操作を行わないので、撮影操作を行うことにより盗撮等の誤解を受けるのを防止できる。
ただし、所定時間内に真のユーザであると判断されなかった場合、タイムアウトとなるような構成に限らず、認証に成功するまで繰り返し認証処理を行うような構成であってもよい。また、連続的に認証処理を行うような構成に限らず、サブカメラ１０５が起動されて撮影可能な状態になった後、１回だけ認証処理を行うような構成であってもよい。
また、顔認証は、シークレットモードのオン／オフを切り替える際に限らず、セキュリティ度やプライバシー度の高い他の機能、例えば、カード設定、着信制限、ロック設定、暗証番号変更、発信者番号通知／非通知設定、設定リセット、ソフトウェア更新、自局番号詳細表示、その他のデータ変更に関する各種設定操作に際して行うことができる。
また、認証処理は、顔画像に基づいて行われる顔認証に限らず、ユーザを表す画像であれば、ユーザの指紋画像に基づいて行われるものなどであってもよい。この場合、指紋画像の特徴情報を抽出して比較することにより、認証処理を行うことができる。
本発明は、以上の実施の形態の内容に限定されるものではなく、請求項記載の範囲内において種々の変更が可能である。
本発明の実施の形態１による携帯情報端末装置の一例を示した外観図であり、携帯情報端末装置の一例として携帯電話機が示されている。 図１に示した携帯電話機の内部構成の一例を示したブロック図である。 図２の撮像ユニット駆動制御部の構成例を示したブロック図である。 図２の認証処理部の構成例を示したブロック図である。 顔認証に関する設定を行う際のメイン表示部の表示例を示した図である。 顔認証用画像登録画面の表示例を示した図である。 セキュリティレベル設定画面の表示例を示した図である。 エラー履歴画面の表示例を示した図である。 顔認証を行う際のメイン表示部の表示例を示した図である。 本発明の実施の形態２による顔認証を行う際のメイン表示部の表示例を示した図である。 本発明の実施の形態３による顔認証を行う際のメイン表示部の表示例を示した図である。 認証処理が完了するまでに要する時間を比較するためのタイムチャートであり、（ａ）は従来の携帯電話機の場合、（ｂ）は実施の形態１の携帯電話機の場合、（ｃ）は実施の形態２の携帯電話機の場合、（ｄ）は実施の形態３の携帯電話機の場合を示している。
符号の説明
１ 携帯電話機
１０１ メイン表示部
１０２ サブ表示部
１０３ 受話用レシーバ
１０４ メインカメラ
１０５ サブカメラ
２０１ 操作キー
２０３ 送話用マイクロフォン
４００ 制御部
４０１ 撮像ユニット駆動制御部
４０２ 認証処理部
４０２Ａ 特徴抽出部
４０２Ｂ 一致度算出部
４０２Ｃ 一致度判定部
４０３ 連続認証部
４０４ 計時部
４０５ 撮像ユニット起動部
４０５Ａ 電源投入部
４０５Ｂ 初期化処理部
４０６ 撮影制御部
４０７ 撮像ユニット停止部
４１０ メモリ
４１１ 表示画面データ記憶部
４１２ 画像データ記憶部
４１３ 特徴情報記憶部
４１４ エラー履歴情報記憶部
４５０ 通信部

Claims (6)

  1. 被写体を撮影するための撮像ユニットと、
    ユーザ操作に基づいて、上記撮像ユニットに電源を投入し、上記撮像ユニットの初期化処理を実行する撮像ユニット起動手段と、
    上記撮像ユニットによる撮影動作を制御する撮影制御手段と、
    顔画像から抽出された特徴情報を登録特徴情報として予め記憶しておく特徴情報記憶手段と、
    上記登録特徴情報を用いて、上記撮像ユニットによる撮影画像に基づく認証処理を行う認証処理手段とを備え、
    上記撮影制御手段が、上記撮像ユニット起動手段による上記撮像ユニットの初期化処理の終了に基づいて撮影を開始することを特徴とする携帯情報端末装置。
  2. 被写体を撮影するための撮像ユニットと、
    ユーザ操作に基づいて、上記撮像ユニットに電源を投入し、上記撮像ユニットの初期化処理を実行する撮像ユニット起動手段と、
    上記撮像ユニットによる撮影動作を制御する撮影制御手段と、
    顔画像から抽出された特徴情報を登録特徴情報として予め記憶しておく特徴情報記憶手段と、
    上記登録特徴情報を用いて、上記撮像ユニットによる撮影画像に基づく認証処理を行う認証処理手段と、
    上記撮影制御手段及び上記認証処理手段を制御することにより、上記認証処理において認証に失敗した場合に再度撮影を行い、その撮影画像に基づく認証処理を行う連続認証手段とを備えたことを特徴とする携帯情報端末装置。
  3. 上記認証処理手段が、上記撮影画像から特徴情報を抽出する特徴抽出手段と、上記特徴抽出手段により抽出された特徴情報を上記特徴情報記憶手段に記憶されている登録特徴情報と比較し、数値化された一致度を求める一致度算出手段と、上記一致度を認証閾値と比較する一致度判定手段とを有し、
    認証処理時における上記一致度と上記認証閾値との比較結果を表示する比較結果表示手段を備えたことを特徴とする請求項１又は２に記載の携帯情報端末装置。
  4. 上記認証処理手段が、一連の操作に基づいて認証処理を行い、
    上記撮像ユニット起動手段が、上記一連の操作における最終操作よりも前に行われる操作に基づいて、上記撮像ユニットを起動させることを特徴とする請求項１から３のいずれかに記載の携帯情報端末装置。
  5. 上記撮像ユニットが起動された後、所定時間内に上記一連の操作における次の操作が行われない場合に、上記撮像ユニットへの電力供給を停止させる撮像ユニット停止手段を備えたことを特徴とする請求項４に記載の携帯情報端末装置。
  6. 上記撮像ユニットが起動された後、上記一連の操作における次の操作とは異なる操作が行われた場合に、上記撮像ユニットへの電力供給を停止させる撮像ユニット停止手段を備えたことを特徴とする請求項４に記載の携帯情報端末装置。
JP2005220085A 2005-07-29 2005-07-29 携帯情報端末装置 Pending JP2007036928A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2005220085A JP2007036928A (ja) 2005-07-29 2005-07-29 携帯情報端末装置
EP06768140.3A EP1916588B1 (en) 2005-07-29 2006-07-12 Mobile information terminal device
PCT/JP2006/313876 WO2007013307A1 (ja) 2005-07-29 2006-07-12 携帯情報端末装置
HK08111753.6A HK1119801B (en) 2005-07-29 2006-07-12 Mobile information terminal device
CN2006800228774A CN101228493B (zh) 2005-07-29 2006-07-12 便携式信息终端装置
US11/997,128 US8279043B2 (en) 2005-07-29 2006-07-12 Portable information terminal device
KR1020077030159A KR100910289B1 (ko) 2005-07-29 2007-12-24 휴대 정보 단말 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005220085A JP2007036928A (ja) 2005-07-29 2005-07-29 携帯情報端末装置

Publications (1)

Publication Number Publication Date
JP2007036928A true JP2007036928A (ja) 2007-02-08

Family

ID=37683208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005220085A Pending JP2007036928A (ja) 2005-07-29 2005-07-29 携帯情報端末装置

Country Status (6)

Country Link
US (1) US8279043B2 (ja)
EP (1) EP1916588B1 (ja)
JP (1) JP2007036928A (ja)
KR (1) KR100910289B1 (ja)
CN (1) CN101228493B (ja)
WO (1) WO2007013307A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171259A (ja) * 2008-01-16 2009-07-30 Nec Corp 顔認証による画面切替装置、方法、プログラム及び携帯電話機
JP2009252650A (ja) * 2008-04-09 2009-10-29 Nec Saitama Ltd 情報端末の照明制御装置、照明制御方法及び制御プログラム
JP2013138313A (ja) * 2011-12-28 2013-07-11 Canon Inc 撮像装置およびその制御方法
JP2014112822A (ja) * 2012-11-06 2014-06-19 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239648A1 (en) 2003-05-30 2004-12-02 Abdallah David S. Man-machine interface for controlling access to electronic devices
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8774767B2 (en) 2007-07-19 2014-07-08 Samsung Electronics Co., Ltd. Method and apparatus for providing phonebook using image in a portable terminal
KR101430522B1 (ko) * 2008-06-10 2014-08-19 삼성전자주식회사 휴대 단말기의 화상 정보 활용 방법
WO2009042392A2 (en) 2007-09-24 2009-04-02 Apple Inc. Embedded authentication systems in an electronic device
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
US8502644B1 (en) 2009-01-29 2013-08-06 Bank Of American Corporation Physical item security: tracking device activation
US8749347B1 (en) * 2009-01-29 2014-06-10 Bank Of America Corporation Authorized custodian verification
JP5306046B2 (ja) * 2009-05-01 2013-10-02 キヤノン株式会社 画像処理システム、デバイス操作画面生成方法、プログラム、及び、情報処理装置
JP5605854B2 (ja) * 2009-11-17 2014-10-15 株式会社 日立産業制御ソリューションズ 生体情報を用いた認証システム及び認証装置
US8528072B2 (en) 2010-07-23 2013-09-03 Apple Inc. Method, apparatus and system for access mode control of a device
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9141285B2 (en) 2010-11-05 2015-09-22 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9250798B2 (en) 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US8638385B2 (en) 2011-06-05 2014-01-28 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9213822B2 (en) 2012-01-20 2015-12-15 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
JP2013161261A (ja) * 2012-02-06 2013-08-19 Hitachi Consumer Electronics Co Ltd 情報処理端末、その認証制御方法、及び認証制御プログラム
BR112014028774B1 (pt) 2012-05-18 2022-05-10 Apple Inc Método, dispositivo eletrônico, meio de armazenamento legível por computador e aparelho de processamento de informações
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
DK179471B1 (en) * 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
JP6652664B2 (ja) * 2017-01-27 2020-02-26 シャープ株式会社 端末装置、および制御プログラム
EP3382937B1 (en) * 2017-03-28 2022-05-18 Rohde & Schwarz GmbH & Co. KG Transmission device, system as well as method for transmitting monitoring information
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
US10521948B2 (en) 2017-05-16 2019-12-31 Apple Inc. Emoji recording and sending
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
KR102389678B1 (ko) 2017-09-09 2022-04-21 애플 인크. 생체측정 인증의 구현
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. Visning af brugergrænseflader associeret med fysiske aktiviteter
CN112088528B (zh) * 2018-05-11 2022-01-11 富士胶片株式会社 摄影系统
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
WO2020110306A1 (ja) * 2018-11-30 2020-06-04 株式会社ショーケース 認証装置、認証方法、及びプログラム
US11095641B1 (en) 2018-12-20 2021-08-17 Wells Fargo Bank, N.A. Systems and methods for passive continuous session authentication
US11159520B1 (en) 2018-12-20 2021-10-26 Wells Fargo Bank, N.A. Systems and methods for passive continuous session authentication
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
DK201970531A1 (en) 2019-05-06 2021-07-09 Apple Inc Avatar integration with multiple applications
US11158028B1 (en) * 2019-10-28 2021-10-26 Snap Inc. Mirrored selfie
CN113095831A (zh) * 2019-12-23 2021-07-09 阿尔派株式会社 电子装置、认证方式的决定方法以及认证方式的决定程序
EP4675470A2 (en) 2021-01-25 2026-01-07 Apple Inc. Implementation of biometric authentication
US12210603B2 (en) 2021-03-04 2025-01-28 Apple Inc. User interface for enrolling a biometric feature
US12216754B2 (en) 2021-05-10 2025-02-04 Apple Inc. User interfaces for authenticating to perform secure operations
US20230222189A1 (en) * 2022-01-12 2023-07-13 Lenovo (Singapore) Pte. Ltd. Performance of different actions at device based on success or failure of subsequent authentication within threshold time after repeated authentication fails

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969152A (ja) * 1995-09-01 1997-03-11 Nippon Yunishisu Kk 表面画像採取装置
JP2005122700A (ja) * 2003-09-25 2005-05-12 Matsushita Electric Ind Co Ltd 不正使用防止装置及び方法、並びに不正使用防止機能付き機器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111517A (en) * 1996-12-30 2000-08-29 Visionics Corporation Continuous video monitoring using face recognition for access control
JP2000278658A (ja) 1999-03-25 2000-10-06 Kyocera Corp 携帯テレビ電話端末
US6819219B1 (en) * 2000-10-13 2004-11-16 International Business Machines Corporation Method for biometric-based authentication in wireless communication for access control
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2002330318A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2003067731A (ja) * 2001-08-28 2003-03-07 Nec Corp 携帯無線端末装置
JP2003099675A (ja) * 2001-09-20 2003-04-04 Sony Corp 課金対象機器の管理システムおよび管理方法、管理装置、課金対象機器、記録媒体、プログラム
JP2005001642A (ja) * 2003-04-14 2005-01-06 Fujitsu Ten Ltd 盗難防止装置、監視装置、及び盗難防止システム
US7088220B2 (en) * 2003-06-20 2006-08-08 Motorola, Inc. Method and apparatus using biometric sensors for controlling access to a wireless communication device
JP2005063077A (ja) 2003-08-08 2005-03-10 R & D Associates:Kk 個人認証方法、個人認証装置及びコネクタ
EP1521161A3 (en) 2003-09-25 2006-03-15 Matsushita Electric Industrial Co., Ltd. An apparatus and a method for preventing unauthorized use and a device with a function of preventing unauthorized use
US8159561B2 (en) * 2003-10-10 2012-04-17 Nikon Corporation Digital camera with feature extraction device
US20050273626A1 (en) * 2004-06-02 2005-12-08 Steven Pearson System and method for portable authentication
US20070009139A1 (en) * 2005-07-11 2007-01-11 Agere Systems Inc. Facial recognition device for a handheld electronic device and a method of using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969152A (ja) * 1995-09-01 1997-03-11 Nippon Yunishisu Kk 表面画像採取装置
JP2005122700A (ja) * 2003-09-25 2005-05-12 Matsushita Electric Ind Co Ltd 不正使用防止装置及び方法、並びに不正使用防止機能付き機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171259A (ja) * 2008-01-16 2009-07-30 Nec Corp 顔認証による画面切替装置、方法、プログラム及び携帯電話機
JP2009252650A (ja) * 2008-04-09 2009-10-29 Nec Saitama Ltd 情報端末の照明制御装置、照明制御方法及び制御プログラム
JP2013138313A (ja) * 2011-12-28 2013-07-11 Canon Inc 撮像装置およびその制御方法
JP2014112822A (ja) * 2012-11-06 2014-06-19 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Also Published As

Publication number Publication date
KR100910289B1 (ko) 2009-08-03
CN101228493A (zh) 2008-07-23
WO2007013307A1 (ja) 2007-02-01
EP1916588B1 (en) 2019-04-03
EP1916588A4 (en) 2014-12-10
CN101228493B (zh) 2010-10-13
US20100164684A1 (en) 2010-07-01
KR20080015877A (ko) 2008-02-20
EP1916588A1 (en) 2008-04-30
US8279043B2 (en) 2012-10-02
HK1119801A1 (en) 2009-03-13

Similar Documents

Publication Publication Date Title
JP2007036928A (ja) 携帯情報端末装置
JP4471898B2 (ja) 携帯情報端末装置
JP4646734B2 (ja) 携帯情報端末装置
CN105531623A (zh) 影像记录装置和摄像功能控制程序
KR100990434B1 (ko) 휴대용 단말기 및 휴대용 단말기로 촬영한 영상의 관리방법
JP5322969B2 (ja) 認証方法及び認証処理装置
JP4646731B2 (ja) 携帯情報端末装置
JP4841687B2 (ja) 携帯情報端末装置の認証情報登録方法
JP4476194B2 (ja) 携帯情報端末装置
JP2005123817A (ja) 携帯通信端末
JP4747894B2 (ja) 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
JP5042009B2 (ja) 携帯端末装置
HK1119801B (en) Mobile information terminal device
JP5523001B2 (ja) 電子機器、ロック解除方法、プログラムおよび記録媒体
CN113542498B (zh) 终端解锁方法及装置
JP2005027002A (ja) 通信機能付カメラ
KR101215314B1 (ko) 화면 보호 기능을 갖는 휴대용 단말기 및 이를 이용한 촬영방법
HK1119887B (en) Mobile information terminal apparatus
KR20030060710A (ko) 무선통신 단말기에서 비밀번호 오입력에 따른 화상 신호자동 전송 방법
JP2006101196A (ja) インターホンシステム
KR20100078147A (ko) 휴대용 단말기의 이미지 데이터 저장 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100611

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100727