[go: up one dir, main page]

JP2021145785A - プログラム、情報処理装置及び端末装置 - Google Patents

プログラム、情報処理装置及び端末装置 Download PDF

Info

Publication number
JP2021145785A
JP2021145785A JP2020046749A JP2020046749A JP2021145785A JP 2021145785 A JP2021145785 A JP 2021145785A JP 2020046749 A JP2020046749 A JP 2020046749A JP 2020046749 A JP2020046749 A JP 2020046749A JP 2021145785 A JP2021145785 A JP 2021145785A
Authority
JP
Japan
Prior art keywords
display
camera
image
distance
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020046749A
Other languages
English (en)
Inventor
悟士 尾崎
Satoshi Ozaki
悟士 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020046749A priority Critical patent/JP2021145785A/ja
Priority to PCT/JP2021/005695 priority patent/WO2021186990A1/ja
Priority to CN202180020046.8A priority patent/CN115279254A/zh
Priority to EP21772038.2A priority patent/EP4122376A4/en
Priority to US17/910,469 priority patent/US12200354B2/en
Publication of JP2021145785A publication Critical patent/JP2021145785A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】直接見ることができない画像を適切に撮影する。【解決手段】プロセッサに、第1カメラが取得した第1画像において第1ターゲットを検出すること、検出した前記第1カメラから前記第1ターゲットまでの経路の長さを推定すること、前記経路の長さに基づいて、第2カメラが取得した第2画像の表示を切り替え、前記第2画像において第2ターゲットの位置を調整する指標を合成すること、を実行させるプログラム。【選択図】図１

Description

本開示は、プログラム、情報処理装置及び端末装置に関する。
眼科の診断において、患者がスマートホン等の端末装置を用いて自身の眼の画像を撮影し、AI等の処理により簡易診断を手元で行うということが望まれている。例えば、簡易診断を行うことにより病院へ行く必要があるか無いかを判断したり、この簡易診断結果又は画像を医者へ送信して医者が診断結果や画像等から遠隔で簡易診断よりは少し詳細な診断をしたり、といったことも考えられる。
しかしながら、このような画像を取得するためには、端末に付属しているレンズを眼にかなり近づけて撮影する必要がある。このため、撮影対象である自らの顔の一部を撮影時に確認することができるインカメラを用いたとしても、患者がスマートホンの画面を見ることは困難である。すなわち、診断に適している画像を撮影できているのかどうかを撮影のタイミングにおいて確認することが困難である。また、眼には限られず、患者自らが適切に顔の肌、口の中等の画像をうまく撮影することも望まれる。
特開2014-526312号公報
そこで、本開示は、ユーザが直接見ることができない画像を適切に撮影することを実現する。
一実施形態によれば、プログラムは、プロセッサに、第1カメラが取得した第1画像において第1ターゲットを検出すること、検出した前記第1カメラから前記第1ターゲットまでの経路の長さを推定すること、前記経路の長さに基づいて、第2カメラが取得した第2画像の表示を切り替え、前記第2画像において第2ターゲットの位置を調整する指標を合成すること、を実行させる。
前記第1ターゲットは、ユーザの顔であってもよく、前記第2ターゲットは、前記ユーザの眼であってもよい。
前記プロセッサは、ディスプレイと、前記第1カメラと、前記第2カメラと、を備え、前記第1カメラが前記ディスプレイの表示面と同じ面に備えられ、前記第2カメラが前記ディスプレイの表示面と逆の面に備えられる端末装置、において取得された前記第1画像及び前記第2画像を処理するものであってもよい。
前記プロセッサに、さらに、前記第1カメラより取得された鏡に反射した前記顔の領域を推定すること、前記顔の領域に基づいて、前記鏡から前記顔までの距離及び前記鏡から前記端末装置までの距離のうち少なくとも一方を推定すること、前記距離が所定距離よりも短い場合と、前記所定距離以上である場合とで、前記第2画像の表示を切り替えること、を実行させてもよい。
前記プロセッサに、前記第2カメラを備える端末装置から、前記端末装置の外部に存在するディスプレイまでの距離を、前記ディスプレイに備えられる前記第1カメラが反射を介さずに取得した前記第1画像に基づいて推定すること、前記距離が所定距離よりも短い場合と、前記所定距離以上である場合とで、前記第2画像の表示を切り替えること、を実行させてもよい。
前記プロセッサに、前記眼の少なくとも一部が所定範囲内に収まるように前記指標を生成すること、を実行させてもよい。
前記プロセッサに、少なくとも前記眼の瞳孔が所定範囲内に収まるように前記指標を生成すること、を実行させてもよい。
前記プロセッサに、少なくとも前記眼の虹彩が所定範囲内に収まるように前記指標を生成すること、を実行させてもよい。
前記プロセッサに、前記眼の内部の解析をすること、を実行させてもよい。
前記プロセッサに、前記眼の内部の画像を送信すること、を実行させてもよい。
前記プロセッサに、前記虹彩に基づいた認証をすること、を実行させてもよい。
前記プロセッサに、前記ディスプレイに、前記第2画像及び前記指標を表示すること、を実行させてもよい。
前記第1ターゲットは、ユーザの顔であってもよく、前記第2ターゲットは、前記ユーザの顔の肌、又は、前記ユーザの口腔内であってもよい。
一実施形態によれば、情報処理装置は、プロセッサを備え、前記プロセッサは、ディスプレイの表示面と同じ方向を撮影する第1カメラにより撮影されたユーザ及び端末装置についての第1画像に基づいて、前記ディスプレイから前記ユーザまでの距離を推定し、前記端末装置に備えられる第2カメラにより撮影された第2画像を前記距離に基づいて切り替え、指標を合成した画像を前記ディスプレイに出力する。
一実施形態によれば、ディスプレイと、前記ディスプレイの表示面と同じ方向を撮影する、第1カメラと、前記ディスプレイの表示面と逆の方向を撮影する、第2カメラと、プロセッサと、を備える、端末装置であって、前記プロセッサは、前記第1カメラにより撮影された鏡に反射したユーザの顔及び前記端末装置についての第1画像に基づいて、前記鏡から前記顔までの距離及び前記鏡から前記端末装置の距離、のいずれか一方を推定し、前記第2カメラにより撮影された第2画像を前記距離に基づいて切り替え、指標を合成した画像を前記ディスプレイに出力する。
上記のプログラム、又は、上記の情報処理装置若しくは上記の端末装置のプロセッサに処理をさせるプログラムによって、前記プロセッサは、前記指標に基づいて、適切な位置に第2カメラがいるかを判断し、判断結果に基づいた前記指標を生成してもよい。
上記のプログラム、又は、上記の情報処理装置若しくは上記の端末装置のプロセッサに処理をさせるプログラムによって、前記プロセッサは、前記指標に鏡文字で構成された情報を付与してもよい。
上記のプログラム、又は、上記の情報処理装置若しくは上記の端末装置のプロセッサに処理をさせるプログラムによって、前記プロセッサは、前記指標に色情報を付与してもよい。
上記のプログラム、又は、上記の情報処理装置若しくは上記の端末装置のプロセッサに処理をさせるプログラムによって、前記プロセッサは、前記指標に基づいて、適切な位置に第2カメラがいるかを判断し、判断結果に基づいて、音を出力してもよい。
上記のプログラム、又は、上記の情報処理装置若しくは上記の端末装置のプロセッサに処理をさせるプログラムによって、前記プロセッサは、前記指標に基づいて、適切な位置に第2カメラがいるかを判断し、判断結果に基づいて、振動を出力してもよい。
上記のプログラム、又は、上記の情報処理装置若しくは上記の端末装置のプロセッサに処理をさせるプログラムによって、前記プロセッサは、TOFセンサからの出力に基づいて、前記距離を推定してもよい。
上記のプログラム、又は、上記の情報処理装置若しくは上記の端末装置のプロセッサに処理をさせるプログラムによって、前記プロセッサは、前記端末装置と前記ディスプレイとの間の通信状態により、前記距離を推定してもよい。
上記のプログラム、又は、上記の情報処理装置若しくは上記の端末装置のプロセッサに処理をさせるプログラムによって、前記プロセッサは、前記ユーザの視力に基づいて、前記第2画像を切り替えてもよい。
一実施形態によれば、サーバは、上記プロセッサにおける処理の少なくとも一部を実行する第2のプロセッサを備える。
一実施形態によれば、非一時的コンピュータ可読媒体は、上記のプロセッサに処理を実行させるプログラムを記録している。
一実施形態に係る端末装置の概略を示す図。 一実施形態に係る端末装置の機能を示す図。 一実施形態に係る端末装置の使用例を模式的に示す図。 一実施形態に係る端末装置の一例を示す図。 一実施形態に係るディスプレイの表示例を示す図。 一実施形態に係るディスプレイの表示例を示す図。 一実施形態に係るディスプレイの表示例を示す図。 一実施形態に係る処理を示すフローチャート。 一実施形態に係る処理を示すフローチャート。 一実施形態に係る距離推定についての情報を示す図。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る処理の一部を示すフローチャート。 一実施形態に係る端末装置の概略を示す図。 一実施形態に係る端末装置の使用例を模式的に示す図。 一実施形態に係るディスプレイの表示例を示す図。 一実施形態に係る端末装置の使用例を模式的に示す図。 一実施形態に係る端末装置の使用例を模式的に示す図。 一実施形態に係る端末装置の使用例を模式的に示す図。 一実施形態に係る端末装置の概略を示す図。
以下、図面を用いて本開示における実施形態について説明する。説明においては、スマートホンを用いているが、これに限定されるものではなく、インカメラとアウトカメラを有する携帯端末、例えば、フィーチャーホン、タブレット端末等であれば同様に処理することが可能である。
本開示において、「カメラ」とは、所定波長の電磁波を集光し、集光された電磁波を感知して電気信号に変える機能を備える広義の意味でのデバイスであり、一般的なスマートホン等に搭載されるカメラ等に限定されるものではない。ここで、所定波長は、例えば、可視光、赤外光といった範囲で表されるものであってもよい。また、測距に用いるカメラは、例えば、音波、超音波の反射により、ターゲットの位置を推定するデバイスであってもよい。
本開示において、「面の方向」とは、面の法線方向とする。例えば、ディスプレイの表示面の方向とは、ディスプレイの表示面と垂直な方向のことを示す。より具体的には、スマートホンのディスプレイ側に備えられているカメラ（インカメラ）の撮影方向のことであってもよい。
図１は、一実施形態に係る端末装置の構成を示すブロック図である。端末装置1は、第1カメラ10と、第2カメラ12と、入出力I/F 14と、メモリ16と、プロセッサ18と、を備える。端末装置1は、例えば、スマートホンであり、スマートホンである場合、入出力I/F 14としてタッチスクリーンを備え、当該タッチスクリーンと同じ面に第1カメラ10を、逆の面に第2カメラ12を備える。なお、端末装置1がこの構成のみを備えることに限定されるものではなく、この他に端末装置1の機能を発揮するための構成が備えられる。
第1カメラ10は、例えば、所謂インカメラであり、ディスプレイ（タッチスクリーン）の方向と同じ方向を撮影する。第1カメラ10は、例えば、ディスプレイを見ながらユーザ自身及び端末装置1から向かってユーザの後方を撮影するために用いられる。
第2カメラ12は、例えば、所謂アウトカメラであり、ディスプレイと逆の面に備えられ、ディスプレイと逆の方向法を撮影する。なお、両面にディスプレイが備えられる端末装置においては、例えば、メインのディスプレイ側に備えられるのが第1カメラ10、サブのディスプレイ側に備えられるのが第2カメラ12としても良い。
一般的に、ディスプレイ側に備えられる第1カメラ10よりも高性能、例えば、高解像度、高感度であることが多い。このため、詳細を知りたい情報については、第2カメラ12で撮影を行うことが望ましい。例えば、眼の画像を取得し、眼の見た目及び内部について何らかの判断を行う場合には、第2カメラ12により眼の画像を取得することが望ましい。
入出力I/F 14は、端末装置1と外部との情報を入出力するためのインタフェースである。入出力I/F 14は、例えば、ディスプレイ、タッチパネル、通信I/F、マイク、スピーカ、物理スイッチ等を含む。また、端末装置1がPC等の場合は、キーボード、マウス等を含んでもよい。端末装置1がスマートホンである場合、例えば、タッチスクリーンから画像を出力し、ユーザからの入力を受け付ける。
メモリ16は、端末装置1における情報処理に用いるデータを格納する。このメモリ16は、例えば、不揮発性又は揮発性のストレージを備えていてもよく、この種類は、限定されるものではない。また、単純に写真、音声、書類等のデータを保管するメモリであってもよい。
プロセッサ18は、端末装置1における情報処理を実行する。このプロセッサ18は、例えば、CPU（Central Processing Unit）の他、GPU（Graphics Processing Unit）等のアクセラレータを備えていてもよい。例えば、本実施形態に係る情報処理は、このプロセッサ18がメモリ16に記憶されているプログラムを実行することによりハードウェアにより具体的に実行される。また、カメラの撮影、ディスプレイの表示等もこのプロセッサ18が制御する。
図２は、本実施形態における端末装置1のプロセッサ18が実現する機能の一部を示す図である。以下、説明においては、スマートホンを用いて説明するが、本実施形態は、これに限られるものではなく、表面と裏面とにカメラが備えられ、そのうち1つがディスプレイ側に備えられるデバイス、例えば、タブレット型端末やフィーチャーホンにも適用することが可能である。また、これらとは異なる形態については、後述する。
端末装置1は、第1処理部100と、第2処理部120により処理を実現することができる。これらの処理部は、例えば、プロセッサ18により実装される。
第1処理部100は、第1カメラ10と、顔検出部102と、距離推定部104と、UI選択部106と、を備える。この第1処理部100は、第1カメラ10が取得する情報に基づいた処理を実行する。第1カメラ10は、上述した通りの機能を有する。
図３は、一実施形態に係る情報処理を実行する際の端末装置1の使用について概略を示す図である。ユーザPは、端末装置1を顔の前、例えば、第2カメラ12が眼をとらえるように鏡Mとの間に保持する。そして、ユーザPは、鏡Mに反射したディスプレイを確認することにより、撮影する画像の位置調整を行う。
図４は、一実施形態に係る端末装置1の一例を示す図である。この図に示すように、端末装置1は、出力部140の一部としてディスプレイ142を備える。ディスプレイ142は、例えば、タッチスクリーンである。第1カメラ10は、ディスプレイ142と同じ面である表面に備えられ、裏面に、第2カメラ12が備えられる。また、図４においては、明示的にディスプレイ142と第1カメラ10が示されているが、これには限られず、例えば、第1カメラ10は、ディスプレイ142に重なって配置されてもよい。なお、表面、裏面は、相対的に決定されるものであり、名称は、これに限定されるものではない。
第1処理部100は、図４における配置において第1カメラを用いてユーザPと鏡Mとの距離に基づいて、ディスプレイ142に出力する第2画像のUIを選択する処理を実行する。例えば、距離dが所定距離未満の場合には、近距離用のUIを選択し、距離dが所定距離以上である場合には、遠距離用のUIを選択し、UIを切り替える。所定距離は、第1所定距離 < 第2所定距離を満たす幅を有する値であってもよく、この場合、初期状態として遠距離UIを選択しておき、距離d < 第1所定距離となった場合に近距離UIへと切り替え、第2所定距離 < 距離dとなった場合に遠距離UIへと切り替える選択をしてもよい。
なお、本開示において、以下、以上、未満、より大きいは、柔軟に使用されるものであり、以下-より大きい、未満-以上の組み合わせは、入れ替えても良いものであるとし、不等号においても同様である。
図２における顔検出部102は、第1カメラ10が取得した情報から、ユーザPの顔領域の検出を実行する。例えば、第1カメラ10は、ユーザPが反射している鏡Mの情報を第1画像として取得する。この画像は、静止画であってもよいし、動画であってもよい。
距離推定部104は、顔検出部102が検出したユーザPの顔（第1ターゲット）領域の検出結果に基づいて、ユーザPと鏡Mの間の距離dを推定する。なお、この距離は、ユーザPと鏡Mではなく、端末装置1（又は第1カメラ10）と鏡Mの距離であってもよい。
UI選択部106は、距離推定部104が推定した距離dに基づいて、ディスプレイに表示するUI（ユーザインタフェース）を選択する。
第2処理部120は、第2カメラ12と、眼検出部122と、判定部124と、を備える。この第2処理部120は、第2カメラ12が取得する情報に基づいた処理を実行する。第2カメラ12は、上述した通りの機能を有する。
眼検出部122は、第2カメラ12が取得した情報から、ユーザPの眼（第2ターゲット）の位置を検出する。眼検出部122は、例えば、ユーザPの眼の瞳孔の位置の検出、又は、ユーザPの眼の虹彩の位置の検出を行う。第2カメラ12は、例えばユーザPの顔の一部の情報を第2画像として取得する。この画像は、静止画であってもよいし、動画であってもよい。
判定部124は、眼検出部122が検出した眼の情報を含む第2画像を第2カメラ12が取得した後に、当該第2画像に基づいて、判定を行う。この判定は、例えば、異常が認められるので検査を受けた方が良い、又は、特に異常は認められない、といった判定である。
出力部140は、判定部124が判定した結果を出力する。
また、出力部140は、ディスプレイ142を介して出力しても良い。ディスプレイ142に第2画像を出力することにより、鏡Mを介してユーザPへと第2画像を出力する。この出力する第2画像は、UI選択部106により選択されたUIに基づいて生成される。
図５は、ディスプレイ142に出力する遠距離用のUIが選択された場合の第2画像の例を示す図である。端末装置1は、例えば、眼の画像の判定用のアプリケーションを起動することにより、上記の機能を実行できる状態にする。このディスプレイ142に表示されている第2画像は、遠距離UIがアプリケーション上で適用されたものである。右に示す図は、端末装置1のディスプレイ142を示す図である。左図においては、鏡Mに反射しているため、左右の端末装置1は、左右が反転している。
図にしめすように、ディスプレイ142には、指標（以下、ナビゲーションNとする。）と、虹彩の領域Rirが表示される。ナビゲーションNは、出力部140において設定されるものであり、ユーザPにこの範囲に虹彩が入るように指示をする指標である。すなわち、端末装置1は、アプリケーションを用いて、まずこのナビゲーションNを生成し、それぞれの距離に応じた第2画像へと合成する。
虹彩の領域Rirは、第2カメラ12が取得した画像において、ユーザPの虹彩の領域を抽出して表示したものである。これは、瞳孔の領域としても良い。遠距離UIでは、例えば、この領域内をナビゲーションNの色とは異なる所定の色で塗りつぶして表示する。遠距離UIでは、ユーザPが鏡Mからある程度（所定の距離よりも遠く）離れている場合には、デフォルメしてナビゲーションNと合成された第2画像をディスプレイ142に出力する。このようにすることで、ユーザPが鏡Mから離れている場合にわかりやすい表示として眼の位置の調整、すなわち、ユーザPの顔に対する端末装置1の位置の調整をすることが可能となる。
虹彩の領域Rirは、円形であるように示されているが、例えば、まぶたが虹彩にかぶっている場合には、まぶたによる欠けを表現してもよい。もっとも、虹彩の一部が画像において欠けている場合においても、虹彩の領域Rirを推定し、円形で示しても良い。
また、虹彩では無く、瞳孔の画像を取得するべく、瞳孔の領域を調整するようにしてもよい。
図６は、ディスプレイ142に出力する近距離用のUIが選択された場合の第2画像の例を示す図である。このディスプレイ142に表示されている第2画像は、近距離UIが適用されたものである。右に示す図は、端末装置1の拡大図である。
図に示すように、ディスプレイ142には、ナビゲーションNと、虹彩Irと、瞳孔Puが表示される。上記と同様に、ユーザPは、ナビゲーションNに虹彩Irが収まるように端末装置1の位置を調整する。上記と同様に、虹彩Irではなく、瞳孔Puの位置を調整するものであってもよい。
図５とは異なり、より詳細な眼の状態を第2画像として出力する。近距離UIにおいては、例えば、第2カメラ12が取得した情報を特にデフォルメせずに表示しても良い。このように表示することにより、ユーザPは、より正確に撮影位置の調整を行うことができる。
図７は、一実施形態におけるナビゲーションNの例を示す図である。例えば、ディスプレイ142には、遠距離UIを用いた第2画像が出力されている。
ナビゲーションNは、眼Eの位置があっていない場合に、位置が合うようにインジケータを表示させてもよい。例えば、このインジケータは、図に示すように矢印で示される。ユーザPは、鏡Mに写った第2画像における矢印方向に端末装置1をずらすことにより位置合わせをすることができる。
インジケータは、矢印には限られず、例えば、より単純な三角形で表されても良い。また、ディスプレイ142全体を使用するように大きな矢印を薄い色で表示する等してもよい。また、位置を調整する距離が長いほど長い矢印、濃い矢印、等、表示を変化させてもよい。
また、位置の調整がずれている場合とうまくいっている場合とで、ナビゲーションNの色を変化させてもよい。例えば、最初は赤の円で示されるが、位置調整の精度が上がるほど緑となるようにグラデーション的に色が変化してもよい。
また、表示だけには限られず、例えば、位置が離れているほど大きな音が鳴るように出力部140は、ステレオ等を制御してもよい。別の例として、出力部140は、位置が離れているほど振動が大きくなるようにバイブレータを制御しても良い。
このユーザPが行う一連の作業中において、指がディスプレイ142に触れてしまうことがある。このような場合に特別な処理、例えば、アプリケーションの最小化、停止等をしないように、タップ、スワイプ等に反応する処理を制御しても良い。
図８は、一実施形態に係る上記の処理をフローチャートにまとめたものである。このフローチャートを用いて、処理について説明する。
まず、顔検出部102は、第1カメラ10を用いて鏡Mに反射したユーザPの画像を取得し、この画像からユーザPの顔を検出する（S10）。
図９は、この顔検出のサブルーチン（S10）を示すフローチャートである。顔検出部102は、例えば、学習済みのニューラルネットワークモデルを用いて顔検出推論を実行する（S100）。このニューラルネットワークは、例えば、人間の顔の一部が隠されていても顔を検出できるモデルとして最適化されていることが望ましい。
このモデルは、例えば、顔を含む画像と顔位置の矩形ラベルがついた大量のデータを訓練データとして使用して、予め機械学習を実行して最適化する。最適化されたモデルのパラメータを、例えば、メモリ16に格納し、顔検出部102は、このモデルに関するハイパーパラメータ及びパラメータをロードすることにより、モデルを形成して推論を実現する。検出結果は、例えば、矩形で示されても良いし、顔の領域が曲線で抽出できるものであってもよい。訓練データとして、例えば、マスクをしているデータを含んでも良い。この場合、マスクをしている状態においても、顔の検出をする確率を向上させることができる。
次に、顔検出部102は、検出した顔における顔の幅を記録する（S101）。記録は、例えば、メモリ16にデータを格納することにより実行される。顔の幅は、例えば、ピクセル単位で記録される。顔検出部102は、例えば、顔の領域が矩形で得られている場合には、当該矩形領域の水平方向のピクセル数を取得し、顔の領域が曲線で抽出されている場合には、一番広い水平方向のピクセル数を取得する。
なお、顔検出部102は、例えば、鏡Mの前に複数の人間がいた場合等において、第1画像において複数の顔を検出することがある。この場合には、上記の顔の幅が最大となるものをユーザPの位置と判断し、この幅をメモリ16に格納してもよい。
顔検出部102は、上記の処理により顔の検出推論を実行する。顔の検出ができなかった場合には、できなかったことを記録する。この記録は、例えば、一時変数としてフラグを立てることにより実行されてもよい。
次に、プロセッサ18は、顔が検出できたか否かを判定する（S11）。
顔の検出ができた場合（S11：YES）、距離推定部104は、ユーザPと鏡Mとの距離を推定する（S12）。この距離推定は、ステップS10で取得した顔の幅の推定値及び第1カメラ10の仕様に基づいて実行される。
図１０は、上図がディスプレイ142に表示された第1画像を示し、下図が当該第1画像を撮影する場合の図３の状態を上から見た平面図である。
第1画像において、ユーザPの顔の幅は、Kピクセルであるとする。そして、第1カメラ10の仕様から取得した、第1画像全体の画素数がWピクセル、画角がθラジアンであるとする。下図における点線は、第1カメラ10をピンホールカメラであると仮定した場合の光学系と像面との位置を示す。スマートホン等に搭載されるインカメラは、被写界深度を深くするため、このような仮定をすることにより数mm単位の誤差は発生するものの、本開示における手法においては大きな問題とはならない。また、ユーザPの顔の位置が、顔の端部（実際には鏡に映るので、鏡像の顔の端部）と像面とにおける顔の端部とを結ぶ線が光軸と平行になっているが計算の簡単のためであり、結果には影響しない。なお、本図は、説明のため、縮尺がずれて描かれているが、実際には、f及びWは、図よりは比率が小さいものである。
KとWとを下図に反映すると、図に示すように、像面におけるピクセル単位での大きさとなる。第1カメラ10の焦点距離をfピクセルで表す。すると、三角形の相似関係により、以下の式が成り立つ。
Figure 2021145785
 ここで、zは、ユーザPと鏡Mとの距離dの2倍の距離であり、kは、実際のユーザPの顔の幅の大きさである。
また、焦点距離fは、画角θとWを用いて以下のように表すことができる。
Figure 2021145785
(2)式を(1)式に代入すると以下の式が得られる。
Figure 2021145785
θ、Wは、第1カメラ10の仕様より既知であり、Kは、第1画像より取得することができる。このため、kの値が分かれば、zを求めることができる。例えば、人間の顔の幅を20cm等と仮定することにより、このzを求めることができる。このkの仮定に関しても、本開示における影響は小さい。このkは、例えば、年齢、性別、人種等で別の値としても良い。また、ユーザPがこのkの値を入力してもよい。
上記の式と、kの値に基づいて、プロセッサ18は、zの値、そして、ユーザPと鏡Mとの距離dの値を算出する（S12）。なお、第1カメラ10に固有の値は、例えば、端末装置1にアプリケーションをインストールする時点で種々の端末装置1に関する値を記録しているデータベース等に基づいて決定されても良い。例えば、スマートホンであれば、スマートホンの仕様書から抽出された値を格納しておき、インストール時にインストーラが端末装置1の機種を判別して、これらの値を取得しても良い。また、テストチャートを使用する等、何らかの形で測定し、その値を設定してもよい。
図８に戻り、処理の続きを説明する。
次に、UI選択部106は、近距離UI又は遠距離UIのいずれかを表示に用いるかを選択する（S13）。
図１１は、UI表示選択処理を示すフローチャートである。
UI選択部106は、S12において推定された距離dが、しきい値以下であるか否かを判定する（S130）。なお、距離dとの比較としたが、上記の距離zを用いてもよい。この場合、しきい値を2倍すれば良い。
距離dがしきい値以下である場合（S130：YES）、UI選択部106は、近距離UIを選択して、この結果を記憶する（S131）。一方で、距離dがしきい値よりも大きい場合（S130：NO）、UI選択部106は、遠距離UIを選択して、この結果を記憶する（S132）。記憶は、メモリ16にされてもよい。このように、UI選択部106は、ユーザPと鏡Mとの位置関係により、表示するUIを切り替える。
図８に戻り、表示選択（S13）がされた後、又は、顔が検出できなかった場合（S11：NO）、眼検出部122は、第2画像において瞳孔・虹彩の検出処理を実行する（S14）。S11でNOと判定された場合に、S14の処理に移行するのは、第1カメラ10においては顔が検出できないものの、第2カメラ12において眼が検出できる可能性があるからである。例えば、ユーザPの手等の顔以外の場所が顔の大半を覆っており、顔検出ができないことが考えられる。
図１２は、瞳孔・虹彩検出処理のサブルーチン（S14）を示すフローチャートである。眼検出部122は、例えば、学習済みのニューラルネットワークモデルを用いて瞳孔、虹彩の検出推論を実行する（S140）。
このモデルは、例えば、瞳孔・虹彩を含む眼の画像の矩形ラベルがついた大量のデータを訓練データとして使用して、予め機械学習を実行して最適化する。最適化されたモデルのパラメータを、例えば、メモリ16に格納し、眼検出部122は、このモデルに関するハイパーパラメータ及びパラメータをロードすることにより、モデルを形成して推論を実現する。検出結果は、例えば、円形で示されても良いし、顔の領域が曲線で抽出できるものであってもよい。
また、このようなモデルを使用するには限られず、例えば、ハフ変換等により円状のものを検出する処理であってもよい。ハフ変換を実行した後にさらにニューラルネットワークモデルを用いて推論するものであってもよい。また、スネーク処理等により、輪郭を抽出した後にハフ変換、ニューラルネットワークモデルを用いる等してもよい。これらに限られず、円状のものを抽出できる処理を、ニューラルネットワークモデルに入力する前処理としても良い。また、例えば、ニューラルネットワークモデルを用いずに、ほぼ中心が一致する2つの大きさの異なる円を瞳孔、虹彩として抽出しても良い。
次に、眼検出部122は、検出した瞳孔、虹彩の領域を記録する（S141）。記録は、例えば、メモリ16にデータを格納することにより実行される。瞳孔、虹彩は、両方を検出する必要は無く、用途に応じて、瞳孔のみ、又は、虹彩のみを検出する処理としても良い。
図８に戻り、プロセッサ18は、検出された瞳孔、虹彩の大きさが適切な大きさであるか否かを判断する（S15）。瞳孔、虹彩の大きさが適切である場合（S15：YES）、判定部124が解析、判定処理を実行する（S16）。
図１３は、解析・判定処理のサブルーチン（S16）を示すフローチャートである。判定部124は、例えば、学習済みニューラルネットワークモデルを用いて瞳孔、虹彩内に異常があるか否か、また、疾患がある場合には、どの程度進行しているかを判定する（S160）。
このモデルは、例えば、眼の画像と疾患の進行度を表す値が紐付けられた大量のデータを訓練データとして使用して、予め機械学習を実行して最適化する。最適化されたモデルのパラメータを、例えば、メモリ16に格納し、判定部124は、このモデルに関する得ハイパーパラメータ及びパラメータをロードすることより、モデルを形成して推論を実現する。
また、この訓練データは、様々な手法により取得されても良い。例えば、フラッシュが当たっている状態におけるデータや赤外線カメラのデータを用いてもよい。第2カメラ12で取得することができるデータに基づいて、種々のデータを用いた訓練を実行しても良い。この場合、それぞれの種類の訓練データを用いて複数のモデルを最適化しておいても良く、判定部124は、第2カメラ12の取得できるデータ、又は、第2画像を取得したタイミングにおける撮影状況（例えば、フラッシュをオンにしていた、赤外線を受光した等の状況）に基づいて、モデルを変更して推論を実行しても良い。また、1度の判定で複数の第2画像を用いてもよい。
次に、判定部124は、判定した進行度を記録する（S161）。記録は、例えば、メモリ16にデータを格納することにより実行される。上述したように、進行度は、数値で表されても良く、この場合、判定部124は、メモリ16にこの数値を進行度として記憶する。
なお、このタイミングにおいて、プロセッサ18は、メモリに、第2カメラ12により取得されたユーザPの瞳孔・虹彩の画像を格納してもよい。
図８に戻り、出力部140は、種々の状態を出力する（S17）。
図１４は、出力部140の出力処理のサブルーチン（S17）を示すフローチャートである。出力部140は、まず、進行度の推定結果があるか否かを判定する（S170）。進行度の推定結果は、例えば、メモリ16に記憶されているので、出力部140は、メモリ16を参照することにより、この判定を行う。
進行度の推定結果が無い場合（S170：NO）、瞳孔・虹彩領域の検出がされているか否かを判定する（S171）。瞳孔・虹彩領域の検出結果は、例えば、メモリ16に記憶されているので、出力部140は、メモリ16を参照することにより、この判定を行う。
瞳孔・虹彩領域が検出されている場合（S171:YES）、出力部140は、適性位置、大きさのズレを算出する（S172）。この処理は、瞳孔・虹彩が解析を行うための画像を取得する適切な位置からどれだけずれているか、及び、解析を行うのに適した大きさからどれだけずれているかを算出する。例えば、図５の右図にあるように、例えば、出力部140は、ディスプレイ142に解析を行うのに適した位置、大きさでナビゲーションNを表示する。出力部140は、このナビゲーションNの位置、大きさと、瞳孔・虹彩の領域とがどの程度ずれているかを算出する。
この位置及び大きさは、第2カメラ12の性能により決定されるものであり、上述の第1カメラ10の水平画角等のパラメータと同様にインストール時や実行時に取得され、設定されても良い。出力部140は、これらのズレの情報をメモリ16に記憶してもよい。
次に、出力部140は、UI選択部106が遠距離UIを選択したか否かを判定する（S173）。この判定は、UI選択部106がメモリ16に記録した情報に基づいて実行される。
遠距離UIを選択している場合（S173：YES）、出力部140は、例えば、図５に示すような遠距離UIを用いて第2画像をディスプレイ142に出力する（S174）。一方で、近距離UIを選択している場合（S173：NO）、出力部140は、例えば、図６に示すような近距離UIを用いて第2画像をディスプレイ142に出力する（S175）。ユーザPは、鏡Mに反射した遠距離UI又は近距離UIを用いたディスプレイ142に表示された第2画像を見ながら、眼の撮影位置、すなわち、端末装置1の位置を調整する。
S171において、瞳孔・虹彩領域が検出されていないと判定された場合（S171：NO）、出力部140は、ディスプレイ142に瞳孔又は虹彩が検出されていないことを出力する（S176）。例えば、ディスプレイ142に第2カメラ12が現在取得している画像をそのまま表示し、ユーザPに眼の位置を合わせるように要求する。別の例として、ディスプレイ142に「瞳孔、虹彩が検出されません」と鏡文字で表示して、鏡M越しにユーザPに読めるように文字出力をしてもよい。
S170において、進行度の推定結果があると判定された場合（S170：YES）、出力部140は、メモリ16から取得した進行度合いがしきい値以上である否かを判定する（S177）。
進行度合いがしきい値以上である場合（S177：YES）、医師の診察を推奨するUIを描画する（S178）。例えば、医師の診察を促すような文章を表示することにより、ユーザPに診察が推奨されることを伝達する。別の例としては、例えば、端末装置1の位置情報や予めユーザPにより設定された地域情報等により、近くにある病院を表示しても良いし、予約フォームに案内してもよい。また、出力部140は、ユーザPの判断に基づいて、医師に当該画像を送信することを促すUIを表示しても良い。ユーザPは、これらの描画結果に基づいて、病院に連絡したり、インターネット等を介して予約をしたり、又は、医師に自らの眼の画像を送信したりすることができる。送信する際には、端末装置1は、より精密な画像を取得するべく上記の種々のUIを用い、送信するための画像の再取得を実行しても良い。また、オプトイン等により、医師に自動的に画像が送信できる態様であってもよい。
進行度合いがしきい値未満である場合（S177：NO）、医師診察が非推奨である旨を示す描画をしてもよい（S179）。このように、出力部140は、判定部124における判定結果から医師の診察を受けた方が良いかを判断してユーザPへと出力する。
S178、又は、S179の出力が完了後、出力部140は、簡易判定の完了フラグをメモリ16に記憶してもよい。
図８に戻り、出力部140による出力が完了である場合（S18：YES）には、端末装置1は、処理を終了する。完了していない場合（S18：NO）には、S10からの処理を繰り返す。
なお、S10からS13の処理は、S14からS18の処理と比べて頻度を低くしてもよい。このように処理を行う場合、プロセッサ18は、例えば、S14からS18の処理を複数回繰り返した後に、S10からS13の処理を実行してもよい。
以上のように、本実施形態によれば、ユーザによる眼の簡易判定において、端末装置1と鏡Mとを用いて位置調整が簡単な処理を行うことができる。また、ユーザPと鏡Mとの距離に応じてディスプレイ142に表示するUIを変更することにより、判定を行うのに適切な範囲内でどのような距離にいても、端末装置1の位置調整をわかりやすく指標を表示することができる。
この判定処理は、端末装置1において閉じた状態であるので、プライバシー情報が気になるユーザも簡易判定を実施することが可能となる。逆に、自動的に画像を送信する設定でれば、ユーザPの手間を省くことが可能となる。
この他、判定処理を省き、S15において適切な大きさで検出できている場合には、第2カメラ12の画像を取得し、当該取得した画像をサーバに送信してサーバに置いて判定処理を実行してもよい。別の例として、取得した画像を医師へと送信し、医師が画像をみて判断することとしても良い。
（変形例1）
上記の実施形態においては、眼の瞳孔、虹彩を取得することにより、例えば、水晶体の濁り具合等を判定したが、これには限られない。例えば、フラッシュの点灯や、赤外線発信器及び赤外線センサを用いることにより水晶体よりも内部について、簡易的な判定を実現してもよい。
（変形例2）
瞳孔、虹彩に限られず、目全体を判定対象とし、目全体を撮影して判定を実行してもよい。プロセッサ18は、目全体の画像に基づいて、例えば、結膜炎等の種々の目に関する異常の判定を行ってもよい。
（変形例3）
さらには、目ではなく、顔の他の部分の判定を行ってもよい。例えば、肌や口腔内（のど、舌、歯等）等、人間が自分では見ることが困難であり、また、所謂インカメラを用いても画像を取得するのが困難である対象も、本実施形態と同様に取得することができる。
（変形例4）
図１５は、一変形例に係る端末装置1の構成を示すブロック図である。端末装置1は、さらに、傾き検出センサ20を備えていてもよい。
傾き検出センサ20は、例えば、複数の加速度センサやジャイロセンサを備えている。傾き検出センサ20は、端末装置1の傾きを検出して、上記の種々の計算、例えば、図14のような計算を実行してもよい。
例えば、端末装置1の筐体が大きい場合、ユーザPは、一方の目については、鏡M越しにディスプレイ142を見ることができるが、他方の目では、端末装置1越しに鏡Mが見づらいことがある。このような場合、図１６に示すように、端末装置1を90度傾けることがある。このように傾けても、傾き検出センサ20が傾きを検出することにより、上記の実施形態と同様に眼についての適切な第2画像を取得するためのナビゲーションをユーザPに対して出力することが可能となる。
なお、傾き検出センサ20がなくても、図１６のような場合に対応することは可能である。例えば、顔検出部102が顔を検出した場合に、第1画像における顔の上下方向の向きから、端末装置1の傾きを取得することもできる。
（変形例5）
上記においては、端末装置1のディスプレイ142の面と水平方向の移動だけに着目していたが、法線方向の動き、すなわち、端末装置1とユーザの顔との距離について、ユーザPに調整するように描画してもよい。
図１７は、端末装置1、より正確には第2カメラ12と、ユーザの眼の距離について、ユーザPに調整を促す表示の一例である。
例えば、出力部140は、図14におけるS172において、瞳孔・虹彩の大きさが適切では無い場合に、このようなUIを表示する。例えば、適正な大きさよりも虹彩の大きさが小さい場合、「少し遠いです」といった文字表示をユーザに表示しても良い。この場合、文字は、鏡文字として表示することにより、鏡M越しにユーザPは簡単に読むことが可能となる。逆に、適正な大きさよりも虹彩の大きさが大きい場合には、「少し近いです」といった表示をしてもよい。この他、より具体的にユーザに端末装置1の位置を調整してもらうべく「少し顔に近づけてください」「顔から遠ざけてください」といった直接的な指示を表示しても良い。
適切な位置及び大きさになった場合には、右図に示すように、撮影する旨を表示しても良い。このような表示がされることにより、例えば、ユーザPに瞬きをしばらくしないように促すこともできる。
この近い、遠い、ちょうど良い、といったインジケータは、文字だけでは無く、例えば、ナビゲーションNのリングの色を変えることによりユーザPに知らせても良い。別の例として、スピーカからの音、又は、バイブレーションによる振動によりユーザPに通知しても良い。色、音、振動の出力方法は、種々に考えられる。
例えば、色で知らせる場合、適性では無い場合は赤いリングを、適性に近づくにつれて緑のリングになるように表示しても良い。
例えば、音で知らせる場合、音声によりユーザPに直接的に指示しても良い。別の例として、低音又は高音の連続的又は断続的な音を発して、遠い、近い、ちょうど良いという状態を知らせても良い。
例えば、振動で知らせる場合、適性から離れるほど振動が大きくなる、又は、振動の感覚が短くなるように知らせても良い。
これらの例は一例として挙げたものであり、出力部140の動作は、これらの例に限定されるものではない。
このようにユーザPの顔と端末装置1との距離を調整する場合、第2カメラ12により取得された第2画像を用いて、ユーザPと顔との距離を測定しても良い。例えば、第2カメラ12とともに備えられる測距センサを用いることにより距離を測定しても良い。別の例として、第2画像中の虹彩の領域の大きさと、第2カメラ12の性能（例えば、上記の例でいうと第1カメラ10に対する画角θ、Wに対応する値）に基づいて距離を測定しても良い。人間の虹彩の大きさは、その直径がほぼ11〜12mmほどであるので、この値と例えば眼検出部122による虹彩の検出領域を用いることにより、ユーザPの顔、より具体的には眼と、端末装置1の距離を測定することが可能となる。
（変形例6）
図１８は、一変形例に係る端末装置1の使用例を示す図である。端末装置1は、鏡Mの代わりにディスプレイDとともに用いられるものであってもよい。第1カメラ10は、例えば、ディスプレイDに備えられる。そして、ディスプレイDには、第1カメラ10が取得したユーザP及び端末装置1の画像が表示される。
このような場合でも、前述の実施形態及び各変形例と同様の動作を行うことができる。ディスプレイD及び第1カメラ10は、例えば、ラップトップコンピュータに備えられるものであってもよい。この場合、端末装置1とラップトップコンピュータは、データを送受信することにより、上記の実施形態と同様の動作を実現できる。
全ての処理を端末装置1で行うのでは無く、上記に説明した処理は、適切に、端末装置1とラップトップコンピュータとで振り分けても良い。
また、コンピュータに付属している状態ではないモニタであってもよく、この場合、端末装置1とディスプレイD及び第1カメラ10は、有線又は無線の経路により接続され、ディスプレイDに表示されるデータ、及び、端末装置1における処理に用いるデータは、適切に伝送される。
図１９は、このような構成のさらに別の例であり、第1カメラ10の代わりに、測距センサ22を備える。測距センサ22は、例えば、TOFセンサである。このような測距センサ22を用いることにより、画像処理を行う場合よりも正確な距離を測定することができる可能性がある。このため、第1カメラ10の代わりに、測距センサ22をディスプレイDとともに備えてもよい。端末装置1は、測距センサ22が測定した距離情報に基づいて、UIを決定し、ディスプレイDに表示してもよい。
図２０は、さらに別の例であり、第1カメラ10の代わりに、無線通信装置を備える。例えば、Wi-Fi等によれば、電波状況により端末装置1との距離を推定することができる。適切に電波を発信、受信することにより、Wi-Fiのパラメータ等から端末装置1とディスプレイDとの距離を推定し、この距離情報に基づいて決定されたUIをディスプレイDに描画しても良い。すなわち、ディスプレイD側にある無線装置と、端末装置1の入出力I/F 14との通信状況に基づいて、距離を推定してもよい。また、GPS（Global Positioning System）等により取得された情報を用いてもよい。
なお、この方法は、ディスプレイDではなく、鏡Mを用いる場合に適用してもよい。すなわち、鏡Mの近くの無線装置と、端末装置1との間の通信状態に基づいて距離を推定してもよい。
（変形例7）
上記の変形例において測距センサは、ディスプレイD側に備えられていたが、これには限られない。例えば、図２１にしめすように、端末装置1が測距センサ26を備え、これを第1カメラの代わりに用いてもよい。
この場合、測距センサ26は、端末装置1から鏡Mまでの距離を測定する。端末装置1は、この距離に基づいてUIを決定しても良い。別の例として、さらに、ユーザPと端末装置1との距離を上述した方法により取得し、このユーザPと端末装置1の距離及び端末装置1と鏡Mの距離、に基づいてユーザPと鏡Mの距離を推定して、上記の各態様に適用してもよい。
（変形例8）
前述の全てにおいて、端末装置1は、例えば、ディスプレイ142がその側面の大きな領域を占めるものである。ディスプレイ142が単なる表示装置であれば特に問題は無いが、ディスプレイ142がタッチスクリーンである場合、ユーザPは、位置調整中及び判定中において、ディスプレイ142に触れてしまうことで、例えば、最小化する、アプリケーションを終了してしまう、といった問題が発生することがある。このような問題に対処するべく、例えば、ユーザPが位置調整を行っている間は、タップ、フリック、スワイプ、ピンチ等の操作を無効にしてもよい。この場合さらに、所定領域だけを有効領域とし、所定領域をタップ等することにより、全画面においてこれらの操作を有効と切り替える制御をしてもよい。
（変形例9）
以上全てにおいては、遠距離UI、遠距離UIは、所定距離をしきい値として切り替えられるとしたが、この所定距離を調整することもできる。例えば、事前にユーザPの視力を入力することにより、ユーザPの視力に基づいて、所定距離を設定することもできる。例えば、視力が良い（遠視の）ユーザであれば、近距離UIに切り替えるしきい値を下げても良いし、逆に、視力が悪い（近視の）ユーザであれば、遠距離UIに切り替えるしきい値を上げても良い。
さらには、ディスプレイ142にランドルト環等を距離及びディスプレイ142の性能に基づいてなるべく正確に表示し、簡易的な視力検査を実施してもよい。この検査は、例えば、ユーザがディスプレイ142のランドルト環よりも上下左右にある領域を触れることにより方向を応える方式としても良いし、スワイプ等により指示するものであってもよい。この結果に基づいたUI切り替えのしきい値を設定しても良い。
（変形例10）
上記において、ユーザは、特定されていないが、ユーザを特定する機能を有していても良い。例えば、ユーザがIDを打ち込むことによりユーザを特定してもよい。特定したユーザに対しては、例えば、ログを保存、管理、又は、閲覧したり、ログに基づいて進行度を判断したりすることも可能となる。また、ユーザごとにUIを変更できるものであってもよい。例えば、予め入力されているユーザの視力に基づいて、UIの切り替えを実行してもよい。
（変形例11）
前述の全ての態様においては、顔の一部、例えば、眼の判定を行うものであったが、適用例はこれに限られるものではない。例えば、端末装置1は、同様の動作を実行することにより、虹彩を用いた個人認証の位置合わせを実現することができる。認証結果に基づいて、端末装置1を起動したり、特定のアプリケーションを起動したり、又は、インターネットを介した認証結果の送信をおこなったりしてもよい。
また、上述の変形例10に組み合わせて、プロセッサ18は、虹彩による個人認証結果から、判定用のアプリケーションに関するパラメータ等を取得してもよい。
本開示の態様は、プログラムにより実装されてもよい。プログラムは、記憶部（メモリ16）に記憶され、ソフトウェアによる情報処理がハードウェアにより具体的に実現されるものであってもよい。ソフトウェアの処理は、コンピュータの他、アナログ回路又はデジタル回路、例えば、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）、DSP（Digital Signal Processor）により実装されてもよい。
前述した実施形態は、以下のような形態としてもよい。
(１)
プロセッサに、
第1カメラが取得した第1画像において第1ターゲットを検出すること、
検出した前記第1カメラから前記第1ターゲットまでの経路の長さを推定すること、
前記経路の長さに基づいて、第2カメラが取得した第2画像の表示を切り替え、前記第2画像において第2ターゲットの位置を調整する指標を合成すること、
を実行させるプログラム。
(２)
前記第1ターゲットは、ユーザの顔であり、
前記第2ターゲットは、前記ユーザの眼である、
(１)に記載のプログラム。
(３)
前記プロセッサは、
ディスプレイと、前記第1カメラと、前記第2カメラと、を備え、前記第1カメラが前記ディスプレイの表示面と同じ面に備えられ、前記第2カメラが前記ディスプレイの表示面と逆の面に備えられる端末装置、において取得された前記第1画像及び前記第2画像を処理する、
(２)に記載のプログラム。
(４)
前記プロセッサに、
前記第1カメラより取得された鏡に反射した前記顔の領域を推定すること、
前記顔の領域に基づいて、前記鏡から前記顔までの距離及び前記鏡から前記端末装置までの距離のうち少なくとも一方を推定すること、
前記距離が所定距離よりも短い場合と、前記所定距離以上である場合とで、前記第2画像の表示を切り替えること、
を実行させる(３)に記載のプログラム。
(５)
前記プロセッサに、
前記第2カメラを備える端末装置から、前記端末装置の外部に存在するディスプレイまでの距離を、前記ディスプレイに備えられる前記第1カメラが反射を介さずに取得した前記第1画像に基づいて推定すること、
前記距離が所定距離よりも短い場合と、前記所定距離以上である場合とで、前記第2画像の表示を切り替えること、
を実行させる(１)又は(２)に記載のプログラム。
(６)
前記プロセッサに、
前記眼の少なくとも一部が所定範囲内に収まるように前記指標を生成すること、
を実行させる(３)から(５)のいずれかに記載のプログラム。
(７)
前記プロセッサに、
少なくとも前記眼の瞳孔が所定範囲内に収まるように前記指標を生成すること、
を実行させる(６)に記載のプログラム。
(８)
前記プロセッサに、
少なくとも前記眼の虹彩が所定範囲内に収まるように前記指標を生成すること、
を実行させる(７)に記載のプログラム。
(９)
前記プロセッサに、
前記眼の内部の解析をすること、
を実行させる(６)から(７)のいずれかに記載のプログラム。
(１０)
前記プロセッサに、
前記眼の内部の画像を送信すること、
を実行させる(６)から(９)のいずれかに記載のプログラム。
(１１)
前記プロセッサに、
前記虹彩に基づいた認証をすること、
を実行させる(８)に記載のプログラム。
(１２)
前記プロセッサに、
前記ディスプレイに、前記第2画像及び前記指標を表示すること、
を実行させる(３)から(１１)のいずれかに記載のプログラム。
(１３)
前記第1ターゲットは、ユーザの顔であり、
前記第2ターゲットは、前記ユーザの顔の肌又は口腔内である、
(１)に記載のプログラム。
(１４)
プロセッサを備え、
前記プロセッサは、
ディスプレイの表示面と同じ方向を撮影する第1カメラにより撮影されたユーザ及び端末装置についての第1画像に基づいて、前記ディスプレイから前記ユーザまでの距離を推定し、
前記端末装置に備えられる第2カメラにより撮影された第2画像を前記距離に基づいて切り替え、指標を合成した画像を前記ディスプレイに出力する、
情報処理装置。
(１５)
ディスプレイと、
前記ディスプレイの表示面と同じ方向を撮影する、第1カメラと、
前記ディスプレイの表示面と逆の方向を撮影する、第2カメラと、
プロセッサと、
を備える、端末装置であって、
前記プロセッサは、
前記第1カメラにより撮影された鏡に反射したユーザの顔及び前記端末装置についての第1画像に基づいて、前記鏡から前記顔までの距離及び前記鏡から前記端末装置の距離、のいずれか一方を推定し、
前記第2カメラにより撮影された第2画像を前記距離に基づいて切り替え、指標を合成した画像を前記ディスプレイに出力する、
端末装置。
(１６)
前記プロセッサは、
前記指標に基づいて、適切な位置に第2カメラがいるかを判断し、
判断結果に基づいた前記指標を生成する、
(１)から(１５)のいずれかに記載のプログラム、情報処理装置又は端末装置。
(１７)
前記プロセッサは、
前記指標に鏡文字で構成された情報を付与する、
(１６)に記載のプログラム、情報処理装置又は端末装置。
(１８)
前記プロセッサは、
前記指標に色情報を付与する、
(１６)又は(１７)に記載のプログラム、情報処理装置又は端末装置。
(１９)
前記プロセッサは、
前記指標に基づいて、適切な位置に第2カメラがいるかを判断し、
判断結果に基づいて、音を出力する、
(１)から(１８)のいずれかに記載のプログラム、情報処理装置又は端末装置。
(２０)
前記プロセッサは、
前記指標に基づいて、適切な位置に第2カメラがいるかを判断し、
判断結果に基づいて、振動を出力する、
(１)から(１６)のいずれかに記載のプログラム、情報処理装置又は端末装置。
(２１)
前記プロセッサは、
TOFセンサからの出力に基づいて、前記距離を推定する、
(１)から(２０)のいずれかに記載のプログラム、情報処理装置又は端末装置。
(２２)
前記プロセッサは、
前記端末装置と前記ディスプレイとの間の通信状態により、前記距離を推定する、
(１４)に記載の情報処理装置。
(２３)
前記プロセッサは、
前記ユーザの視力に基づいて、前記第2画像を切り替える、
(２)から(２２)のいずれかに記載のプログラム、情報処理装置又は端末装置。
(２４)
(１)から(２３)の前記プロセッサにおける処理の少なくとも一部を実行する第2のプロセッサを備える、サーバ。
(２５)
(１)から(２３)のいずれかに記載の前記プロセッサに処理を実行させるプログラムを記録した非一時的コンピュータ可読媒体。
本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1：端末装置、
10：第1カメラ、12：第2カメラ、14：入出力I/F、16：メモリ、18：プロセッサ、
100：第1処理部、102：顔検出部、104：距離推定部、106：UI選択部、
120：第2処理部、122：眼検出部、124：判定部、
140：出力部、
20：傾き検出センサ、22：測距センサ、24：無線通信装置、26：測距センサ

Claims (15)

  1. プロセッサに、
    第1カメラが取得した第1画像において第1ターゲットを検出すること、
    検出した前記第1カメラから前記第1ターゲットまでの経路の長さを推定すること、
    前記経路の長さに基づいて、第2カメラが取得した第2画像の表示を切り替え、前記第2画像において第2ターゲットの位置を調整する指標を合成すること、
    を実行させるプログラム。
  2. 前記第1ターゲットは、ユーザの顔であり、
    前記第2ターゲットは、前記ユーザの眼である、
    請求項１に記載のプログラム。
  3. 前記プロセッサは、
    ディスプレイと、前記第1カメラと、前記第2カメラと、を備え、前記第1カメラが前記ディスプレイの表示面と同じ面に備えられ、前記第2カメラが前記ディスプレイの表示面と逆の面に備えられる端末装置、において取得された前記第1画像及び前記第2画像を処理する、
    請求項２に記載のプログラム。
  4. 前記プロセッサに、
    前記第1カメラより取得された鏡に反射した前記顔の領域を推定すること、
    前記顔の領域に基づいて、前記鏡から前記顔までの距離及び前記鏡から前記端末装置までの距離のうち少なくとも一方を推定すること、
    前記距離が所定距離よりも短い場合と、前記所定距離以上である場合とで、前記第2画像の表示を切り替えること、
    を実行させる請求項３に記載のプログラム。
  5. 前記プロセッサに、
    前記第2カメラを備える端末装置から、前記端末装置の外部に存在するディスプレイまでの距離を、前記ディスプレイに備えられる前記第1カメラが反射を介さずに取得した前記第1画像に基づいて推定すること、
    前記距離が所定距離よりも短い場合と、前記所定距離以上である場合とで、前記第2画像の表示を切り替えること、
    を実行させる請求項１に記載のプログラム。
  6. 前記プロセッサに、
    前記眼の少なくとも一部が所定範囲内に収まるように前記指標を生成すること、
    を実行させる請求項３に記載のプログラム。
  7. 前記プロセッサに、
    少なくとも前記眼の瞳孔が所定範囲内に収まるように前記指標を生成すること、
    を実行させる請求項６に記載のプログラム。
  8. 前記プロセッサに、
    少なくとも前記眼の虹彩が所定範囲内に収まるように前記指標を生成すること、
    を実行させる請求項７に記載のプログラム。
  9. 前記プロセッサに、
    前記眼の内部の解析をすること、
    を実行させる請求項６に記載のプログラム。
  10. 前記プロセッサに、
    前記眼の内部の画像を送信すること、
    を実行させる請求項６に記載のプログラム。
  11. 前記プロセッサに、
    前記虹彩に基づいた認証をすること、
    を実行させる請求項８に記載のプログラム。
  12. 前記プロセッサに、
    前記ディスプレイに、前記第2画像及び前記指標を表示すること、
    を実行させる請求項３に記載のプログラム。
  13. 前記第1ターゲットは、ユーザの顔であり、
    前記第2ターゲットは、前記ユーザの顔の肌である、
    請求項１に記載のプログラム。
  14. プロセッサを備え、
    前記プロセッサは、
    ディスプレイの表示面と同じ方向を撮影する第1カメラにより撮影されたユーザ及び端末装置についての第1画像に基づいて、前記ディスプレイから前記ユーザまでの距離を推定し、
    前記端末装置に備えられる第2カメラにより撮影された第2画像を前記距離に基づいて切り替え、指標を合成した画像を前記ディスプレイに出力する、
    情報処理装置。
  15. ディスプレイと、
    前記ディスプレイの表示面と同じ方向を撮影する、第1カメラと、
    前記ディスプレイの表示面と逆の方向を撮影する、第2カメラと、
    プロセッサと、
    を備える、端末装置であって、
    前記プロセッサは、
    前記第1カメラにより撮影された鏡に反射したユーザの顔及び前記端末装置についての第1画像に基づいて、前記鏡から前記顔までの距離及び前記鏡から前記端末装置の距離、のいずれか一方を推定し、
    前記第2カメラにより撮影された第2画像を前記距離に基づいて切り替え、指標を合成した画像を前記ディスプレイに出力する、
    端末装置。
JP2020046749A 2020-03-17 2020-03-17 プログラム、情報処理装置及び端末装置 Pending JP2021145785A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020046749A JP2021145785A (ja) 2020-03-17 2020-03-17 プログラム、情報処理装置及び端末装置
PCT/JP2021/005695 WO2021186990A1 (ja) 2020-03-17 2021-02-16 プログラム、情報処理装置及び端末装置
CN202180020046.8A CN115279254A (zh) 2020-03-17 2021-02-16 程序、信息处理装置和终端装置
EP21772038.2A EP4122376A4 (en) 2020-03-17 2021-02-16 PROGRAM, INFORMATION PROCESSING DEVICE AND TERMINAL DEVICE
US17/910,469 US12200354B2 (en) 2020-03-17 2021-02-16 Information processing apparatus and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020046749A JP2021145785A (ja) 2020-03-17 2020-03-17 プログラム、情報処理装置及び端末装置

Publications (1)

Publication Number Publication Date
JP2021145785A true JP2021145785A (ja) 2021-09-27

Family

ID=77770890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020046749A Pending JP2021145785A (ja) 2020-03-17 2020-03-17 プログラム、情報処理装置及び端末装置

Country Status (5)

Country Link
US (1) US12200354B2 (ja)
EP (1) EP4122376A4 (ja)
JP (1) JP2021145785A (ja)
CN (1) CN115279254A (ja)
WO (1) WO2021186990A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025182909A1 (ja) * 2024-02-26 2025-09-04 国立大学法人千葉大学 視線推定装置、注視訓練システム、及び入力インターフェース装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023283217A2 (en) 2021-07-07 2023-01-12 Warby Parker Inc. Systems and methods for vision test and uses thereof
JP2025150586A (ja) * 2024-03-27 2025-10-09 株式会社トプコン 視標呈示装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS569712A (en) * 1979-07-06 1981-01-31 Olympus Optical Co Ltd Visual field direction changing optical system for slender image transmission system
US4622954A (en) * 1984-05-15 1986-11-18 Fuji Photo Optical Co., Ltd. Endoscope having a plate-like image sensor for forming images
US4905082A (en) * 1987-05-06 1990-02-27 Olympus Optical Co., Ltd. Rigid video endoscope having a detachable imaging unit
US5557454A (en) * 1992-12-25 1996-09-17 Olympus Optical Co., Ltd. Stereoscopic endoscope
EP0706027B1 (en) * 1993-04-21 2011-02-09 Omron Corporation Visual inspection apparatus for printed circuit boards and use thereof for solder control and correction
US6025873A (en) * 1994-04-07 2000-02-15 Olympus Optical Co., Ltd. Endoscope system provided with low-pass filter for moire removal
JP2000231060A (ja) * 1999-02-12 2000-08-22 Olympus Optical Co Ltd 結像光学系
JP2001083400A (ja) * 1999-09-08 2001-03-30 Olympus Optical Co Ltd 撮像光学系
US20050197533A1 (en) * 2000-03-16 2005-09-08 Medivision, Inc. Endoscope and camera mount
FR2832516B1 (fr) * 2001-11-19 2004-01-23 Tokendo Sarl Endoscopes rotatifs a visee distale deviee
FR2861185B1 (fr) * 2003-10-16 2005-12-30 Snecma Moteurs Endoscope a eclairage ultraviolet
JP4207980B2 (ja) * 2006-06-09 2009-01-14 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
DE102008024789A1 (de) * 2008-05-21 2009-12-03 Richard Wolf Gmbh Stereo-Endoskop
ES2688280T3 (es) * 2010-03-12 2018-10-31 Viking Systems, Inc. Sistema de visualización estereoscópica
CA2848206A1 (en) 2011-09-08 2013-03-14 Icheck Health Connection, Inc. System and methods for documenting and recording of the pupillary red reflex test and corneal light reflex screening of the eye in infants and young children
JP5973297B2 (ja) * 2012-09-12 2016-08-23 本田技研工業株式会社 ボアスコープ
US9322647B2 (en) * 2013-03-28 2016-04-26 International Business Machines Corporation Determining camera height using distributions of object heights and object image heights
KR102296396B1 (ko) * 2014-07-31 2021-09-02 삼성전자주식회사 비접촉 체온 측정 시 정확도를 향상시키기 위한 장치 및 방법
JP6539981B2 (ja) 2014-10-24 2019-07-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、表示システム、及び、プログラム
US10592740B2 (en) * 2014-11-20 2020-03-17 Sony Corporation Control system, information processing device, control method, and program
US10101586B2 (en) * 2014-12-24 2018-10-16 Seiko Epson Corporation Display device and control method for display device
US20160357007A1 (en) * 2015-05-05 2016-12-08 Eric Swanson Fixed distal optics endoscope employing multicore fiber
WO2017123702A1 (en) 2016-01-12 2017-07-20 Princeton Identity, Inc. Systems and methods biometric analysis
KR102581945B1 (ko) * 2017-02-07 2023-09-25 삼성전자주식회사 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
US10708574B2 (en) * 2017-06-15 2020-07-07 Align Technology, Inc. Three dimensional imaging apparatus with color sensor
EP3430973B1 (en) 2017-07-19 2024-11-27 Sony Group Corporation Mobile system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025182909A1 (ja) * 2024-02-26 2025-09-04 国立大学法人千葉大学 視線推定装置、注視訓練システム、及び入力インターフェース装置

Also Published As

Publication number Publication date
WO2021186990A1 (ja) 2021-09-23
US20230033256A1 (en) 2023-02-02
US12200354B2 (en) 2025-01-14
EP4122376A4 (en) 2023-08-09
EP4122376A1 (en) 2023-01-25
CN115279254A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN109286748B (zh) 移动系统以及眼睛成像的方法
KR102296396B1 (ko) 비접촉 체온 측정 시 정확도를 향상시키기 위한 장치 및 방법
US11693475B2 (en) User recognition and gaze tracking in a video system
EP3258418B1 (en) Fingerprint entry prompting method and device
US9329680B2 (en) Terminal and method for iris scanning and proximity sensing
US11163995B2 (en) User recognition and gaze tracking in a video system
CN109285602B (zh) 用于自我检查用户眼睛的主模块、系统和方法
WO2021186990A1 (ja) プログラム、情報処理装置及び端末装置
CN110476141A (zh) 视线跟踪方法及用于执行该方法的用户终端
KR20250034447A (ko) 이미지 캡처 장치, 시스템 및 방법
CN114895790B (zh) 一种人机交互方法、装置、电子设备和存储介质
CN114581955A (zh) 近视防控方法、装置、系统、存储介质和设备
CN111062248A (zh) 图像检测的方法、装置、电子设备及介质
KR102885132B1 (ko) 머리에 착용하는 디바이스를 이용한 안과적 이미징
US12518566B1 (en) Eye biometric authentication using coherence-based measurement
KR20250048623A (ko) 손 떨림 진단 장치 및 이를 포함하는 손 떨림 진단 시스템
WO2022187824A1 (en) Ophthalmic imaging using a head-worn device
KR100686517B1 (ko) 동공 모양 모델링 방법
US20230309824A1 (en) Accommodation tracking based on retinal-imaging
US12313862B2 (en) Glint analysis using multi-zone lens
US20260017042A1 (en) Method, apparatus, and computer readable medium for sensor-based application deployment with holographic output
EP4556989A1 (en) Methods and devices for determining at least one refractive value
CN120899249A (zh) 一种基于青少年眼动追踪的注意力动态评估方法及系统
HK40027319A (en) Method and apparatus for detecting image, device and storage medium