[go: up one dir, main page]

JP2016036390A - 情報処理装置、焦点検出方法、および焦点検出プログラム - Google Patents

情報処理装置、焦点検出方法、および焦点検出プログラム Download PDF

Info

Publication number
JP2016036390A
JP2016036390A JP2014159866A JP2014159866A JP2016036390A JP 2016036390 A JP2016036390 A JP 2016036390A JP 2014159866 A JP2014159866 A JP 2014159866A JP 2014159866 A JP2014159866 A JP 2014159866A JP 2016036390 A JP2016036390 A JP 2016036390A
Authority
JP
Japan
Prior art keywords
marker
eye
shutter
display image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014159866A
Other languages
English (en)
Inventor
克彦 池田
Katsuhiko Ikeda
克彦 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014159866A priority Critical patent/JP2016036390A/ja
Priority to US14/747,555 priority patent/US20160041615A1/en
Publication of JP2016036390A publication Critical patent/JP2016036390A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/156Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for blocking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】使用者の焦点の検出の精度を向上させること。
【解決手段】被検眼に入力される外来光を遮断するシャッターを閉じ、赤外光によりマーカーを前記被検眼に照射し、前記シャッターが閉じているときに前記被検眼の眼底に投影された前記マーカーを撮影し、撮影された前記マーカーの画像に基づいて、焦点を検出する。
【選択図】図3A

Description

本発明は、情報処理装置、焦点検出方法、および焦点検出プログラムに関する。
シースルー型Head Mounted Display(HMD)装置は、視野の一部にかかるハーフミラーに表示画像を投影し、使用者に対して、外界の風景と表示画像を重ねて表示する。
HMD装置は、使用者の瞳を撮影し、撮影した画像を解析することにより使用者の視線(すなわち、使用者がどの方向を見ているか)を検知し、使用者の視線に応じて、背景に重ね合わせる表示画像を制御している。
例えば、背景に重ね合わせる表示画像として複数の選択肢からなるメニューなどを表示させ、使用者の視線がどの選択肢に視線を合わせているかを検知して、選択・確定するシステムにおいて、使用者が背景に重ね合わせる表示画像を注視している場合には、使用者が表示画像に焦点を合わせ、メニューの選択などの表示画像による操作を意図していると考えられる。一方、単に背景を眺めているなど表示画像に焦点を合わせていない場合、使用者がメニューの選択など、表示画像による操作を意図していない状態だと考えられる。
このようなシステムにおいて、使用者の視線情報(どの方向を見ているかを示す情報)のみをもとに制御を行うと、使用者の意図しない操作となる場合があり、使用者の操作性を損なう可能性がある。
使用者の瞳を撮影し、撮影した画像を解析することにより使用者の視線を検知するだけでは、使用者がどこに焦点を合わせているのか、すなわち奥行き方向の情報が得られない。
また、使用者がどこに焦点を合わせているのか、すなわち奥行き方向の情報を利用するシステムがある。
外界を目視している眼の目視距離の変化の情報を取得し、目視距離に応じて画像の呈示距離を変化させる技術が知られている(例えば、特許文献1参照)。
また、網膜上に所定像を形成する赤外線を出射し、網膜上に形成された所定像を撮像し、撮像した所定像の状態に応じてフォーカス制御を行う技術が知られている(例えば、特許文献2参照)。
さらに、観察者が両眼で注視している注視距離を検出して、該注視距離に基づいて重畳する虚像の表示を制御する技術が知られている(例えば、特許文献3参照)。
特開2005−208625号公報 特開2010−134051号公報 特開平9−274144号公報
使用者の焦点の情報を利用して制御を行う場合、焦点を検出できなかったり、誤検出したりすると、使用者の意図しない操作となる場合があるため、焦点を精度良く検出することが重要となる。
被検眼に赤外光によるマーカー(測定指標)を照射して眼屈折力を測定し、焦点を検出する場合、強い赤外光を含む外来光が被検眼に入っていると、外来光はマーカーに対する外乱(ノイズ)となり、屈折力を正しく測定できず、焦点を正しく検出できない虞がある。
本発明の課題は、使用者の焦点の検出の精度を向上させることである。
実施の形態の情報処理装置は、シャッター、照射部、撮影部、および処理部を備える。
前記シャッターは、被検眼に入力される外来光を遮断する。
前記照射部は、赤外光によりマーカーを前記被検眼に照射する。
前記撮影部は、前記シャッターが閉じているときに前記被検眼の眼底に投影された前記マーカーを撮影する。
前記処理部は、前記撮影部により撮影された前記マーカーの画像に基づいて、焦点を検出する。
実施の形態の情報処理装置によれば、使用者の焦点の検出の精度を向上させることができる。
オートレフ・ケラトメーターによる眼屈折力の測定を説明する図である。 オートレフ・ケラトメーターによる眼屈折力の測定を説明する図である。 実施の形態に係るHMD装置の斜視図である。 実施の形態に係るHMD装置の上面図である。 実施の形態に係るHMD装置の構成図である。 撮影画像の例である。 撮影画像の例である。 焦点測定時のHMD装置の状態を示す図である。 表示画像に焦点を合わせているときのマーカーを示す図である。 表示画像より手前の位置に焦点を合わせているときのマーカーを示す図である。 表示画像より奥の位置に焦点を合わせているときのマーカーを示す図である。 画像情報表示フェーズのHMD装置の状態を示す図である。 実施の形態に係るHMD装置の制御処理のタイムチャートである。 実施の形態に係る制御処理のフローチャートである。 視点および焦点が表示画像に合っているときの表示画像を示す図である。 視点および焦点が表示画像に合っていないときの表示画像を示す図である。
初めに、オートレフ・ケラトメーターによる眼の屈折力(眼屈折力)の測定の基本原理について説明する。実施の形態のHMD装置は、オートレフ・ケラトメーターの原理を利用している。
オートレフ・ケラトメーターは、角膜の屈折や曲率などを測定する医療機器である。
図1、2は、オートレフ・ケラトメーターによる眼屈折力の測定を説明する図である。
図1は、マーカー(測定指標)11の照射時の被検眼の断面図を示し、図2は、CCDイメージセンサで撮影した被検眼10の画像の例を示す。
オートレフ・ケラトメーターの眼屈折力測定の基本原理は、先ず、赤外光でマーカー(測定指標)11を被検眼10に投影する。使用者が焦点を変化させると、水晶体12の形状が変化し、眼屈折力に応じて、眼底13に形成されるマーカー14の像の大きさも変化する。オートレフ・ケラトメーターは、眼底13に映るマーカー14をCCDイメージセンサで撮影して、眼底13に生じるマーカー14の像の大きさを検出することで使用者が焦点を合わせている距離を測定する。
以下、図面を参照しながら実施の形態について説明する。
図3Aは、実施の形態に係るHMD装置の斜視図である。
図3Bは、実施の形態に係るHMD装置の上面図である。
HMD装置101は、フレーム111、筐体121、シャッター131、およびハーフミラー141を備える。
HMD装置101は、使用者の頭部に装着して使用される。HMD装置101は、ハーフミラー141を介して、外界を見ることが可能なシースルー型のHMD装置である。HMD装置101は、情報処理装置(コンピュータ)の一例である。
実施の形態において、使用者の右目が、視線および焦点の検出対象である被検眼となる。
フレーム111は、メガネ型のフレームであり、使用者の頭部に装着可能である。フレーム111のレンズ部分112−i(i=1、2)は、入光部の一例である。レンズ部分112−iは開口であってもよい。
レンズ部分112−1は、HMD装置101の装着時に使用者の右眼の前に位置し、レンズ部分112−2は、HMD装置101の装着時に使用者の左眼の前に位置する。
筐体121は、各種処理を行う処理装置やHMD装置101に電力を供給する電池等を含む。筐体121は、視線や焦点の検出、表示画像の制御、およびシャッター131の制御などを行う。筐体121は、フレーム111のテンプル部分に取り付けられている。筐体121の詳細な構成については後述する。
シャッター131は、ハーフミラー141と外界との間に配置される。また、シャッター131は、HMD装置101の装着時に使用者の右眼の前に配置されるように、フレーム111に取り付けられている。シャッター131がクローズすると、右眼への外界からの光(外来光)が遮断される。シャッター131がオープンの場合、外来光はシャッター131を透過するため、使用者の右眼はレンズ部分112−1とハーフミラー141を介して、外界を視認できる。シャッター131は、機械的なシャッターまたは液晶技術を用いた電気的なシャッターでもよい。
ハーフミラー141は、フレーム111のレンズ部分112−1とシャッター131との間に配置される。またハーフミラー141は、HMD装置101の装着時に使用者の右眼の前に配置されるように、フレーム111に取り付けられている。ハーフミラー141は、筐体121から照射された光の少なくとも一部を反射し、且つ外来光を透過させる。ハーフミラー141により反射した光は、使用者の右眼に入力される。使用者は、外界の風景と重ねてハーフミラー141に映った表示画像を視認できる。ハーフミラー141は、プリズムやビームスプリッタ等の光学系でもよい。ハーフミラー141は、表示部の一例である。
使用者がHMD装置101を装着すると、使用者の右眼の前には、右眼から外界方向に向かって、レンズ部分112−1、ハーフミラー141、およびシャッター131の順にレンズ部分112−1、ハーフミラー141、およびシャッター131が配置される。したがって、シャッター131がクローズすると、ハーフミラー141とレンズ部分121−1を通過して右眼に入力される外来光が遮断される。
尚、実施の形態では、シャッター131およびハーフミラー141は、使用者の右眼の前に配置されているが、これに限らず左眼の前に配置されてもよいし、両目の前に配置されても良い。
図4は、実施の形態に係るHMD装置の構成図である。
尚、図4において、フレーム111の記載は省略している。
筐体121は、Central Processing Unit(CPU)122、Random Access Memory(RAM)123、Read Only Memory(ROM)124、プロジェクタ125、カメラ126、およびハーフミラー127、128を備える。
CPU122は、各種処理を実行する処理装置である。CPU122は、ROM124に格納されたプログラムやデータをRAM123に読み出して、後述の制御処理を実行する。CPU122は、プロジェクタ125、カメラ126、およびシャッター131の制御を行う。CPU122は、カメラ125が撮影した画像を解析して、使用者の視線および焦点を検出する。
RAM123は、データを一時的に格納する記憶装置である。RAM123は、CPU122が使用するプログラムやデータを格納する。
ROM124は、データを格納する記憶装置である。ROM124は、電源が供給されていなくてもデータを保持することができる。ROM124は、格納されているデータを書き換え可能なフラッシュROMである。ROM124は、CPUが使用するプログラムやデータを格納する。
RAM123およびROM124は、記憶装置の一例である。
プロジェクタ125は、赤外線のマーカー(測定指標)を照射する。実施の形態において、マーカーの形状は円形である。また、プロジェクタ125は、外界(背景)に重ねて表示する表示画像を照射する。マーカーおよび表示画像は、ハーフミラー127とハーフミラー141で反射して、被検眼に入力される。
尚、マーカーを照射するプロジェクタ(測定光源)と表示画像を照射するプロジェクタは別の装置でも良い。プロジェクタ125は、照射部の一例である。
カメラ126は、ハーフミラー141およびハーフミラー128を介して被検眼を撮影する。
カメラ126は、被検眼の眼底に映っているマーカーを撮影する。すなわち、カメラ126は、マーカーに焦点を合わせて被検眼を撮影する。これにより、図5Aに示すような、撮影画像201が得られる。図5Aの撮影画像201は、眼底に映るマーカー221に焦点が合っているので、マーカー221が明確に撮影されている。また、マーカー221の撮影時には、シャッター131は閉じているので、マーカー221は明確に撮影される。CPU122は、撮影画像201からマーカー221の大きさを検出し、マーカー221の大きさから使用者の焦点を検出する。
また、カメラ126は、瞳孔(瞳)を撮影する。すなわち、カメラ126は、瞳孔に焦点を合わせて被検眼を撮影する。これにより、図5Bに示すような、撮影画像211が得られる。図5Bの撮影画像211は、瞳孔231に焦点が合っているので、瞳孔231が明確に撮影されている。よって、CPU122は、撮影画像211から瞳孔231の位置を検出し、瞳孔231の位置から使用者の視線の位置、すなわち視線の方向(角度)を検出する。
カメラ126は、撮影部の一例である。
ハーフミラー127は、プロジェクタ125から照射された光をハーフミラー141に反射する。ハーフミラー127で反射した光は、ハーフミラー141で反射して被検眼に入力される。
ハーフミラー128は、ハーフミラー141に映る被検眼の像をカメラ126に反射する。
ここで、視線および焦点の検出に使用する画像を撮影する視線・焦点測定フェーズにおけるHMD装置110の動作を説明する。
図6は、視線・焦点測定フェーズのHMD装置の状態を示す図である。
視線・焦点測定フェーズにおいて、CPU122は、シャッター131をクローズして、被検眼301への外来光(背景の光)を遮断する。
プロジェクタ125は、赤外線によるマーカーを照射する。マーカーは、ハーフミラー127とハーフミラー141を反射して、被検眼301に入力される。これにより、被検眼301の眼底にマーカーが映る。
カメラ126は、被検眼301の眼底に映るマーカーを撮影し、CPU122は撮影画像201をRAM123に格納する。また、カメラ126は、被検眼の瞳孔を撮影し、撮影画像211をRAM123に格納する。尚、瞳孔の撮影は、後述の画像情報表示フェーズにおいて実行されても良い。尚、カメラ126は、ハーフミラー141とハーフミラー128を反射して入力されるマーカーの像および瞳孔の像を撮影する。
ここで、撮影したマーカーの画像201に基づく、焦点の検出方法について説明する。
図7Aは、表示画像に焦点を合わせているときのマーカーを示す図である。
実施の形態において、使用者がハーフミラー141に映る表示画像に焦点を合わせているときの眼底に映るマーカーのサイズ(直径)を基準値Drefとする。
基準値Drefは、後述の制御処理を行う前に測定される。基準値Drefは、以下のような処理で測定される。
CPU122は、プロジェクタ125から適当な表示画像を照射する。使用者は、ハーフミラー141に映っている表示画像を注視する。これにより、使用者の焦点は表示画像に合う。
CPU122は、シャッター131を閉じ、プロジェクタ125は、表示画像の代わりに赤外線によりマーカーを照射する。そして、カメラ126は、被検眼の眼底に映ったマーカーを撮影する。
CPU122は、撮影した画像からマーカーのサイズ(直径)を測定し、測定した値を基準値DrefとしてRAM123またはROM124に記憶する。
図7Bは、表示画像より手前の位置に焦点を合わせているときのマーカーを示す図である。
使用者が、表示画像より手前の位置に焦点を合わせている場合、マーカーのサイズD1は、基準値Drefよりも大きくなる。
図7Cは、表示画像より奥の位置に焦点を合わせているときのマーカーを示す図である。
使用者が、表示画像より奥野の位置に焦点を合わせている場合、マーカーのサイズD2は、基準値Drefよりも小さくなる。
上記のように、焦点の位置に応じて、眼底に映るマーカーのサイズは変化する。したがって、CPU122は、撮影したマーカーの画像201からマーカーのサイズを測定し、測定結果を基準値Drefと比較することで、使用者の焦点を検出する。
図8は、画像情報表示フェーズのHMD装置の状態を示す図である。
表示画像を表示する画像情報表示フェーズにおいて、CPU122は、シャッター131をオープンにして、外来光(背景の光)を通過させる。これにより、使用者は、ハーフミラー141を介して、外界(背景)を視認することができる。
プロジェクタ125は、表示画像を照射する。照射された表示画像は、ハーフミラー127とハーフミラー141を反射して、被検眼301に入力される。これにより、使用者は、ハーフミラー141で外界(背景)と重ねて表示画像を視認できる。
CPU122は、視線・焦点測定フェーズにおいて撮影したマーカーの画像201に基づいて、焦点を検出する。CPU122は、視線・焦点測定フェーズにおいて撮影した瞳孔の画像211に基づいて、視線を検出する。CPU122は、視線および焦点の検出結果に基づいて、表示画像に対応づけられた所定の動作を制御する。
図9は、実施の形態に係るHMD装置の制御処理のタイムチャートである。
CPU122は、視線・焦点測定フェーズ401と画像情報表示フェーズ402とを繰り替えし実行する。
視線・焦点測定フェーズ401は、下記の内容を含む。
・シャッター131をクローズして、外来光を遮断する。
・プロジェクタ125から表示画像を照射(表示)しない。
・プロジェクタ125から赤外線によるマーカーを照射する。
・被検眼の眼底に映るマーカーを撮影する。
・被検眼の瞳孔を撮影する。尚、画像情報表示フェーズ402において、瞳孔を撮影してもよい。
視線・焦点測定フェーズ401の期間、すなわちシャッター131が閉じている期間は、使用者がシャッター131が閉じているのを感知できない程度の短い時間(例えば、5〜10ミリ秒)である。視線・焦点測定フェーズ401は、定期的に実行される。
画像情報表示フェーズ402は、下記の内容を含む。
・シャッター131をオープンにして、外来光を通過させる。
・プロジェクタ125から表示画像を照射し、ハーフミラー141で外界(背景)と重ねて表示画像を表示する。尚、プロジェクタ125から赤外線によるマーカーは照射しない。
・撮影したマーカーの画像に基づいて、焦点を検出する。
・撮影した瞳孔の画像に基づいて、視線を検出する。
・視線および焦点の検出結果に基づいて、表示画像を制御する。
図10は、実施の形態に係る制御処理のフローチャートである。
尚、CPU122は、ROM124からプログラムをRAM123に読み出して、プログラムを実行することにより、下記制御処理を実行する。
ステップS501〜S503は、視点・焦点測定フェーズ401、ステップS504〜S510は、画像情報表示フェーズに相当する。
ステップS501において、CPU122は、シャッター131をクローズする。これにより、外界から眼に入る光(外来光)を遮断する。また、プロジェクタ125が表示画像を照射している場合、CPU122は、プロジェクタ125に表示画像の照射の停止を指示し、プロジェクタ125は、表示画像の照射を停止する。
ステップS502において、プロジェクタ125は、CPU122の指示により被検眼にマーカーを照射する。
ステップS503において、カメラ126は、CPU122の指示により被検眼の眼底に映るマーカーを撮影し、CPU122は、撮影画像201をRAM123に格納する。また、カメラ126は、CPU122の指示により被検眼の瞳孔を撮影し、CPU122は、撮影画像211をRAM123に格納する。
尚、被検眼の瞳孔の撮影は、ステップS503で行わず、ステップS504とステップS505の間で実行されても良い。すなわち、被検眼の瞳孔の撮影は、シャッター131がオープンのときに実行されても良い。
ステップS504において、CPU122は、シャッター131をオープンにする。
ステップS505において、CPU122は、撮影画像201を解析し、焦点を検出する。上述のように、CPU122は、焦点を撮影したマーカーの大きさに基づいて算出する。また、CPU122は、撮影画像211を解析し、視線の位置を検出する。
ステップS506において、CPU122は、検出した視線および焦点が、プロジェクタ125がハーフミラー141に表示している画像(表示画像)に合っているか否か判定する。すなわち、使用者が表示画像を注視しているか否か判定する。CPU122は、例えば、検出した視線および焦点がそれぞれ所定の範囲に含まれていれば、表示画像に視線および焦点が合っていると判定する。
検出した視線および焦点が表示画像に合っている場合、制御はステップS507に進み、合っていない場合、制御はステップS509に進む。
ステップS507において、プロジェクタ125は、CPU122の指示により表示画像を照射する。CPU122は、プロジェクタ125が照射する表示画像のコントラストを強くする。これにより、図11Aに示すように、ハーフミラー141に映るメニュー等の表示画像601のコントラストが強くなり、使用者は表示画像601を視認しやすくなる。図11Aでは、ハーフミラー141に表示画像として、“Time”、“Weather”、“GPS”、および“NEXT”を含むメニューが表示されている。また、CPU122は、使用者の視線の位置を示す十字型のカーソル602の画像をプロジェクタ125から照射する。CPU122は、カーソル602の輝度や形状を、検出した焦点に応じて変化させても良い。
ステップS508において、CPU122は、表示画像601に対応づけられた所定の制御を有効にする。例えば、CPU122は、使用者の視線の位置および焦点が表示画像601に合っている場合に、使用者からの操作を受け付け可能とし、操作に応じて表示画像の601のメニュー選択やスクロール等の処理を行う。例えば、使用者が図11Aに示すメニューのうち“Time”に視線および焦点を合わせていると、CPU122は、処理指示を受け付け可能となる。そして、使用者が“Time”に視線および焦点を合わせている状態で、HMD装置101に設けられた操作ボタンを押下すると、CPU122は、処理指示を受信して、使用者の視線の位置および焦点から“Time”が選択されたと判断し、プロジェクタ125から時刻の画像を照射して、時刻をハーフミラー141に表示する。
このように、検出した視線および焦点が表示画像601に合っている場合のみ、CPU122は、処理指示を受け付けて、処理を行う。すなわち、使用者の視線および焦点が表示画像601に合っている場合のみ、CPU122は、表示画像601に対応づけられた所定の処理を実行可能となる。
ステップS509において、プロジェクタ125は、CPU122の指示により表示画像を照射する。CPU122は、プロジェクタ125が照射する表示画像のコントラストを弱くする。これにより、図11Bに示すように、ハーフミラー141に映るメニュー等の表示画像601のコントラストが弱くなり、使用者は表示画像601と重なっている外界(背景)が見やすくなる。
ステップS510において、CPU122は、表示画像601に対応づけられた所定の制御を無効とする。すなわち、CPU122は、メニュー選択やスクロール等の操作を無効にする。
ステップS511において、処理を終了する場合、制御処理は終了し、処理を終了しない場合、制御はステップS501に戻る。
実施の形態のHMD装置によれば、マーカーの撮影時に、強い赤外光を含む外来光を遮断するので、外乱(ノイズ)が減少し、撮影されたマーカーの画像は明確になり、焦点の測定精度を向上することができる。
また、実施の形態のHMD装置によれば、外乱が減少するので、少ないパワーの赤外線で使用者の焦点を検出することができる。
また、実施の形態のHMD装置によれば、視線の位置および焦点に基づいて制御を行うので、使用者の意図しない操作となる可能性が減少する。
以上の実施の形態に関し、さらに以下の付記を開示する。
(付記1)
被検眼に入力される外来光を遮断するシャッターと、
赤外光によりマーカーを前記被検眼に照射する照射部と、
前記シャッターが閉じているときに前記被検眼の眼底に投影された前記マーカーを撮影する撮影部と、
前記撮影部により撮影された前記マーカーの画像に基づいて、焦点を検出する処理部と、
を備える情報処理装置。
(付記2)
入光部を有し、前記シャッター、前記照射部、前記撮影部、前記処理部のいずれかを支持するフレームをさらに備え、
前記シャッターは、前記入光部より前記被検眼に向かって入力される前記外来光を遮断することを特徴とする付記1記載の情報処理装置。
(付記3)
前記シャッターは、定期的に閉じることを特徴とする付記1または2記載の情報処理装置。
(付記4)
前記照射部は、前記シャッターが閉じているときに前記マーカーを照射することを特徴とする付記1乃至3のいずれか1項に記載の情報処理装置。
(付記5)
前記外来光を透過させ、表示画像を反射する表示部をさらに備え、
前記撮影部は、前記被検眼の瞳孔を撮影し、
前記照射部は、前記シャッターが開いているときに前記表示画像を照射し、
前記処理部は、前記撮影部により撮影された前記瞳孔の画像に基づいて視線の位置を検出し、前記視線の位置と前記焦点が前記表示画像に合っている場合に、前記表示画像に対応づけられた所定の制御を有効にすることを特徴とする付記1乃至4のいずれか1項に記載の情報処理装置。
(付記6)
前記処理部は、前記視線の位置と前記焦点が前記表示画像に合っている場合に、前記表示画像のコントラストを強くすることを特徴とする付記5記載の情報処理装置。
(付記7)
情報処理装置が実行する焦点検出方法であって、
被検眼に入力される外来光を遮断するシャッターを閉じ、
赤外光によりマーカーを前記被検眼に照射し、
前記シャッターが閉じているときに前記被検眼の眼底に投影された前記マーカーを撮影し、
撮影された前記マーカーの画像に基づいて、焦点を検出する、
処理を備える焦点検出方法。
(付記8)
前記シャッターは、定期的に閉じることを特徴とする付記7記載の焦点検出方法。
(付記9)
前記照射する処理は、前記シャッターが閉じているときに前記マーカーを照射することを特徴とする付記8または9記載の焦点検出方法。
(付記10)
前記情報処理装置は、前記外来光を透過させ、表示画像を反射する表示部をさらに備え、
前記被検眼の瞳孔を撮影し、
前記シャッターが開いているときに前記表示画像を照射し、
撮影された前記瞳孔の画像に基づいて視線の位置を検出し、前記視線の位置と前記焦点が前記表示画像に合っている場合に、前記表示画像に対応づけられた所定の制御を有効にする
処理をさらに備えることを特徴とする付記7乃至9のいずれか1項に記載の焦点検出方法。
(付記11)
前記視線の位置と前記焦点が前記表示画像に合っている場合に、前記表示画像のコントラストを強くする処理をさらに備えることを特徴とする付記10記載の焦点検出方法。
(付記12)
被検眼に入力される外来光を遮断するシャッターを閉じ、
赤外光によりマーカーを前記被検眼に照射し、
前記シャッターが閉じているときに前記被検眼の眼底に投影された前記マーカーを撮影し、
撮影された前記マーカーの画像に基づいて、焦点を検出する、
処理をコンピュータに実行させる焦点検出プログラム。
(付記13)
前記シャッターは、定期的に閉じることを特徴とする付記12記載の焦点検出プログラム。
(付記14)
前記照射する処理は、前記シャッターが閉じているときに前記マーカーを照射することを特徴とする付記12または13記載の焦点検出プログラム。
(付記15)
前記コンピュータは、前記外来光を透過させ、表示画像を反射する表示部をさらに備え、
前記被検眼の瞳孔を撮影し、
前記シャッターが開いているときに前記表示画像を照射し、
撮影された前記瞳孔の画像に基づいて視線の位置を検出し、前記視線の位置と前記焦点が前記表示画像に合っている場合に、前記表示画像に対応づけられた所定の制御を有効にする
処理をさらに実行させることを特徴とする付記12乃至14のいずれか1項に記載の焦点検出プログラム。
(付記16)
前記視線の位置と前記焦点が前記表示画像に合っている場合に、前記表示画像のコントラストを強くする処理をさらに備えることを特徴とする付記15記載の焦点検出プログラム。
101 HMD装置
111 フレーム
112 レンズ部分
121 筐体
122 CPU
123 RAM
124 ROM
125 プロジェクタ
126 カメラ
127 ハーフミラー
128 ハーフミラー
131 シャッター
141 ハーフミラー

Claims (7)

  1. 被検眼に入力される外来光を遮断するシャッターと、
    赤外光によりマーカーを前記被検眼に照射する照射部と、
    前記シャッターが閉じているときに前記被検眼の眼底に投影された前記マーカーを撮影する撮影部と、
    前記撮影部により撮影された前記マーカーの画像に基づいて、焦点を検出する処理部と、
    を備える情報処理装置。
  2. 入光部を有し、前記シャッター、前記照射部、前記撮影部、前記処理部のいずれかを支持するフレームをさらに備え、
    前記シャッターは、前記入光部より前記被検眼に向かって入力される前記外来光を遮断することを特徴とする請求項1記載の情報処理装置。
  3. 前記照射部は、前記シャッターが閉じているときに前記マーカーを照射することを特徴とする請求項1または2記載の情報処理装置。
  4. 前記外来光を透過させ、表示画像を反射する表示部をさらに備え、
    前記撮影部は、前記被検眼の瞳孔を撮影し、
    前記照射部は、前記シャッターが開いているときに前記表示画像を照射し、
    前記処理部は、前記撮影部により撮影された前記瞳孔の画像に基づいて視線の位置を検出し、前記視線の位置と前記焦点が前記表示画像に合っている場合に、前記表示画像に対応づけられた所定の制御を有効にすることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記処理部は、前記視線の位置と前記焦点が前記表示画像に合っている場合に、前記表示画像のコントラストを強くすることを特徴とする請求項4記載の情報処理装置。
  6. 被検眼に入力される外来光を遮断するシャッターを閉じ、
    赤外光によりマーカーを前記被検眼に照射し、
    前記シャッターが閉じているときに前記被検眼の眼底に投影された前記マーカーを撮影し、
    撮影された前記マーカーの画像に基づいて、焦点を検出する、
    処理を備える焦点検出方法。
  7. 被検眼に入力される外来光を遮断するシャッターを閉じ、
    赤外光によりマーカーを前記被検眼に照射し、
    前記シャッターが閉じているときに前記被検眼の眼底に投影された前記マーカーを撮影し、
    撮影された前記マーカーの画像に基づいて、焦点を検出する、
    処理をコンピュータに実行させる焦点検出プログラム。
JP2014159866A 2014-08-05 2014-08-05 情報処理装置、焦点検出方法、および焦点検出プログラム Pending JP2016036390A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014159866A JP2016036390A (ja) 2014-08-05 2014-08-05 情報処理装置、焦点検出方法、および焦点検出プログラム
US14/747,555 US20160041615A1 (en) 2014-08-05 2015-06-23 Information processing apparatus, focus detection method, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014159866A JP2016036390A (ja) 2014-08-05 2014-08-05 情報処理装置、焦点検出方法、および焦点検出プログラム

Publications (1)

Publication Number Publication Date
JP2016036390A true JP2016036390A (ja) 2016-03-22

Family

ID=55267396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014159866A Pending JP2016036390A (ja) 2014-08-05 2014-08-05 情報処理装置、焦点検出方法、および焦点検出プログラム

Country Status (2)

Country Link
US (1) US20160041615A1 (ja)
JP (1) JP2016036390A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022176291A (ja) * 2016-07-25 2022-11-25 マジック リープ, インコーポレイテッド ライトフィールドプロセッサシステム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150084990A1 (en) * 2013-04-07 2015-03-26 Laor Consulting Llc Augmented reality medical procedure aid
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
US10984508B2 (en) 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
CN117631307A (zh) 2018-05-29 2024-03-01 爱达扩视眼镜公司 用于低视力用户的混合式透视增强现实系统和方法
US12497671B2 (en) 2018-09-24 2025-12-16 Ecolab Usa Inc. Methods and compositions for pre-extractive beneficiation of ores
CN112969436B (zh) 2018-09-24 2024-02-09 爱达扩视眼镜公司 电子视觉辅助设备中自主增强的免手动控制
US10895949B2 (en) * 2019-02-22 2021-01-19 Htc Corporation Head mounted display and display method for eye-tracking cursor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002336199A (ja) * 2001-05-17 2002-11-26 Canon Inc 検眼装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6027216A (en) * 1997-10-21 2000-02-22 The Johns University School Of Medicine Eye fixation monitor and tracker
WO2012021967A1 (en) * 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
CN103431840B (zh) * 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103439801B (zh) * 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) * 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) * 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103595912B (zh) * 2013-09-30 2018-02-06 北京智谷睿拓技术服务有限公司 局部缩放的成像方法和装置
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002336199A (ja) * 2001-05-17 2002-11-26 Canon Inc 検眼装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022176291A (ja) * 2016-07-25 2022-11-25 マジック リープ, インコーポレイテッド ライトフィールドプロセッサシステム
JP7441915B2 (ja) 2016-07-25 2024-03-01 マジック リープ, インコーポレイテッド ライトフィールドプロセッサシステム

Also Published As

Publication number Publication date
US20160041615A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
JP2016036390A (ja) 情報処理装置、焦点検出方法、および焦点検出プログラム
JP6474900B2 (ja) ヘッドマウントディスプレイ
US10002293B2 (en) Image collection with increased accuracy
US10048750B2 (en) Content projection system and content projection method
KR102013708B1 (ko) 자동 초점 설정 방법 및 이를 위한 장치
KR101714349B1 (ko) 생체 인증 장치와 그 생체 영상 출력제어 방법
US9961335B2 (en) Pickup of objects in three-dimensional display
US9961257B2 (en) Imaging to facilitate object gaze
CN105431076B (zh) 视线引导装置
US11650660B2 (en) Electronic device, control method, and non-transitory computer readable medium
US20220329740A1 (en) Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium
US9427145B2 (en) Ophthalmologic measurement apparatus, method and program of controlling the same
JP2011229757A5 (ja)
JP6379639B2 (ja) 眼鏡装用パラメータ測定用撮影装置、眼鏡装用パラメータ測定用撮影プログラム
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
EP3139586B1 (en) Image shooting processing method and device
JP5484505B2 (ja) 眼科撮影装置
US20240036643A1 (en) Method for implementing a zooming function in an eye tracking system
JP7615262B1 (ja) 情報処理装置
US11971552B2 (en) Electronic device, method of controlling the same, and storage medium
KR20150062235A (ko) 레이저 인도 방식을 이용한 증강현실용 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 방법
US20240231482A1 (en) Display control apparatus and control method for display apparatus
JP2020081557A (ja) 眼の角膜中心の位置を特定する装置、方法、及びプログラム
JP2018116290A5 (ja) 撮像装置
JP2023063023A (ja) 電子機器及び電子機器の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180314

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180409

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181113