JP2015060071A - 画像表示装置、画像表示方法、および画像表示プログラム - Google Patents

Abstract

【課題】ＡＲ画像を観察するための特別なピント合わせを観察者に要求しない画像表示装置、画像表示方法、および画像表示プログラムを提供する。
【解決手段】外界からの光を透過しつつ、提示したいコンテンツ情報に応じた画像光を観察者の眼に投射する画像表示装置１０である。画像表示装置１０は、撮像装置１３の設置位置を基準とした場合の特徴点（Ａ、Ｂ、Ｃ、Ｄ）の位置を、第一基準位置としてそれぞれ算出する。そして、観察者が各特徴点の方向を見たときに、各特徴点とコンテンツ情報を共にピントを合わせて見ることが可能な第二基準位置の指定を特徴点ごとに受け付ける。このとき、第一基準位置と第二基準位置のずれに基づいて、第一基準位置を第二基準位置に補正するための基準データを作成する。
【選択図】図６

Description

本発明は、画像表示装置、画像表示方法、および画像表示プログラムに関する。

近年、現実の環境に付加的な情報を重畳させて表示する拡張現実（ＡＲ：Ａｕｇｍｅｎ
ｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術を用いれば、現実
の環境に、案内、広告などの各種コンテンツ（「ＡＲ画像」とも称する）を重ね合わせて表示できる。ＡＲ技術を用いた代表的な装置としては、シースルー型のヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などがある。

一般的に、ヘッドマウントディスプレイには、外界を撮像するためのカメラが設けられている。たとえば、カメラによって撮像された画像は、ヘッドマウントディスプレイを頭部に装着している観察者（ユーザー）が観察している外界を認識して、適切な位置にＡＲ画像を表示させるために利用される。

このとき、カメラによって撮像された画像から認識される外界と、観察者が実際に観察している外界と、にずれが生じると、意図した位置にＡＲ画像を表示できない。そこで、このようなずれが生じないようにするために、観察者の視線方向とカメラの撮像方向を、完全に一致させたいという要望がある。

しかし、ヘッドマウントディスプレイにおいて、観察者の視線方向と、カメラの撮像方向と、を完全に一致させようとすると、複雑な光学系になる。そのため、カメラは、観察者の視線上ではない位置（たとえば、ヘッドマウントディスプレイのフレーム部分など）に設置されることが多い。

このような位置にカメラが設置されると、当然ながら、カメラによって撮像された画像から認識される外界と、観察者が実際に観察している外界と、にずれが生じる。そこで、このずれを軽減するために、カメラによって撮像された画像を補正する技術が開発されている（たとえば、特許文献１）。特許文献１に記載の技術を用いれば、ＡＲ画像を、適切な位置、適切なサイズ、適切な向きで、現実の環境に重ね合わせて表示させることができる。

特開２００９−２８４１７５号公報

しかし、撮像画像から認識される外界と、観察者が実際に観察している外界と、の間で奥行き方向（観察者の視線方向）にずれが生じるケースがあり、特許文献１では、このケースについて何も考慮されていない。このような奥行き方向のずれが生じた場合には、特許文献１の技術を用いても、ＡＲ画像を適切な位置に表示できない。つまり、ＡＲ画像の表示位置（存在しているように見える位置）が、観察者が注視している対象物（人物など）から、手前または奥にずれてしまう。このような状態では、観察者は、その対象物とＡＲ画像に対して、交互にピントを合わせて観察する必要があり、眼が疲れてしまう。

本発明は、上記事情に鑑みてなされたものであり、ＡＲ画像を観察するための特別なピント合わせを観察者に要求しない画像表示装置、画像表示方法、および画像表示プログラムを提供することを目的とする。

（１）外界からの光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射する画像表示装置であって、外界を撮像して撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像を用いて、外界に実在する特徴点を選択する選択部と、前記撮像部の設置位置を基準とした場合の前記特徴点の位置を、第一基準位置として算出する算出部と、前記観察者が前記特徴点の方向を見たときに、前記特徴点と前記コンテンツ情報を、共にピントを合わせて見ることが可能な第二基準位置の指定を受け付ける受付部と、前記算出部により算出された前記第一基準位置と、前記受付部により受け付けられた前記第二基準位置と、のずれに基づいて、前記第一基準位置を前記第二基準位置に補正するための基準データを作成する基準作成部と、を備える画像表示装置。

（２）前記算出部により算出された前記第一基準位置に前記コンテンツ情報が存在するように表示する表示部をさらに備え、前記受付部は、前記表示部に表示された前記コンテンツ情報を、前記特徴点の位置に移動させる操作によって、前記第二基準位置の指定を受け付ける、上記（１）に記載の画像表示装置。

（３）前記撮像部の設置位置から前記特徴点までの距離を測定する測距部をさらに備え、前記算出部は、前記測距部により測定された前記距離を用いて、前記第一基準位置を算出する、上記（１）または（２）に記載の画像表示装置。

（４）前記撮像部は、ステレオカメラまたはアレイカメラであって、前記算出部は、前記ステレオカメラまたはアレイカメラにより生成された複数枚の撮像画像を用いて、前記第一基準位置を算出する、上記（１）または（２）に記載の画像表示装置。

（５）前記受付部は、前記表示部に表示された前記コンテンツ情報を、前記特徴点と共にピントを合わせて見ることが可能な位置まで奥行き方向に移動させてから、前記奥行き方向と垂直な平面内において前記コンテンツ情報を移動させる操作により、前記第二基準位置の指定を受け付ける、上記（１）〜（４）のいずれかに記載の画像形成装置。

（６）前記基準作成部により作成された基準データを用いて、新たなコンテンツ情報の表示位置を補正する補正部をさらに備え、前記補正部は、前記観察者が注視している対象物に応じて、前記新たなコンテンツ情報の表示位置を変更する、上記（１）〜（５）のいずれかに記載の画像形成装置。

（７）外界からの光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射する画像表示方法であって、（ａ）外界を撮像して撮像画像を生成するステップと、（ｂ）前記ステップ（ａ）において生成された撮像画像を用いて、外界に実在する特徴点を選択するステップと、（ｃ）前記ステップ（ａ）において撮像を行う撮像装置の設置位置を基準とした場合の前記特徴点の位置を、第一基準位置として算出するステップと、（ｄ）前記観察者が前記特徴点の方向を見たときに、前記特徴点と前記コンテンツ情報を、共にピントを合わせて見ることが可能な第二基準位置の指定を受け付けるステップと、（ｅ）前記ステップ（ｃ）において算出された前記第一基準位置と、前記ステップ（ｄ）において受け付けられた前記第二基準位置と、のずれに基づいて、前記第一基準位置を前記第二基準位置に補正するための基準データを作成するステップと、を行う画像表示方法。

（８）（ｆ）前記ステップ（ｃ）において算出された前記第一基準位置に前記コンテンツ情報が存在するように表示するステップをさらに行い、前記ステップ（ｄ）は、前記ステップ（ｆ）において表示された前記コンテンツ情報を、前記特徴点の位置に移動させる操作によって、前記第二基準位置の指定を受け付ける、上記（７）に記載の画像表示方法。

（９）（ｇ）前記撮像装置の設置位置から、前記ステップ（ｂ）により選択された前記特徴点までの距離を測定するステップをさらに行い、前記ステップ（ｃ）は、前記ステップ（ｇ）において測定された前記距離を用いて、前記第一基準位置を算出する、上記（７）または（８）に記載の画像表示方法。

（１０）前記撮像装置は、ステレオカメラまたはアレイカメラであって、前記ステップ（ｃ）は、前記ステレオカメラまたはアレイカメラにより生成された複数枚の撮像画像を用いて、前記第一基準位置を算出する、上記（７）または（８）に記載の画像表示方法。

（１１）前記ステップ（ｄ）は、前記ステップ（ｆ）において表示された前記コンテンツ情報を、前記特徴点と共にピントを合わせて見ることが可能な位置まで奥行き方向に移動させてから、前記奥行き方向と垂直な平面内において前記コンテンツ情報を移動させる操作により、前記第二基準位置の指定を受け付ける、上記（８）〜（１０）のいずれかに記載の画像形成方法。

（１２）（ｈ）前記ステップ（ｅ）において作成された基準データを用いて、新たなコンテンツ情報の表示位置を補正するステップをさらに行い、前記ステップ（ｈ）は、前記観察者が注視している対象物に応じて、前記新たなコンテンツ情報の表示位置を変更する、上記（７）〜（１１）のいずれかに記載の画像形成方法。

（１３）外界からの光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射する画像表示装置として機能するコンピューターに、（ａ）外界を撮像して撮像画像を生成するステップと、（ｂ）前記ステップ（ａ）において生成された撮像画像を用いて、外界に実在する特徴点を選択するステップと、（ｃ）前記ステップ（ａ）において撮像を行う撮像装置の設置位置を基準とした場合の前記特徴点の位置を、第一基準位置として算出するステップと、（ｄ）前記観察者が前記特徴点の方向を見たときに、前記特徴点と前記コンテンツ情報を、共にピントを合わせて見ることが可能な第二基準位置の指定を受け付けるステップと、（ｅ）前記ステップ（ｃ）において算出された前記第一基準位置と、前記ステップ（ｄ）において受け付けられた前記第二基準位置と、のずれに基づいて、前記第一基準位置を前記第二基準位置に補正するための基準データを作成するステップと、を実行させる画像表示プログラム。

（１４）（ｆ）前記ステップ（ｃ）において算出された前記第一基準位置に前記コンテンツ情報が存在するように表示するステップをさらに前記コンピューターに実行させ、前記ステップ（ｄ）は、前記ステップ（ｆ）において表示された前記コンテンツ情報を、前記特徴点の位置に移動させる操作によって、前記第二基準位置の指定を受け付ける、上記（１３）に記載の画像表示プログラム。

（１５）（ｇ）前記撮像装置の設置位置から、前記ステップ（ｂ）により選択された前記特徴点までの距離を測定するステップをさらに前記コンピューターに実行させ、前記ステップ（ｃ）は、前記ステップ（ｇ）において測定された前記距離を用いて、前記第一基準位置を算出する、上記（１３）または（１４）に記載の画像表示プログラム。

（１６）前記撮像装置は、ステレオカメラまたはアレイカメラであって、前記ステップ（ｃ）は、前記ステレオカメラまたはアレイカメラにより生成された複数枚の撮像画像を用いて、前記第一基準位置を算出する、上記（１３）または（１４）に記載の画像表示プログラム。

（１７）前記ステップ（ｄ）は、前記ステップ（ｆ）において表示された前記コンテンツ情報を、前記特徴点と共にピントを合わせて見ることが可能な位置まで奥行き方向に移動させてから、前記奥行き方向と垂直な平面内において前記コンテンツ情報を移動させる操作により、前記第二基準位置の指定を受け付ける、上記（１４）〜（１６）のいずれかに記載の画像形成プログラム。

（１８）（ｈ）前記ステップ（ｅ）において作成された基準データを用いて、新たなコンテンツ情報の表示位置を補正するステップをさらに前記コンピューターに実行させ、前記ステップ（ｈ）は、前記観察者が注視している対象物に応じて、前記新たなコンテンツ情報の表示位置を変更する、上記（１３）〜（１７）のいずれかに記載の画像形成プログラム。

本発明によれば、撮像画像から認識される外界と、観察者が実際に観察している外界と、のずれを補正するための基準を作る。これにより、光学系を複雑にすることなく、観察者が注視している対象物の近傍にＡＲ画像が存在するような表示が可能になる。その結果、観察者は、その対象物とＡＲ画像の両方に同時にピントを合わせて観察することができるようになり、眼が疲れない。

第一実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）装置の外観例を示す図である。 ＨＭＤ装置に設けられるＡＲ提供装置の概略構成図である。 ＨＭＤ装置のハードウェア構成例を示すブロック図である。 ＨＭＤ装置の機能構成例を示すブロック図である。 キャリブレーション処理の手順を示すフローチャートである。 観察者の頭部に装着されたＨＭＤ装置と、撮像方向に存在する物体との位置関係の例を示す図である。 撮像画像の一例を示す図である。 ＡＲマーカーの位置を調整する方法について説明するための図である。 ＡＲマーカーの奥行き方向（Ｚ方向）の調整方法について説明するための図である。 ＡＲマーカーの左右方向（Ｘ方向）および上下方向（Ｙ方向）の調整方法について説明するための図である。 第二実施形態に係るＡＲ提供装置の概略構成図である。 ＡＲ画像表示処理の手順を示すフローチャートである。 観察者が注視している対象物に応じてＡＲ画像の表示位置を変更したときの表示例を示す図である。 ＡＲマーカーの調整時における表示装置についての変形例を示す図である。 観察者の頭が揺れたときの撮像画像および観察者の視界の例を示す図である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

＜第一実施形態＞
図１は、第一実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）装置の外観例を示す図である。図２は、ＨＭＤ装置に設けられるＡＲ提供装置の概略構成図である。図３は、ＨＭＤ装置のハードウェア構成例を示すブロック図である。

以下、図１〜図３を参照して、ＨＭＤ装置１０の概略構成、特にハードウェア構成について説明する。

＜ＨＭＤ装置１０（ハードウェア構成）＞
第一実施形態に係るＨＭＤ装置１０は、ユーザー（以下「観察者」とも称する）の頭部に装着して使用される画像表示装置である。たとえば、ＨＭＤ装置１０は、外界からの光を透過しつつ、提示したいコンテンツ情報に応じた画像光をＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像として観察者の眼に投射するシースルー型の画像表示装置である。ＡＲ画像は、観察者が観察している現実の環境（現実空間）に、あたかも存在しているかのように表示される。

図１に示すとおり、ＨＭＤ装置１０は、フレーム１１と、透明部材１２と、撮像装置１３と、ＡＲ提供装置２０と、本体部３０とを有している。

フレーム１１は、ＨＭＤ装置１０を観察者の頭部に装着可能にする形状を有しており、たとえば、メガネ型の形状を有する。

透明部材１２は、ＨＭＤ装置１０を装着した観察者が外界を観察できるように、外界からの光を透過して観察者の眼に届けることが可能な透明な材料（ガラス、プラスチック、フィルムなど）により形成される。透明部材１２は、フレーム１１のリム（透明部材１２を支える部分）にはめ込まれて固定される。なお、フレーム１１のリムに透明部材１２を設けず、外界からの光がダイレクトに観察者の眼に届くようにしてもよい。

撮像装置１３は、撮像用レンズの光軸方向（以下では、「撮像方向」とも称する）の外界を撮像する。たとえば、撮像装置１３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサーを備えたデジタルカメラあるいはビデオカメラである。撮像装置１３の撮像によって、たとえば、ＪＰＥＧ、ＭＰＥＧ２／４等の撮像画像（動画）が生成される。なお、第一実施形態の撮像装置１３は、図１に示すとおり、観察者の視線上ではないフレーム１１部分に設置される。

また、撮像装置１３は、たとえば、撮像方向に存在する特徴点（たとえば、人物の顔や特徴的な形状を有する物体など）までの距離を測定可能な測距装置としても機能する。なお、撮像装置１３は、特徴点までの距離を測定できるものであれば、どのような形態、名称、構造のものであってもよく、ステレオカメラ、アレイカメラ、近赤外発光素子（近赤外レーザーなど）と近赤外受光素子、超音波センサー等により構成されてもよい。また、撮像装置１３には、ＨＭＤ装置１０の姿勢を検出するために必要なセンサー、たとえば、３軸加速度センサー、ジャイロセンサー等が含まれてもよい。

ＡＲ提供装置２０は、外界からの光に付加的に重畳させる画像（ＡＲ画像）を表示する。たとえば、ＡＲ提供装置２０は、観察者の視線方向に存在する人物の近くに、名前、勤務先などの情報を含む吹き出しがあたかも存在するかのように表示する。このような表示は、ＡＲ画像の位置、サイズ、向き、形状、色（彩度、明度、コントラストなど）、陰影などを調整することによって実現される。なお、ＡＲ提供装置２０は、図１に示すような単眼式ではなく、双眼式でもよい。ＡＲ提供装置２０の具体的な構成については後述する。

本体部３０は、撮像装置１３と、ＡＲ提供装置２０とを制御し、全体としてヘッドマウントディスプレイとして機能させるために必要な構成を有する。本体部３０の具体的な構成については後述する。

（ＡＲ提供装置２０の具体的な構成）
次に、ＡＲ提供装置２０の具体的な構成について説明する。

図２に示すとおり、ＡＲ提供装置２０は、表示装置２１と、レンズ２２と、導光部２３とを備える。

表示装置２１は、ＡＲ画像を表示する。図２に示すとおり、表示装置２１から出力された画像光は、レンズ２２を介して、導光部２３へ入射する。たとえば、表示装置２１には、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、などが採用される。

また、表示装置２１は、図２に示す光軸方向（＋Ｌ方向または−Ｌ方向）に沿って移動可能に設置される。表示装置２１が導光部２３から遠のく方向（＋Ｌ方向）に移動すると、表示装置２１から観察者の眼までの光路長は長くなる。このとき、観察者は、ＡＲ画像が遠のく方向（＋Ｚ方向）に移動したように見える。これとは反対に、表示装置２１が導光部２３に近づく方向（−Ｌ方向）に移動すると、表示装置２１から観察者の眼までの光路長は短くなる。このとき、観察者は、ＡＲ画像が近づく方向（−Ｚ方向）に移動したように見える。

なお、以下では、観察者の両眼間の中点を座標原点（０，０，０）として、観察者からみて左右方向をＸ軸とし、観察者からみて上下方向をＹ軸とし、観察者からみて前後方向（手前方向、奥行き方向）をＺ軸とする。また、このような座標系を、観察者基準の座標系ＸＹＺと称する。

レンズ２２は、複数枚のレンズ群から構成される。このレンズ群を構成する各レンズは、独立して光軸方向（＋Ｌ方向または−Ｌ方向）に移動可能である。各レンズの位置関係を調節することにより、焦点距離を自由に変更できる。これに伴い、たとえば、表示装置２１の移動量ΔＬに対するＡＲ画像（観察者から見てＡＲ画像が存在しているように見える位置）の移動量ΔＺの比（ΔＺ／ΔＬ）を調整できる。

導光部２３は、表示装置２１からの画像光を観察者の眼に導く。図２に示すとおり、導光部２３は、透明板２４および第一ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）２５を有する。

透明板２４は、屈折率が空気よりも大きいガラス、樹脂などの材料で形成された透明な板である。

第一ＨＯＥ２５は、ホログラムを利用した光学素子であり、特定の波長の光のみを反射し、その他の波長の光を透過する性質を有する。第一実施形態では、第一ＨＯＥ２５は、表示装置２１からの画像光を回折反射させて観察者の眼に導くと共に、外界からの光を透過させて観察者の眼に導く体積位相型で反射型のホログラフィック光学素子である。すなわち、第一ＨＯＥ２５は、外界とＡＲ画像を同時に観察可能にするコンバイナとして機能する。なお、第一ＨＯＥ２５の代わりに、ハーフミラーや偏光ビームスプリッターなどを用いてもよい。

（本体部３０の具体的な構成）
次に、本体部３０の具体的な構成について説明する。

図３に示すとおり、本体部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、メモリー３２と、ストレージ３３と、入力装置３４と、駆動装置３５と、表示コントローラー３６とを備える。

ＣＰＵ３１は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するプロセッサ等から構成される制御回路であり、ＨＭＤ装置１０の各機能は、それに対応するプログラムをＣＰＵ３１が実行することにより発揮される。

メモリー３２は、作業領域として一時的にプログラムおよびデータを記憶する高速アクセス可能な主記憶装置である。メモリー３２には、たとえば、ＤＲＡＭ（Ｄｙｍａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｍａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が採用される。

ストレージ３３は、オペレーティングシステムを含む各種プログラムや各種データを格納する大容量の補助記憶装置である。ストレージ１３には、たとえば、フラッシュメモリー等が採用される。

入力装置３４は、ＡＲ画像の選択や移動などの指示を入力するための物理的な方向キーやボタンにより構成される。また、入力装置３４として、外部のコントローラー（たとえば、スマートフォン、リモートコントローラーなど）を利用してもよい。

駆動装置３５は、表示装置２１およびレンズ２２を光軸方向に移動させる装置である。駆動装置３５には、たとえば、ステッピングモータ、ボイスコイルモータ等が採用される。

表示コントローラー３６は、ＡＲ画像などを表示装置２１に表示させる。たとえば、表示コントローラー３６は、所定の表示周期毎にメモリー３２からＡＲ画像を読み出して、表示装置２１へ入力するための信号に変換するとともに、水平同期信号、垂直同期信号などのパルス信号を生成する。

以上のようなハードウェア構成を有するＨＭＤ装置１０は、以下の機能構成を有する。

図４は、ＨＭＤ装置の機能構成例を示すブロック図である。

＜ＨＭＤ装置１０（機能構成）＞
図４に示すとおり、ＨＭＤ装置１０は、機能構成として、撮像部４１と、特徴点選択部４２と、測距部４３と、第一基準算出部４４と、表示制御部４５と、第二基準受付部４６と、基準作成部４７と、ＡＲアプリケーション部４８とを有する。

ここで、破線枠内の機能部４１〜４７は、撮像装置１３の撮像により得られた撮像画像から認識される外界と、観察者が実際に観察している外界と、のずれを補正するための基準を作成するキャリブレーション機能に関する。一方、ＡＲアプリケーション部４８は、キャリブレーション機能により作成された基準を利用して、観察者の視線方向にある対象物の近傍にＡＲ画像が存在するように表示する機能に関する。

以下、各機能部４１〜４８について具体的に説明する。なお、各機能部４１〜４８は、ＣＰＵ３１が、ストレージ３３にインストールされているプログラムをメモリー３２に読み出して実行することにより実現される。また、これに限らず、ＡＳＩＣ等のハードウェアにより実現されてもよい。

撮像部４１は、撮像装置１３を制御して、外界を撮像する。これにより、撮像画像が生成される。

特徴点選択部４２は、撮像部４１により生成された撮像画像を用いて、外界に実在する特徴点を選択する。

測距部４３は、撮像装置１３を制御して、撮像装置１３の設置位置から、特徴点選択部４２により選択された特徴点までの撮像方向の距離を測定する。

第一基準算出部４４は、撮像装置１３の設置位置を基準とした場合の特徴点の位置を、第一基準位置として算出する。

表示制御部４５は、表示装置２１にＡＲ画像を表示させる。たとえば、表示制御部４５は、第一基準算出部４４により算出された第一基準位置にＡＲマーカーを表示する。

第二基準受付部４６は、観察者が外界に実在する特徴点の方向を見たときに、その特徴点とＡＲ画像を共にピントを合わせて見ることが可能な第二基準位置の指定を受け付ける。たとえば、第二基準受付部４６は、最初に、表示制御部４５により表示されたＡＲマーカーを、外界に実在する特徴点と共にピントを合わせて見ることが可能な奥行き方向の位置まで移動させる操作を受け付ける。次に、その奥行き方向と垂直な平面内（上下左右方向）においてＡＲマーカーを移動させる操作により、第二基準位置の指定を受け付ける。

基準作成部４７は、第一基準算出部４４により算出された第一基準位置と、第二基準受付部４６により受け付けられた第二基準位置と、のずれに基づいて、第一基準位置を第二基準位置に補正するための基準データを作成する。

ＡＲアプリケーション部４８は、ＡＲ画像の表示を伴う各種機能を提供する。たとえば、ＡＲアプリケーション部４８は、観察者の視線方向にある対象物（人物など）の近傍に、ＡＲ画像（名前、勤務先などの情報を含む吹き出しなど）が存在するように表示する。このとき、ＡＲアプリケーション部４８は、基準作成部４７により作成された基準データを適用することによって表示位置を補正してからＡＲ画像を表示する。

各機能部４１〜４８の詳細な動作については以下に詳述する。

＜ＨＭＤ装置１０の動作＞
図５は、ＨＭＤ装置において実行されるキャリブレーション処理の手順を示すフローチャートである。図６は、観察者の頭部に装着されたＨＭＤ装置と、撮像方向に存在する物体との位置関係の例を示す図である。図７は、撮像画像の一例を示す図である。図８は、ＡＲマーカーの位置を調整する方法について説明するための図である。図８（Ａ）は、調整前のＡＲマーカーの位置を示す図であり、図８（Ｂ）は、調整後のＡＲマーカーの位置を示す図である。図９は、ＡＲマーカーの奥行き方向（Ｚ方向）の調整方法について説明するための図である。図９（Ａ）は、撮像画像の例を示す図であり、図９（Ｂ）は、ＡＲマーカー調整前の観察者の視界の例を示す図であり、図９（Ｃ）は、ＡＲマーカー調整後の観察者の視界の例を示す図である。図１０は、ＡＲマーカーの左右方向（Ｘ方向）および上下方向（Ｙ方向）の調整方法について説明するための図である。図１０（Ａ）は、ＡＲマーカー調整前の観察者の視界の例を示す図であり、図１０（Ｂ）は、ＡＲマーカー調整後の観察者の視界の例を示す図であり、図１０（Ｃ）は、全特徴点についてＡＲマーカー調整後の観察者の視界の例を示す図である。

以下、図５〜図１０を参照して、キャリブレーション処理の手順について説明する。

（キャリブレーション処理）
たとえば、ＨＭＤ装置１０は、本体の電源が投入されると、図５に示すキャリブレーション処理を開始する。ただし、キャリブレーション処理を開始するタイミングは、これに限定されず、入力装置３４に対してキャリブレーション処理を開始するための操作がなされたときに、キャリブレーション処理を開始してもよい。また、ＨＭＤ装置１０が観察者の頭部に装着されたことを検知したときにキャリブレーション処理を開始してもよい。

［ステップＳ１０１］
キャリブレーション処理を開始すると、ＨＭＤ装置１０は、撮像部４１として機能し、外界を撮像する。具体的には、ＨＭＤ装置１０は、撮像装置１３を制御して撮像を開始することにより、撮像用レンズの光軸方向の撮像画像を生成する。

たとえば、図６に示す例のように、ＨＭＤ装置１０を頭部に装着した観察者が、外界に実在する立方体形状の物体を観察しているとする。このとき、撮像装置１３によって、撮像用レンズの光軸方向（Ｚ’方向）の風景が撮像されると、図７に示す例のような撮像画像が生成される。

なお、以下では、図６、図７に示すように、撮像装置１３の撮像用レンズの中心を座標原点（０，０，０）として、撮像装置１３の水平軸をＸ’軸とし、垂直軸をＹ’軸とし、光軸（撮像方向）をＺ’軸とする。また、このような座標系を、撮像装置基準の座標系Ｘ’Ｙ’Ｚ’と称する。

また、ＨＭＤ装置１０は、生成した撮像画像をメモリー３２やストレージ３３に記憶する。

［ステップＳ１０２］
次に、ＨＭＤ装置１０は、特徴点選択部４２として機能し、ステップＳ１０１において生成された撮像画像を用いて、外界に実在する特徴点を選択する。たとえば、ＨＭＤ装置１０は、エッジ検出や顔認識などの一般的な手法を用いて、撮像画像内で特徴的な部分を、特徴点として抽出する。その後、ＨＭＤ装置１０は、抽出された特徴点の中から、一つの特徴点を選択する。たとえば、図７に示す例のような撮像画像の場合、特徴点選択部４２は、立方体形状の物体の頂点を特徴点（Ａ、Ｂ、Ｃ、Ｄ）として選択する。

［ステップＳ１０３］
続いて、ＨＭＤ装置１０は、第一基準算出部４４として機能し、ステップＳ１０２において選択された特徴点について、撮像装置１３の設置位置を基準とした場合の位置を、第一基準位置として算出する。すなわち、ＨＭＤ装置１０は、撮像装置基準の座標系Ｘ’Ｙ’Ｚ’における特徴点の位置（三次元座標）を、第一基準位置として算出する。なお、特徴点のＸ’Ｙ’座標については、撮像画像を用いて算出し、特徴点のＺ’座標については、測距部４３により測定された値（距離）を用いて算出する。

より具体的には、ＨＭＤ装置１０は、ステップＳ１０１において生成された撮像画像内での特徴点のｘ座標およびｙ座標を、第一基準位置のＸ’座標およびＹ’座標とする。

さらに、ＨＭＤ装置１０は、測距部４３として機能し、撮像装置１３の設置位置から、特徴点までの距離を測定する。たとえば、ＨＭＤ装置１０は、撮像装置１３を制御して、不図示の近赤外レーザーから観察者の視界内をスキャンするように出射されたレーザー光のうち、特徴点に反射して戻ってきたレーザー光を受光する。このとき、レーザー光が特徴点まで往復するのに要する時間を計測することによって、特徴点までの奥行き方向の距離を算出する。なお、撮像装置１３がステレオカメラまたはアレイカメラである場合には、ＨＭＤ装置１０は、ステレオカメラまたはアレイカメラにより撮像された複数枚の撮像画像を用いて、特徴点までの奥行き方向の距離を算出する。そして、ＨＭＤ装置１０は、ここで算出された奥行き方向の距離を、第一基準位置のＺ’座標とする。

［ステップＳ１０４］
次に、ＨＭＤ装置１０は、表示制御部４５として機能し、ステップＳ１０３において算出された第一基準位置（Ｘ’，Ｙ’，Ｚ’）にＡＲマーカーが存在しているかのように表示する。たとえば、ＨＭＤ装置１０は、図８（Ａ）に示すような黒丸のＡＲ画像を、ＡＲマーカーＭとして表示装置２１に表示する。このとき、ＨＭＤ装置１０は、観察者基準の座標系ＸＹＺと撮像装置基準の座標系Ｘ’Ｙ’Ｚ’とが同一とみなして、第一基準算出部４４により算出された第一基準位置（Ｘ’，Ｙ’，Ｚ’）にＡＲマーカーＭが存在しているかのように表示する。以下では、ＡＲマーカーＭが第一基準位置に存在しているかのように表示されたときの表示装置２１上の座標（二次元座標）を、第一基準座標Ｋ（ｘ，ｙ）と置く。

なお、第一基準位置（Ｘ’，Ｙ’，Ｚ’）にＡＲマーカーが存在しているかのように表示するために、ＨＭＤ装置１０は、ＡＲマーカーの表示位置、サイズ、向き、形状、色（彩度、明度、コントラストなど）、陰影などを調整する。より具体的に説明すると、表示位置については、ＡＲマーカーの周辺に存在する対象物（たとえば、立方体形状の物体など）との距離を調整すればよい。また、サイズ、向き、形状については、一般的な遠近法に従って調整すればよい。また、色については、遠くのものほど霞んで見えるように、彩度、明度、コントラストをそれぞれ調整すればよい。また、陰影については、影の向き、長さなどを調整すればよい。

ただし、ステップＳ１０３において算出された第一基準位置は、撮像装置１３の位置を基準としており、観察者の視点とは異なるため、その第一基準位置にＡＲマーカーが存在しているかのように表示しても、期待する位置からずれていることがある。たとえば、図９（Ａ）に示す第一基準位置にＡＲマーカーＭが存在しているかのように表示しても、図８（Ａ）、図９（Ｂ）に示すように、観察者からは、ＡＲマーカーＭが特徴点Ａからずれて見えることがある。

［ステップＳ１０５］
そこで、ＨＭＤ装置１０は、第二基準受付部４６として機能し、観察者が特徴点の方向を見たときに、特徴点とＡＲマーカーを共にピントを合わせて見ることが可能な第二基準位置の指定を受け付ける。たとえば、ＨＭＤ装置１０は、図８（Ｂ）に示す例のように、観察者が一つの特徴点Ａの方向を見ながら、表示装置２１に表示されたＡＲマーカーＭを、その特徴点Ａと重なる位置に移動させるマニュアル操作によって、第二基準位置の指定を受け付ける。なお、ＡＲマーカーＭが第二基準位置に存在しているかのように表示されたときの表示装置２１上の座標（二次元座標）を、第二基準座標Ｋ’（ｘ’，ｙ’）と置く。

なお、第二基準位置にＡＲマーカーを移動させるために、ＨＭＤ装置１０の駆動装置３５は、最初に、観察者による入力装置３４の操作に従って、表示装置２１およびレンズ２２を光軸方向（図２に示すＬ方向）に移動させる。これに伴い、ＡＲマーカーは、観察者から見て、奥行き方向（Ｚ方向）に移動するように見える。最終的には、図９（Ｃ）に示すように、駆動装置３５は、観察者による入力装置３４の操作に従って、観察者がＡＲマーカーＭと特徴点Ａを共にピントを合わせて見ることが可能だと判断した位置まで、ＡＲマーカーＭを奥行き方向に移動させる。これにより、観察者は、特徴点ＡとＡＲマーカーＭを共にピントを合わせて見ることが可能になる。

しかし、特徴点とＡＲマーカーの両者にピントを合わせて見ることが可能になっても、図９（Ｃ）、図１０（Ａ）に示すように、観察者から見て左右方向（Ｘ方向）、上下方向（Ｙ方向）にずれて見えることもある。

そこで、ＨＭＤ装置１０の駆動装置３５は、次に、観察者による入力装置３４の操作に従って、ＡＲマーカーの表示位置を、左右方向（Ｘ方向）、上下方向（Ｙ方向）に移動させる。最終的には、図１０（Ｂ）に示すように、駆動装置３５は、観察者による入力装置３４の操作に従って、観察者がＡＲマーカーＭと特徴点Ａが重なる位置まで、ＡＲマーカーＭを左右方向、上下方向に移動させる。そして、ＨＭＤ装置１０は、ＡＲマーカーＭが特徴点Ａと重なったときの位置（Ｘ，Ｙ，Ｚ）を第二基準位置とする。

［ステップＳ１０６］
次に、ＨＭＤ装置１０は、四点の特徴点について処理済みであるか否か判別する。具体的には、ＨＭＤ装置１０は、四点の特徴点について第一基準座標Ｋおよび第二基準座標Ｋ’が得られた場合には、処理済みであると判別し、得られていない場合には、処理済みではないと判別する。

ＨＭＤ装置１０は、四点の特徴点について処理済みではないと判別した場合には（ステップＳ１０６：ＮＯ）、四点の特徴点について処理済みになるまで、ステップＳ１０１〜ステップＳ１０５の処理を繰り返す。これにより、残りの特徴点（Ｂ、Ｃ、Ｄなど）についても、第一基準位置が算出され、第二基準位置も指定される（図１０（Ｃ））。そして、ＨＭＤ装置１０は、四点の特徴点（Ａ、Ｂ、Ｃ、Ｄ）について、第一基準座標Ｋおよび第二基準座標Ｋ’を得る。

また、ＨＭＤ装置１０は、四点の特徴点について処理済みであると判別した場合には（ステップＳ１０６：ＹＥＳ）、処理をステップＳ１０７に進める。

［ステップＳ１０７］
ＨＭＤ装置１０は、基準作成部４７として機能し、ステップＳ１０３において算出された第一基準位置と、ステップＳ１０５において受け付けられた第二基準位置と、のずれに基づいて、第一基準位置を第二基準位置に補正するための基準データを作成する。

具体的には、ＨＭＤ装置１０は、全ての特徴点（Ａ、Ｂ、Ｃ、Ｄ）についての第一基準座標Ｋ（ｘ，ｙ）を第二基準座標Ｋ’（ｘ’，ｙ’）に変換可能なホモグラフィ行列Ｈを求める。すなわち、基準作成部４７は、ＨＫ＝ｓＫ’を満たすホモグラフィ行列Ｈを求める。ここで、ホモグラフィ行列Ｈは３×３の行列であり、ｓはスケール係数である。具体的には、ＨＫ＝ｓＫ’は以下の数式１のように記述できる。

なお、以下に数式１を満たすホモグラフィ行列Ｈの求め方について簡単に説明する。具体的には、下記の（ｉ）〜（ｉｖ）の手順でホモグラフィ行列Ｈを求める。

（ｉ）ＨＭＤ装置１０は、ホモグラフィのスケーリングを固定するために、数式１のスケール係数ｓに「１」を代入する。これにより、以下の数式２を得る。

（ｉｉ）ＨＭＤ装置１０は、数式２の行列式を分解し、ｓを消去することにより、以下の数式３を得る。

（ｉｉｉ）ＨＭＤ装置１０は、数式３を整理して行列の形で表すと、以下の数式４を得る。

（ｉｖ）ＨＭＤ装置１０は、数式４の６×２の行列について逆行列を求め、求めた逆行列を左から両辺に乗じることによりパラメータｈ_１１〜ｈ_３２を得る。

［ステップＳ１０８］
続いて、ＨＭＤ装置１０は、基準作成部４７として機能し、ステップＳ１０７において求めたパラメータｈ１１〜ｈ３２を要素としたホモグラフィ行列Ｈを、基準データとしてメモリー３２やストレージ３３に記憶する。

その後、ＨＭＤ装置１０は、キャリブレーション処理を終了する。

以上のキャリブレーション処理がＨＭＤ装置１０において実行されることにより、撮像画像から認識される外界と、観察者が実際に観察している外界と、のずれを補正するための基準を作成することができる。ＡＲアプリケーション部４８は、作成された基準を用いてＡＲ画像の表示位置を補正すれば、光学系を複雑にすることなく、観察者が観察している対象物の近傍にＡＲ画像が存在しているかのような表示が可能になる。その結果、観察者は、その対象物とＡＲ画像の両方に同時にピントを合わせて観察することができるようになり、眼が疲れない。

なお、上記したフローチャートの各処理単位は、ＨＭＤ装置１０の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。ＨＭＤ装置１０で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。

＜第二実施形態＞
上記の第一実施形態では、撮像方向（Ｚ方向）に複数の対象物（たとえば、人物など）が存在する場合には、観察者が注視している対象物を正確に特定できず、ＡＲ画像をどの対象物の近傍に表示すればよいのか判断できない。

そこで、第二実施形態に係るＨＭＤ装置１０は、この問題を解決すべく、観察者の視線方向を検知して、その視線方向の先に存在する対象物の近傍にＡＲ画像を表示可能にする。

以下の説明では、上記の第一実施形態と異なる点を中心に説明し、同様の構成については同じ符号を付して説明を省略する。

図１１は、第二実施形態に係るＡＲ提供装置の概略構成図である。

第二実施形態に係るＨＭＤ装置１０は、第一実施形態とは一部の構成が異なるＡＲ提供装置２０を備える。ＡＲ提供装置２０は、図１１に示すとおり、表示装置２１、レンズ２２、導光部２３、透明板２４、第一ＨＯＥ２５の構成に加えて、視線検出装置２６、第二ＨＯＥ２７を備える。

視線検出装置２６は、照明装置２６Ａと、視線検出用の撮像装置２６Ｂとを備え、第二ＨＯＥ２７は、第一ＨＯＥ２５と同様の機能を有する。

図１１に示すように、照明装置２６Ａから照射された照射光（破線）は、第二ＨＯＥ２７にて反射され、透明板２４の方向に向きを変えて進行する。そして、照射光は、導光部２３内を全反射しながら第一ＨＯＥ２５に向かって進行し、第一ＨＯＥ２５にて反射され、観察者の眼に到達する。そして、観察者の眼にて反射された反射光（実線）は、第一ＨＯＥ２５にて反射され、照射光とは逆方向に導光部２３内を全反射しながら第二ＨＯＥ２７に向かって進行し、第二ＨＯＥ２７にて反射され、撮像装置２６Ｂに到達する。

ＨＭＤ装置１０は、撮像部４１として機能し、視線検出装置２６を制御することによって、観察者の眼に関する撮像画像を得る。そして、ＨＭＤ装置１０は、ＡＲアプリケーション部４８として機能し、観察者の眼に関する撮像画像を分析して、観察者の視線方向を検出する。

次に、以上のような視線検出機能を持つ第二実施形態に係るＨＭＤ装置１０において実行されるＡＲ画像表示処理について説明する。

図１２は、ＡＲ画像表示処理の手順を示すフローチャートである。図１３は、観察者が注視している対象物に応じてＡＲ画像の表示位置を変更したときの表示例を示す図である。図１３（Ａ）は、観察者が「Ａさん」を見ているときの表示例であり、図１３（Ｂ）は、観察者が「Ｂさん」を見ているときの表示例である。

以下、図１２、図１３を参照して、ＡＲ画像表示処理の手順について説明する。

（ＡＲ画像表示処理）
たとえば、ＨＭＤ装置１０は、第一実施形態のキャリブレーション処理が終了すると、図１２に示すＡＲ画像表示処理を開始する。ただし、ＡＲ画像表示処理を開始するタイミングは、これに限定されず、入力装置３４に対してＡＲ画像表示処理を開始するための操作がなされたときに、ＡＲ画像表示処理を開始してもよい。

［ステップＳ２０１］
ＡＲ画像表示処理を開始すると、ＨＭＤ装置１０は、撮像部４１として機能し、観察者の眼を撮像する。具体的には、ＨＭＤ装置１０は、照明装置２６Ａおよび撮像装置２６Ｂを制御して撮像を開始することにより、観察者の眼に関する撮像画像を生成する。そして、ＨＭＤ装置１０は、生成した撮像画像をメモリー３２やストレージ３３に記憶する。

［ステップＳ２０２］
次に、ＨＭＤ装置１０は、ＡＲアプリケーション部４８として機能し、ステップＳ２０１において生成された撮像画像を解析して、ＡＲ画像を近傍に表示する対象となり得る対象物を認識する。たとえば、ＨＭＤ装置１０は、エッジ検出や顔認識などの一般的な手法を用いて、撮像画像内で特徴的な領域（たとえば、顔など）を抽出する。

［ステップＳ２０３］
ＨＭＤ装置１０は、ステップＳ２０２においてＡＲ画像を近傍に表示する対象物が撮像画像内に存在しない場合には（ステップＳ２０３：ＮＯ）、対象物が見つかるまでステップＳ２０１、Ｓ２０２の処理を繰り返す。

そして、ＨＭＤ装置１０は、少なくとも一つ以上の対象物が見つかると（ステップＳ２０３：ＹＥＳ）、処理をステップＳ２０４に進める。

［ステップＳ２０４］
ＨＭＤ装置１０は、ＡＲアプリケーション部４８として機能し、観察者の視線を検出する。たとえば、ＨＭＤ装置１０は、図１１に示すＡＲ提供装置２０を用いて、観察者の眼に関する撮像画像を得る。そして、ＨＭＤ装置１０は、得られた撮像画像に基づいて、導光部２３と観察者の眼の瞳孔または虹彩との間の位置関係を測定し、当該位置関係に基づいて観察者の視点および視線方向を検出する。

［ステップＳ２０５］
次に、ＨＭＤ装置１０は、ＡＲアプリケーション部４８として機能し、ステップＳ２０４において検出された観察者の視線方向の先に、ＡＲ画像を近傍に表示する対象物が存在するか否か判別する。たとえば、ＨＭＤ装置１０は、以下の処理（α）〜（γ）により判別すればよい。

（α）観察者の視点（座標）を通り、ステップＳ２０４において検出された観察者の視線方向（方向ベクトル）に延びる直線を求める。

（β）ステップＳ２０２において認識された対象物が占める現実空間（三次元空間）での領域（範囲）を求める。たとえば、上述のステップＳ１０３の処理と同様に、撮像装置１３により得られる撮像画像と、撮像装置１３により算出される奥行き方向の距離とを用いれば求められる。

なお、処理を簡単にするため、対象物が占める領域ではなく、その対象物を代表する点の座標を求めてもよい。

（γ）上記（α）で求めた直線が、上記（β）で求めた領域と交われば、観察者の視線方向の先に、ＡＲ画像を近傍に表示する対象物が存在すると判別する。一方、上記（α）で求めた直線が、上記（β）で求めた領域と交わらなければ、観察者の視線方向の先に、ＡＲ画像を近傍に表示する対象物は存在しないと判別する。

なお、上記（β）において対象物を代表する点しか求めていない場合には、上記（α）で求めた直線と、上記（β）で求めた代表点との距離を求めればよい。ここで求めた距離が所定閾値以内であれば、観察者の視線方向の先に、ＡＲ画像を近傍に表示する対象物が存在することになる。

観察者の視線方向の先に、ＡＲ画像を近傍に表示する対象物が存在しない場合には（ステップＳ２０５：ＮＯ）、ＨＭＤ装置１０は、ＡＲ画像を表示する必要がないため、処理をステップＳ２０１に戻す。一方、観察者の視線方向の先に、ＡＲ画像を近傍に表示する対象物が存在する場合には（ステップＳ２０５：ＹＥＳ）、処理をステップＳ２０６に進める。

［ステップＳ２０６］
ＨＭＤ装置１０は、ＡＲアプリケーション部４８として機能し、ＡＲ画像の表示位置を補正する。具体的には、ＨＭＤ装置１０は、上記実施形態のキャリブレーション処理により作成された基準データを適用して、ＡＲ画像の表示位置を補正する。たとえば、観察者が観察している対象物の近傍にＡＲ画像を表示したときの表示装置２１上の位置（二次元座標）を、上記のステップＳ１０７において算出されたホモグラフィ行列Ｈによって変換すればよい。

［ステップＳ２０７］
ＨＭＤ装置１０は、ステップＳ２０６の処理によって補正された後の表示位置（表示装置２１上の二次元座標で表せる位置）にＡＲ画像を表示する。ステップＳ２０７の処理により、観察者が観察している対象物の近傍にＡＲ画像が存在しているかのような表示が可能になる。たとえば、図１３（Ａ）に示すように、手前の人物の横に名前（「Ａさん」というふきだし画像）を表示することも可能である。このとき、観察者は、視線方向に存在するＡさんと、名前（ＡＲ画像）の両方に同時にピントを合わせて観察できる。また、ＨＭＤ装置１０は、観察者の視線方向に存在しないＢさん（Ａさんより奥に存在する人物）の横にはＡＲ画像を表示させない。これにより、視線方向に存在するＡさんと同時にピントを合わせて観察できないＡＲ画像の表示を防止している。

［ステップＳ２０８］
ＨＭＤ装置１０は、ＡＲアプリケーション部４８として機能し、ＡＲ画像表示処理を終了する指示が観察者よりなされたか否か判別する。具体的には、ＨＭＤ装置１０は、入力装置３４に対してＡＲ画像表示処理を終了する操作がなされたか否かに応じて判別すればよい。

ＨＭＤ装置１０は、ＡＲ画像表示処理を終了する指示がなされていない場合には（ステップＳ２０８：ＮＯ）、処理をステップＳ２０１に戻し、ＡＲ画像表示処理を継続する。このとき、後のステップＳ２０４において観察者の視線方向が変わると、ＨＭＤ装置１０は、図１３（Ｂ）に示すように、新たに視線が向けられた奥の人物の横に名前（「Ｂさん」というふきだし画像）を表示することが可能になる（ステップＳ２０６、Ｓ２０７）。この場合も、観察者は、新たな視線方向に存在するＢさんと、名前（ＡＲ画像）の両方に同時にピントを合わせて観察できる。また、ＨＭＤ装置１０は、観察者の新たな視線方向にいないＡさんの横にはＡＲ画像を表示させない。

一方、ＨＭＤ装置１０は、ＡＲ画像表示処理を終了する指示がなされた場合には（ステップＳ２０８：ＹＥＳ）、ＡＲ画像表示処理を終了する。

以上のＡＲ画像表示処理がＨＭＤ装置１０において実行されることにより、観察者の視線方向を検知しながらＡＲ画像の表示対象を変更できる。そのため、そのとき観察者が注視している対象物の近傍にＡＲ画像が存在しているかのような表示が可能になる。その結果、観察者は、常に、視線の先にある対象物とＡＲ画像の両方に同時にピントを合わせて観察可能になり、眼が疲れない。

＜変形例＞
なお、上記の各実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。多くの代替物、修正、変形例は当業者にとって明らかである。

たとえば、上記の第一実施形態では、図７に示すように、ＡＲマーカーの調整時にＡＲマーカーしか表示していない。そのため、観察者は、どのような作業をすればよいのかわかりにくい。

そこで、ＡＲマーカーの調整時における表示装置２１の表示について、変形例として、ＨＭＤ装置１０は、ＡＲマーカーと共に、ＡＲマーカーの調整中に観察者が見つめているべき点Ａ’を表示装置２１に表示してもよい。図１４は、ＡＲマーカーの調整時における表示装置２１の表示についての変形例を示す図である。図１４の太枠内の画像を追加して表示することにより、観察者は、どこを見てＡＲマーカーを調整すればよいのか容易に把握できる。

また、ＨＭＤ装置１０は、ＡＲマーカー以外に、たとえば、観察者に調整を促すメッセージや図形を表示装置２１に表示してもよい。

また、上記の各実施形態では、ＨＭＤ装置１０のフレーム１１は、メガネ型の形状をしている。しかし、本発明は、これに限定されない。フレーム１１は、ＨＭＤ装置１０を観察者の頭部に装着可能にして、ＡＲ提供装置２０を観察者の目前に配置させることさえできればよく、その名称、形状、寸法、材質などは特に限定されない。

また、上記の第一実施形態では、観察者基準の座標系ＸＹＺにおいて、座標原点を観察者の両眼間の中点としている。しかし、本発明は、これに限定されない。たとえば、観察者基準の座標原点は、利き目の眼球の中心位置としてもよいし、観察者がマニュアル操作により両眼の中心位置として指定した位置としてもよい。

また、上記の第一実施形態では、ＡＲマーカーを移動させることにより第二基準位置を指定している。しかし、本発明は、これに限定されず、ＡＲマーカーを移動させる方法以外の方法によって第二基準位置を指定してもよい。たとえば、ＡＲマーカーの代わりに、線や平面などの図形のＡＲ画像を、移動、回転、縮尺変更などして第二基準位置を指定できるようにしてもよい。

また、上記の第一実施形態において、ステップＳ１０２で選択される各特徴点（Ａ、Ｂ、Ｃ、Ｄ）は、なるべく観察者の位置から同距離にある方が好ましい。たとえば、各特徴点（Ａ、Ｂ、Ｃ、Ｄ）は、平面被写体の中の四点であることが好ましい。

図１５は、観察者の頭が揺れたときの撮像画像および観察者の視界の例を示す図である。図１５（Ａ）は、観察者の頭が揺れたときの撮像画像の例を示す図であり、図１５（Ｂ）は、観察者の頭が揺れたときの観察者の視界の例を示す図である。

図１５（Ａ）に示すように、上記の第一実施形態では、ＡＲマーカーの調整中に観察者の頭が揺れて、撮像装置１３により撮像された撮像画像内で特徴点が動いてしまう場合がある。しかし、このように観察者の頭が揺れた場合であっても、図１５（Ｂ）に示すように、ＡＲマーカーの表示位置は、撮像画像内の特徴点の位置と連動しているため、頭が揺れずに固定されている場合と同様に、ＡＲマーカーの調整を行うことができる。

以上のＨＭＤ装置１０の構成は、上記の各実施形態および変形例の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。また、一般的なＨＭＤ装置１０が備える構成を排除するものではない。

また、上記したＨＭＤ装置１０の各機能構成は、各機能構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。各機能構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、一つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、上記したＨＭＤ装置１０の各機能構成の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

また、ＨＭＤ装置１０を動作させるプログラムは、ＵＳＢメモリー、フレキシブルディスク、ＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリー３２やストレージ３３等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、ＨＭＤ装置１０の一機能としてその各装置のソフトウェアに組み込んでもよい。

１０ ＨＭＤ装置、
１１ フレーム、
１２ 透明部材、
１３ 撮像装置、
２０ ＡＲ提供装置、
２１ 表示装置、
２２ レンズ、
２３ 導光部、
２４ 透明板、
２５ 第一ＨＯＥ、
２６ 視線検出装置、
２６Ａ 照明装置、
２６Ｂ 視線検出用の撮像装置、
２７ 第二ＨＯＥ、
３０ 本体部、
３１ ＣＰＵ、
３２ メモリー、
３３ ストレージ、
３４ 入力装置、
３５ 駆動装置、
３６ 表示コントローラー、
４１ 撮像部、
４２ 特徴点選択部、
４３ 測距部、
４４ 第一基準算出部、
４５ 表示制御部、
４６ 第二基準受付部、
４７ 基準作成部、
４８ ＡＲアプリケーション部、
Ｍ ＡＲマーカー。

Claims (18)

1. 外界からの光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射する画像表示装置であって、
   外界を撮像して撮像画像を生成する撮像部と、
   前記撮像部により生成された前記撮像画像を用いて、外界に実在する特徴点を選択する選択部と、
   前記撮像部の設置位置を基準とした場合の前記特徴点の位置を、第一基準位置として算出する算出部と、
   前記観察者が前記特徴点の方向を見たときに、前記特徴点と前記コンテンツ情報を、共にピントを合わせて見ることが可能な第二基準位置の指定を受け付ける受付部と、
   前記算出部により算出された前記第一基準位置と、前記受付部により受け付けられた前記第二基準位置と、のずれに基づいて、前記第一基準位置を前記第二基準位置に補正するための基準データを作成する基準作成部と、
   を備える画像表示装置。
2. 前記算出部により算出された前記第一基準位置に前記コンテンツ情報が存在するように表示する表示部をさらに備え、
   前記受付部は、前記表示部に表示された前記コンテンツ情報を、前記特徴点の位置に移動させる操作によって、前記第二基準位置の指定を受け付ける、請求項１に記載の画像表示装置。
3. 前記撮像部の設置位置から前記特徴点までの距離を測定する測距部をさらに備え、
   前記算出部は、前記測距部により測定された前記距離を用いて、前記第一基準位置を算出する、請求項１または２に記載の画像表示装置。
4. 前記撮像部は、ステレオカメラまたはアレイカメラであって、
   前記算出部は、前記ステレオカメラまたは前記アレイカメラにより生成された複数枚の撮像画像を用いて、前記第一基準位置を算出する、請求項１または２に記載の画像表示装置。
5. 前記受付部は、前記表示部に表示された前記コンテンツ情報を、前記特徴点と共にピントを合わせて見ることが可能な位置まで奥行き方向に移動させてから、前記奥行き方向と垂直な平面内において前記コンテンツ情報を移動させる操作により、前記第二基準位置の指定を受け付ける、請求項１〜４のいずれか一項に記載の画像形成装置。
6. 前記基準作成部により作成された基準データを用いて、新たなコンテンツ情報の表示位置を補正する補正部をさらに備え、
   前記補正部は、前記観察者が注視している対象物に応じて、前記新たなコンテンツ情報の表示位置を変更する、請求項１〜５のいずれか一項に記載の画像形成装置。
7. 外界からの光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射する画像表示方法であって、
   （ａ）外界を撮像して撮像画像を生成するステップと、
   （ｂ）前記ステップ（ａ）において生成された撮像画像を用いて、外界に実在する特徴点を選択するステップと、
   （ｃ）前記ステップ（ａ）において撮像を行う撮像装置の設置位置を基準とした場合の前記特徴点の位置を、第一基準位置として算出するステップと、
   （ｄ）前記観察者が前記特徴点の方向を見たときに、前記特徴点と前記コンテンツ情報を、共にピントを合わせて見ることが可能な第二基準位置の指定を受け付けるステップと、
   （ｅ）前記ステップ（ｃ）において算出された前記第一基準位置と、前記ステップ（ｄ）において受け付けられた前記第二基準位置と、のずれに基づいて、前記第一基準位置を前記第二基準位置に補正するための基準データを作成するステップと、
   を行う画像表示方法。
8. （ｆ）前記ステップ（ｃ）において算出された前記第一基準位置に前記コンテンツ情報が存在するように表示するステップをさらに行い、
   前記ステップ（ｄ）は、前記ステップ（ｆ）において表示された前記コンテンツ情報を、前記特徴点の位置に移動させる操作によって、前記第二基準位置の指定を受け付ける、請求項７に記載の画像表示方法。
9. （ｇ）前記撮像装置の設置位置から、前記ステップ（ｂ）により選択された前記特徴点までの距離を測定するステップをさらに行い、
   前記ステップ（ｃ）は、前記ステップ（ｇ）において測定された前記距離を用いて、前記第一基準位置を算出する、請求項７または８に記載の画像表示方法。
10. 前記撮像装置は、ステレオカメラまたはアレイカメラであって、
    前記ステップ（ｃ）は、前記ステレオカメラまたは前記アレイカメラにより生成された複数枚の撮像画像を用いて、前記第一基準位置を算出する、請求項７または８に記載の画像表示方法。
11. 前記ステップ（ｄ）は、前記ステップ（ｆ）において表示された前記コンテンツ情報を、前記特徴点と共にピントを合わせて見ることが可能な位置まで奥行き方向に移動させてから、前記奥行き方向と垂直な平面内において前記コンテンツ情報を移動させる操作により、前記第二基準位置の指定を受け付ける、請求項８〜１０のいずれか一項に記載の画像形成方法。
12. （ｈ）前記ステップ（ｅ）において作成された基準データを用いて、新たなコンテンツ情報の表示位置を補正するステップをさらに行い、
    前記ステップ（ｈ）は、前記観察者が注視している対象物に応じて、前記新たなコンテンツ情報の表示位置を変更する、請求項７〜１１のいずれか一項に記載の画像形成方法。
13. 外界からの光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射する画像表示装置として機能するコンピューターに、
    （ａ）外界を撮像して撮像画像を生成するステップと、
    （ｂ）前記ステップ（ａ）において生成された撮像画像を用いて、外界に実在する特徴点を選択するステップと、
    （ｃ）前記ステップ（ａ）において撮像を行う撮像装置の設置位置を基準とした場合の前記特徴点の位置を、第一基準位置として算出するステップと、
    （ｄ）前記観察者が前記特徴点の方向を見たときに、前記特徴点と前記コンテンツ情報を、共にピントを合わせて見ることが可能な第二基準位置の指定を受け付けるステップと、
    （ｅ）前記ステップ（ｃ）において算出された前記第一基準位置と、前記ステップ（ｄ）において受け付けられた前記第二基準位置と、のずれに基づいて、前記第一基準位置を前記第二基準位置に補正するための基準データを作成するステップと、
    を実行させる画像表示プログラム。
14. （ｆ）前記ステップ（ｃ）において算出された前記第一基準位置に前記コンテンツ情報が存在するように表示するステップをさらに前記コンピューターに実行させ、
    前記ステップ（ｄ）は、前記ステップ（ｆ）において表示された前記コンテンツ情報を、前記特徴点の位置に移動させる操作によって、前記第二基準位置の指定を受け付ける、請求項１３に記載の画像表示プログラム。
15. （ｇ）前記撮像装置の設置位置から、前記ステップ（ｂ）により選択された前記特徴点までの距離を測定するステップをさらに前記コンピューターに実行させ、
    前記ステップ（ｃ）は、前記ステップ（ｇ）において測定された前記距離を用いて、前記第一基準位置を算出する、請求項１３または１４に記載の画像表示プログラム。
16. 前記撮像装置は、ステレオカメラまたはアレイカメラであって、
    前記ステップ（ｃ）は、前記ステレオカメラまたは前記アレイカメラにより生成された複数枚の撮像画像を用いて、前記第一基準位置を算出する、請求項１３または１４に記載の画像表示プログラム。
17. 前記ステップ（ｄ）は、前記ステップ（ｆ）において表示された前記コンテンツ情報を、前記特徴点と共にピントを合わせて見ることが可能な位置まで奥行き方向に移動させてから、前記奥行き方向と垂直な平面内において前記コンテンツ情報を移動させる操作により、前記第二基準位置の指定を受け付ける、請求項１４〜１６のいずれか一項に記載の画像形成プログラム。
18. （ｈ）前記ステップ（ｅ）において作成された基準データを用いて、新たなコンテンツ情報の表示位置を補正するステップをさらに前記コンピューターに実行させ、
    前記ステップ（ｈ）は、前記観察者が注視している対象物に応じて、前記新たなコンテンツ情報の表示位置を変更する、請求項１３〜１７のいずれか一項に記載の画像形成プログラム。