JP2017108370A

JP2017108370A - 頭部装着型表示装置およびコンピュータープログラム

Info

Publication number: JP2017108370A
Application number: JP2016097716A
Authority: JP
Inventors: 佳李; Yoshi Ri; 國益符; Guoyi Fu
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2015-07-06
Filing date: 2016-05-16
Publication date: 2017-06-15

Abstract

【課題】キャリブレーションを容易に実行できる技術を提供する。【解決手段】頭部装着型表示装置は、表示可能な画像表示部と；撮像部と；マーカー画像のデータを記憶するマーカー画像記憶部と；前記マーカー画像を前記画像表示部に表示させる画像設定部と；パラメーター設定部と、を備え；前記パラメーター設定部は、前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記撮像画像に少なくとも基づいて、前記撮像部のカメラパラメーター、および前記撮像部と前記画像表示部との間の空間関係の少なくとも一つを導出する。【選択図】図１

Description

本発明は、頭部装着型表示装置の技術に関する。

従来から、使用者の頭部に装着される頭部装着型表示装置（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ：ＨＭＤ）が知られている。例えば、特許文献１には、支持手段を介して外景を撮像可能な撮像手段がＨＭＤに対して上下にスライドするビデオシースルー型ＨＭＤが記載されている。

特開２００５-３８３２１号公報

Vuforia Calibration App、［online］、[平成２７年６月３日検索]、インターネット〈ＵＲＬ：https://developer.vuforia.com/library/articles/Training/Vuforia-Calibration-App〉

しかし、非特許文献１に記載された技術では、キャリブレーションを行なうために、右画像表示部と左画像表示部とのそれぞれについて、複数の撮像を行なう必要があった。この場合に、撮像によって得られた複数の撮像画像に基づいて、キャリブレーションが行なわれるため、撮像された複数の画像間における誤差が大きい場合があり、キャリブレーションの精度に向上の余地があった。また、画像を視認する使用者によって、右眼の位置と左眼の位置とには個人差があるため、使用者が画像表示部を透過して視認する外景と撮像部の位置から撮像される外景との関係にばらつきがある。さらに、製造上の精度によっては、撮像部のカメラパラメーターにばらつきがある場合があり、また、画像表示部と画像を撮像する撮像部との相対位置関係とが一定ではなく、ばらつきが発生するおそれがある。そのため、これらのばらつきを考慮した上で、使用者にさらに精度の高い画像を視認させたいという課題があった。また、できるだけ少ない回数の撮像によってキャリブレーションを完了したり、より迅速にキャリブレーションを完了したいという課題があった。

光学シースルー型の頭部装着型表示装置を含む画像表示装置が、カメラによって撮像された特定の対象物の位置に画像を精度良く重畳させて表示させる技術を備えれば、ＡＲ（拡張現実）機能に関して、向上した利便性を提供することができる。ただし、カメラで撮像した特定の対象物に表示画像を正しく重畳させる際には、カメラと画像表示部との間の空間関係を正しく求めることが望まれる。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は；外光を透過可能であって、画像を表示可能な画像表示部と；撮像部と；マーカー画像のデータを記憶するマーカー画像記憶部と；前記データに基づいて前記マーカー画像を前記画像表示部に表示させる画像設定部と；パラメーター設定部と、を備え；前記パラメーター設定部は、前記画像表示部に表示された前記マーカー画像と前記マーカー画像に対応した実物マーカーとが少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記撮像画像に少なくとも基づいて、前記撮像部のカメラパラメーター、および前記撮像部と前記画像表示部との間の空間関係の少なくとも一つを導出する。この形態の頭部装着型表示装置によれば、特定のオブジェクトの位置などに対応付けられて表示されるＡＲ画像の位置および向きの設定を、簡便に行なうことができ、より精度の高いキャリブレーションが実行される。

（２）上記形態の頭部装着型表示装置において、前記画像設定部は、前記パラメーター設定部が前記カメラパラメーターと前記空間関係との少なくとも一方を設定した後に、設定された前記カメラパラメーターと前記空間関係とを用いて、ＡＲ画像の位置と向きと、前記実物マーカーの位置と向きと、が対応した状態の前記ＡＲ画像が前記使用者に視認されるように、前記画像表示部に前記ＡＲ画像を表示してもよい。

（３）上記形態の頭部装着型表示装置において、前記マーカー画像記憶部は、前記マーカー画像の元となる３次元モデルを前記データとして記憶しており；前記画像設定部は、前記３次元モデルを前記マーカー画像として前記画像表示部に表示させ；前記画像表示部に表示された前記マーカー画像と、前記３次元モデルに対応した３次元形状を有する実物マーカーと、が少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記パラメーター設定部は、前記撮像画像に少なくとも基づいて、前記カメラパラメーター、および前記空間関係の少なくとも一つを導出してもよい。

（４）上記形態の頭部装着型表示装置において、前記撮像部は前記画像表示部に対して可動であってもよい。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、画像表示装置、これらの装置を有するシステム、これらの装置の制御方法およびシステムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。ＨＭＤの構成を機能的に示すブロック図である。画像表示部に表示されるマーカー画像の一例を示す説明図である。本実施形態におけるキャリブレーション実行処理のフローチャートである。右光学像表示部のみにマーカー画像が表示された状態の概略図である。右光学像表示部に表示されたマーカー画像と撮像された実物マーカーとの関係を示す説明図である。キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。ＨＭＤの構成を機能的に示すブロック図である。画像表示部に表示されるマーカー画像の一例を示す説明図である。第２実施形態におけるキャリブレーション実行処理のフローチャートである。右光学像表示部のみにマーカー画像が表示された状態の概略図である。実物マーカーとマーカー画像との位置関係を表す概略図である。実物マーカーと確認用画像とが使用者に視認されている状態が示されている。ＡＲオブジェクトの位置に対応するようにＡＲ画像が表示される前後の使用者の視野を示す図である。ＡＲオブジェクトの位置に対応するようにＡＲ画像が表示される前後の使用者の視野を示す図である。キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。ＨＭＤの構成を機能的に示すブロック図である。紙面に印刷された２次元の実物マーカーを示す説明図である。紙面に印刷された２次元の実物マーカーを示す説明図である。紙面に印刷された２次元の実物マーカーを示す説明図である。紙面に印刷された２次元の実物マーカーを示す説明図である。第３実施形態におけるキャリブレーション実行処理のフローチャートである。第１設定モードのフローチャートである。マーカー画像が表示された場合の光学像表示部のイメージ図である。右光学像表示部のみにマーカー画像が表示された状態での空間的な位置関係を示す概略図である。特定オブジェクトに対応付けられて設定画像が表示された場合に使用者が視認する使用者の視野の一例の説明図である。第３実施形態に係るキャリブレーションデータの自動収集処理のフローである。他の実施形態に係るキャリブレーションデータの自動収集処理を説明するフローである。他の実施形態に係るキャリブレーションデータの自動収集処理を説明するフローである。第２設定モードに移行したときに使用者が視認する視野の一例の説明図である。第２設定モードにおいて設定画像の表示位置が変更されたときに使用者が視認する視野の一例を示す説明図である。第４実施形態における制御部の裏面を示す正面図である。第５実施形態の実物マーカーの一例を示す概略図である。第５実施形態の実物マーカーの一例を示す概略図である。第１設定モードで設定するパラメーターに関連する要素を示す表である。

Ａ．第１実施形態：
Ａ−１．画像表示装置の構成：
図１は、キャリブレーションを行なう頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、画像表示部２０が表示する表示画像を使用者に視認させ、画像表示部２０を透過する外景も使用者に視認させることができる。詳細な構成については後述するが、本実施形態のＨＭＤ１００は、画像表示部２０を装着した使用者の右眼と左眼とのそれぞれに対応する画像表示部を有しており、使用者の右眼と左眼とに別々の画像を視認させることができる。

ＨＭＤ１００は、画像を表示する画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。画像表示部２０は、使用者の頭部に装着される装着体であり、眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。

表示駆動部２２，２４は、図２で後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む。表示駆動部２２，２４の構成の詳細な説明は後述する。光学像表示部２６，２８は、後述する導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。

カメラ６１は、右光学像表示部２６の端部ＥＲにおける上方に配置されている。カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。カメラ６１は、画像表示部２０に対して向きを変更でき、撮像範囲を変更できる。また、カメラ６１は、光軸を中心としたズームによって変化する範囲を撮像する。詳細については後述するが、光学像表示部２６または左光学像表示部２８に表示されたキャリブレーション用画像と、外景に含まれるマーカーとが重複するようにカメラ６１によって撮像されることで、キャリブレーションが行なわれる。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５を有する。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、ＲＯＭ１２１と、ＲＡＭ１２２と、電源１３０と、操作部１３５と、マーカー画像記憶部１３８と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。ＲＯＭ１２１には、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、ＲＯＭ１２１に格納された各種コンピュータープログラムを、ＲＡＭ１２２に展開することで、各種コンピュータープログラムを実行する。

マーカー画像記憶部１３８は、モデルマーカーのデータおよび／または右光学像表示部２６または左光学像表示部２８に表示されるキャリブレーション用画像としてのマーカーＭＫ１のマーカー画像ＩＭＧを記憶している。マーカー画像記憶部１３８は、右光学像表示部２６に表示されるマーカー画像と左光学像表示部２８に表示されるマーカー画像とを同じマーカーの画像ＩＭＧとして記憶している。マーカー画像ＩＭＧは、３次元モデル空間（３Ｄコンピューターグラフィックス空間）で表現された上記モデルマーカー（２Ｄ）を、右光学像表示部２６または左光学像表示部２８のそれぞれの写像パラメーターに基づいて写像したものである。

図３は、画像表示部２０に表示されるマーカー画像ＩＭＧの一例を示す説明図である。図３に示すように、マーカー画像ＩＭＧは、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、９個の正円を含んでいる。９個の円の内の５個の円は、頂点Ｐ０と頂点Ｐ２とを結んだ対角線ＣＬ１上に円の中心が存在する。当該５個の円は、対角線ＣＬ１に沿って、頂点Ｐ０に近い円から、円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５である。同じように、９個の円の内の５個の円は、頂点Ｐ１と頂点Ｐ３とを結んだ対角線ＣＬ２上に円の中心が存在する。当該５個の円は、対角線ＣＬ２に沿って、頂点Ｐ１に近い円から、円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９である。円Ｃ３は、対角線ＣＬ１と対角線ＣＬ２との交点であると共に、正方形の重心である点を中心とする円である。本実施形態では、対角線ＣＬ１上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。同じように、対角線ＣＬ２上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。また、対角線ＣＬ１に中心を有する隣接する円の中心間の距離と、対角線ＣＬ２に中心を有する隣接する円の中心間の距離とは、同じ距離である。９個の円の大きさは、同じ大きさである。なお、対角線ＣＬ１および対角線ＣＬ２は、便宜上、図３に示しているのであり、マーカー画像ＩＭＧには含まれない直線である。

図３では、色の違いを、ハッチングを変えることで表している。そのため、図３に示すように、マーカー画像ＩＭＧには、円Ｃ３の内部の黄色と、円Ｃ５の内部の緑色と、円Ｃ３，Ｃ５と異なる７個の円Ｃ１，Ｃ２，Ｃ４，Ｃ６，Ｃ７，Ｃ８，Ｃ９の内部の白色と、正方形の中に含まれ、９個の円を含まない部分の黒色と、の４色が存在する。また、図３では、円Ｃ３の中心Ｃ３Ｐを原点とするＸ軸とＹ軸とが示されている。後述するキャリブレーション実行処理では、中心Ｃ３Ｐを原点として、各種の座標値が特定される。マーカー画像ＩＭＧに含まれる９個の円の内、円Ｃ３と円Ｃ５との色がその他の７個の円と異なるのは、中心円としての円Ｃ３と、撮像された実物のマーカーＭＫ１の方向を特定するための円Ｃ５と、を区別するためである。

図２に示すＣＰＵ１４０は、ＲＯＭ１２１に格納されているコンピュータープログラムを、ＲＡＭ１２２に展開することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、表示設定部１６５、マーカー特定部１６６および演算部１６７として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。

表示設定部１６５は、マーカー画像記憶部１３８に記憶されたマーカーＭＫ１の画像を右光学像表示部２６または左光学像表示部２８に表示させる。表示設定部１６５は、キャリブレーション実行時に、操作部１３５が受け付けた操作に基づいて、マーカー画像ＩＭＧを右光学像表示部２６に表示する場合と、マーカー画像ＩＭＧを左光学像表示部２８に表示する場合とを制御する。

マーカー特定部１６６は、カメラ６１によって撮像された撮像画像の中から、例えば、制御部１０の裏面（操作部１３５の反対側の面）や所定の壁などに配置されたマーカーＭＫ１の実物マーカーＲＬを特定する。実物マーカーＲＬを特定するための具体的な処理については、後述するが、マーカー特定部１６６は、実物マーカーＲＬの４つの頂点、９個の円の中心の座標値、９個の円の色などを抽出することで、撮像画像の中から実物マーカーＲＬを特定する。マーカー特定部１６６は、例えば、撮像画像の色の階調値を２値化することで、マーカーＭＫ１における色の異なる９個の円などを抽出する。なお、マーカー画像ＩＭＧは、請求項における第１のマーカーの画像に相当し、実物マーカーＲＬは、第２のマーカーに相当する。

演算部１６７は、マーカー特定部１６６によって特定された実物マーカーＲＬの座標値と、右光学像表示部２６または左光学像表示部２８に表示されたマーカー画像ＩＭＧに対応する画素の座標値と、に基づいて、カメラ６１に関するパラメーターを最適化する。カメラ６１に関するパラメーターの最適化は、予め既知ではない（未知である）カメラ６１の焦点距離に関連するパラメーターおよび主点位置（例えば撮像画像の中心座標）などを含むパラメーターを、得られた座標値を用いて、最適化できるように計算する。最適化により導出されたカメラパラメーターを用いて対象物が撮像されて撮像画像が取得されると、撮像画像における対象物の位置と、ユーザーから見たときの対象物に重なる画像表示部上の表示位置とが対応付けられることとなる。この結果、使用者は、画像表示部２０を介してＡＲ（Augmented Reality）画像が、当該対象物に対して位置、大きさ、姿勢の少なくとも一つが一致するように視認することができる。なお、カメラ６１のパラメーターの最適化の詳細については、後述する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

図２に示すように、画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。

Ａ−２．キャリブレーション実行処理：
図４は、本実施形態におけるキャリブレーション実行処理のフローチャートである。キャリブレーション実行処理は、ＣＰＵ１４０が右光学像表示部２６または左光学像表示部２８に表示されたマーカー画像ＩＭＧと外景から特定された実物マーカーＲＬとが重複する状態で撮像し、マーカー画像ＩＭＧの座標値と実物マーカーＲＬの座標値とを用いて、キャリブレーションを行なうためのカメラ６１のパラメーターを最適化する処理である。

キャリブレーション実行処理では、初めに、表示設定部１６５は、マーカー画像ＩＭＧを、使用者の右眼に対応する右画像表示部としての右光学像表示部２６のみに表示させる（ステップＳ１１）。

図５は、右光学像表示部２６のみにマーカー画像ＩＭＧが表示された状態の概略図である。図５には、使用者が、予め画像表示部２０を装着した使用者の仮想の右眼の位置として設定された右眼位置ＲＰから、右光学像表示部２６に表示されたマーカー画像ＩＭＧを視認した場合の概略が示されている。また、図５には、撮像される三次元空間の座標軸を表す座標軸ＣＤ２と、撮像された二次元画像の座標軸を表す座標軸ＣＤ１と、が示されている。使用者は、右光学像表示部２６に表示されたマーカー画像ＩＭＧを、画像表示部２０から距離Ｌ１離れた位置に存在するマーカーＭＫ１として視認する。

図４のステップＳ１１の処理が行なわれると、マーカー特定部１６６は、使用者に対して、右光学像表示部２６に表示されたマーカー画像ＩＭＧと、外景に存在する実物マーカーＲＬとが重なるように位置合わせを促す（ステップＳ１３）。

図６には、外景ＳＣに含まれる実物マーカーＲＬと、右光学像表示部２６に表示されたマーカー画像ＩＭＧおよび文字画像ＴＸ１と、が示されている。文字画像ＴＸ１は、使用者にマーカー画像ＩＭＧと実物マーカーＲＬとの位置合わせを行なった後に、撮像を促すことを文字で表す画像である。具体的には、文字画像ＴＸ１は、「重複させてから撮像ボタンを押してください」を表す文字の画像である。図６に示すように、マーカー画像ＩＭＧの中心と実物マーカーＲＬの中心とは、一致していない。また、図６に示す例では、実物マーカーＲＬは、マーカー画像ＩＭＧに対して、角度θ１傾いている。この場合に、画像表示部２０を装着した使用者は、自身の位置や向きを変えることで、実物マーカーＲＬにマーカー画像ＩＭＧを重ねることができる。

マーカー特定部１６６は、図４のステップＳ１３の処理を行なうと、マーカー画像ＩＭＧと実物マーカーＲＬと位置合わせが完了しているか否かを判定する（ステップＳ１５）。マーカー特定部１６６は、図６の文字画像ＴＸ１に示すように、使用者によって撮像ボタンが押下される操作の有無によって、位置合わせの完了の判定を行なう。撮像ボタンとしては、予め設定された操作部１３５のいずれかのボタンでよく、種々変形可能である。

撮像ボタンの押下の操作がなく、マーカー特定部１６６は、位置合わせが完了していないと判定した場合には（ステップＳ１５：ＮＯ）、引き続き、位置合わせが完了したことを表す撮像ボタンの押下の操作を待機する。撮像ボタンの押下の操作があると、マーカー特定部１６６は、位置合わせが完了していると判定し（ステップＳ１５：ＹＥＳ）、カメラ６１によって外景ＳＣを撮像する（ステップＳ１７）。

次に、表示設定部１６５は、右光学像表示部２６のみに表示させたマーカー画像ＩＭＧを非表示にして、左光学像表示部２８のみにマーカー画像ＩＭＧを表示させる（ステップＳ１９）。その後、ステップＳ１３からステップＳ１７までの使用者の右眼ＲＥに対応する処理と同じように、マーカー特定部１６６は、使用者の左眼ＬＥに対して、マーカー画像ＩＭＧと実物マーカーＲＬとが重なるように位置合わせを促す（ステップＳ２１）。

マーカー特定部１６６は、仮想の左眼位置ＬＰを基準として、使用者に位置合わせを促すと、マーカー画像ＩＭＧと実物マーカーＲＬとの位置合わせが完了しているか否かを判定する（ステップＳ２３）。マーカー特定部１６６は、使用者による撮像ボタンの押下の操作がなく、位置合わせが完了していないと判定する場合には（ステップＳ２３：ＮＯ）、引き続き、位置合わせが完了したことを示す撮像ボタンの押下の操作を待機する。撮像ボタンの押下の操作があると、マーカー特定部１６６は、位置合わせが完了していると判定し（ステップＳ２３：ＹＥＳ）、カメラ６１によって、外景ＳＣを撮像する（ステップＳ２５）。次に、演算部１６７は、右眼位置ＲＰと左眼位置ＬＰとのそれぞれを基準とした撮像画像を基に、カメラ６１のパラメーターを未知として最適化する（ステップＳ３０）。

カメラ６１に関するパラメーターとして、４個のパラメーターＣＰ（ｆｘ、ｆｙ、Ｃｘ、Ｃｙ）が存在する。（ｆｘ、ｆｙ）は撮像部の焦点距離であり、画素密度に基づいて画素数に換算されている。

カメラパラメーターは、撮像部の主要部分を構成するカメラ６１の製品仕様から知ることができる（以下ではこれをデフォルトカメラパラメーターとも表記する）。ただし、実際のカメラのカメラパラメーターがデフォルトカメラパラメーターから大きくずれていることが多い。しかも、同じ仕様のカメラであっても、カメラ間で、カメラパラメーターがばらついている（揃っていない）ことがある。

ＡＲオブジェクトにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、カメラ６１は、当該実物体の位置および姿勢を検出する検出機として機能する。このとき、演算部１６７は、カメラパラメーターを用いて、カメラ６１に撮像された実物体のカメラ６１に対する位置および姿勢を推定する。さらに、演算部１６７は、当該位置および姿勢を、カメラ６１と左光学像表示部２８（右光学像表示部２６）との間の相対位置関係を用いて、左光学像表示部２８に対する実物体の位置および姿勢に変換する。さらに、演算部１６７は、当該変換された位置および姿勢に基づいて、ＡＲオブジェクトの位置および姿勢を決定する。そして、画像処理部１６０は、当該位置および姿勢を有するＡＲオブジェクトを、写像パラメーターを用いて表示座標系に写像（変換）し、表示バッファ（例えばＲＡＭ１２２）に書き込む。そして、画像制御部は、表示バッファに書き込まれたＡＲオブジェクトを左画像表示部２８に表示する。このため、カメラパラメーターがデフォルトカメラパラメーターである場合には、推定される実物体の位置および姿勢に誤差が含まれることとなる。そうすると、推定された位置および姿勢の誤差に由来して、表示されたＡＲオブジェクトと実物体との重畳に誤差があるように使用者に視認される。

そこで、本実施形態では、ＡＲオブジェクトが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラパラメーターが、最適化により導出される。そして、導出されたカメラパラメーターが用いられて、対象物の位置および姿勢が検出（推定）されるようにする。そうすれば、ＡＲオブジェクトの表示において、表示されるＡＲオブジェクトと実物体との間に発生するずれが使用者に視認される度合いが低くなる。後述するように、同じＨＭＤ１００の使用者が同一人であっても、カメラパラメーターの導出は、キャリブレーションが行なわれるごとに行なわれ、当該キャリブレーションに引き続いて行なわれる対象物とＡＲオブジェクトとの間での位置、大きさ、向きの少なくとも一つが一致した表示のために使用されることが好ましい。これは、キャリブレーションの際に、必ずしも使用者は、実物マーカーＲＬと、実物マーカーＲＬに対応したマーカー画像ＩＭＧとを、同じ精度で位置合わせするとは限らないことによる。たとえ使用者が違う精度で位置合わせしても、それに応じたカメラパラメーターが導出されることから、ＡＲオブジェクトの重畳表示がされる場合に重畳表示のずれの増大が抑制される。

カメラ６１に固定された座標系と左光学像表示部２８に固定された座標系との間の相対位置関係（回転および並進の少なくとも一つ）は、ＨＭＤ１００の設計仕様から知ることができる（以下ではこれをデフォルト相対位置関係とも表記する）。デフォルト相対位置関係によれば、両座標系の間に回転のずれはない。ただし、実際には、カメラ６１を画像表示部２０への取付時の作業上の理由から、両座標系の間に回転のずれが生じていることがある。また、同じ仕様のＨＭＤ１００でもＨＭＤ１００の間で、両座標系の間の回転のずれにばらつきがある。上記回転のずれは、カメラ６１と左光学像表示部２８との間でも同様に発生するおそれがある。

デフォルトカメラパラメーターについての説明から理解されるように、ＡＲオブジェクトにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、デフォルト相対位置関係に基づいてＡＲオブジェクトを表示すると、表示されたＡＲオブジェクトと実物体との重畳に誤差が視認される。

そこで、本実施形態では、ＡＲオブジェクトが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラ６１の座標系と、右光学像表示部２６の座標系および左光学像表示部２８の座標系と、の間の回転を表すパラメーターを、最適化により導出する。そして、導出された当該パラメーターを用いてＡＲオブジェクトの表示をすると、ユーザーにずれが視認される度合いが低くなる。

図５に示すように、使用者が、左光学像表示部２８に表示されたマーカー画像ＩＭＧと、外景に含まれ前方に位置する実物マーカーＲＬと、が位置、大きさ、向きが一致するように使用者が視認するとき（以下、使用者が左眼でアライメントを成立させるときともいう）、座標系の間には、次の式（１）の関係が成り立つ。なお、以降では、左光学像表示部２８にマーカー画像ＩＭＧが表示された場合について説明する。

ここで、左辺および右辺のＣＰは、カメラ６１のカメラパラメーターである。［R_o2dl, t_o2dl］は、実オブジェクト（この場合、実物マーカーＲＬ）に固定された座標系から左光学像表示部２８に固定された座標系への変換行列であり、このうち、［R_o2dl］が回転を表す３×３の行列であり、［t_o2dl］が並進を表す３×１の行列である。ModelMatrixは、モデルマーカー上の任意の１点を表す３×１の行列である。モデルマーカーは、マーカー画像が光学像表示部２８に表示される場合の基礎となる３次元データ（３次元モデル：ただし本実施形態では平面）である。［R_o2dl, t_o2dl］×ModelMatrixの表記は、下記の式（２）の規則に従っている。

上記式（２）の表記規則は、式（１）の他の部分にも適用される。

式（１）の右辺における［R_cam2left, t_cam2left］は、カメラ６１の座標系から左光学像表示部２８の座標系への変換行列である。式（１）の右辺における［R_obj2cam, t_obj2cam］は、実オブジェクト（実物マーカーＲＬ）の座標系からカメラ６１の座標系への変換行列である。

上記（１）の関係から、左画像表示部２８について、マーカー画像ＩＭＧと実物マーカーＲＬとのアライメントが成立しているとき、以下の式（３）、（４）が成り立つ。

左眼ＬＥのアライメントが成立すると仮定したとき、実物マーカーＲＬのカメラ６１に対する姿勢をモデルマーカーに適用すると、カメラ６１の座標系に変換されたモデルマーカー上の任意の点は次の式（５）のP_cl（X_cl, Y_cl, Z_cl）のようになる。

式（３）および式（４）により、R_obj2cam,t_obj2camを消去すると式（５）は以下の式（６）のようになる。

式（６）の右辺において、R_o2dlおよびt_o2dlは、実物マーカーＲＬの座標系から左光学像表示部２８の座標系への回転および並進であり、本実施形態では、ユーザーが左光学像表示部２８に表示されたマーカー画像ＩＭＧを実物マーカーＲＬに位置合わせしたときに、所定の回転および並進となるように、左光学像表示部２８上の所定位置（例えば中央）に所定の配向かつ所定の大きさで、固定されて表示される。T_cam2leftは、カメラの座標系から左光学像表示部２８の座標系への並進であり、ＨＭＤ１００の仕様から既知の値が使用できる。本実施形態では、

上記式（７）、（８）および（９）におけるa(=L1), D1, D2, D3は定数である。

式（５）で表されるモデルマーカーをカメラ６１の撮像画像上に写像するとき、撮像画像上のモデルマーカーの座標は、次のようになる。

ここで、（F_x, F_y）はカメラ６１の焦点距離であり、（C_x, C_y）はカメラ６１の主点位置座標である。

カメラ６１が実際に実物マーカーＲＬを撮像した場合の撮像画像におけるマーカーの特徴要素の座標を（u_l, v_l）と表記すると、（u_l, v_l）と（x_iml, y_iml）との差は以下のようになる。

式（１２）における添え字iは、マーカーにおける特徴要素を示す整数であり、１から９までの値を取る。左眼ＬＥのアライメントについて、二乗和を導出する。

使用者が、右眼ＲＥで右光学像表示部２６に表示されたマーカーと、実物マーカーＲＬと、を位置合わせした場合についても、同様に二乗和を導出する。

E_RとE_Lとの和により、コスト関数Eを定義する。

Eを最小化（グローバルミニマム）にするパラメーターを、繰り返し計算を伴う最適化計算により求める。

本実施形態では、カメラ６１の座標系から左光学像表示部２８の座標系への回転（R_cam2left）と、カメラ６１の座標系から右光学像表示部２６の座標系への回転（R_cam2right）と、カメラ６１のカメラパラメーターと、を最適化のための変数とする。最適化にあたり、初期値として、設計値を使用してよい。なお、後述するように、R_cam2leftとR_cam2rightとを設計値などに固定し、カメラパラメーターだけを最適化してもよい。

本実施形態では、R_cam2leftおよびR_cam2rightを構成する６つの回転を四元数ｑで表し、最適化されるパラメーター（変数）ｐを以下のように表記する。

つまり、本実施形態では、式（１６）の１２個のパラメーターｐを最適化により導出する。
ここで、

以下、式（１５）を最小化する処理に用いられるヤコビ行列の導出を説明する。以下では、左眼ＬＥのアライメントが成立する場合についてのみ説明するが、右眼ＲＥのアライメントが成立する場合についても、左眼ＬＥの場合と同様に導くことができる。

左眼ＬＥのアライメントが成立するときについて、ヤコビ行列J_Lは、以下の通りになる。

式（２１）のヤコビ行列は、式（６）、（１０）および（１１）と、以下の式（２２）から式（３５）までの式によって、求めることができる。

上記式（２４）〜（２７）において、添え字iは、i＝１〜４の整数である。

以上説明したように、本実施形態にＨＭＤ１００では、マーカー特定部１６６は、右光学像表示部２６または左光学像表示部２８に表示されたマーカー画像ＩＭＧに実物マーカーＲＬが重なるように位置合わせされた後、カメラ６１が外景ＳＣを撮像する。そして、演算部１６７は、撮像画像上の実物マーカーＲＬと、撮像画像上に写像されたモデルマーカーとの間におけるマーカーＭＫ１の９組の円の中心の座標値を用いて、少なくともカメラ６１に関連するカメラパラメーターＣＰを含むパラメーターｐを、コスト関数Ｅが最小となるように最適化により導出する。本実施形態のＨＭＤ１００では、ＣＰＵ１４０が、導出されたパラメーターｐを用いて、カメラ６１を介して対象物の位置および姿勢を検出し（検出工程）、検出された位置および姿勢に基づいて、ＡＲオブジェクトの位置、大きさ、および向きの少なくとも一つが対象物に一致して使用者が視認するように、右光学像表示部２６および左光学像表示部２８のＡＲオブジェクトの画像表示を行なう（重畳表示工程）。この結果、製造過程で発生するおそれがある撮像部の焦点距離や撮像センサーの位置のずれを低減して、外景ＳＣに表示画像を重畳させることができる。または、使用者が視認するＡＲオブジェクトと対象物との重畳表示の精度が高くなる。上記実施形態によれば、左右の画像表示部のそれぞれについて、ユーザーは１回の位置合わせを行えば、重畳表示の十分な精度が得られる。そして、実物マーカーＲＬとマーカー画像ＩＭＧとの位置合わせがより少ない回数（例えば１回）で済むので、ユーザーが複数回位置合わせをすることに伴う位置合わせの誤差の累積が、キャリブレーションに影響を与えることを防止することができる。

また、本実施形態のＨＭＤ１００では、演算部１６７は、マーカーＭＫ１における９個の円の中心点の座標値を用いて、パラメーターＰを最適化するため、コスト関数Ｅをより小さくする最適化を実行でき、より精度の高いキャリブレーションを実行できる。

Ａ−３．第１実施形態の変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ａ−３−１．変形例１：
上記実施形態では、演算部１６７は、１２個のパラメーターｐを未知のパラメーターとして最適化により導出したが、製造時の設計値からのばらつきが少ない場合には、これらの内のいくつかのパラメーターについては設計値を設定し、残りパラメーターを未知のパラメーターとして導出してもよい。例えば、導出するパラメーターｐをカメラ６１のカメラパラメーターＣＰだけにしてもよい。

この変形例のＨＭＤ１００では、最適化するパラメーターｐの数が少なくなる。また、製造上、ばらつきの少ないパラメーターに対して、設計値を代入することで、コスト関数Ｅをより小さくするパラメーターの最適化を行ないつつ、パラメーターを最適化するための時間を短くできる。また、左右の眼のそれぞれについて、より少ない回数（例えば１回ずつ）の実物マーカーＲＬの撮像によって、キャリブレーションを実行できる。

Ａ−３−２．変形例２：
上記実施形態では、右光学像表示部２６にマーカー画像ＩＭＧが表示された場合と左光学像表示部２８にマーカー画像ＩＭＧが表示された場合との計２回の外景ＳＣの撮像が行なわれたが、キャリブレーションを実行するために行なわれる撮像の回数については、種々変形可能である。例えば、右光学像表示部２６のみにマーカー画像ＩＭＧが表示された状態の１回の外景ＳＣの撮像のみで、演算部１６７は、パラメーターの最適化を実行してもよい。一方、２回よりも多い回数の実物マーカーＲＬを含む外景ＳＣの撮像が行なわれて、演算部１６７は、コスト関数Ｅをより小さくするパラメーターの最適化を実行してもよい。また、上記実施形態とは異なり、単眼のＨＭＤの場合には、一方の眼に対応する画像表示部または両方の眼に対応する１つの画像表示部（つまり単眼のＨＭＤ）にマーカー画像ＩＭＧが表示されて、キャリブレーションが実行されてもよい。

上記実施形態では、右光学像表示部２６に表示されるマーカーと左光学像表示部２８に表示されるマーカーとは、同じマーカー画像ＩＭＧであったが、マーカー画像ＩＭＧおよび実物マーカーＲＬについては、種々変形可能である。例えば、右光学像表示部２６と左光学像表示部２８とのそれぞれに表示されるマーカーの画像は、異なるマーカーの画像であってもよい。また、マーカー画像ＩＭＧおよび実物マーカーＲＬは、マーカーＭＫ１の画像に限られず、導出されるパラメーターの精度に応じて、種々変形可能である。例えば、マーカーＭＫ１に含まれる円の数は、９個に限られず、９個よりも多くてよいし、９個よりも少なくてもよい。また、マーカーＭＫ１に含まれる複数の特徴点は、円の中心でなくてもよく、単に三角形の重心であってもよい。また、マーカーＭＫ１の内部に並行でない複数の直線が形成されて、直線の交点が複数の特徴点として特定されてもよい。また、マーカー画像ＩＭＧと実物マーカーＲＬとは、異なるマーカーであってもよい。マーカー画像と実物マーカーとを重ねる場合に、どの部分を重ね合わせるのかが使用者に認識される範囲で、マーカー画像と実物マーカーとについては、種々変形可能である。例えば、矩形状のマーカー画像に対して、正円の実物マーカーの中心をマーカー画像の中心に合わせるような位置合わせであってもよい。

Ｂ．第２実施形態：
Ｂ−１．画像表示装置の構成：
図７ないし図９は、キャリブレーションを行なう頭部装着型表示装置１００Ｂ（ＨＭＤ１００Ｂ）の外観構成を示す説明図である。ＨＭＤ１００Ｂは、画像表示部２０Ｂが表示する表示画像を使用者に視認させ、画像表示部２０Ｂ（図７）を透過する外景も使用者に視認させることができる。詳細な構成については後述するが、本実施形態のＨＭＤ１００Ｂは、画像表示部２０Ｂを装着した使用者の右眼と左眼とのそれぞれに対応する画像表示部を有しており、使用者の右眼と左眼とに別々の画像を視認させることができる。

図８に示すように、ＨＭＤ１００Ｂは、使用者ＵＳの頭部装着型表示装置に装着される装着帯９０Ｂと、装着帯９０Ｂに接続されている画像表示部２０Ｂと、画像表示部２０を制御する制御部１０Ｂ（コントローラー１０Ｂ）と、制御部１０Ｂと装着帯９０Ｂとを接続する接続部４０Ｂと、を備えている。図７に示すように、装着帯９０Ｂは、樹脂製の装着基部９１Ｂと、装着基部９１Ｂに連結される布製のベルト部９２Ｂと、カメラ６０Ｂと、を備える。装着基部９１Ｂは、人の前頭部の形に合った湾曲した形状を有する。ベルト部９２Ｂは、使用者の頭部の周りに装着されるためのベルトである。なお、図８では、接続部４０Ｂは、装着帯９０Ｂと制御部１０Ｂ側とを有線で接続しているが、接続している部分については、図示を省略している。

カメラ６０Ｂは、外景を撮像可能で、装着基部９１Ｂの中心部分に配置されている。換言すると、カメラ６０Ｂは、装着帯９０Ｂが使用者の頭部に装着された状態で、使用者の額の中央に対応する位置に配置されている。そのため、カメラ６０Ｂは、使用者が装着帯９０Ｂを頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。図８に示すように、カメラ６０Ｂは、装着基部９１Ｂに対して、円弧ＲＣに沿って所定の範囲で可動する。換言すると、カメラ６０Ｂは、撮像範囲を所定の範囲で変更できる。

図８に示すように、画像表示部２０Ｂは、連結部９３Ｂを介して装着基部９１Ｂに接続され、眼鏡形状を有している。連結部９３Ｂは、装着基部９１Ｂおよび画像表示部２０Ｂの両側に対象的に配置され、連結部９３Ｂを中心として、装着基部９１Ｂに対する画像表示部２０Ｂの位置を円弧ＲＡに沿って回動可能に支持する。図８において二点鎖線で示す位置Ｐ１１Ｂは、画像表示部２０Ｂが円弧ＲＡに沿った最も下端である。また、図８において実線で示す位置Ｐ１２Ｂは、画像表示部２０Ｂが円弧ＲＡに沿った最も上端である。

また、図９に示すように、マーカー画像ＩＭＧを表示する表示パネルを有する光学像表示部２６Ｂ，２８Ｂは、保持部２１Ｂ，２３Ｂに対して、直線ＴＡに沿って所定の範囲で平行移動して位置を変更する。図９において二点鎖線で示す位置Ｐ１３Ｂは、光学像表示部２６Ｂ，２８Ｂが直線ＴＡに沿った最も下端である。図９において実線で示す位置Ｐ１１Ｂは、光学像表示部２６Ｂ，２８Ｂが直線ＴＡに沿った最も上端である。なお、図８における位置Ｐ１１Ｂと、図９における位置Ｐ１１Ｂとは、同じ位置を示している。

図７に示すように、画像表示部２０Ｂは、右保持部２１Ｂと、右表示駆動部２２Ｂと、左保持部２３Ｂと、左表示駆動部２４Ｂと、右光学像表示部２６Ｂと、左光学像表示部２８Ｂと、を含んでいる。右光学像表示部２６Ｂおよび左光学像表示部２８Ｂは、それぞれ、使用者が画像表示部２０Ｂを装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６Ｂの一端と左光学像表示部２８Ｂの一端とは、使用者が画像表示部２０Ｂを装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１Ｂは、右光学像表示部２６Ｂの他端から装着基部９１Ｂと接続されている連結部９３Ｂに延伸して設けられた部材である。同様に、左保持部２３Ｂは、左光学像表示部２８の他端から連結部９３Ｂに延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４Ｂとは、使用者が画像表示部２０Ｂを装着した際の使用者の頭部に対向する側に配置されている。

表示駆動部２２Ｂ，２４Ｂは、図８で後述する液晶ディスプレイ２４１Ｂ，２４２Ｂ（Liquid Crystal Display、以下「ＬＣＤ２４１Ｂ，２４２Ｂ」とも呼ぶ）や投写光学系２５１Ｂ，２５２Ｂ等を含む。表示駆動部２２Ｂ，２４Ｂの構成の詳細な説明は後述する。光学像表示部２６Ｂ，２８Ｂは、後述する導光板２６１Ｂ，２６２Ｂ（図１０参照）と調光板とを含んでいる。導光板２６１Ｂ，２６２Ｂは、光透過性の樹脂材料等によって形成され、表示駆動部２２Ｂ，２４Ｂから出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０Ｂの表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。

制御部１０Ｂは、ＨＭＤ１００Ｂを制御するための装置である。制御部１０Ｂは、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５Ｂを有する。

図１０は、ＨＭＤ１００Ｂの構成を機能的に示すブロック図である。図１０に示すように、制御部１０Ｂは、ＲＯＭ１２１Ｂと、ＲＡＭ１２２Ｂと、電源１３０Ｂと、操作部１３５Ｂと、マーカー画像記憶部１３８Ｂと、ＣＰＵ１４０Ｂと、インターフェイス１８０Ｂと、送信部５１Ｂ（Ｔｘ５１Ｂ）および送信部５２Ｂ（Ｔｘ５２Ｂ）と、を有している。

電源１３０Ｂは、ＨＭＤ１００Ｂの各部に電力を供給する。ＲＯＭ１２１Ｂには、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０Ｂは、ＲＯＭ１２１Ｂに格納された各種コンピュータープログラムを、ＲＡＭ１２２Ｂに展開することで、各種コンピュータープログラムを実行する。

マーカー画像記憶部１３８Ｂは、モデルマーカーのデータおよび／または右光学像表示部２６Ｂまたは左光学像表示部２８Ｂに表示されるキャリブレーション用画像としてのマーカーＭＫ１のマーカー画像ＩＭＧを記憶している。マーカー画像記憶部１３８Ｂは、右光学像表示部２６に表示されるマーカー画像と左光学像表示部２８Ｂに表示されるマーカー画像とを同じマーカーの画像ＩＭＧとして記憶している。マーカー画像ＩＭＧは、３次元モデル空間（３Ｄコンピューターグラフィックス空間）で表現された上記モデルマーカー（２Ｄ）を、右光学像表示部２６Ｂまたは左光学像表示部２８Ｂのそれぞれの写像パラメーターに基づいて写像したものである。

図１１は、画像表示部２０Ｂに表示されるマーカー画像ＩＭＧの一例を示す説明図である。図１１に示すように、マーカー画像ＩＭＧは、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、９個の正円を含んでいる。９個の円の内の５個の円は、頂点Ｐ０と頂点Ｐ２とを結んだ対角線ＣＬ１上に円の中心が存在する。当該５個の円は、対角線ＣＬ１に沿って、頂点Ｐ０に近い円から、円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５である。同じように、９個の円の内の５個の円は、頂点Ｐ１と頂点Ｐ３とを結んだ対角線ＣＬ２上に円の中心が存在する。当該５個の円は、対角線ＣＬ２に沿って、頂点Ｐ１に近い円から、円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９である。円Ｃ３は、対角線ＣＬ１と対角線ＣＬ２との交点であると共に、正方形の重心である点を中心とする円である。本実施形態では、対角線ＣＬ１上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。同じように、対角線ＣＬ２上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。また、対角線ＣＬ１に中心を有する隣接する円の中心間の距離と、対角線ＣＬ２に中心を有する隣接する円の中心間の距離とは、同じ距離である。９個の円の大きさは、同じ大きさである。なお、対角線ＣＬ１および対角線ＣＬ２は、便宜上、図１１に示しているのであり、マーカー画像ＩＭＧには含まれない直線である。

図１１では、色の違いを、ハッチングを変えることで表している。そのため、図１１に示すように、マーカー画像ＩＭＧには、円Ｃ３の内部の黄色と、円Ｃ５の内部の緑色と、円Ｃ３，Ｃ５と異なる７個の円Ｃ１，Ｃ２，Ｃ４，Ｃ６，Ｃ７，Ｃ８，Ｃ９の内部の白色と、正方形の中に含まれ、９個の円を含まない部分の黒色と、の４色が存在する。また、図１１では、円Ｃ３の中心Ｃ３Ｐを原点とするＸ軸とＹ軸とが示されている。後述するキャリブレーション実行処理では、中心Ｃ３Ｐを原点として、各種の座標値が特定される。マーカー画像ＩＭＧに含まれる９個の円の内、円Ｃ３と円Ｃ５との色がその他の７個の円と異なるのは、中心円としての円Ｃ３と、撮像された実物のマーカーＭＫ１の方向を特定するための円Ｃ５と、を区別するためである。

図１０に示すＣＰＵ１４０Ｂは、ＲＯＭ１２１Ｂに格納されているコンピュータープログラムを、ＲＡＭ１２２Ｂに展開することにより、オペレーティングシステム１５０Ｂ（ＯＳ１５０Ｂ）、表示制御部１９０Ｂ、音声処理部１７０Ｂ、画像処理部１６０Ｂ、表示設定部１６５Ｂ、マーカー特定部１６６Ｂおよび演算部１６７Ｂとして機能する。

表示制御部１９０Ｂは、右表示駆動部２２Ｂおよび左表示駆動部２４Ｂを制御する制御信号を生成する。表示制御部１９０Ｂは、右表示駆動部２２Ｂおよび左表示駆動部２４Ｂのそれぞれによる画像光の生成および射出を制御する。表示制御部１９０Ｂは、右ＬＣＤ制御部２１１Ｂと左ＬＣＤ制御部２１２Ｂとに対する制御信号のそれぞれを、送信部５１Ｂおよび５２Ｂを介して送信する。また、表示制御部１９０Ｂは、右バックライト制御部２０１Ｂと左バックライト制御部２０２Ｂとに対する制御信号のそれぞれを送信する。

画像処理部１６０Ｂは、コンテンツに含まれる画像信号を取得し、送信部５１Ｂ，５２Ｂを介して、取得した画像信号を画像表示部２０の受信部５３Ｂ，５４Ｂへと送信する。音声処理部１７０Ｂは、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６Ｂに接続された右イヤホン３２Ｂ内のスピーカー（図示しない）および左イヤホン３４Ｂ内のスピーカー（図示しない）に対して供給する。

表示設定部１６５Ｂは、マーカー画像記憶部１３８に記憶されたマーカーＭＫ１の画像を右光学像表示部２６Ｂまたは左光学像表示部２８Ｂに表示させる。表示設定部１６５Ｂは、キャリブレーション実行時に、操作部１３５Ｂが受け付けた操作に基づいて、マーカー画像ＩＭＧを右光学像表示部２６Ｂに表示する場合と、マーカー画像ＩＭＧを左光学像表示部２８Ｂに表示する場合とを制御する。

マーカー特定部１６６Ｂは、カメラ６０Ｂによって撮像された撮像画像の中から、例えば、制御部１０Ｂの裏面（操作部１３５Ｂの反対側の面）や所定の壁などに配置されたマーカーＭＫ１の実物マーカーＲＬを特定する。実物マーカーＲＬを特定するための具体的な処理については、後述するが、マーカー特定部１６６Ｂは、実物マーカーＲＬの４つの頂点、９個の円の中心の座標値、９個の円の色などを抽出することで、撮像画像の中から実物マーカーＲＬを特定する。マーカー特定部１６６Ｂは、例えば、撮像画像の色の階調値を２値化することで、マーカーＭＫ１における色の異なる９個の円などを抽出する。

演算部１６７Ｂは、本実施形態ではホモグラフィーを用いて、カメラ６０Ｂと実物マーカーＲＬとの間の空間的関係（回転および並進の少なくとも一つ）を表す第１パラメーターＰＭ１を算出する。また、演算部１６７Ｂは、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の空間的関係を表す空間パラメーターＰＭを算出する。なお、カメラ６０Ｂを基準とするカメラ座標系とは、カメラ６０Ｂに原点が固定された３次元座標系である。そのため、カメラ座標系は、カメラ６０Ｂの向きの変化に応じて変化する。実物マーカー座標系、オブジェクト座標系、および表示座標系についても、カメラ座標系と同じ概念によって定義されている。

また、演算部１６７Ｂは、カメラ６０Ｂに関するパラメーター（カメラパラメーターとも呼ぶ）を最適化する。カメラ６０Ｂに関するパラメーターの最適化は、予め既知ではない（未知である）カメラ６０Ｂの焦点距離に関連するパラメーターおよび主点位置（例えば撮像画像の中心座標）などを含むパラメーターを、得られた座標値を用いて、最適化できるように計算する。最適化により導出されたカメラパラメーターを用いて対象物が撮像されて撮像画像が取得されると、撮像画像における対象物の位置と、ユーザーから見たときの対象物に重なる画像表示部上の表示位置とが対応付けられることとなる。この結果、使用者は、画像表示部２０Ｂを介してＡＲ（Augmented Reality）画像が、当該対象物に対して位置、大きさ、姿勢の少なくとも一つが一致するように視認することができる。なお、カメラ６０Ｂのパラメーターの最適化の詳細については、後述する。また、本実施形態では、空間パラメーターＰＭも、カメラ６０ＢのカメラパラメーターＣＰと同様の最適化が行なわれることで、算出される。

インターフェイス１８０Ｂは、制御部１０Ｂに対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０Ｂとしては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

図１０に示すように、画像表示部２０Ｂは、右表示駆動部２２Ｂと、左表示駆動部２４Ｂと、右光学像表示部２６Ｂとしての右導光板２６１Ｂと、左光学像表示部２８Ｂとしての左導光板２６２Ｂと、を備えている。

右表示駆動部２２Ｂは、受信部５３Ｂ（Ｒｘ５３Ｂ）と、光源として機能する右バックライト制御部２０１Ｂ（右ＢＬ制御部２０１Ｂ）および右バックライト２２１Ｂ（右ＢＬ２２１Ｂ）と、表示素子として機能する右ＬＣＤ制御部２１１Ｂおよび右ＬＣＤ２４１Ｂと、右投写光学系２５１Ｂと、を含んでいる。右バックライト制御部２０１Ｂと右バックライト２２１Ｂとは、光源として機能する。右ＬＣＤ制御部２１１Ｂと右ＬＣＤ２４１Ｂとは、表示素子として機能する。

受信部５３Ｂは、制御部１０Ｂと画像表示部２０Ｂとの間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１Ｂは、入力された制御信号に基づいて、右バックライト２２１Ｂを駆動する。右バックライト２２１Ｂは、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１Ｂは、画像処理部１６０Ｂおよび表示制御部１９０Ｂから送信された制御信号に基づいて、右ＬＣＤ２４１Ｂを駆動する。右ＬＣＤ２４１Ｂは、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１Ｂは、右ＬＣＤ２４１Ｂから射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６Ｂとしての右導光板２６１Ｂは、右投写光学系２５１Ｂから出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４Ｂは、右表示駆動部２２Ｂと同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。

Ｂ−２．キャリブレーション実行処理：
図１２は、第２実施形態におけるキャリブレーション実行処理のフローチャートである。キャリブレーション実行処理は、以下のような処理である：まず、使用者が、右光学像表示部２６Ｂまたは左光学像表示部２８Ｂに表示されたマーカー画像ＩＭＧと、外景から特定された実物マーカーＲＬと、が重複するように視認する状態で、ＣＰＵ１４０Ｂが、カメラ６０Ｂを用いて実物マーカーＲＬを撮像する。そして、ＣＰＵ１４０Ｂは、実物マーカーＲＬを撮像して得られた撮像画像に少なくとも基づいて、空間パラメーターＰＭの算出、およびカメラ６０のＢパラメーターを導出する。このように、この処理は、カメラ６０Ｂと光学像表示部との間の相対位置関係を検出する処理としての側面も有する。

キャリブレーション実行処理では、初めに、表示設定部１６５Ｂは、マーカー画像ＩＭＧを、使用者の右眼に対応する右画像表示部としての右光学像表示部２６Ｂのみに表示させる（ステップＳＢ１１）。この場合、使用者が、実物マーカーＲＬとマーカー画像ＩＭＧとが互いに一致して視認するように、使用者が実物マーカーＲＬに対してその頭部の距離と姿勢を調整する場合に、実物マーカーＲＬと光学像表示部２６Ｂとの間の空間的関係が既知の所定の空間的関係（回転および並進）となるように、右光学像表示部２６Ｂは、画像表示領域における所定位置に所定の大きさでマーカー画像ＩＭＧを表示する。

図１３は、右光学像表示部２６Ｂのみにマーカー画像ＩＭＧが表示された状態の概略図である。図１３には、使用者が、予め画像表示部２０Ｂを装着した使用者の仮想の右眼の位置として設定された右眼位置ＲＰから、右光学像表示部２６Ｂに表示されたマーカー画像ＩＭＧを視認した場合の概略が示されている。なお、図１３には、ＨＭＤ１００Ｂの内の画像表示部２０Ｂのみを図示し、装着帯９０Ｂや制御部１０Ｂなどについては図示を省略している。そのため、図１３に示す画像表示部２０Ｂは、図７ないし図１０に示す画像表示部２０Ｂと同じ画像表示部である。また、図１３には、撮像される三次元空間の座標軸を表す座標軸ＣＤ２と、撮像された二次元画像の座標軸を表す座標軸ＣＤ１と、が示されている。使用者は、右光学像表示部２６Ｂに表示されたマーカー画像ＩＭＧを、画像表示部２０Ｂから距離Ｌ１離れた位置に存在するマーカーＭＫ１として視認する。

図１２のステップＳＢ１１の処理が行なわれると、マーカー特定部１６６Ｂは、使用者に対して、右光学像表示部２６Ｂに表示されたマーカー画像ＩＭＧと、外景に存在する実物マーカーＲＬとが重なるように位置合わせを促す（ステップＳＢ１３）。

図１４は、実物マーカーＲＬとマーカー画像ＩＭＧとの位置関係を表す概略図である。図１４には、外景ＳＣに含まれる実物マーカーＲＬと、右光学像表示部２６Ｂに表示されたマーカー画像ＩＭＧおよび文字画像ＴＸ１と、が示されている。文字画像ＴＸ１は、使用者にマーカー画像ＩＭＧと実物マーカーＲＬとの位置合わせを行なった後に、撮像を促すことを文字で表す画像である。具体的には、文字画像ＴＸ１は、「重複させてから撮像ボタンを押してください」を表す文字の画像である。図１４に示すように、マーカー画像ＩＭＧの中心と実物マーカーＲＬの中心とは、一致していない。また、図１４に示す例では、実物マーカーＲＬは、マーカー画像ＩＭＧに対して、角度θ１傾いている。この場合に、画像表示部２０Ｂを装着した使用者は、自身の位置や向きを変えることで、実物マーカーＲＬにマーカー画像ＩＭＧを重ねることができる。

マーカー特定部１６６Ｂは、図１２のステップＳＢ１３の処理を行なうと、マーカー画像ＩＭＧと実物マーカーＲＬと位置合わせが完了しているか否かを判定する（ステップＳＢ１５）。マーカー特定部１６６Ｂは、図１４の文字画像ＴＸ１に示すように、使用者によって撮像ボタンが押下される操作の有無によって、位置合わせの完了の判定を行なう。撮像ボタンとしては、予め設定された操作部１３５Ｂのいずれかのボタンでよく、種々変形可能である。

撮像ボタンの押下の操作がなく、マーカー特定部１６６Ｂは、位置合わせが完了していないと判定した場合には（ステップＳＢ１５：ＮＯ）、引き続き、位置合わせが完了したことを表す撮像ボタンの押下の操作を待機する。撮像ボタンの押下の操作があると、マーカー特定部１６６Ｂは、位置合わせが完了していると判定し（ステップＳＢ１５：ＹＥＳ）、カメラ６０Ｂによって外景ＳＣを撮像する（ステップＳＢ１７）。

次に、表示設定部１６５Ｂは、右光学像表示部２６Ｂのみに表示させたマーカー画像ＩＭＧを非表示にして、左光学像表示部２８Ｂのみにマーカー画像ＩＭＧを表示させる（ステップＳＢ２１）。左光学像表示部２８Ｂがマーカー画像ＩＭＧを表示する方法は、ステップＳＢ１１において右光学像表示部２６Ｂがマーカー画像ＩＭＧを表示する方法と同じである。その後、ステップＳＢ１３からステップＳＢ１７までの使用者の右眼ＲＥに対応する処理と同じように、マーカー特定部１６６Ｂは、使用者の左眼ＬＥに対して、マーカー画像ＩＭＧと実物マーカーＲＬとが重なるように位置合わせを促す（ステップＳＢ２３）。

マーカー特定部１６６Ｂは、左眼について、使用者に位置合わせを促すと、マーカー画像ＩＭＧと実物マーカーＲＬとの位置合わせが完了しているか否かを判定する（ステップＳＢ２５）。マーカー特定部１６６Ｂは、使用者による撮像ボタンの押下の操作がなく、位置合わせが完了していないと判定する場合には（ステップＳＢ２５：ＮＯ）、引き続き、位置合わせが完了したことを示す撮像ボタンの押下の操作を待機する。撮像ボタンの押下の操作があると、マーカー特定部１６６Ｂは、位置合わせが完了していると判定し（ステップＳＢ２５：ＹＥＳ）、カメラ６０Ｂによって、外景ＳＣを撮像する（ステップＳＢ２７）。

次に、演算部１６７Ｂは、右眼位置ＲＰと左眼位置ＬＰとのそれぞれを基準とした撮像画像を基に、空間パラメーターＰＭの算出と、カメラ６０ＢのカメラパラメーターＣＰの最適化を実行して（ステップＳＢ３１）、ＣＰＵ１４０Ｂは、キャリブレーション実行処理を終了する。

Ｂ−３．空間パラメーター、およびカメラパラメーター：
Ｂ−３−１．カメラパラメーター：
カメラ６０Ｂに関するパラメーター（以降、カメラパラメーターとも呼ぶ）として、４個のパラメーターＣＰ（ｆｘ、ｆｙ、Ｃｘ、Ｃｙ）が存在する。（ｆｘ、ｆｙ）は撮像部の焦点距離であり、画素密度に基づいて画素数に換算されている。

カメラパラメーターは、撮像部の主要部分を構成するカメラ６０Ｂの製品仕様から知ることができる（以下ではこれをデフォルトカメラパラメーターとも表記する）。ただし、実際のカメラのカメラパラメーターがデフォルトカメラパラメーターから大きくずれていることが多い。しかも、同じ仕様のカメラであっても、カメラ間で、カメラパラメーターがばらついている（揃っていない）ことがある。

ＡＲオブジェクトにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、カメラ６０Ｂは、当該実物体の位置および姿勢を検出する検出機として機能する。このとき、演算部１６７Ｂは、カメラパラメーターを用いて、カメラ６０Ｂに撮像された実物体のカメラ６０Ｂに対する位置および姿勢を推定する。さらに、演算部１６７Ｂは、当該位置および姿勢を、カメラ６０Ｂと左光学像表示部２８Ｂ（右光学像表示部２６Ｂ）との間の相対位置関係を用いて、左光学像表示部２８Ｂに対する実物体の位置および姿勢に変換する。さらに、演算部１６７Ｂは、当該変換された位置および姿勢に基づいて、ＡＲオブジェクトの位置および姿勢を決定する。そして、画像処理部１６０Ｂは、当該位置および姿勢を有するＡＲオブジェクトを、写像パラメーターを用いて表示座標系に写像（変換）し、表示バッファ（例えばＲＡＭ１２２Ｂ）に書き込む。そして、画像制御部は、表示バッファに書き込まれたＡＲオブジェクトを左光学像表示部２８Ｂに表示する。このため、カメラパラメーターがデフォルトカメラパラメーターである場合には、推定される実物体の位置および姿勢に誤差が含まれることとなる。そうすると、推定された位置および姿勢の誤差に由来して、表示されたＡＲオブジェクトと実物体との重畳に誤差があるように使用者に視認される。

そこで、本実施形態では、ＡＲオブジェクトが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラパラメーターが、最適化により導出される。そして、導出されたカメラパラメーターが用いられて、対象物の位置および姿勢が検出（推定）されるようにする。そうすれば、ＡＲオブジェクトの表示において、表示されるＡＲオブジェクトと実物体との間に発生するずれが使用者に視認される度合いが低くなる。後述するように、同じＨＭＤ１００Ｂの使用者が同一人であっても、カメラパラメーターの導出は、キャリブレーションが行なわれるごとに行なわれ、当該キャリブレーションに引き続いて行なわれる対象物とＡＲオブジェクトとの間での位置、大きさ、向きの少なくとも一つが一致した表示のために使用されることが好ましい。これは、キャリブレーションの際に、必ずしも使用者は、実物マーカーＲＬと、実物マーカーＲＬに対応したマーカー画像ＩＭＧとを、同じ精度で位置合わせするとは限らないことによる。たとえ使用者が違う精度で位置合わせしても、それに応じたカメラパラメーターが導出されることから、ＡＲオブジェクトの重畳表示がされる場合に重畳表示のずれの増大が抑制される。

また、本実施形態のＨＭＤ１００Ｂは、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の相対位置関係が変化する構造を有する。デフォルトカメラパラメーターについての説明からも理解されるように、ＡＲオブジェクトにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、実際のカメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の相対位置関係とは異なる相対位置関係に基づいてＡＲオブジェクトを表示すると、表示されたＡＲオブジェクトと実物体との重畳に誤差が視認される。

そこで、本実施形態では、ＡＲオブジェクトが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラ６０Ｂの座標系と、右光学像表示部２６Ｂの座標系および左光学像表示部２８Ｂの座標系と、の間の相対位置関係（回転および並進の少なくとも一つ）を表す空間パラメーターＰＭを、導出する。そして、導出された当該空間パラメーターＰＭが表す空間的関係（相対位置関係）を用いてＡＲオブジェクトの表示をすると、ユーザーにずれが視認される度合いが低くなる。

図１３に示すように、使用者が、左光学像表示部２８Ｂに表示されたマーカー画像ＩＭＧと、外景に含まれ前方に位置する実物マーカーＲＬと、が位置、大きさ、向きが一致するように使用者が視認するとき（以下、使用者が左眼でアライメントを成立させるときともいう）、座標系の間には、次の式（３７）の関係が成り立つ。なお、以降では、左光学像表示部２８Ｂにマーカー画像ＩＭＧが表示された場合について説明する。

ここで、左辺および右辺のＣＰは、カメラ６０Ｂのカメラパラメーターである。［R_o2dl, t_o2dl］は、実オブジェクト（この場合、実物マーカーＲＬ）に固定された座標系から左光学像表示部２８Ｂに固定された座標系への変換行列であり、このうち、［R_o2dl］が回転を表す３×３の行列であり、［t_o2dl］が並進を表す３×１の行列である。ModelMatrixは、モデルマーカー上の任意の１点を表す３×１の行列である。モデルマーカーは、マーカー画像が光学像表示部２８に表示される場合の基礎となる３次元データ（３次元モデル：ただし本実施形態では平面）である。［R_o2dl, t_o2dl］×ModelMatrixの表記は、下記の式（３８）の規則に従っている。

上記式（３８）の表記規則は、式（３７）の他の部分にも適用される。

式（３７）の右辺における［R_cam2left, t_cam2left］は、カメラ６０Ｂの座標系から左光学像表示部２８Ｂの座標系への変換行列（以下、空間パラメーターとも呼ぶ）である。式（３７）の右辺における［R_obj2cam, t_obj2cam］は、実オブジェクト（実物マーカーＲＬ）の座標系からカメラ６０Ｂの座標系への変換行列である。

上記（３７）の関係から、左光学像表示部２８Ｂについて、マーカー画像ＩＭＧと実物マーカーＲＬとのアライメントが成立しているとき、以下の式（３９）、（４０）が成り立つ。

左眼ＬＥのアライメントが成立すると仮定したとき、実物マーカーＲＬのカメラ６０Ｂに対する姿勢をモデルマーカーに適用すると、カメラ６０の座標系に変換されたモデルマーカー上の任意の点は次の式（４１）のP_cl（X_cl, Y_cl, Z_cl）のようになる。

式（３９）および式（４０）により、R_obj2cam,t_obj2camを消去すると式（４１）は以下の式（４２）のようになる。

R_o2dlおよびt_o2dlは、実物マーカーＲＬの座標系から左光学像表示部２８Ｂの座標系への回転および並進であり、本実施形態では、ユーザーが左光学像表示部２８Ｂに表示されたマーカー画像ＩＭＧを実物マーカーＲＬに位置合わせしたときに、所定の回転および並進となるように、左光学像表示部２８Ｂ上の所定位置（例えば中央）に所定の配向かつ所定の大きさで、固定されて表示される。T_cam2leftは、カメラの座標系から左光学像表示部２８Ｂの座標系への並進である。

上記式（４３）および（４４）における要素は定数（aは図１３のL1）であり、式（４５）における要素D1, D2, D3は初期値である。なお、図１３からわかるように、本実施形態では、画像表示部２０Ｂに固定された座標系では、光学像表示部２６Ｂ，２８Ｂ（画像表示部２０Ｂ）から使用者ＵＳの眼へと射出される光の方向がＺ軸方向である。

式（４１）で表されるモデルマーカーをカメラ６０Ｂの撮像画像上に写像するとき、撮像画像上のモデルマーカーの座標は、次のようになる。

ここで、（F_x, F_y）はカメラ６０Ｂの焦点距離であり、（C_x, C_y）はカメラ６０Ｂの主点位置座標である。

カメラ６０Ｂが実際に実物マーカーＲＬを撮像した場合の撮像画像におけるマーカーの特徴要素の座標を（u_l, v_l）と表記すると、（u_l, v_l）と（x_iml, y_iml）との差は以下のようになる。

式（４８）における添え字iは、マーカーにおける特徴要素を示す整数であり、１から９までの値を取る。左眼ＬＥのアライメントについて、二乗和を導出する。

使用者が、右眼ＲＥで右光学像表示部２６Ｂに表示されたマーカーと、実物マーカーＲＬと、を位置合わせした場合についても、同様に二乗和を導出する。

E_RとE_Lとの和により、コスト関数Ｅを定義する。

Eを最小化（グローバルミニマム）にするパラメーターを、ガウス・ニュートン法などの繰り返し計算を伴う最適化計算により求める。

本実施形態では、カメラ６０ＢのカメラパラメーターＣＰと、カメラ６０Ｂの座標系から左光学像表示部２８Ｂの座標系への回転（R_cam2left）および並進（T_cam2left）、ならびにカメラ６０Ｂの座標系から右光学像表示部２６Ｂの座標系への回転（R_cam2right）および並進（T_cam2right）が最適化により導出される。

式（５１）で表わされるコスト関数Ｅを最小化する繰り返し計算に用いられるヤコビ行列は、式（５２）のようになる。

ここで、式（５２）の右辺における変数X_mliおよびy_mliはそれぞれ式（４６）および（４７）によって表され、さらに式（４６）および（４７）におけるx_clおよびy_clは式（４２）によって表される。また、式（５２）の右辺における変数ｐは、カメラ６０ＢのカメラパラメーターＣＰに含まれるF_x，F_y，C_x，C_yと、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の空間的関係を表す回転R_cam2left、R_cam2rightを構成する６つのオイラー角と、並進T_cam2left、 T_cam2rightを構成する６つの並進成分と、である。演算部１６７Ｂは、式（５２）のヤコビ行列と、変数ｐの微小変化量と、に基づいて、式（５１）のグローバルミニマムを探索することができる。

Ｂ−３−２．空間パラメーター：
上述の通り、本実施形態では、演算部１６７Ｂは、右光学像表示部２６Ｂと左光学像表示部２８Ｂとのそれぞれに対応する空間パラメーターＰＭ２［R_cam2left, t_cam2left］［R_cam2lright, t_cam2right］を算出する。回転行列R_cam2rightは、直交する３軸の回転によって決定される３つのパラメーターであり、並進行列T_cam2rightは、３軸に沿った並進のそれぞれに対応する３つのパラメーターである。すなわち、右光学像表示部２６Ｂに対応する空間パラメーターＰＭは、計６つのパラメーターを含んでいる。同じように、左光学像表示部２８Ｂに対応する空間パラメーターＰＭは、回転行列R_cam2leftと並進行列T_cam2leftとであり、計６つのパラメーターを含んでいる。すなわち、本実施形態では、カメラパラメーターに含まる４個のパラメーターと、空間的関係を表す１２個のパラメーターとの１６個のパラメーターが算出される。

演算部１６７Ｂは、使用者が実物マーカーＲＬとマーカー画像ＩＭＧとが互いに一致するように視認する状態で実物マーカーＲＬを撮像し、撮像画像を取得する。演算部１６７Ｂは、当該撮像画像に基づいて、上記の式（５１）を用いて、空間パラメーターＰＭを算出する。本実施形態では、空間パラメーターＰＭを算出する場合の初期値（ｉ=０）として、カメラ６０Ｂまたは光学像表示部２６Ｂ，２８Ｂの最大可動した場合の一方の姿勢における値、または、可動域の中間の姿勢における値を用いる。これらの初期値として、ＨＭＤ１００Ｂが製造される工場から出荷される前の計測値や検査値が用いられてもよい。

空間パラメーターＰＭが算出されると、使用者に確認させる目的で、演算部１６７Ｂは、算出した空間パラメーターＰＭを用いて、実物マーカーＲＬがカメラ６０Ｂの撮像範囲に含まれる場合に、実物マーカーＲＬの位置に合わせて重畳するように確認用画像を表示する。実物マーカーの内部座標をＸと定義すると、空間パラメーターＰＭが用いられ、左光学像表示部２８Ｂにおける表示画像の位置（u,v）は、式（５３）のように表される。

ここで、[Robj2cam, Tobj2am]は実物マーカーＲＬとカメラ６０Ｂとの間の空間的関係を表すパラメーター（回転行列および並進行列）であり、これらは、カメラ６０Ｂが撮像した実物マーカーＲＬの撮像画像に、例えばホモグラフィーを適用することによって演算部１６７Ｂによって算出される。実物マーカー以外の実オブジェクトを検出する場合には、他の方法で実オブジェクトとカメラ６０Ｂとの間の空間的関係が導出される。なお、右光学像表示部２６Ｂについても、式（５３）と同様な関係式により、表示画像の位置（u,v）が導出される。式（５３）に示す通り、実オブジェクト（この場合、実物マーカーＲＬ）とカメラ６０Ｂとの間の空間的関係、およびカメラ６０Ｂと光学像表示部２６Ｂ、２８Ｂとの間の空間的関係に少なくとも基づいて定まる位置にu,vにＡＲオブジェクトを表示することで、当該ＡＲオブジェクト（この場合確認用画像）の位置、大きさおよび配向の少なくとも一つが、実オブジェクトの位置、大きさ、配向の少なくとも一つに一致するように、ＨＭＤ１００Ｂの使用者に視認させることができる。なお、式（５３）における右辺のＲＰは、ピンホールカメラモデルと同様な写像モデルを用いた場合に決定される写像パラメーター（またはレンダリングパラメーターとも呼ぶ）であり、本実施形態では下記の式（５４）のように表される。

ここで、式（５４）におけるF_x, F_yはＨＭＤ１００Ｂにおけるプロジェクターの画素数に換算された焦点距離であり、Wは水平方向の左光学像表示部２８Ｂの画素数（解像度）であり、Hは垂直方向の左光学像表示部２８Ｂの画素数（解像度）であり、C_xおよびC_yは、表示画像の中心位置である。写像パラメーターの上２行がu, vの導出に寄与する。fおよびnは、０と１の間で規格化された奥行を有する規格化デバイス座標との対応関係を決める係数である。すなわち、これらは、レンダリングバッファに（デプスバッファ）おいて奥行を調整するための係数であるが、表示画像の位置(u,v)の導出に直接関与しないことから、詳細は省略する。

本実施形態では、キャリブレーションがうまく実施されていれば、ＨＭＤ１００Ｂを装着している使用者は、光学像表示部２６Ｂ、２８Ｂに表示された確認用画像の位置、大きさ、向きが、実物マーカーＲＬの位置、大きさ、向きに一致するように、視認する。図１５は、実物マーカーＲＬと確認用画像３ＤＣＧとが使用者に視認されている状態が示されている。図１５には、実物マーカーＲＬの位置、大きさ、および向きに、確認用画像３ＤＣＧの位置、大きさおよび向きが一致するように、使用者が実物マーカーＲＬと確認用画像３ＤＣＧとを視認している状態が示されている。確認用画像３ＤＣＧは、実物マーカーＲＬに対応するように、立体的な直方体で表される画像である。確認用画像３ＤＣＧでは、直方体を表す各辺に相当する直線のみが表示され、直方体の内部には画像として表示されるものはない。換言すると、直方体の内部については、使用者は、実物マーカーＲＬなどを含む透過した外景を視認できる。使用者が実物マーカーＲＬと確認用画像３ＤＣＧとが互いに一致するように視認しないときに、再度、キャリブレーションをやり直すことができる。図１５には、光学像表示部２６Ｂ、２８Ｂまたは音声処理部１７０Ｂは、キャリブレーションが成功しＡＲ表示機能を続行すること（重畳して見えるか）、およびキャリブレーションをやり直すことのいずれかを促す文字画像または音声を使用者に提示してもよい。

演算部１６７Ｂは、算出した空間パラメーターＰＭとしての行列を用いて、実オブジェクトの位置に対応するようにＡＲ画像を、光学像表示部２６Ｂ，２８Ｂに表示させる。なお、実オブジェクトは、請求項におけるオブジェクトに相当し、ＡＲ画像は、請求項における対応画像（counterpart image）に相当する。

以上説明したように、使用者が実物マーカーＲＬに右光学像表示部２６Ｂまたは左光学像表示部２８Ｂに表示されたマーカー画像ＩＭＧが重なるように視認している状態で、実物マーカーＲＬの撮像画像が撮像されると、演算部１６７Ｂは、当該撮像画像に少なくとも基づいて、カメラ６０ＢのカメラパラメーターＣＰと、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の空間的関係と、を導出する。そのため、本実施形態のＨＭＤ１００Ｂでは、外景ＳＣを撮像するカメラ６０Ｂが画像表示部２０Ｂに対して動く場合であっても、カメラ６０Ｂと画像表示部２０Ｂとの空間的関係を導出できる。そして、このため、ＨＭＤ１００Ｂは、使用者ＵＳにＡＲ画像が対応する実オブジェクトに重畳するように視認させることができる。また、本実施形態のＨＭＤ１００Ｂでは、キャリブレーションを実行するために、ＨＭＤ１００Ｂ以外の装置が不要で、かつ、使用者は、制御部１０Ｂに配置された実物マーカーＲＬが視認できる範囲で頭部を動かすだけでよい。よって、本実施形態のＨＭＤ１００Ｂでは、簡便にキャリブレーションを実行できる。

また、本実施形態のＨＭＤ１００Ｂでは、演算部１６７Ｂは、カメラパラメーターＣＰおよび空間パラメーターＰＭを用いて、撮像された実オブジェクトの位置と姿勢に対応するようにＡＲ画像を光学像表示部２６Ｂ，２８Ｂに表示させる。そのため、本実施形態のＨＭＤ１００Ｂでは、ＡＲオブジェクトの位置に精度良く対応するように、光学像表示部２６Ｂ、２８ＢにＡＲ画像を表示させることができる。

Ｂ−４．第２実施形態の変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ−４−１．変形例１：
上記実施形態では、演算部１６７Ｂは、カメラパラメーターＣＰも最適化により導出したが、製造時の設計値からのばらつきが少ない場合には、カメラパラメーターＣＰについては設計値を設定し、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の空間的関係だけを導出してもよい。この変形例のＨＭＤ１００Ｂでは、最適化するパラメーターｐの数が少なくなる。また、製造上、ばらつきの少ないパラメーターに対して、設計値を代入することで、コスト関数Ｅをより小さくするパラメーターの最適化を行ないつつ、パラメーターを最適化するための時間を短くできる。

Ｂ−４−２．変形例２：
図１６および図１７は、実オブジェクトの位置に対応するようにＡＲ画像が表示される前後の使用者の視野ＶＲを示す図である。上記実施形態によるキャリブレーションは完了している。図１６には、ＡＲ画像が表示される前の視野ＶＲが示されており、図１７には、ＡＲ画像が表示された後の視野ＶＲが示されている。本実施形態のＨＭＤ１００Ｂのマーカー特定部１６６Ｂは、パターンマッチングなどにより、カメラ６０Ｂの撮像範囲からＡＲオブジェクトとしてのペットボトル本体ＰＴとペットボトル本体ＰＴの蓋ＣＡとを検出する。ペットボトル本体ＰＴと蓋ＣＡとが予め設定された位置状態と異なる状態で検出された場合に、演算部１６７Ｂは、ＡＲ画像を光学像表示部２６Ｂ，２８Ｂに表示させる。予め設定された位置状態とは、図１６の場合とは異なり、ペットボトル本体ＰＴの開口部ＰＴａの位置に蓋ＣＡが存在するような、いわゆるペットボトル本体ＰＴが蓋ＣＡによって閉められている状態である。

演算部１６７Ｂは、ペットボトル本体ＰＴと蓋ＣＡとが予め設定された位置状態にない場合（図１６の場合）に、ＡＲ画像を表示するか否かを使用者に問う文字画像ＴＸ２を光学像表示部２６Ｂ，２８Ｂに表示させる。文字画像ＴＸ２は、「ＡＲ画像を表示？ＹＥＳ／ＮＯ」の文字である。演算部１６７Ｂは、操作部１３５Ｂが受け付けた操作によって、ＡＲ画像を表示するか否かを決定する。

図１７には、演算部１６７Ｂが、ＡＲ画像を表示すると決定した場合に、光学像表示部２６Ｂ，２８Ｂに表示されたＡＲ画像としてのカーソル画像ＣＳ１および蓋画像ＩＭ１が示されている。演算部１６７Ｂは、ＡＲ画像として、実オブジェクトである蓋ＣＡを移動させる先の位置を蓋画像ＩＭ１およびカーソル画像ＣＳ１で表している。また、演算部１６７Ｂは、ＡＲ画像を表示していることを使用者に視認させるための文字画像ＴＸ３を光学像表示部２６Ｂ，２８Ｂに表示させる。文字画像ＴＸ３は、ＡＲ画像が表示されていることを表す「ＡＲ画像、表示中」の文字である。

以上説明したように、この変形例のＨＭＤ１００では、演算部１６７Ｂは、ＡＲ画像を表示するか否かを使用者に決定させるための文字画像ＴＸ２を光学像表示部２６Ｂ，２８Ｂに表示させる。そのため、この変形例のＨＭＤ１００Ｂでは、使用者の意図を反映したＡＲ画像の表示を実行できる。

Ｂ−４−３．変形例３：
上記実施形態では、第１パラメーターＰＭ１は、実物マーカー座標系からへカメラ座標系と変換する行列であったが、逆に、カメラ座標系から実物マーカー座標系へと変換する行列であってもよい。空間パラメーターＰＭは、カメラ座標系から画像表示部の座標系へと変換する行列式であったが、逆に、画像表示部の座標系からカメラ座標系へと変換する行列であってもよい。

上記実施形態では、空間パラメーターＰＭを算出する場合いの初期値（ｉ=０）として、出荷時の計測値や検査値が用いられたが、その他の方法によって取得された値が用いられてもよい。例えば、ＨＭＤ１００Ｂにおける各可動部の加速度や角速度を検出するＩＭＵ、または位置変化を検出するエンコーダーによって取得された値に基づいて、初期値が設定されてもよい。

Ｂ−４−４．変形例４：
上記実施形態では、右光学像表示部２６Ｂにマーカー画像ＩＭＧが表示された場合と左光学像表示部２８Ｂにマーカー画像ＩＭＧが表示された場合との計２回の外景ＳＣの撮像が行なわれたが、キャリブレーションを実行するために行なわれる撮像の回数については、種々変形可能である。例えば、右光学像表示部２６Ｂのみにマーカー画像ＩＭＧが表示された状態の１回の外景ＳＣの撮像のみで、演算部１６７Ｂは、パラメーターの最適化を実行してもよい。一方、２回よりも多い回数の実物マーカーＲＬを含む外景ＳＣの撮像が行なわれて、演算部１６７Ｂは、コスト関数Ｅをより小さくするパラメーターの最適化を実行してもよい。また、上記実施形態とは異なり、単眼のＨＭＤの場合には、一方の眼に対応する画像表示部または両方の眼に対応する１つの画像表示部（つまり単眼のＨＭＤ）にマーカー画像ＩＭＧが表示されて、キャリブレーションが実行されてもよい。

上記実施形態では、右光学像表示部２６Ｂに表示されるマーカーと左光学像表示部２８Ｂに表示されるマーカーとは、同じマーカー画像ＩＭＧであったが、マーカー画像ＩＭＧおよび実物マーカーＲＬについては、種々変形可能である。例えば、右光学像表示部２６Ｂと左光学像表示部２８Ｂとのそれぞれに表示されるマーカーの画像は、異なるマーカーの画像であってもよい。また、マーカー画像ＩＭＧおよび実物マーカーＲＬは、マーカーＭＫ１の画像に限られず、導出されるパラメーターの精度に応じて、種々変形可能である。例えば、マーカーＭＫ１に含まれる円の数は、９個に限られず、９個よりも多くてよいし、９個よりも少なくてもよい。また、マーカーＭＫ１に含まれる複数の特徴点は、円の中心でなくてもよく、単に三角形の重心であってもよい。また、マーカーＭＫ１の内部に並行でない複数の直線が形成されて、直線の交点が複数の特徴点として特定されてもよい。また、マーカー画像ＩＭＧと実物マーカーＲＬとは、異なるマーカーであってもよい。マーカー画像と実物マーカーとを重ねる場合に、どの部分を重ね合わせるのかが使用者に認識される範囲で、マーカー画像と実物マーカーとについては、種々変形可能である。例えば、矩形状のマーカー画像に対して、正円の実物マーカーの中心をマーカー画像の中心に合わせるような位置合わせであってもよい。

上記実施形態では、カメラ６０ＢのカメラパラメーターＣＰが最適化される場合に、焦点距離(F_x,F_y)と、カメラ主点位置(C_x,C_y)と、が最適化されたが、これらに代えて、またはこれらとともに、カメラ６０ＢのカメラパラメーターＣＰとして歪係数を最適化してもよい。

Ｃ．第３実施形態：
Ｃ−１．頭部装着型表示装置の構成：
図１８ないし図２０は、キャリブレーションを行なう頭部装着型表示装置１００Ｃａ（ＨＭＤ１００Ｃａ）の外観構成を示す説明図である。ＨＭＤ１００Ｃａは、画像表示部２０が表示する表示画像を使用者に視認させ、画像表示部２０Ｃａ（図１８）を透過する外景からの光によって当該外景も使用者に視認させることができる。詳細な構成については後述するが、本実施形態のＨＭＤ１００Ｃａは、画像表示部２０Ｃａを装着した使用者の右眼と左眼とのそれぞれに対応する画像表示部を有しており、使用者の右眼と左眼とに別々の画像を視認させることができる。

図１９に示すように、ＨＭＤ１００Ｃａは、使用者ＵＳの頭部装着型表示装置に装着される装着帯９０Ｃａと、装着帯９０Ｃａに接続されている画像表示部２０Ｃａと、画像表示部２０Ｃａを制御する制御部１０Ｃａ（コントローラー１０Ｃａ）と、制御部１０Ｃａと装着帯９０Ｃａとを接続する接続部４０Ｃａと、を備えている。図１８に示すように、装着帯９０Ｃａは、樹脂製の装着基部９１Ｃａと、装着基部９１Ｃａに連結される布製のベルト部９２Ｃａと、カメラ６０Ｃａと、を備える。装着基部９１Ｃａは、人の前頭部の形に合った湾曲した形状を有する。ベルト部９２Ｃａは、使用者の頭部の周りに装着されるためのベルトである。なお、接続部４０Ｃａは、装着帯９０Ｃａと制御部１０Ｃａ側とを有線で接続しているが、図１９では、接続している部分については、図示を省略している。

カメラ６０Ｃａは、外景を撮像可能で、装着基部９１Ｃａの中心部分に配置されている。換言すると、カメラ６０Ｃａは、装着帯９０Ｃａが使用者の頭部に装着された状態で、使用者の額の中央に対応する位置に配置されている。そのため、カメラ６０Ｃａは、使用者が装着帯９０Ｃａを頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。図２に示すように、カメラ６０Ｃａは、装着基部９１Ｃａに対して、円弧ＲＣに沿って所定の範囲で可動する。換言すると、カメラ６０Ｃａは、撮像範囲を所定の範囲で変更できる。

図１９に示すように、画像表示部２０Ｃａは、連結部９３Ｃａを介して装着基部９１Ｃａに接続され、眼鏡形状を有している。連結部９３Ｃａは、装着基部９１Ｃａおよび画像表示部２０Ｃａの両側に対象的に配置され、連結部９３Ｃａを中心として、装着基部９１Ｃａに対する画像表示部２０Ｃａの位置を円弧ＲＡに沿って回動可能に支持する。図１９において二点鎖線で示す位置Ｐ１１Ｃａは、画像表示部２０Ｃａが円弧ＲＡに沿った最も下端である。また、図１９において実線で示す位置Ｐ１２Ｃａは、画像表示部２０Ｃａが円弧ＲＡに沿った最も上端である。

また、図１８および図２０に示すように、画像を表示可能な表示パネルを有する光学像表示部２６Ｃａ，２８Ｃａは、保持部２１Ｃａ，２３Ｃａに対して、直線ＴＡに沿って所定の範囲で平行移動して位置を変更する。図２０において二点鎖線で示す位置Ｐ１３Ｃａは、光学像表示部２６Ｃａ，２８Ｃａが直線ＴＡに沿った最も下端である。図２０において実線で示す位置Ｐ１１Ｃａは、光学像表示部２６Ｃａ，２８Ｃａが直線ＴＡに沿った最も上端である。なお、図１９における位置Ｐ１１Ｃａと、図２０における位置Ｐ１１Ｃａとは、同じ位置を示している。

図１８に示すように、画像表示部２０Ｃａは、右保持部２１Ｃａと、右表示駆動部２２Ｃａと、左保持部２３Ｃａと、左表示駆動部２４Ｃａと、右光学像表示部２６Ｃａと、左光学像表示部２８Ｃａと、を含んでいる。右光学像表示部２６Ｃａおよび左光学像表示部２８Ｃａは、それぞれ、使用者が画像表示部２０Ｃａを装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６Ｃａの一端と左光学像表示部２８Ｃａの一端とは、使用者が画像表示部２０Ｃａを装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１Ｃａは、右光学像表示部２６Ｃａの他端から装着基部９１Ｃａと接続されている連結部９３Ｃａに延伸して設けられた部材である。同様に、左保持部２３Ｃａは、左光学像表示部２８Ｃａの他端から連結部９３Ｃａに延伸して設けられた部材である。右表示駆動部２２Ｃａと左表示駆動部２４Ｃａとは、使用者が画像表示部２０Ｃａを装着した際の使用者の頭部に対向する側に配置されている。

表示駆動部２２Ｃａ，２４Ｃａは、図１９で後述する液晶ディスプレイ２４１Ｃａ，２４２Ｃａ（Liquid Crystal Display、以下「ＬＣＤ２４１Ｃａ，２４２Ｃａ」とも呼ぶ）や投写光学系２５１Ｃａ，２５２Ｃａ等を含む。表示駆動部２２Ｃａ，２４Ｃａの構成の詳細な説明は後述する。光学像表示部２６Ｃａ，２８Ｃａは、後述する導光板２６１Ｃａ，２６２Ｃａ（図２１参照）と調光板とを含んでいる。導光板２６１Ｃａ，２６２Ｃａは、光透過性の樹脂材料等によって形成され、表示駆動部２２Ｃａ，２４Ｃａから出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０Ｃａの表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。

制御部１０Ｃａは、ＨＭＤ１００Ｃａを制御するための装置である。制御部１０Ｃａは、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５Ｃａを有する。

図２１は、ＨＭＤ１００Ｃａの構成を機能的に示すブロック図である。図２１に示すように、制御部１０Ｃａは、ＲＯＭ１２１Ｃａと、ＲＡＭ１２２Ｃａと、電源１３０Ｃａと、操作部１３５Ｃａと、マーカー画像記憶部１３８Ｃａと、ＣＰＵ１４０Ｃａと、インターフェイス１８０Ｃａと、送信部５１Ｃａ（Ｔｘ５１Ｃａ）および送信部５２Ｃａ（Ｔｘ５２Ｃａ）と、を有している。

電源１３０Ｃａは、ＨＭＤ１００Ｃａの各部に電力を供給する。ＲＯＭ１２１Ｃａには、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０Ｃａは、ＲＯＭ１２１Ｃａに格納された各種コンピュータープログラムを、ＲＡＭ１２２Ｃａに展開することで、各種コンピュータープログラムを実行する。

マーカー画像記憶部１３８Ｃａは、キャリブレーションに用いられるモデルマーカー（マーカーモデルとも呼ぶ）のデータおよび／または右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示されるキャリブレーション用画像としてのマーカー画像ＩＭＧを記憶している。マーカー画像記憶部１３８Ｃａは、右光学像表示部２６Ｃａに表示されるマーカー画像と左光学像表示部２８Ｃａに表示されるマーカー画像とを同じマーカー画像ＩＭＧとして記憶している。マーカー画像ＩＭＧとしては、２次元のモデルマーカーの画像であったり、３次元モデル空間（３Ｄコンピューターグラフィックス空間）で表現された上記モデルマーカー（２Ｄ）のデータ、またはそのモデルマーカーを、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａのそれぞれの写像パラメーターに基づいて写像したものなどが用いられる。換言すると、マーカー画像ＩＭＧは、実物として存在する２次元または３次元の実物マーカーＭＫ１の形状を、２次元として表した画像である。なお、実物マーカーＭＫ１は、請求項における識別マーカーに相当する。

図２２ないし図２５は、紙面ＰＰに印刷された２次元の実物マーカーを示す説明図である。図２２には、本実施形態のキャリブレーションに用いられる２つのマーカーとしての実物マーカーＭＫ１，ＭＫ２が示されている。図２２に示すように、実物マーカーＭＫ１は、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、１０個の正円を含むマーカーである。１０個の円の内の５個の円は、頂点Ｐ０と頂点Ｐ２とを結んだ対角線ＣＬ１上に円の中心が存在する。当該５個の円は、対角線ＣＬ１に沿って、頂点Ｐ０に近い円から、円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５である。同じように、１０個の円の内の５個の円は、頂点Ｐ１と頂点Ｐ３とを結んだ対角線ＣＬ２上に円の中心が存在する。当該５個の円は、対角線ＣＬ２に沿って、頂点Ｐ１に近い円から、円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９である。円Ｃ３は、対角線ＣＬ１と対角線ＣＬ２との交点であると共に、正方形の重心である点を中心とする円である。１０個の円の内の１個の円である円Ｃ１０は、正方形の重心を通り、かつ、Ｐ１とＰ２とを結ぶ直線に平行なＹ軸上に中心を有する。円Ｃ１０は、正方形の重心を通り、Ｙ軸に直交するＸ軸に沿って、円Ｃ５および円Ｃ９と同じ位置に中心を有する。換言すると、円Ｃ１０は、円Ｃ５の中心と円Ｃ９の中心との中間に中心を有する円である。

本実施形態では、対角線ＣＬ１上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。同じように、対角線ＣＬ２上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。また、対角線ＣＬ１に中心を有する隣接する円の中心間の距離と、対角線ＣＬ２に中心を有する隣接する円の中心間の距離とは、同じ距離である。なお、１０個の内の円Ｃ１０のみ、他の円との中心間との距離が異なる。１０個の円の大きさは、同じ大きさである。なお、対角線ＣＬ１、対角線ＣＬ２、Ｘ軸、およびＹ軸は、実物マーカーＭＫ１を説明するために、便宜上、図２２に示しているのであり、実際の実物マーカーＭＫ１には含まれない直線である。

図２２では、色の違いを、ハッチングを変えることで表している。具体的には、図２２におけるハッチングが施された部分は、黒色であり、その他の部分は、白色である。そのため、図２２に示すように、実物マーカーＭＫ１は、白色の紙面ＰＰに、白色によって周囲が囲まれた黒色の正方形によって形成され、その正方形の中に１０個の円が白色で形成されている。

図２２に示す実物マーカーＭＫ２は、実物マーカーＭＫ１を元に作成されたマーカーである。実物マーカーＭＫ２は、実物マーカーＭＫ１の大きさを縮小させ、かつ、黒色と白色との反転させたマーカーである。そのため、図２２に示すように、実物マーカーＭＫ２は、黒色によって周囲が囲まれた白色の正方形によって形成され、その正方形の中に１０個の円が黒色で形成されている。本実施形態では、マーカー画像記憶部１３８Ｂは、実物マーカーＭＫ１の２次元の画像であるマーカー画像ＩＭＧを記憶している。なお、実物マーカーＭＫ２は、図２３に示すように、実物マーカーＭＫ１から分離されていてもよい。また、図２４に示すように、実物マーカーＭＫ２（ＭＫ１）に代えて、対角線上にない円を省略された実物マーカーＭＫ１Ａが採用されてもよい。なお、図２５に示すように、実物マーカーＭＫ１，ＭＫ２，ＭＫ１Ａの裏面には、形状、模様、または色彩の特徴は必要ない。

図２１に示すＣＰＵ１４０Ｃａは、ＲＯＭ１２１Ｃａに格納されているコンピュータープログラムを、ＲＡＭ１２２Ｃａに展開することにより、オペレーティングシステム１５０Ｃａ（ＯＳ１５０Ｃａ）、表示制御部１９０Ｃａ、音声処理部１７０Ｃａ、画像処理部１６０Ｃａ、表示設定部１６５Ｃａ、マーカー特定部１６６Ｃａ、およびパラメーター設定部１６７Ｃａとして機能する。

表示制御部１９０Ｃａは、右表示駆動部２２Ｃａおよび左表示駆動部２４Ｃａを制御する制御信号を生成する。表示制御部１９０Ｃａは、右表示駆動部２２Ｃａおよび左表示駆動部２４Ｃａのそれぞれによる画像光の生成および射出を制御する。表示制御部１９０Ｃａは、右ＬＣＤ制御部２１１Ｃａと左ＬＣＤ制御部２１２Ｃａとに対する制御信号のそれぞれを、送信部５１Ｃａおよび５２Ｃａを介して送信する。また、表示制御部１９０Ｃａは、右バックライト制御部２０１Ｃａと左バックライト制御部２０２Ｃａとに対する制御信号のそれぞれを送信する。

画像処理部１６０Ｃａは、コンテンツに含まれる画像信号を取得し、送信部５１Ｃａ，５２Ｃａを介して、取得した画像信号を画像表示部２０Ｃａの受信部５３Ｃａ，５４Ｃａへと送信する。音声処理部１７０Ｃａは、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６Ｃａに接続された右イヤホン３２Ｃａ内のスピーカー（図示しない）および左イヤホン３４Ｃａ内のスピーカー（図示しない）に対して供給する。

表示設定部１６５Ｃａは、マーカー画像記憶部１３８Ｃａに記憶されたマーカー画像ＩＭＧを右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示させる。表示設定部１６５Ｃａは、キャリブレーションが実行されているとき（キャリブレーション実行時）に、操作部１３５Ｃａが受け付けた操作に基づいて、マーカー画像ＩＭＧを右光学像表示部２６に表示する場合と、マーカー画像ＩＭＧを左光学像表示部２８Ｃａに表示する場合とを制御する。表示設定部１６５Ｃａは、カメラ６０Ｃａが実物マーカーＭＫ１を撮像してキャリブレーションを実行するときと、カメラ６０Ｃａが実物マーカーＭＫ２を撮像してキャリブレーションを実行するときとで異なる大きさのマーカー画像ＩＭＧを右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示させる。また、表示設定部１６５Ｃａは、キャリブレーション実行時に、後述する文字画像等を光学像表示部２６Ｃａ，２８Ｃａに表示させる。

マーカー特定部１６６Ｃａは、カメラ６０Ｃａによって撮像された撮像画像の中に実物マーカーＭＫ１，ＭＫ２が印刷された紙面ＰＰが含まれる場合に、撮像された紙面ＰＰから、実物マーカーＭＫ１，ＭＫ２を特定する。実物マーカーＭＫ１，ＭＫ２を特定するための具体的な処理については、後述するが、マーカー特定部１６６Ｃａは、実物マーカーＭＫ１，ＭＫ２の４つの頂点、１０個の円の中心の座標値を抽出することで、撮像画像の中から実物マーカーＭＫ１，ＭＫ２を特定する。マーカー特定部１６６Ｃａは、例えば、撮像画像の色の階調値を２値化することで、実物マーカーＭＫ１，ＭＫ２における白色と黒色との部分を区別して、円の中心の座標を抽出する。

パラメーター設定部１６７Ｃａは、カメラ６０Ｃａによって撮像された特定のオブジェクト（以下、「特定オブジェクト」とも言う）に対応付けられた状態で光学像表示部２６Ｃａ，２８Ｃａに表示されるＡＲ（Augmented Reality）画像の表示領域内での位置などを設定するために必要なパラメーター群を設定する。具体的には、パラメーター設定部１６７Ｃａは、光学像表示部２６Ｃａ，２８Ｃａに表示されるＡＲ画像の位置と大きさと向きとの少なくとも１つと、特定オブジェクトの位置と大きさと向きとの１つと、が対応した状態のＡＲ画像を使用者ＵＳに視認させるパラメーター群を設定する。換言すると、パラメーター設定部１６７Ｃａは、カメラ６０Ｃａに原点が固定された３次元座標系（３Ｄ）と、光学像表示部２６Ｃａ，２８Ｃａの表示領域（２Ｄ）とを対応付けるためのパラメーター群の少なくとも１つを、キャリブレーションによって算出する。なお、以降では、カメラ６０Ｃａに原点が固定された３次元座標系をカメラ座標系と呼ぶ。本実施形態では、カメラ座標系以外の座標系として、実物マーカーＭＫ１または実物マーカーＭＫ２の原点を基準とする実物マーカー座標系、カメラ６０Ｃａによって撮像された特定オブジェクトを基準とするオブジェクト座標系、右光学像表示部２６Ｃａの原点または左光学像表示部２８Ｃａの原点を基準とする表示部座標系などを定義する。

ここで、パラメーター群は、「検出系パラメーターセット」と、「表示系パラメーターセット」と、を含む。「検出系パラメーターセット」は、カメラ６０Ｃａに関するカメラパラメーターＣＰを含む。「表示系パラメーターセット」は、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係を表す３Ｄから３Ｄへの「変換パラメーター」と、任意の３Ｄモデル（３次元座標で表わされたＣＧモデル）を画像（つまり２Ｄ）として表示するための３Ｄから２Ｄへの「写像パラメーター」と、を含む。これらのパラメーターは、必要に応じて行列またはベクトルの態様で表わされる。「一つのパラメーター」との表記は、一つの行列または一つのベクトルを示すこともあるし、一つの行列またはベクトルに含まれる複数の要素の一つを示すこともある。パラメーター設定部１６７Ｃａは、パラメーター群のうち、必要なパラメーターを導出し、ＡＲ画像の表示の際に用いる。この結果、ＨＭＤ１００Ｃａは、使用者ＵＳに、画像表示部２０を介して、ＡＲ画像（ＡＲモデル）の位置、大きさ、向き、奥行感の少なくとも一つと、特定オブジェクトのそれらにと、がほぼ一致する状態で当該ＡＲ画像を視認させることができる。もちろん、これらに加えて、ＨＭＤ１００Ｃａは、色やテクスチャーなどの見えが互いに一致するようにしてもよい。

表示設定部１６５Ｃａは、キャリブレーションが実行されているときに、ＡＲ画像または設定画像ＳＩＭ（後述）を右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示させる。設定画像ＳＩＭを用いた詳細な処理については後述する。

インターフェイス１８０Ｃａは、制御部１０Ｃａに対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０Ｃａとしては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

図２１に示すように、画像表示部２０Ｃａは、右表示駆動部２２Ｃａと、左表示駆動部２４Ｃａと、右光学像表示部２６Ｃａとしての右導光板２６１Ｃａと、左光学像表示部２８Ｃａとしての左導光板２６２Ｃａと、を備えている。

右表示駆動部２２Ｃａは、受信部５３Ｃａ（Ｒｘ５３Ｃａ）と、光源として機能する右バックライト制御部２０１Ｃａ（右ＢＬ制御部２０１Ｃａ）および右バックライト２２１Ｃａ（右ＢＬ２２１Ｃａ）と、表示素子として機能する右ＬＣＤ制御部２１１Ｃａおよび右ＬＣＤ２４１Ｃａと、右投写光学系２５１Ｃａと、を含んでいる。右バックライト制御部２０１Ｃａと右バックライト２２１Ｃａとは、光源として機能する。右ＬＣＤ制御部２１１Ｃａと右ＬＣＤ２４１Ｃａとは、表示素子として機能する。

受信部５３Ｃａは、制御部１０Ｃａと画像表示部２０Ｃａとの間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１Ｃａは、入力された制御信号に基づいて、右バックライト２２１Ｃａを駆動する。右バックライト２２１Ｃａは、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１Ｃａは、画像処理部１６０Ｃａおよび表示制御部１９０Ｃａから送信された制御信号に基づいて、右ＬＣＤ２４１Ｃａを駆動する。右ＬＣＤ２４１Ｃａは、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１Ｃａは、右ＬＣＤ２４１Ｃａから射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６Ｃａとしての右導光板２６１Ｃａは、右投写光学系２５１Ｃａから出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４Ｃａは、右表示駆動部２２Ｃａと同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。

Ｃ−２．キャリブレーション実行処理：
図２６は、第３実施形態におけるキャリブレーション実行処理のフローチャートである。本実施形態のキャリブレーション実行処理は、２つのモード、すなわち、第１設定モードと第２設定モードとを含む。第１設定モードでは、ＨＭＤ１００Ｃａは、使用者ＵＳに片眼ずつキャリブレーションを実施させる。第２設定モードでは、ＨＭＤ１００Ｃａは、使用者ＵＳに両眼で調整を実施させる。

キャリブレーション実行処理では、初めに、操作部１３５Ｃａが所定の操作を受け付けると、パラメーター設定部１６７Ｃａは、今から実行するキャリブレーションが最初のキャリブレーションの設定であるか否かを判定する（ステップＳＣ１１）。マーカー画像記憶部１３８Ｃａには、実行されるキャリブレーションが最初であるか否かのデータも記憶されている。本実施形態では、使用者ＵＳ毎にキャリブレーションが最初であるか否かが判別されてもよい。具体的には、カメラ６０Ｃａが使用者ＵＳの掌の形状・模様を撮像し、ＣＰＵ１４０Ｃａが使用者ＵＳを特定し、キャリブレーションがその使用者ＵＳにとって最初に実行されるのか否かを判定してもよい。使用者ＵＳの特定は、近距離無線通信を用いたＩＤカードによる特定でもよい。パラメーター設定部１６７Ｃａは、最初のキャリブレーションの設定であると判定した場合には（ステップＳＣ１１：ＹＥＳ）、第１設定モードに移行する（ステップＳＣ２０）。第１設定モードの詳細については後述するが、第１設定モードでは、パラメーター設定部１６７Ｃａが右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとに、別々にマーカー画像ＩＭＧを表示させる。その後、パラメーター設定部１６７Ｃａは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とが一致するように使用者ＵＳに視認された状態でカメラ６０Ｃａに撮像された実物マーカーＭＫ１，ＭＫ２の撮像画像を用いて、変換パラメーターおよびカメラパラメーターＣＰを設定する。

ステップＳＣ２０の処理として、パラメーター設定部１６７Ｃａが第１設定モードにおいてキャリブレーションを実行すると、表示設定部１６５Ｃａは、設定された変換パラメーターおよびカメラパラメーターＣＰを用いて、特定オブジェクトに対応付けられた設定画像ＳＩＭを光学像表示部２６Ｃａ，２８Ｃａに表示させる（ステップＳＣ１５）。本実施形態では、特定オブジェクトは実物マーカーＭＫ１，ＭＫ２であるが、特定オブジェクトはこれらに限定されない。光学像表示部２６Ｃａ，２８Ｃａに設定画像ＳＩＭが表示されると、パラメーター設定部１６７Ｃａは、操作部１３５Ｃａが受け付けた操作に応じて、変換パラメーターおよびカメラパラメーターＣＰの値がうまく調整されたか否かを決定する（ステップＳＣ１７）。具体的には、特定オブジェクトの位置および向き（姿勢）に、設定画像ＳＩＭが対応付けられているように使用者ＵＳが視認しているか否かの判断を使用者ＵＳが行ない、当該判断に応じて、使用者ＵＳが操作部１３５Ｃａを操作すればよい。パラメーター設定部１６７Ｃａは、設定された変換パラメーターおよびカメラパラメーターＣＰでよいとの入力を受けた場合には（ステップＳＣ１７：ＹＥＳ）、キャリブレーション実行処理を終了する。

ステップＳＣ１７の処理において、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａが、設定された変換パラメーターおよびカメラパラメーターＣＰではよくないとの入力を受けた場合、または大きさと奥行感の調整がさらに必要であるとの入力を受けた場合には（ステップＳＣ１７：ＮＯ）、ステップＳＣ１１以降の処理を繰り返す。パラメーター設定部１６７Ｃａは、ステップＳＣ１１の処理において、今から実行しようとするキャリブレーションが最初のキャリブレーションの設定ではないと判定した場合には（ステップＳＣ１１：ＮＯ）、操作部１３５Ｃａが所定の操作を受け付けることで、第２設定モードに移行するか否かを判定する（ステップＳＣ１３）。パラメーター設定部１６７Ｃａは、第２設定モードに移行しないと判定した場合には（ステップＳＣ１３：ＮＯ）、以上で説明した第１設定モードに移行する（ステップＳＣ２０）。

ステップＳＣ１３の処理において、パラメーター設定部１６７Ｃａは、第２設定モードに移行すると判定した場合には（ステップＳＣ１３：ＹＥＳ）、第２設定モードに移行する（ステップＳＣ３０）。第２設定モードの詳細については後述するが、第２設定モードでは、カメラ６０Ｃａが特定オブジェクトを撮像することで得られるカメラ６０Ｃａに対する特定オブジェクトの位置および姿勢を、表示設定部１６５Ｃａは、既に実行された第１設定モードまたは第２設定モードにおいて設定されたパラメーター群を用いて特定オブジェクトの右光学像表示部２６Ｃａに対する位置および向き（姿勢）に変換する。そして、表示設定部１６５Ｃａは、当該変換された位置および姿勢と同じ位置と姿勢で設定画像ＳＩＭを右光学像表示部２６Ｃａおよび左光学像表示部２８Ｃａに表示させる。その後、操作部１３５Ｃａが受け付けた所定の操作に応じて、パラメーター設定部１６７Ｃａは、特定オブジェクトに対応付けられた設定画像ＳＩＭを変更するように、パラメーター群のうちのいくつかをさらに調整させる。パラメーター設定部１６７Ｃａは、第２設定モードにおいてキャリブレーションを実行すると、表示設定部１６５ＣａがステップＳＣ１５の処理を実行して、その後の処理が繰り返される。

Ｃ−２−１．第１設定モード：
第１設定モードで実行される処理は、以下のような処理である。ＨＭＤ１００Ｃａは、大きさの異なる２つの実物マーカーＭＫ１，ＭＫ２を用いて、使用者ＵＳに、１つの眼について１度に１回のアライメントを２回実施させることで、合計４回のアライメントを実施させる。具体的には、まず、ＨＭＤ１００Ｃａは、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに、マーカー画像ＩＭＧを表示させる。マーカー画像ＩＭＧは、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａのそれぞれに対して、仮想的な位置と姿勢（３Ｄ）とを有するモデルマーカーを、光学像表示部２６Ｃａ，２８Ｃａの表示領域（２Ｄ）へ写像、すなわちレンダリング、したものである。本実施形態では、当該仮想的な位置と姿勢とは、光学像表示部２６Ｃａ，２８Ｃａに対して固定されているが、後述するように、可変であってもよい。使用者ＵＳは、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示されたマーカー画像ＩＭＧと、実物マーカーＭＫ１または実物マーカーＭＫ２とが、重複または一致して視認することが可能な位置および向き（姿勢）に移動する。使用者ＵＳがマーカーＩＭＧと実物マーカーＭＫ１，ＭＫ２とが一致するように視認する場合には、実物マーカーＭＫ１，ＭＫ２は右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに対して、実物マーカーＭＫ１，ＭＫ２の大きさに応じた既定の距離となる位置と上記仮想的な姿勢とを取っていることとなる。マーカー画像ＩＭＧと、実物マーカーＭＫ１または実物マーカーＭＫ２とが一致している状態で、パラメーター設定部１６７Ｃａが、カメラ６０Ｃａを用いて実物マーカーＭＫ１または実物マーカーＭＫ２を撮像する。パラメーター設定部１６７Ｃａは、撮像画像に含まれる実物マーカーＭＫ１または実物マーカーＭＫ２を用いて、変換パラメーターおよびカメラパラメーターＣＰを設定することとなる。

図２７は、第１設定モードのフローチャートである。第１設定モードでは、パラメーター設定部１６７Ｃａが、右光学像表示部２６Ｃａに関するアライメントを成立させた状態でキャリブレーションデータを収集し、左光学像表示部２８Ｃａに関するアライメントを成立させた状態でキャリブレーションデータを収集し、その後、変換パラメーターおよびカメラパラメーターＣＰを設定する。

第１設定モードでは、初めに、表示設定部１６５Ｃａが右光学像表示部２６Ｃａにマーカー画像ＩＭＧを表示させる（ステップＳＣ２０１）。図２８は、マーカー画像ＩＭＧが表示された場合の光学像表示部２６Ｃａのイメージ図である。図２８に示すように、表示設定部１６５Ｃａは、マーカーの正方形の外枠と、正方形の中に含まれる１０個の円の外枠と、を右光学像表示部２６Ｃａに表示させる。表示設定部１６５Ｃａは、マーカー画像ＩＭＧを、赤色の線として右光学像表示部２６に表示させる。なお、図２８では、画像表示部２０Ｃａの内の右光学像表示部２６Ｃａ以外の部分の図示を省略し、以降の図面でも省略する。

右光学像表示部２６Ｃａにマーカー画像ＩＭＧが表示されると、パラメーター設定部１６７Ｃａは、マーカー画像ＩＭＧと実物マーカーＭＫ２とが一致して視認されるように、ＨＭＤ１００Ｃａを装着したまま使用者ＵＳに位置と姿勢を合わせることを促す（図２７のステップＳＣ２１０）。

右画像表示部２６Ｃａにはさらにメッセージが表示されてもよい。ＨＭＤ１００Ｃａは、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２とが一致するように視認した場合に、使用者ＵＳは、タッチパッドの操作、ボタンの押下、または音声コマンドの発声をするように、指示する。パラメーター設定部１６７Ｃａがこれら操作または音声コマンドを受け付けた場合に、カメラ６０ＣａがマーカーＭＫ２を撮像、すなわちキャリブレーションデータの収集をする（ステップＳＣ２０２）。音声コマンドに基づいて、パラメーター設定部１６７Ｃａがキャリブレーションデータを収集する場合には、使用者ＵＳの頭部の動きが少ないことが期待される。そのため、音声コマンドに基づく操作では、タッチ操作やボタンの押下の場合に比べて、使用者ＵＳが成立させたアライメントからのずれが少ない状態でのキャリブレーションデータの収集が可能となり、結果として、ＡＲ画像の重畳精度のよいＨＭＤ１００Ｃａが得られる。

図２７のステップＳＣ２１０のマーカー画像ＩＭＧと実物マーカーＭＫ２との位置と姿勢を合わせる処理（目視によるアライメント処理）およびキャリブレーションデータの収集が実行されると、表示設定部１６５Ｃａは、ステップＳＣ２０１の処理と同じく図２８に示すように、右光学像表示部２６Ｃａにマーカー画像ＩＭＧを表示させる（ステップＳＣ２０３）。その後、パラメーター設定部１６７Ｃａは、マーカー画像ＩＭＧと実物マーカーＭＫ１とが一致して視認されるように、ＨＭＤ１００Ｃａを装着したまま使用者ＵＳに位置と姿勢を合わせることを促す（ステップＳＣ２２０）。この状態で実物マーカーＭＫ１が撮像されることで、パラメーター設定部１６７Ｃａは、キャリブレーションデータを収集する（ステップＳＣ２０４）。ここで、実物マーカーＭＫ１は、実物マーカーＭＫ２よりも大きい。そのため、ステップＳＣ２２０の処理では、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ１とが一致するように視認する場合には、右光学像表示部２６Ｃａと実物マーカーＭＫ１との距離は、実物マーカーＭＫ２の場合と比べて大きくなる。

パラメーター設定部１６７Ｃａは、左光学像表示部２８Ｃａに関して、右光学像表示部２６ＣａにおけるステップＳＣ２０１からステップＳＣ２０４までの処理と同じ処理として、図２７のステップＳＣ２０５からステップＳＣ２０８までの処理を実行する。左右の光学像表示部２６Ｃａ、２８Ｃａに関して第１設定モードにおける各処理（ステップＳＣ２０１からステップＳＣ２０８までの処理）が実行されると、パラメーター設定部１６７Ｃａは、後述する式（６９）を最小化するような、右光学像表示部２６Ｃａに関するパラメーター群と、左光学像表示部２８Ｃａに関するパラメーター群とを設定できる（ステップＳＣ２０９）。

Ｃ−２−２．パラメーターの設定：
ここでは、第１設定モードにおいて、パラメーター設定部１６７Ｃａが、カメラ６０Ｃａから得られた実物マーカーＭＫ２の撮像データおよび実物マーカーＭＫ１の撮像データを用いて、変換パラメーターおよびカメラパラメーターＣＰのパラメーターの設定する手順を説明する。なお、本実施形態の第１設定モードでは、カメラパラメーターＣＰは、必ずしも最適化される必要がなく、設計値に固定されていてよい。ただし、以下に示す本実施形態では、使用者ＵＳが必要に応じてカメラパラメーターＣＰを最適化することができるように、カメラパラメーターＣＰを最適化変数として含んだアルゴリズムを提示している。他の実施形態において、カメラパラメーターＣＰを最適化する必要がない場合には、これらを定数（固定値）として以下の式を扱えばよい。

Ｃ−２−２−１．カメラパラメーターについて：
カメラ６０Ｃａに関するカメラパラメーターＣＰとして、本実施形態では、４個のカメラパラメーターＣＰ（ｆｘ、ｆｙ、Ｃｘ、Ｃｙ）が利用される。（ｆｘ、ｆｙ）は撮像部であるカメラ６０の焦点距離であり、画素密度に基づいて画素数に換算されている。（Ｃｘ、Ｃｙ）は、カメラ主点位置と呼ばれ、撮像画像の中心位置を意味し、たとえばカメラ６０Ｃａのイメージセンサーに固定された２Ｄ座標系で表わされ得る。

カメラパラメーターＣＰは、撮像部の主要部分を構成するカメラ６０Ｃａの製品仕様から知ることができる（以下ではこれをデフォルトカメラパラメーターとも表記する）。ただし、実際のカメラのカメラパラメーターＣＰがデフォルトカメラパラメーターから大きくずれていることが多い。しかも、同じ仕様のカメラであっても、製品が異なれば、製品ごとのカメラ間で、カメラパラメーターＣＰがばらついている（揃っていない）ことがある。

ＡＲ画像として光学像表示部２６Ｃａ，２８Ｃａに表示されるＡＲモデルにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、カメラ６０Ｃａは、当該実物体の位置および姿勢を検出する検出機として機能する。このとき、パラメーター設定部１６７Ｃａは、カメラパラメーターＣＰを用いて、カメラ６０Ｃａに撮像された実物体のカメラ６０Ｃａに対する位置および姿勢を推定する。さらに、パラメーター設定部１６７Ｃａは、当該位置および姿勢を、カメラ６０Ｃａと左光学像表示部２８Ｃａ（右光学像表示部２６Ｃａ）との間の相対位置関係を用いて、左光学像表示部２８Ｃａに対する実物体の位置および姿勢に変換する。さらに、パラメーター設定部１６７Ｃａは、当該変換された位置および姿勢に基づいて、ＡＲモデルの位置および姿勢を決定する。そして、画像処理部１６０Ｃａは、当該位置および姿勢を有するＡＲモデルを、写像パラメーターを用いて表示領域に写像（変換）し、表示バッファ（例えばＲＡＭ１２２Ｃａ）に書き込む。そして、表示制御部１９０Ｃａは、表示バッファに書き込まれたＡＲモデルを左光学像表示部２８Ｃａに表示する。このため、カメラパラメーターＣＰがデフォルトカメラパラメーターである場合には、推定される実物体の位置および姿勢に誤差が含まれることとなる。そうすると、推定された位置および姿勢の誤差に由来して、表示されたＡＲモデルと実物体との重畳に誤差があるように使用者に視認される。

そこで、本実施形態では、ＡＲモデルが対象物に重畳して使用者ＵＳに視認されるようにするためのキャリブレーションの際に、パラメーター設定部１６７Ｃａは、カメラパラメーターＣＰを、実物マーカーＭＫ２および実物マーカーＭＫ１の撮像データを用いて、最適化して設定する。そして、設定されたカメラパラメーターＣＰが用いられて、対象物の位置および姿勢が検出（推定）されるようにする。そうすれば、ＡＲモデルの表示において、表示されるＡＲモデルと実物体との間に発生するずれが使用者ＵＳに視認される度合いが低くなる。後述するように、同じＨＭＤ１００Ｃａの使用者ＵＳが同一人であっても、カメラパラメーターＣＰの設定は、キャリブレーションが行なわれるごとに行なわれ、当該キャリブレーションに引き続いて行なわれる対象物とＡＲモデルとの間での位置、大きさ、向きの少なくとも一つが一致した表示のために使用されることが好ましい。これは、キャリブレーションの際に、必ずしも使用者は、実物マーカーＭＫ２または実物マーカーＭＫ１と、実物マーカーＭＫ２または実物マーカーＭＫ１に対応したマーカー画像ＩＭＧとを、同じ精度で位置および姿勢を合わせるとは限らないことによる。たとえ使用者ＵＳが違う精度で位置および姿勢を合わせたとしても、それに応じたカメラパラメーターＣＰが設定されることから、実物体に対するＡＲモデルの重畳表示がされる場合に重畳表示のずれの増大が抑制される。

Ｃ−２−２−２．変換パラメーターについて：
また、本実施形態のＨＭＤ１００Ｃａは、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の相対位置関係が変化する構造を有する。デフォルトカメラパラメーターについての説明からも理解されるように、ＡＲモデルにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、実際のカメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の相対位置関係とは異なる相対位置関係に基づいてＡＲモデルを表示すると、表示されたＡＲモデルと実物体との重畳に誤差が視認される。

そこで、本実施形態では、ＡＲモデルが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラ６０Ｃａの座標系と、右光学像表示部２６Ｃａの座標系および左光学像表示部２８Ｃａの座標系と、の間の相対位置関係（回転および並進の少なくとも一つ）を表す変換パラメーターを調整または設定する。そして、設定された当該変換パラメーターが表す空間関係（相対位置関係）を用いてＡＲモデルの表示をすると、使用者ＵＳにずれが視認される度合いが低くなる。

本実施形態では、パラメーター設定部１６７Ｃａは、右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとのそれぞれに対応する左変換パラメーターＰＭＬ［Rcam2left, tcam2left］と、右変換パラメーターＰＭＲ［Rcam2lright, tcam2right］とを設定する。回転行列Rcam2rightは、直交する３軸の回転によって決定される３つのパラメーターであり、並進行列Tcam2rightは、３軸に沿った並進のそれぞれに対応する３つのパラメーターである。すなわち、右光学像表示部２６Ｃａに対応する右変換パラメーターＰＭＲは、計６つのパラメーターを含んでいる。同じように、左光学像表示部２８Ｃａに対応する変換パラメーターは、回転行列Rcam2leftと並進行列Tcam2leftとであり、計６つのパラメーターを含んでいる。以上の通り、本実施形態では、カメラパラメーターＣＰに含まる４個のパラメーターと、空間関係を表す１２個の変換パラメーターとの１６個のパラメーターが算出される。

Ｃ−２−２−３．パラメーター導出処理：
以下における説明では、使用者ＵＳが実物マーカーＭＫ２（または実物マーカーＭＫ１）とマーカー画像ＩＭＧとが互いに一致するように視認する状態でカメラ６０Ｃａが実物マーカーＭＫ２（または実物マーカーＭＫ１）を撮像し、パラメーター設定部１６７Ｃａがその撮像画像を取得する。パラメーター設定部１６７Ｃａは、取得した当該撮像画像に基づいて、後述の式（６９）を用いて、カメラパラメーターおよび変換パラメーターを算出する。本実施形態では、設定パラメーターを設定する場合の初期値（ｉ=０）として、ＨＭＤ１００Ｃａが製造される工場から出荷される前の計測値や検査値を用いる。一方で、他の実施形態では、カメラ６０Ｃａまたは光学像表示部２６Ｃａ，２８Ｃａの最大可動した場合の一方の姿勢における値、または、可動域の中間の姿勢における値を初期値として用いてもよい。

図２９は、右光学像表示部２６Ｃａのみにマーカー画像ＩＭＧが表示された状態での空間的な位置関係を示す概略図である。図２９には、使用者ＵＳが、予め画像表示部２０Ｃａを装着した使用者ＵＳの仮想の右眼の位置として設定された右眼位置ＲＰから、右光学像表示部２６Ｃａに表示されたマーカー画像ＩＭＧを視認した場合の概略が示されている。なお、図２９には、ＨＭＤ１００Ｃａの内の画像表示部２０Ｃａのみを図示し、装着帯９０Ｃａや制御部１０Ｃａなどについては図示を省略している。つまり、図２９に示す画像表示部２０Ｃａは、図１８ないし図２０に示す画像表示部２０Ｃａと同じ画像表示部である。また、図２９には、撮像される三次元空間である外景の座標軸を表す座標軸ＣＤ２と、座標軸ＣＤ２を投影した二次元画像の座標軸を表す座標軸ＣＤ１と、が示されている。使用者ＵＳは、右光学像表示部２６Ｃａに表示されたマーカー画像ＩＭＧを、画像表示部２０Ｃａから距離Ｌ１離れた位置に存在するマーカーＭＫ１として視認する。

図２９に示すように、右光学像表示部２６Ｃａに表示されたマーカー画像ＩＭＧと、外景に含まれ前方に位置する実物マーカーＭＫ１と、が位置、大きさ、向きが一致するように使用者が視認するとき（以下、使用者ＵＳが左眼ＬＥ（右眼ＲＥ）でアライメントを成立させるときともいう）、座標系の間には、次の式（５５）の関係が成り立つ。なお、以降では、右光学像表示部２６Ｃａではなく、左光学像表示部２８Ｃａにマーカー画像ＩＭＧが表示された場合について説明する。

ここで、左辺および右辺のＣＰは、カメラ６０ＣａのカメラパラメーターＣＰである。［R_o2dl, t_o2dl］は、実オブジェクト（この場合、実物マーカーＭＫ２または実物マーカーＭＫ１）に固定された座標系から左光学像表示部２８Ｃａに固定された座標系への変換行列であり、このうち、［R_o2dl］が回転を表す３×３の行列であり、［t_o2dl］が並進を表す３×１の行列である。［R_o2dl, t_o2dl］は、左光学像表示部２８Ｃａに対する実オブジェクトの位置および姿勢を表している。ModelMatrixは、モデルマーカー上の任意の１点を表す３×１の行列である。モデルマーカーは、マーカー画像ＩＭＧが光学像表示部２８Ｃａに表示される場合の基礎となる３次元データ（３次元モデル：ただし本実施形態では平面）である。［R_o2dl, t_o2dl］×ModelMatrixの表記は、下記の式（５６）の規則に従っている。

上記式（５６）の表記規則は、式（５５）の他の部分にも適用される。

式（５５）の右辺における［R_cam2left, t_cam2left］は、カメラ６０Ｃａの座標系から左光学像表示部２８Ｃａの座標系への変換行列である。当該変換行列は、パラメーター設定部１６７Ｃａによって設定される複数の変換パラメーターで構成される。式（５５）の右辺における［R_obj2cam, t_obj2cam］は、実オブジェクト（実物マーカーＭＫ２または実物マーカーＭＫ１）の座標系からカメラ６０Ｃａの座標系への変換行列である。［R_obj2cam, t_obj2cam］は、カメラ６０Ｃａに対する実オブジェクトの位置および姿勢を表している。

式（５５）の関係から、左光学像表示部２８Ｃａについて、マーカー画像ＩＭＧと実物マーカーＭＫ２または実物マーカーＭＫ１とのアライメントが成立しているとき、以下の式（５７）、（５８）が成り立つ。

左眼ＬＥのアライメントが成立すると仮定したとき、実物マーカーＭＫ２または実物マーカーＭＫ１のカメラ６０Ｃａに対する姿勢をモデルマーカーに適用すると、カメラ６０Ｃａの座標系に変換されたモデルマーカー上の任意の点は次の式（５９）のP_cl（X_cl, Y_cl, Z_cl）のようになる。

式（５７）および式（５８）により、R_obj2cam,t_obj2camを消去すると式（５９）は以下の式（６０）のようになる。

R_o2dlおよびt_o2dlは、実物マーカーＭＫ２または実物マーカーＭＫ１の座標系から左光学像表示部２８Ｃａの座標系への回転および並進である。本実施形態では、使用者ＵＳが左光学像表示部２８Ｃａに表示されたマーカー画像ＩＭＧを実物マーカーＭＫ２または実物マーカーＭＫ１に位置合わせしたときに、R_o2dlおよびt_o2dlが所定の回転および並進となるように、マーカー画像ＩＭＧが左光学像表示部２８Ｃａ上の所定位置（例えば中央）に所定の配向かつ所定の大きさで、固定されて表示される。T_cam2leftは、カメラの座標系から左光学像表示部２８Ｃａの座標系への並進である。

上記式（６１）および（６２）における要素は本実施形態では定数（aは図２９のＬ１）である。式（６３）における要素D1, D2, D3は本実施形態では初期値であり、パラメーター導出処理の間に変化し得る。なお、図２９からわかるように、本実施形態では、画像表示部２０Ｃａに固定された座標系では、光学像表示部２６Ｃａ，２８Ｃａ（画像表示部２０Ｃａ）から使用者ＵＳの眼へと射出される光の方向がＺ軸方向と平行である。

式（５９）で表されるモデルマーカーをカメラ６０Ｃａの撮像画像上に写像するとき、撮像画像上のモデルマーカーの座標は、次のようになる。

ここで、（F_x, F_y）はカメラ６０Ｃａの焦点距離であり、（C_x, C_y）はカメラ６０Ｃａの主点位置座標である。

カメラ６０Ｃａが実際に実物マーカーＭＫ２または実物マーカーＭＫ１を撮像した場合の撮像画像におけるマーカーの特徴要素の座標を（u_l, v_l）と表記すると、（u_l, v_l）と（x_iml, y_iml）との差は以下のようになる。

式（６６）における添え字ｉは、マーカーにおける特徴要素を示す整数であり、１から９までの値を取る。パラメーター設定部１６７Ｃａは、左眼ＬＥのアライメントについて、式（６７）で表される二乗和を導出する。

使用者が、右眼ＲＥで右光学像表示部２６Ｃａに表示されたマーカーと、実物マーカーＭＫ２または実物マーカーＭＫ１と、のアライメントを成立させた場合についても、同様に式（６８）で表される二乗和を導出する。

E_RとE_Lとの和により、式（６９）で表すコスト関数Ｅを定義する。

本実施形態では、カメラ６０ＣａのカメラパラメーターＣＰと、カメラ６０Ｃａの座標系から左光学像表示部２８Ｃａの座標系への回転（R_cam2left）および並進（T_cam2left）を表す変換パラメーターと、カメラ６０Ｃａの座標系から右光学像表示部２６Ｃａの座標系への回転（R_cam2right）および並進（T_cam2right）を表す変換パラメーターと、が最適化により設定される。

式（６９）で表わされるコスト関数Ｅを最小化する繰り返し計算に用いられるヤコビ行列は、式（７０）のようになる。

ここで、式（７０）の右辺における変数x_mliおよびy_mliはそれぞれ式（６４）および（６５）によって表され、さらに式（６４）および（６５）におけるx_clおよびy_clは式（６０）によって表される。また、式（６０）の右辺における変数ｐは、カメラ６０ＣａのカメラパラメーターＣＰに含まれるF_x，F_y，C_x，C_yと、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係を表す回転R_cam2left、R_cam2rightを構成する６つのオイラー角と、並進T_cam2left、 T_cam2rightを構成する６つの並進成分と、である。パラメーター設定部１６７Ｃａは、式（６０）のヤコビ行列と、変数ｐの微小変化量と、に基づいて、式（５９）のグローバルミニマムを探索することができる。グローバルミニマムに対応する変数ｐによって、カメラパラメーターＣＰおよび変換パラメーターが求められる。

カメラパラメーターＣＰおよび変換パラメーターが設定されると、図２６に示すキャリブレーション実行処理におけるステップＳＣ１５の処理として、設定された変換パラメーターおよびカメラパラメーターＣＰを、使用者ＵＳに画像を用いて確認させる目的で、表示設定部１６５Ｃａは設定画像ＳＩＭを光学像表示部２６Ｃａ，２８Ｃａに表示させる。カメラ６０Ｃａの撮像範囲に特定オブジェクト（この例では実物マーカーＭＫ１）が含まれる場合に、ＣＰＵ１４０Ｃａは、設定されたカメラパラメーターＣＰを用いてカメラ６０Ｃａに対する特定オブジェクトの位置および姿勢を導出する。また、ＣＰＵ１４０は、設定された変換パラメーターを用いて、カメラ６０Ｃａに対する特定オブジェクトの位置および姿勢を、光学像表示部２６Ｃａ、２８Ｃａに対する特定オブジェクトの位置および姿勢に変換する。そして、表示設定部１６５Ｃａは、当該変換された位置および姿勢をＡＲモデルに与えてから、当該ＡＲモデルを写像し、そして、ＡＲモデルを設定画像ＳＩＭとして光学像表示部２６Ｃａ，２８Ｃａに表示させる。この例では、使用者ＵＳに、設定画像ＳＩＭの位置および姿勢が特定オブジェクトの位置および姿勢に一致し、かつ特定オブジェクトの動きに追跡するように設定画像ＳＩＭを視認させることができれば、変換パラメーターとカメラパラメーターＣＰの設定は十分である。実物マーカー、またはそれに対応したＡＲモデルの内部座標をＸと定義すると、変換パラメーターが用いられ、左光学像表示部２８Ｃａにおける表示画像の位置（u,v）は、式（７１）のように表される。

ここで、[R_obj2cam, T_obj2am]は実物マーカーＭＫ２または実物マーカーＭＫ１とカメラ６０Ｃａとの間の空間関係を表すパラメーター（回転行列および並進行列）であり、これらは、カメラ６０Ｃａが撮像した実物マーカーＭＫ２または実物マーカーＭＫ１の撮像画像に、例えばホモグラフィーを適用することによってパラメーター設定部１６７Ｃａによって算出される。マーカー特定部１６６Ｃａが、実物マーカーＭＫ２および実物マーカーＭＫ１以外の特定オブジェクトを検出する場合には、パラメーター設定部１６７Ｃａは、他の方法で特定オブジェクトとカメラ６０Ｃａとの間の空間関係を設定する。なお、右光学像表示部２６Ｃａについても、式（７１）と同様な関係式により、表示画像の位置（u,v）が導出される。式（７１）に示す通り、実物マーカーＭＫ２または実物マーカーＭＫ１とカメラ６０Ｃａとの間の空間関係、およびカメラ６０Ｃａと光学像表示部２６Ｃａ、左光学像表示部２８Ｃａとの間の空間関係に少なくとも基づいて定まる位置（u,v）に、表示設定部１６５Ｃａは、ＡＲ画像としてのＡＲモデルを表示させる。当該ＡＲモデル（この場合、設定画像ＳＩＭ）の位置、大きさおよび配向の少なくとも一つが、特定オブジェクトの位置、大きさ、配向の少なくとも一つに一致するように、表示設定部１６５Ｃａは、使用者ＵＳに視認させることができる。なお、式（７１）における右辺のＲＰは、ピンホールカメラモデルと同様な写像モデルを用いた場合に決定される写像パラメーター（またはレンダリングパラメーターとも呼ぶ）であり、本実施形態では下記の式（７２）のように表される。

ここで、式（７２）におけるF_x, F_yはＨＭＤ１００Ｃａにおけるプロジェクターの画素数に換算された焦点距離であり、Wは水平方向の左光学像表示部２８Ｃａの画素数（解像度）であり、Hは垂直方向の左光学像表示部２８Ｃａの画素数（解像度）であり、C_xおよびC_yは、表示画像の中心位置である。写像パラメーターの上２行がu, vの導出に寄与する。fおよびnは、０と１の間で規格化された奥行を有する規格化デバイス座標との対応関係を決める係数である。すなわち、これらは、レンダリングバッファに（デプスバッファ）おいて奥行を調整するための係数であるが、表示画像の位置(u,v)の導出に直接関与しない。

ここで、特定オブジェクトまたはＡＲモデルXがカメラ６０で撮像されたとすると、特定オブジェクトまたはＡＲモデルX上の点と撮像画像上の対応点との間には、式（７３）が成り立つ。

式（７３）の右辺における（Ｒ，Ｔ）は、カメラ６０Ｃａに対する特定オブジェクトの位置および姿勢を表す変換行列であり、カメラ座標系で表わされている。当該変換行列の左は、カメラパラメーターＣＰである。式（７３）に模式的に表されるように、実空間または３次元座標系における点と撮像画像上の点との対応関係に基づいて（Ｒ，Ｔ）が推定されるから、実オブジェクトの正確な位置および姿勢の推定には、カメラパラメーターＣＰが適切であることが好ましい。

３次元におけるＡＲモデルの同じ座標点は、画像処理部１６０Ｃａにおけるディスプレイバッファにレンダリングされるため、その規格化デバイス座標（ＮＤＣ）は、式（７２）を用いて、式（７４）のように表される。

式（７４）は同時座標表現で表わされている。式（７４）の右辺のXは、モデルマーカーまたはＡＲモデルの内部座標であり、モデルに固定された座標系で表わされている。式（７４）におけるXの左の（Ｒ，Ｔ）は、カメラ座標系で表わされた特定オブジェクトの位置と姿勢とであり、式（７３）における（Ｒ，Ｔ）と同じ位置と姿勢とを表す。式（７３）における（Ｒ，Ｔ）の左の０，１、−１を要素とする４×４の行列は、座標軸の向きを変換するための変換行列であり、本実施形態ではカメラ座標系と表示部座標系との間での座標軸の正方向の定義が異なることから、便宜上、設けられている。式（７３）における座標軸の向きを変換する変換行列の左の（Ｉ，ｄ）は、カメラ６０Ｃａと光学像表示部２６Ｃａ（２８Ｃａ）との間の空間関係を表しており、光学像表示部２６Ｃａ（２８Ｃａ）の座標系で表わされた回転Ｉと並進ｄからなる４×４の変換行列である。式（７４）で表される座標点は、光学像表示部２６Ｃａ（２８）の画像面において式（７５）の（u’, v’）で表される位置である。

ここで、Ｒ_１，Ｒ_２，Ｒ_３のそれぞれは、（Ｒ，Ｔ）に含まれる回転行列における対応する行ベクトルを表し、Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚは、（Ｒ，Ｔ）に含まれる並進ベクトルの対応する要素を表す。なお、（Ｒ，Ｔ）は、４×４の行列の形態を有する。

本実施形態では、キャリブレーションがうまく実施されていれば、ＨＭＤ１００を装着している使用者ＵＳは、光学像表示部２６Ｃａ、２８Ｃａに表示された設定画像ＳＩＭの位置、大きさ、向き、奥行感が、撮像された特定オブジェクト（この例では実物マーカーＭＫ１）の位置、大きさ、向き、奥行感に一致するように、視認する。

図３０は、特定オブジェクトに対応付けられて設定画像ＳＩＭが表示された場合に使用者ＵＳが視認する使用者ＵＳの視野の一例の説明図である。図３０に示す例では、特定オブジェクトとして実物マーカーＭＫ１が採用されている。キャリブレーションが実行された後に、表示設定部１６５Ｃａは、パラメーター設定部１６７Ｃａによって設定された変換パラメーターおよびカメラパラメーターＣＰを用いて、撮像された実物マーカーＭＫ１の位置および配向（姿勢）に合わせて、設定画像ＳＩＭを右左の光学像表示部２６Ｃａ，２８Ｃａに表示させる。設定画像ＳＩＭは、立方体の各辺を形成する画像である。図３０に示すように、設定画像ＳＩＭの立方体の底面は、実物マーカーＭＫ１と合わさるように表示される。使用者ＵＳは、特定オブジェクトとしての実物マーカーＭＫ１と設定画像ＳＩＭとの空間関係を視認することで、キャリブレーションの精度を認識できる。使用者ＵＳが実物マーカーＭＫ１と設定画像ＳＩＭとが互いに一致するように視認しないときに、再度、キャリブレーションを第１設定モードまたは第２設定モードにおいてやり直すことができる。図３０に示すように、光学像表示部２６Ｃａ、２８Ｃａまたは音声処理部１７０Ｃａは、キャリブレーションが成功しＡＲ表示機能を続行すること（重畳して見えるか）、およびキャリブレーションをやり直すことのいずれかを促す文字画像または音声を使用者に提示してもよい。

Ｃ−２−２−４．キャリブレーションデータの自動収集：
まず、キャリブレーションデータの自動収集処理の説明に備えて、光学像表示部２６Ｃａ，２８Ｃａに固定された座標系の座標軸を、右光学像表示部２６Ｃａの場合を例にとって説明する。本実施形態では、右光学像表示部２６Ｃａの座標系のＺ軸は、使用者ＵＳがＨＭＤ１００Ｃａを適切に装着した場合に使用者ＵＳが視認する表示領域の法線方向に一致する。このため、Ｚ軸は使用者ＵＳの顔面が向いている方向を示し得る。Ｘ軸は、Ｚ軸に直交し、かつ右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとが並ぶ方向にほぼ平行である。このため、Ｘ軸は使用者ＵＳの左右方向を示し得る。また、Ｙ軸は、Ｚ軸およびＸ軸の双方に直交する。このため、Ｙ軸は、使用者ＵＳの上下方向を示し得る。

上記で説明した第１設定モードにおいて、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２との目視によるアライメントを成立させたことを、タッチパッドの操作、ボタンの押下、または音声コマンドの発声により、パラメーター設定部１６７Ｃａに伝えている。そして、パラメーター設定部１６７Ｃａがこれら操作または音声コマンドを受け付けた場合に、カメラ６０ＣａがマーカーＭＫ１，ＭＫ２を撮像し、すなわちキャリブレーションデータの収集をする。すなわち、ＨＭＤ１００Ｃａは、キャリブレーションデータの収集のトリガーとして、使用者ＵＳによる操作または発声を利用している。しかしながら、以下で説明するように、ＨＭＤ１００Ｃａは、このような構成に代えて、自動的にキャリブレーションデータを収集する構成を備えてもよい。

図３１は、実施形態に係るキャリブレーションデータの自動収集処理のフローである。この処理では、初めに、マーカー特定部１６６Ｃａが撮像を開始し、そして、光学像表示部２６Ｃａ，２８Ｃａの一つ（以下では、右光学像表示部２６Ｃａ）がマーカー画像ＩＭＧを表示し始める（ステップＳＣ２１１）。マーカー特定部１６６Ｃａは、カメラ６０Ｃａが撮像した各撮像フレームに対して、２値化を実行して、実物マーカーＭＫ２を抽出する。マーカー特定部１６６Ｃａは、撮像範囲の中に、実物マーカーＭＫ２があるか否かを判定する（ステップＳＣ２１２）。マーカー特定部１６６Ｃａは、撮像範囲の中に実物マーカーＭＫ２がないと判定した場合には（ステップＳＣ２１２：ＮＯ）、引き続き、撮像範囲の中から実物マーカーＭＫ２の検出を監視する。

ステップＳ２１２の処理において、マーカー特定部１６６Ｃａは、撮像範囲の中に、実物マーカーＭＫ２があると判定した場合には（ステップＳＣ２１２：ＹＥＳ）、カメラ６０Ｃａに対する実物マーカーＭＫ２の位置と姿勢を導出し、それらの追跡を開始する（ステップＳＣ２１２Ａ）。

導出された実物マーカーＭＫ２の位置および姿勢は、カメラ座標系で表わされている。つまり、その位置および姿勢は、カメラ６０Ｃａに対する位置および姿勢である。そこで、カメラ６０Ｃａと右光学像表示部２６Ｃａとの間のデフォルトの空間関係を利用して、カメラ６０Ｃａに対する実物マーカーＭＫ２の位置および姿勢を、右光学像表示部２６Ｃａの座標系で表わされた近似的、すなわち暫定的な位置および姿勢に変換する。「デフォルトの空間関係」とは、例えば、カメラ６０Ｃａと右光学像表示部２６Ｃａとの間の相対可動範囲の両端間に存在する一つの空間関係である。位置および姿勢、すなわち回転および並進、を表す４×４の変換行列Ｔは、式（７５Ａ）のように表される。

ここで、左辺の「T (marker to display)」は右光学像表示部２６Ｃａに対する実物マーカーＭＫ２の近似的な位置および姿勢であり、右辺の「T (camera to display)」は、カメラ６０Ｃａの座標系から右光学像表示部２６の座標系へのデフォルトの変換行列であり、「Tracking pose」はカメラ６０Ｃａに対する実物マーカーＭＫ２の位置および姿勢である。

モデルマーカーと実物マーカーＭＫ２との間で、光学像表示部２６Ｃａの座標系におけるＸ軸およびＹ軸の回りの回転差が所定値未満か否かは、以下の式（７５Ｂ）および式（７５Ｃ）のように判定され得る。

ここで、「A_x」、「A_y」はそれぞれＸ軸、Ｙ軸回りのモデルマーカーの回転角であり、「approximated A_x」、「approximated A_y」は、それぞれＸ軸、Ｙ軸回りの実物マーカーＭＫ２の近似的な回転角であり、いずれも度単位で表わされたオイラー角である。「abs」は値の絶対値を取ることを意味する。なお、上述の通り、モデルマーカーとは、３次元座標で表わされたモデルであり、２Ｄへ写像されてマーカー画像ＩＭＧとして表示されるものである。

次に、右光学像表示部２６Ｃａの座標系において、実物マーカーＭＫ２のＸ軸、Ｙ軸に沿った近似的な並進（Ｔ_ｘ’, Ｔ_ｙ’）が、モデルマーカーの並進（ｔ_ｘ、ｔ_ｙ）に近いか否かが、以下の式（７５Ｄ）および式（７５Ｅ）の関係式を用いて判定され得る。

以下の説明においては、上記回転角の差を集合的に「回転差Ａ」、上記並進の差を集合的に「並進差Ｄ」と表す。

図３１のフローの説明に戻ると、マーカー特定部１６６Ｃａは、回転差Ａがその閾値（threshold）以上で、かつ並進差Ｄがその閾値以上か否かを判定する（ステップＳＣ２１３Ａ）。回転差Ａも並進差Ｄもそれぞれの閾値以上であると判定された場合には（ステップＳＣ２１３Ａ：Ｙｅｓ）、表示設定部１６５Ｃａは、マーカー画像の色を赤色に変え、右光学像表示部２６Ｃａに位置合わせ（アライメント）を促す文字画像を表示させる（ステップＳＣ２１４Ａ）。ステップＳＣ２１３Ａの判定が「否」の場合には（ステップＳＣ２１３Ａ：Ｎｏ）、マーカー特定部１６６Ｃａは、回転差Ａが閾値未満で、かつ並進差Ｄが閾値以上であるか否かを判定する（ステップＳＣ２１３Ｂ）。回転差Ａが閾値未満で、かつ並進差Ｄが閾値以上であると判定された場合には（ステップＳＣ２１３Ｂ：Ｙｅｓ）、表示設定部１６５Ｃａは、マーカー画像の色を黄色に変え、右光学像表示部２６Ｃａに位置合わせ（アライメント）を促す文字画像を表示させる（ステップＳＣ２１４Ｂ）。ステップＳＣ２１３Ｂの判定が「否」の場合には（ステップＳＣ２１３Ｂ：Ｎｏ）、マーカー特定部１６６Ｃａは、回転差Ａが閾値未満で、かつ並進差Ｄが閾値未満であるか否かを判定する（ステップＳＣ２１３Ｃ）。回転差Ａも並進差Ｄもそれぞれの閾値未満であると判定された場合には（ステップＳＣ２１３Ｃ：Ｙｅｓ）、表示設定部１６５Ｃａは、マーカー画像の色を緑色に変える（ステップＳＣ２１４Ｃ）。ステップＳＣ２１３Ｃの判定が「否」の場合には（ステップＳＣ２１３Ｃ：Ｎｏ）、次に実行される処理はステップＳＣ２１３Ａの判定に戻る。ステップＳＣ２１４Ｃの後で、マーカー特定部１６６Ｃａは、回転差Ａも並進差Ｄもそれぞれの閾値未満の状態と、使用者ＵＳの頭部が安定した状態とが、例えば２秒以上継続したか否かを判定する（ステップＳＣ２１５Ａ）。ステップＳＣ２１５Ａの判定が肯定的であると判定された場合には、パラメーター設定部１６７Ｃａは、所定時間期間の計時または逆算計時を開始する。パラメーター設定部１６７Ｃａが開始する逆算計時を、これをカウントダウン処理と呼ぶ。本実施形態の所定時間期間は１秒である。表示設定部１６５Ｃａは、この１秒間を３分割し、時間の経過にしたがって表示または音声出力される「３」、「２」、「１」、「０」のカウントダウン情報を提示する。パラメーター設定部１６７Ｃａは、「０」が提示されるタイミングで、カメラ６０Ｃａによる実物マーカーＭＫ２の撮像画像を、キャリブレーションデータとして取得する。

カウントダウン処理における所定時間期間は１秒に限らない。所定時間期間は、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２との間の目視によるアライメントを精度の点でより向上させることができる程度に長く、同時に、既に精度よく成立している目視によるアライメントを使用者ＵＳが維持することができる程度に短いことが好ましい。この点で「１秒」は経験的に好適な長さである。

頭部が安定な状態にあるか否か、または実質的に静止しているか否かは、パラメーター設定部１６７Ｃａが、カメラ６０Ｃａの撮像画像における実物マーカーＭＫ２の特徴点の位置、ＨＭＤ１００Ｃａに搭載されたＩＭＵの出力、およびこれらの組み合わせから、判定することができる。

図３２は、他の実施形態に係るキャリブレーションデータの自動収集処理を説明するフローである。

図３２のフローは、ステップＳＣ２１２とステップＳＣ２１６との間の部分が、図３１のフローのそれとは異なっていて、その他の部分は図３１のフローと実質的に同じである。したがって、以下では、異なっている部分のみ説明する。

図３２に示すフローでは、ステップＳＣ２１２Ａの後で、パラメーター設定部１６７Ｃａは、カメラ６０Ｃａの撮像範囲に実物マーカーＭＫ２が存在している状態であり、かつ、使用者ＵＳの頭部が所定期間、例えば２秒、に亘って安定的な状態か否かを判定する（ステップＳＣ２１５Ｂ）。パラメーター設定部１６７Ｃａがカメラ６０Ｃａの撮像範囲に実物マーカーが存在する状態であり、かつ、使用者ＵＳの頭部が２秒間に亘って安定的な状態であると判定した場合には（ステップＳＣ２１５Ｂ：Ｙｅｓ）、処理はステップＳＣ２１６へ移行する。ステップＳＣ２１５Ｂの判定が「否」である場合には、この判定が満足されるまで、パラメーター設定部１６７Ｃａは、撮像画像と使用者ＵＳの頭部の動きとを継続的に監視する。

図３３は、他の実施形態に係るキャリブレーションデータの自動収集処理を説明するフローである。

図３３のフローは、図３１のフローと比較して、ステップＳＣ２１６とステップＳＣ２１７との間に、判定ステップＳＣ２１８とステップＳＣ２１９が加えられている点で、図３１のフローとは異なっていて、その他の部分は図３１のフローと実質的に同じである。したがって、以下では、異なっている部分のみ説明する。

図３１の処理では、カウントダウン処理が開始されると（ステップＳＣ２１６）、使用者ＵＳが姿勢を大きく変えた結果、もはや目視によるアライメントが成立していない場合であっても、所定時間期間の経過時にキャリブレーションデータが収集される。この場合、正確なキャリブレーションデータを収集することができない。本実施形態では、カウントダウン処理における所定時間期間内に使用者ＵＳの頭部が閾値以上の動きを示した場合に、カウントダウン処理を中止して、キャリブレーションデータの収集処理を再度やり直すことができる。具体的には、パラメーター設定部１６７Ｃａは、ステップＳＣ２１６のカウントダウン処理を開始された後に、所定時間期間（カウントダウン期間）が経過したか否かを判定する（ステップＳＣ２１８）。パラメーター設定部１６７ＣａがステップＳＣ２１８の判定が「否」と判定した場合には（ステップＳＣ２１８：Ｎｏ）、ＩＭＵが出力する角速度または加速度に基づいて、使用者ＵＳの頭部が閾値以上の大きさの動きをしたか否かを判定する（ステップＳＣ２１９）。パラメーター設定部１６７Ｃａは、ステップＳＣ２１９の判定が「否」と判定した場合には、ステップＳＣ２１８の処理において、所定時間期間が経過した時点で（ステップＳＣ２８１：Ｙｅｓ）、キャリブレーションデータを収集する（ステップＳＣ２１７）。ステップＳＣ２１９において、パラメーター設定部１６７Ｃａが使用者ＵＳの頭部が閾値以上の大きさの動きがあったと判定した場合には、ステップＳＣ２１３Ａ以降の処理が実行される。

上述したように、パラメーター群を調整する際には、ＨＭＤ１００Ｃａに表示されたマーカー画像ＩＭＧと実物マーカーＭＫ２とが一致するように使用者ＵＳに視認させた（アライメントを成立させた）状態で、キャリブレーションデータを収集することが好ましい。使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２とを精度よく一致して視認しているか否かは、パラメーター群を導出するキャリブレーションの精度に影響を与える。

ただし、せっかくユーザーが、マーカー画像と実物マーカーとが精度よく一致するよう視認していても、データ収集の指示またはトリガーのためにコントローラー１０Ｃａにタッチすると、その動作でアライメントがずれ、ずれたアライメントの状態でキャリブレーションデータが収集（実物マーカーが撮像）されることとなる。音声コマンドの場合にも、発声動作または発音動作により、アライメントがずれる可能性は皆無でない。このようなずれたアライメントの状態で得られたパラメーター群を使うと、ＡＲ画像の重畳表示が精度よく行われない。

図３１、図３２、図３３を参照して説明したキャリブレーションデータの自動収集処理は、ユーザーがタッチや音声コマンドを必ずしも与えなくても、使用者がマーカー画像と実物マーカーとを一致して視認していることをＨＭＤ１００Ｃａが判定できる仕組みを提供することができる。そして、その判定をトリガーとしてキャリブレーションデータを収集できることから、精度のよいパラメーター群が得られ、結果として、ＡＲ画像の重畳表示の精度のよいＨＭＤ１００Ｃａが得られる。なお、本実施形態では、２つの回転角の差に基づいて、「回転差Ａ」が閾値未満か否かが判定されるが、１つの軸の回りの回転角の差、または３つの軸の回りの回転角の差に基づいて、「回転差Ａ」が閾値未満か否かが判定されてもよい。「並進差Ｄ」についても同様である。

Ｃ−２−３．第２設定モード：
第２設定モードでは、パラメーター設定部１６７Ｃａが、第１設定モードにおいて実行したキャリブレーションの結果に対して、使用者ＵＳの操作を受け付けることで、さらに、キャリブレーションの結果を補正する。換言すると、パラメーター設定部１６７Ｃａは、受け付けた操作に基づいて、特定オブジェクトに対応付けられて表示されるＡＲ画像（ＡＲモデル）の位置、大きさ、奥行感を補正する。

図３４は、第２設定モードに移行したときに使用者ＵＳが視認する視野ＶＲの一例の説明図である。図３４では、使用者ＵＳが、透過した外景に含まれる特定オブジェクトとしての実物マーカーＭＫ１と、実物マーカーＭＫ１に対応付けられて光学像表示部２６Ｃａ，２８Ｃａに表示される設定画像ＳＩＭと、第２設定モードのときに光学像表示部２６Ｃａ，２８Ｃａに表示される８個のアイコンおよびカーソル画像ＣＳと、が示されている。８個のアイコンは、制御部１０Ｃａの操作部１３５Ｃａが受け付けた操作によって、第２設定モードにおける設定モードを変更するためのアイコンである。図３４に示す例では、使用者から見て、外景の実物マーカーＭＫ１の位置と、表示された設定画像ＳＩＭの立方体の底面の位置と、が重なっていない。換言すると、キャリブレーションの精度がよくない。このような場合に、本実施形態では、第２設定モードにおいて、使用者ＵＳは、操作部１３５Ｃａを操作することで、実物マーカーＭＫ１と設定画像ＳＩＭとのキャリブレーションの結果を補正できる。

操作部１３５Ｃａのトラックパッドが所定の操作を受け付けると、パラメーター設定部１６７Ｃａは、光学像表示部２６Ｃａ，２８Ｃａに表示させたカーソル画像ＣＳの位置を移動させる。カーソル画像ＣＳが８個のアイコンの内のいずれかに重なっている状態で、操作部１３５Ｃａの決定ボタンが押下されると、パラメーター設定部１６７Ｃａは、カーソル画像ＣＳが重なっていたアイコンと対応付けられている設定モードへと移行する。

アイコンＩＣ１は、選択されると、設定画像ＳＩＭの画像を拡大または縮小を実行するモードへと移行するためのアイコンである。アイコンＩＣ１のモードでは、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａは、上述したカメラパラメーターＣＰおよび写像パラメーターの一方または双方を補正して、光学像表示部２６Ｃａ，２８Ｃａに表示された設定画像ＳＩＭの大きさを変更する。本実施形態では、パラメーター設定部１６７Ｃａは、カメラパラメーターＣＰにおける焦点距離Ｆ_ｘ，Ｆ_ｙ，および写像パラメーターにおける焦点距離Ｆ_ｘ，Ｆ_ｙの一方または両方を補正して、設定画像ＳＩＭの大きさを調整する。使用者ＵＳは、アイコンＩＣ１を選択することで、実物マーカーＭＫ１の大きさに合わせるように設定画像ＳＩＭの大きさを変更できる。

アイコンＩＣ２は、選択されると、設定画像ＳＩＭの表示位置を上下に移動させるモードへと移行するためのアイコンである。アイコンＩＣ２のモードでは、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａは、光学像表示部２６，２８のそれぞれの変換パラメーターを補正して、光学像表示部２６Ｃａ，２８Ｃａが設定画像ＳＩＭを表示可能な範囲で上下に移動させる。本実施形態では、パラメーター設定部が変換パラメーターのうち、X軸回りの回転を表すパラメーターR_xを調整して、設定画像ＳＩＭを上下（すなわちY軸方向）に移動させる。なお、変換パラメーターの表示において、XおよびYは光学像表示部２６Ｃａ，２８Ｃａに固定された座標系のX軸およびY軸をそれぞれ表し、さらに上述の通り、X軸はＨＭＤ１００Ｃａを装着した場合に使用者ＵＳの左右方向を表し、Y軸はその上下方向を表し得る。

アイコンＩＣ３は、選択されると、設定画像ＳＩＭの表示位置を左右に移動させるモードへと移行するためのアイコンである。アイコンＩＣ３のモードでは、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａが光学像表示部２６Ｃａ、２８Ｃａのそれぞれの変換パラメーターを補正して、光学像表示部２６Ｃａ，２８Ｃａが設定画像ＳＩＭを表示可能な範囲で左右に移動させる。本実施形態では、パラメーター設定部１６７Ｃａが変換パラメーターのうち、Ｙ軸回りの回転を表すパラメーターＲｙを調整して、設定画像ＳＩＭを左右（すなわちX軸方向）に移動させる。使用者ＵＳは、アイコンＩＣ２およびアイコンＩＣ３を選択することで、実物マーカーＭＫ１に対して、設定画像ＳＩＭの位置を合わせるように設定画像ＳＩＭの表示位置を変更できる。

アイコンＩＣ４は、選択されると、使用者ＵＳに視認させる設定画像ＳＩＭの奥行感を調整するためのアイコンである。アイコンＩＣ４のモードでは、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａは、光学像表示部２６Ｃａ、２８Ｃａのそれぞれの写像パラメーターおける表示主点のＸ成分であるＣｘを調整して、設定画像ＳＩＭの奥行感を変える。奥行感の調整量をΔＣxとし、右光学像表示部２６Ｃａの表示主点をＣｘ＿ｒｉｔｇｈとし、左光学像表示部２８Ｃａの表示主点をＣｙ＿ｌｅｆｔとすると、奥行感の調整後の表示主点は、以下の式（７５Ｆ）および式（７５Ｇ）のように表される。

写像パラメーターの表示において、Xは光学像表示部２６Ｃａ，２８Ｃａに固定された座標系のX軸を表し、上述の通り、この場合のX軸はＨＭＤ１００Ｃａを装着した場合に使用者ＵＳの左右方向を表し得る。式（７５Ｆ）および式（７５Ｇ）により、左右の光学像表示部２６Ｃａ、２８Ｃａに表示される左右の画像領域の中心位置が変わり、これにより、左右の画像領域が互いに近づいたり、離れたりする。この結果、使用者ＵＳが両眼で左右の画像領域を観察すると、特定オブジェクトの距離に応じた適切な輻輳角でＡＲ画像（ＡＲオブジェクト）を視認できるようになる。このため、特定オブジェクトとＡＲ画像との間で、奥行感が一致する。

アイコンＩＣ５は、選択されると、今まで実行してきたパラメーター群の補正を、実行前のパラメーター群の値に戻すためのアイコンである。アイコンＩＣ６は、選択されると、今まで実行してきたパラメーター群の補正を、新たなパラメーター群（カメラパラメーターＣＰ、変換パラメーターおよび写像パラメーター）として更新して記憶するためのアイコンである。

アイコンＩＣ７は、選択されると、第２設定モードへと移行する１つ前のモードへと戻るためのアイコンである。換言すると、アイコンＩＣ７が選択されると、表示設定部１６５Ｃａは、図２６のステップＳＣＳ１３に示す第２設定モードと第１設定モードとのどちらの設定モードへと移行するかの選択画面を光学像表示部２６Ｃａ，２８Ｃａに表示させる。

アイコンＩＣ８は、選択されると、表示設定部１６５Ｃａが光学像表示部２６Ｃａ，２８Ｃａに説明文である「ヘルプ」を表示させるためのアイコンである。「ヘルプ」が表示されると、第２設定モードおよびキャリブレーション実行処理におけるキャリブレーションを実行するための操作についての説明文が光学像表示部２６Ｃａ，２８Ｃａに表示される。アイコンＩＣ９は、選択されると、第２設定モードを含むキャリブレーション実行処理を終了するためのアイコンである。

図３５は、第２設定モードにおいて設定画像ＳＩＭの表示位置が変更されたときに使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。この例では、設定画像ＳＩＭの向き、大きさ、および奥行感は実物マーカーＭＫ１のそれらに既に合っており、上下左右の表示位置だけを調整することでＡＲ画像の重畳精度を向上させる場合を示している。図３５では、第２設定モードにおいて、アイコンＩＣ２およびアイコンＩＣ３が選択された後に操作部１３５Ｃａが所定の操作を受け付けて、設定画像ＳＩＭの立方体の底面と、実物マーカーＭＫ１との位置が合わさるように設定画像ＳＩＭの表示位置が設定された状態が示されている。具体的な操作としては、初めに、アイコンＩＣ２が選択されて、実物マーカーＭＫ１に対して、設定画像ＳＩＭの上下方向の表示位置が合わされた後、アイコンＩＣ３が選択されて、実物マーカーＭＫ１に対して、設定画像ＳＩＭの水平方向の表示位置が合わされている。この後、アイコンＩＣ５が選択されると、変換パラメーターが更新されて記憶される。

以上説明したように、第３実施形態のＨＭＤ１００Ｃａでは、カメラ６０Ｃａが特定オブジェクトを含む外景を撮像する。そして、パラメーター設定部１６７Ｃａはカメラ６０Ｃａから、光学像表示部２６Ｃａ（２８Ｃａ）にマーカー画像ＩＭＧとして表示されたモデルマーカーの位置および姿勢と、実物マーカーＭＫ１（ＭＫ２）のそれらとがほぼ一致するように使用者ＵＳに視認させた状態での特定オブジェクトの撮像画像を取得する。パラメーター設定部１６７Ｃａは、取得された撮像画像に少なくとも基づいて、パラメーター群を設定する。パラメーター群は、カメラ６０ＣａのカメラパラメーターＣＰ，カメラ６０Ｃａと右光学像表示部２６Ｃａ，左光学像表示部２８Ｃａとの間の空間関係を表す３Ｄ−３Ｄのそれぞれの変換パラメーター、および光学像表示部２６Ｃａ，２８Ｃａ上に任意の３Ｄモデルを画像として表示するための３Ｄ−２Ｄの写像パラメーターを含む。ＨＭＤ１００Ｃａは、カメラパラメーターＣＰを用いて、特定オブジェクトの位置と姿勢を推定する。また、ＨＭＤ１００Ｃａは、変換パラメーターと写像パラメーターとを用いて、特定オブジェクトに関連付けられたＡＲモデルの位置および姿勢と、特定オブジェクトの位置および姿勢とが、互いに対応、好ましくはほぼ一致する状態で当該ＡＲモデルをＡＲ画像として使用者ＵＳに視認させるように、光学像表示部２６Ｃａ，２８ＣａにそれぞれＡＲ画像を表示する。したがって、第１設定モードによるキャリブレーションによって、特定オブジェクトと、当該特定オブジェクトに関連付けられたＡＲモデル（ＡＲ画像）とが互いに対応、好適にはほぼ一致するように使用者ＵＳに視認させることが可能なＨＭＤ１００Ｃａを提供することができる。

また、第３実施形態のＨＭＤ１００Ｃａでは、パラメーター設定部１６７Ｃａは、第２設定モードにおいて、操作部１３５Ｃａが受け付けた操作に応じて、光学像表示部２６Ｃａ，２８Ｃａに表示される設定画像ＳＩＭの位置、大きさ、および奥行感と、実物マーカーＭＫ１（ＭＫ２）の位置、大きさ、および奥行感が互いに対応、好適には一致する状態で当該設定画像ＳＩＭを使用者ＵＳに視認させるように、カメラパラメーターＣＰと変換パラメーターと写像パラメーターとの少なくとも１つのパラメーターを設定する。そのため、第３実施形態のＨＭＤ１００Ｃａでは、操作部１３５Ｃａが所定の操作を受け付けることで、特定オブジェクトとＡＲモデル（ＡＲ画像）との位置関係を、使用者ＵＳが手動でさらに補正できる。これにより、使用者ＵＳは、キャリブレーションを容易に行なうことができ、また、より精度の高いキャリブレーションを実行できる。

また、第３実施形態のＨＭＤ１００Ｃａでは、パラメーター設定部１６７Ｃａは、第１設定モードにおいて、カメラ６０Ｃａの撮像画像を用いて、カメラパラメーターＣＰおよび変換パラメーターの少なくとも１つに関するパラメーターを設定する。また、パラメーター設定部１６７Ｃａは、第２設定モードにおいて、操作部１３５Ｃａが受け付けた所定の操作に応じて、カメラパラメーターＣＰ、変換パラメーターと、写像パラメーターとの少なくとも１つに関するパラメーターを設定する。そのため、第３実施形態のＨＭＤ１００Ｃａでは、第１設定モードで設定されたカメラパラメーターＣＰおよび変換パラメーターに対して、第２設定モードで個別に設定できる。これにより、第１設定モードで調整しきれなかったパラメーターを個別に調整することができ、結果として、特定オブジェクトに、その関連付けられたＡＲ画像を重畳するように表示する際の精度を高めることができる。

また、第３実施形態のＨＭＤ１００Ｃａでは、カメラ６０Ｃａが装着帯９０Ｃａに対して向きを変更可能に配置されている。設定画像ＳＩＭを表示可能な光学像表示部２６Ｃａ，２８Ｃａは、装着帯９０Ｃａに対して、相対位置を変更可能に配置されている。そのため、カメラ６０Ｃａは、光学像表示部２６Ｃａ，２８Ｃａに対して、位置および向きが変更可能に配置されており（ＨＭＤ１００Ｃａを「カメラ可動型ＨＭＤ」とも呼ぶ）、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの位置関係の変化に応じて、キャリブレーションの設定が必要になる。第３実施形態のＨＭＤ１００Ｃａでは、使用者ＵＳは、位置関係の変化に応じて必要とされるキャリブレーションを、第１設定モードと第２設定モードとを実行することで、容易に実行できる。もちろん、カメラと光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係が固定されたＨＭＤ（「カメラ固定型ＨＭＤ」とも呼ぶ）において、使用者ＵＳによるキャリブレーション（第１設定モード）の際に毎回、カメラと光学像表示部との間の空間関係を表す回転と並進をキャリブレーションパラメーターとして可変にし、当該空間関係の最適化を行ってもよい。このようなキャリブレーションは、カメラ固定型ＨＭＤにおいても、製造誤差により、各個体に亘る上記空間関係の分散が大きいときに、有益である。

また、第３実施形態のＨＭＤ１００Ｃａでは、パラメーター設定部１６７Ｃａが設定したカメラパラメーターＣＰおよび変換パラメーターに基づいて、表示設定部１６５Ｃａは、撮像された特定オブジェクトである実物マーカーＭＫ２または実物マーカーＭＫ１に対応付けて設定画像ＳＩＭを表示させる。そのため、第３実施形態のＨＭＤでは、使用者ＵＳが、実行されたキャリブレーションの結果を視認でき、追加調整を実行する必要があるかを判定できるので、使用者の利便性が向上する。

また、第３実施形態のＨＭＤ１００Ｃａでは、位置合わせ処理において、マーカー特定部１６６Ｃａが、マーカー画像ＩＭＧと実物マーカーＭＫ２とが所定の位置関係であり、マーカー画像ＩＭＧが表示された右光学像表示部２６Ｃａと実物マーカーＭＫ２との距離が所定値以下であり、使用者ＵＳの頭部が静止している場合に、表示設定部１６５Ｃａは、カウントダウンを表す文字画像を右光学像表示部２６Ｃａに表示させる。カウントダウンが経過した後に、パラメーター設定部１６７Ｃａは、カメラ６０Ｃａに実物マーカーＭＫ２を撮像させて、カメラパラメーターＣＰおよび変換パラメーターを設定する。そのため、第３実施形態のＨＭＤ１００Ｃａでは、キャリブレーションの実行に必要な実物マーカーＭＫ２の撮像データを取得するときに、特定のボタンを押したり、音声認識を実行する必要がなく、自動的にカメラ６０Ｃａによる撮像が実行される。よって、使用者の操作および音声発生などによる実物マーカーＭＫ２とマーカー画像ＩＭＧとの重なり（アライメント）のずれを低減できる。これにより、精度の良いアライメントの撮像データを取得でき、キャリブレーションの精度を向上する。

また、第３実施形態のＨＭＤ１００Ｃａでは、パラメーター設定部１６７Ｃａは、所定の位置関係および距離の所定値として、算出したカメラ６０Ｃａに対する特定オブジェクトの空間関係と、カメラと光学像表示部２６Ｃａ、２８Ｃａとの間のデフォルトの空間関係と、を用いて、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに対する特定オブジェクトの仮想の位置と姿勢を算出する。パラメーター設定部１６７Ｃａは、特定オブジェクトの上記仮想の位置と姿勢と、マーカー画像ＩＭＧとして表示（写像）されているモデルマーカーの光学像表示部２６Ｃａ、２８Ｃａに対する仮想の位置と姿勢と、を比較することで両位置・姿勢の回転に関するパラメーターのずれおよび並進に関するパラメーターのずれを算出する。これらのずれとしての差に基づいて、表示設定部１６５Ｃａは、カメラ６０Ｃａが外景を撮像するまでのカウントダウンの情報を右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示させる。また、表示設定部１６５Ｃａは、回転に関するパラメーターの差や並進に関するパラメーターの差に応じて、使用者ＵＳに、マーカー画像ＩＭＧと特定オブジェクトである実物マーカーＭＫ２との位置合わせの処理を促す文字画像を右光学像表示部２６Ｃａに表示させる。そのため、第３実施形態のＨＭＤ１００Ｃａでは、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ２とのずれを視覚情報として認識でき、容易に精度の高いキャリブレーションを実行できる。

また、第３実施形態のＨＭＤ１００Ｃａでは、表示設定部１６５Ｃａは、カメラ６０Ｃａが撮像するまでのカウントダウンを表す情報として、特定オブジェクトとしての実物マーカーＭＫ２に対応付けられたマーカー画像ＩＭＧの色を変化させた画像を右光学像表示部２６Ｃａに表示させる。そのため、第３実施形態のＨＭＤ１００Ｃａでは、使用者ＵＳにカメラ６０Ｃａが実物マーカーＭＫ２を撮像するタイミングを視覚情報として認識させることができ、使用者ＵＳは感覚的にキャリブレーションを実行できる。

Ｄ．第４実施形態：
第４実施形態では、第３実施形態と比較して、キャリブレーションが実行されるときにカメラ６０Ｃａが撮像する実物マーカーと、実物マーカーを撮像する第１設定モードの一部とが異なる。そのため、第４実施形態では、第３実施形態と比較してことなる処理について説明し、その他の第３実施形態と同じ処理の説明については省略する。

図３６は、第４実施形態における制御部１０Ｃｂの裏面を示す正面図である。図３６には、制御部１０Ｃｂにおける操作部１３５Ｃａが形成された面を表面と定義した場合の裏面が示されている。図３６に示すように、制御部１０Ｃｂの裏面には、実物マーカーＭＫ１を小さくした実物マーカーＭＫ３が配置されている。

第４実施形態の第１設定モードでは、第３実施形態の第１モードと同じように、初めに、表示設定部１６５Ｃａが右光学像表示部２６Ｃａにマーカー画像ＩＭＧを表示させる（図２６のステップＳＣ２０１）。パラメーター設定部１６７Ｃａは、マーカー画像ＩＭＧと制御部１０Ｃｂの裏面に配置された実物マーカーＭＫ３との位置合わせを使用者ＵＳに促す（ステップＳＣ２１０）。実物マーカーＭＫ３とマーカー画像ＩＭＧとの位置合わせが実行されると、第３実施形態と異なり、表示設定部１６５Ｃａは、ステップＳＣ２０１で右光学像表示部２６Ｃａに表示されたマーカー画像ＩＭＧと大きさが異なるマーカー画像ＩＭＧを右光学像表示部２６Ｃａに表示させる（ステップＳＣ２０２）。パラメーター設定部１６７Ｃａは、ステップＳＣ２０１の処理時とは大きさが異なるマーカー画像ＩＭＧと実物マーカーＭＫ３との位置合わせを使用者ＵＳに促す（ステップＳＣ２２０）。ここで、大きさが異なる２つのマーカー画像ＩＭＧは、本実施形態では光学像表示部２６Ｃａ，２８Ｃａに対する仮想的な位置（Ｚ軸に沿った距離）が異なる同一のモデルマーカーを写像パラメーターにより２次元に写像することで生成される。第４実施形態のステップＳＣ２２０の処理では、使用する実物マーカーが一つであっても、大きさが異なる２つのマーカー画像ＩＭＧに対してアライメントを成立させようとするから、第３実施形態と同様に、使用者ＵＳは、マーカー画像ＩＭＧが表示された右光学像表示部２６Ｃａと実物マーカーＭＫ３とを、距離を変えてアラインさせる。第１設定モードのステップＳＣ２０３以降の処理については、右光学像表示部２６Ｃａに対する処理と同じであるため、説明を省略する。

第４実施形態のＨＭＤ１００Ｃｂでは、１つの実物マーカーＭＫ３であっても、第１設定モードにおいて右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示されるマーカー画像ＩＭＧを変化させることで、精度の高いキャリブレーションを実行できる。

Ｅ．第５実施形態：
第５実施形態では、第３実施形態と比較して、キャリブレーションが実行されるときにカメラ６０Ｃａが撮像する実物マーカーの形状と、実物マーカーに対応するマーカー画像ＩＭＧの形状と、が異なる。そのため、第５実施形態では、第３実施形態に対して異なる実物マーカーの形状および実物マーカーの特定について説明し、その他の構成については説明を省略する。

図３７および図３８は、第５実施形態の実物マーカーの一例を示す概略図である。図３７には、実物マーカーＭＫ４として、階段状に形成された３次元のブロックが示されている。同様に、図３８には、実物マーカーＭＫ５として、三角錐を基準として半円筒などのブロックが付加された３次元のブロックが示されている。第５実施形態のマーカー画像記憶部１３８Ｃｃは、実物マーカーＭＫ４および実物マーカーＭＫ５に対応する３次元モデルのデータを、その特徴点とともに記憶している。そのため、マーカー特定部１６６Ｃａは、マーカー画像記憶部１３８Ｃｃに記憶された特徴点と撮像画像における特徴点との対応関係を推定することで、カメラ６０Ｃａに対する実物マーカーＭＫ４または実物マーカーＭＫ５の位置と姿勢を推定できる。特徴点の特定方法としては、ステレオカメラによって特定の位置までの距離を特定して、特定した距離を用いたエッジ検出などであってもよく、公知の技術を適用できる。

記憶部には、実物マーカーＭＫ４または実物マーカーＭＫ５の形状と相似な形状を有する３Ｄモデルマーカーが記憶されている。なお、第３実施形態と同様に、モデルマーカーは、仮想の３次元空間内で定義されている。ＨＭＤ１００Ｃａは、光学像表示部２６Ｃａ、２８Ｃａに対して所定の位置と姿勢を有するように設定された当該モデルマーカーを上述の写像パラメーターにより写像し、光学像表示部２６Ｃａ、２８Ｃａにマーカー画像ＩＭＧとして表示する。以下は、第３実施形態と同様に、使用者ＵＳにマーカー画像ＩＭＧと実物マーカーＭＫ４，ＭＫ５とのアライメントを成立させる。

以上説明したように、第５実施形態のＨＭＤ１００Ｃｃでは、２次元モデルよりも特徴点の多い３次元モデルを用いてキャリブレーションが実行されるため、精度の高いキャリブレーションを実行できる。

Ｆ．第３実施形態、第４実施形態、および第５実施形態の変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｆ−１.変形例１：
第３実施形態ないし第５実施形態では、図１８ないし図２０に示すように、光学像表示部２６Ｃａ，２８Ｃａに対するカメラ６０Ｃａの位置や向きが変化するＨＭＤ１００Ｃａについて説明した。光学像表示部２６Ｃａ，２８Ｃａに対するカメラ６０Ｃａの位置が変化しないＨＭＤ１０１Ｃａについても、第３実施形態ないし第５実施形態で説明したキャリブレーションが有効である。なお、以降では、第３実施形態ないし第５実施形態で説明したＨＭＤ１００Ｃａを、「カメラ可動型ＨＭＤ」とも呼び、カメラ６０Ｃａの位置が固定であるＨＭＤ１０１Ｃａを「カメラ固定型ＨＭＤ」とも呼ぶ。たとえば、カメラ固定型ＨＭＤの場合であっても、カメラ６０Ｃａと光学像表示部２６Ｃａ、２８Ｃａとの間の空間関係を表す回転と並進に存在する誤差の分散が、同一仕様のＨＭＤの間で大きい場合には、使用者ＵＳがＡＲ画像を表示する前に毎回、上記回転と並進を含む相対関係を調整するようにキャリブレーション処理をしてもよい。

図３９は、第１設定モードで設定するパラメーターに関連する要素を示す表である。第１設定モードで変換パラメーターが設定される場合に、光学像表示部２６Ｃａ，２８Ｃａから特定オブジェクトまでの距離の選択、いずれのパラメーターを優先的に最適化するかの選択などを設定できる。

図３９に示すように、「マーカー画像ＩＭＧの表示」として、両眼表示と単眼表示との２つの表示が挙げられる。両眼表示は、右光学像表示部２６Ｃａおよび左光学像表示部２８Ｃａに同時にマーカー画像ＩＭＧを表示させて、使用者ＵＳにアライメントを実行させる場合を表す。単眼表示は、右光学像表示部２６または左光学像表示部２８にマーカー画像ＩＭＧを表示させて、使用者ＵＳに右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとを別々にアライメントを実行させる場合を表す。ＨＭＤ１００Ｃａであるカメラ可動型ＨＭＤおよびＨＭＤ１０１Ｃａであるカメラ固定型ＨＭＤでは、単眼表示を採用している。

「実物マーカー、モデルマーカーの構造」とは、マーカー画像ＩＭＧの基となるモデルマーカーおよび実物マーカーＭＫ１，ＭＫ２，ＭＫ３，ＭＫ４として、２次元のオブジェクト（図形など）を用いる「２Ｄ」と、３次元のオブジェクトを用いる「３Ｄ」とが挙げられる。ＨＭＤ１００Ｃａであるカメラ可動型ＨＭＤおよびＨＭＤ１０１Ｃａであるカメラ固定型ＨＭＤでは、第３実施形態に示すように、２次元の実物マーカーＭＫ１，ＭＫ２、および２次元のモデルマーカーを写像したマーカー画像ＩＭＧを採用している。

「モデルマーカー（マーカー画像ＩＭＧ）の位置と姿勢」は、使用者ＵＳがアライメントを実施する際に、光学像表示部２６Ｃａ、２８Ｃａに表示されるマーカー画像ＩＭＧが光学像表示部２６Ｃａ、２８Ｃａに対して固定で表示されるか、カスタマイズされるかを示している。以下、詳細に説明する。

本実施形態では、３次元で表わされたモデルマーカーを使用し、そして、光学像表示部２６Ｃａ、２８Ｃａから所定距離だけ離れたところにまっすぐに固定されているかのように当該モデルマーカーをマーカー画像ＩＭＧとしてレンダリング（描画）する。光学像表示部２６Ｃａ、２８Ｃａに対するモデルマーカーの仮想的な位置と姿勢は、既定（固定）である。それは、通常、特定のＨＭＤ１００Ｃａに対して、以下の条件に基づいて、選択される。
（１）実物マーカーＭＫ１，ＭＫ２が、使用者ＵＳとカメラ６０Ｃａとによって同時に見られる。たとえば、あるＨＭＤに搭載されたカメラは、眼鏡型の構造体の右脚に位置するかもしれない。したがって、アライメントの距離は、近すぎると、撮像画像に含まれないことがある。
（２）多くのＡＲシナリオが生じる位置と姿勢（特に距離）の場所に、上記既定の位置と姿勢を選択する。なぜなら、ＡＲ画像の重畳精度（またはキャリブレーション精度）は、アライメントが実施されたところを含む近傍領域で高く、その領域から外れると低下するからである。

しかしながら、上述の既定の位置と姿勢、すなわち既定のアライメント姿勢は、他の実施形態においては必ずしも必須ではない。他の実施形態によれば、カメラ６０Ｃａに撮像された実物マーカーＭＫ１，ＭＫ２（ＭＫ４，ＭＫ５）の位置と姿勢をトラッキングし続け、トラッキングされた位置・姿勢と、既存またはデフォルトのパラメーター群と、を用いてモデルマーカーを光学像表示部２６Ｃａ、２８Ｃａにマーカー画像ＩＭＧとして表示する。そして、トラッキングされた位置・姿勢に応じてモデルマーカー（マーカー画像ＩＭＧ）のレンダリング（描画）を更新し、アライメントに最良であると使用者ＵＳが認めるマーカー画像ＩＭＧの位置・姿勢を使用者ＵＳに決定させる。たとえば、使用者ＵＳは、実物マーカーＭＫ１，ＭＫ２がユニークに見え、かつ既存のパラメーター群（既存のキャリブレーション結果）が明白なエラーを呈する位置と姿勢（視野）を見つけるまで、実物マーカーＭＫ１，ＭＫ２の回りを動くことができる。そして、使用者ＵＳが指定したその時点で、パラメーター設定部１６７が、新しいトラッキング姿勢を用いた位置・姿勢の更新を停止する。そうすると、モデルマーカー（マーカー画像ＩＭＧ）は静止して描かれ、そして、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とが互いに一致して視認することができるように、自らの位置と姿勢へ、変える。このような方法によっても、使用者ＵＳは、アライメントを成立させることができる。

画像処理部１６０Ｃａは、モデルマーカーの表示に用いられるレンダリングエンジンを有し、そのレンダリングエンジンにおけるＯｐｅｎＧＬは、「ＰＶＭ」の行列積を利用しＣＧを生成する。ここで、Ｐは写像パラメーターであり、Ｖは、光学像表示部２６Ｃａ、２８Ｃａに対するモデルマーカーの位置と姿勢であり、Ｍはモデルマーカー（３Ｄモデル）の内部座標である。使用者ＵＳの目視によるアライメントのためにモデルマーカーを写像したマーカー画像をレンダリング（描画）したい場合には、Ｖは、例えば、第３実施形態のように、[I:0,0,d1]のように既定にし得る。なお、ここで、Iは単位行列であり、光学像表示部２６Ｃａ、２８Ｃａの座標系で表わされた回転であり、(0,0,d)のdはアライメントの距離であり、光学像表示部２６Ｃａ、２８Ｃａの座標系で表わされた並進である。

カスタマイズアライメントは、固定されたＶの使用に代えて、Ｖとして既存またはデフォルトのパラメーター群を使用することと、使用者ＵＳが実物マーカーＭＫ１，ＭＫ２の位置・姿勢のトラッキングを固定した時点での当該トラッキングされた位置・姿勢（以下、トラッキングポーズ）を利用することを意味する。

式（７５Ｈ）において、Ｔは、カメラ６０Ｃａを介したトラッキングにより得たトラッキング姿勢（カメラ６０Ｃａに対する位置と姿勢）を表し、Ｈは、現行またはデフォルトのカメラとディスプレイとの間の変換行列（空間関係）を表す。

カスタマイズアライメントの利点は、以下のように現れる。
（１）ユーザーの装着具合とＡＲシナリオの距離範囲に依存して、カメラ６０Ｃａと光学像表示部２６Ｃａ、２８Ｃａとの間の空間関係が大きく変化するカメラ可動型ＨＭＤの場合：あるケースでは、本実施形態のキャリブレーション処理が、対応する既定の距離にある大きさの異なる実物マーカーＭＫ１およびＭＫ２のいずれを用いてもうまく実施し得ない可能性がある。なぜなら、カメラ６０が実物マーカーＭＫ１，ＭＫ２を見ること（補足すること）ができない場合があるからである。実物マーカーＭＫ１，ＭＫ２は、上部または下部において、カメラ６０Ｃａの撮像画像から外れ得る。このようなケースでは、使用者ＵＳにアライメントの距離を選択するよう促すことが解決策となる。
（２）使用者ＵＳが、特定のＡＲシナリオの距離のために、よりよいＡＲ画像の重畳精度を達成することを望む場合、特に、使用者ＵＳの関心のある距離が、キャリブレーション範囲内にない場合: 使用者ＵＳが大きい距離範囲において精度を求める場合には、ユーザーは、その範囲内においてむしろ複数の距離を選択し、複数回のアライメントを実施することができる。
（３）使用者ＵＳが使用者ＵＳ自身で創作した３Ｄオブジェクトを実物マーカーとして用いる場合には、使用者ＵＳは、アライメント距離を定義（決定）する必要がある。

図３９に戻り、「調整するパラメーター」は、キャリブレーション処理において調整されるパラメーターを示している。後述するように、ＨＭＤ１００Ｃａに含まれるカメラ６０ＣａのカメラパラメーターＣＰは、必ずしも調整される必要はない。また、カメラ固定型ＨＭＤであっても、カメラ６０Ｃａと右光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係（回転と並進）を表す変換パラメーターを調整することが好ましい場合がある。

Ｆ−２．変形例２：
光学像表示部２６Ｃａ、２８Ｃａ、およびカメラ６０Ｃａのファクトリーキャリブレーション（初期キャリブレーション）：
例えば、サービスステーションにおいて、カメラ６０ＣａのカメラパラメーターＣＰ、カメラ６０Ｃａと光学像表示部２６Ｃａ、２８Ｃａとの間の空間関係（変換パラメーター）、光学像表示部２６Ｃａ、２８Ｃａの写像パラメーターの初期値（デフォルト値）が、以下のステップを有するプロセスにより、導出され得る。
１．別途、高解像度な測定用カメラのキャリブレーションをする。
２．別途、ＨＭＤ１００Ｃａに含まれるカメラ６０Ｃａのキャリブレーションをし、カメラパラメーターＣＰを導出する。
３．ＨＭＤ１００Ｃａと測定用カメラとを特別なジグ上にセットアップする。ワールド座標系として平面パターンを設置する。
４．測定用カメラについてジグ上で数か所の位置を定義する。そして、それぞれの位置で、平面パターンに対する測定用カメラの位置と姿勢を推定する。
５．光学像表示部２６Ｃａに、光学像表示部２６Ｃａに対して仮想的な位置と姿勢を有する仮想パターンを写像する。なお、光学像表示部２６Ｃａに対する仮想的な位置と姿勢は、光学像表示部２６Ｃａに対する平面パターンの位置と姿勢と同じである。
６．測定用カメラを定義された複数の位置へ移動させ、それぞれの位置で、光学像表示部２６Ｃａに表示された仮想パターンの画像を撮像する。
７．撮像された画像を用いて写像されている３Ｄ位置を再構築する。
８．２Ｄ-３Ｄの対応関係を用いて光学像表示部２６Ｃａの内部パラメーター（写像パラメーター）を推定する。
９．平面パターンに対する２つのカメラ（カメラ６０Ｃａおよび測定用カメラ）の姿勢を計算し、そしてカメラ６０Ｃａと、光学像表示部２６Ｃａとの間の変換パラメーターを解く。
１０．４〜９のステップを、光学像表示部２８Ｃａについて繰り返す。

Ｆ−３．変形例３：
ＨＭＤ１００Ｃａのカメラ可動型ＨＭＤと、ＨＭＤ１０１Ｃａのカメラ固定型ＨＭＤとでは、光学像表示部２６Ｃａ，２８Ｃａに対するカメラ６０Ｃａの位置および向きの変化の有無が異なる。そのため、カメラ固定型ＨＭＤとカメラ可動型ＨＭＤとでは、第１設定モードにおいて、優先的に最適化が実行されるパラメーターを、異なるパラメーターとして変更してもよい。例えば、カメラ可動型ＨＭＤに対して、カメラ固定型ＨＭＤでは、キャリブレーションによってカメラパラメーターＣＰを最適化してもよい。

最適化されるパラメーターとして、カメラパラメーターＣＰと、変換パラメーターとが挙げられる。カメラ固定型ＨＭＤでは、カメラパラメーターＣＰについて、ＨＭＤ１０１Ｃａの製造時の設計値を固定値として用いた上で、キャリブレーションによって最適化が実行される。最適化されるカメラパラメーターＣＰとしては、カメラ６０Ｃａの焦点距離およびカメラ６０Ｃａの主点位置（撮像画像の中心位置）である。カメラ固定型ＨＭＤでは、最適化される変換パラメーターとして、右光学像表示部２６および左光学像表示部２８ＣａのそれぞれのＸ，Ｙ，Ｚ軸のそれぞれの回転パラメーターおよび並進パラメーターを最適化する。

カメラ可動型ＨＭＤでは、カメラパラメーターＣＰについては、必ずしも最適化を行なう必要はない。カメラ可動型ＨＭＤでは、光学像表示部２６Ｃａ、２８Ｃａに対してカメラ６０Ｃａが可動であるため、カメラパラメーターのずれよりも変換パラメーターのずれがＡＲ画像の表示に大きく影響し得ることから、変換パラメーターを優先的に最適化するためである。

Ｆ−４．変形例４：
第３実施形態では、表示設定部１６５Ｃａは、位置合わせを促す文字画像を右光学像表示部２６Ｃａに表示させたが、使用者に位置合わせを促す方法としては、種々変形可能である。例えば、表示設定部１６５Ｃａは、「位置がずれています」の音声を、イヤホン３２Ｃａ，３４Ｃａを介して出力することで、使用者に位置合わせを促してもよい。また、文字画像についても種々変形可能であり、表示設定部１６５Ｃａは、文字画像に代えて、位置ずれを補正する方向を表す矢印の画像を、右光学像表示部２６Ｃａに表示させてもよい。

他の実施形態では、使用者に撮像までの時間を報知する方法として、種々変形可能である。例えば、表示設定部１６５Ｃａは、撮像までの時間を表す数字を音声として、イヤホン３２Ｃａ，３４Ｃａを介して出力することで、使用者に撮像までの時間を報知してもよい。また、表示設定部１６５Ｃａは、例えば、カウントダウンの際に、「３」という数字のみを右光学像表示部２６Ｃａに表示させることで、使用者の撮像までの時間を報知してもよい。また、表示設定部１６５Ｃａは、棒線を右光学像表示部２６Ｃａに表示させて、撮像までの時間の長さを表現するように、時間の経過と共に棒線の長さを減少させてもよい。

Ｆ−５．変形例５：
第３実施形態では、右光学像表示部２６Ｃａおよび左光学像表示部２８Ｃａのそれぞれについて、第１設定モードでは、２回のアライメントを実行することで、キャリブレーションが実行されたが、アライメントの回数については、種々変形可能である。アライメントの回数を増やすことで、ヤコビ行列を用いた各パラメーターの最適化において、より精度の高いキャリブレーションを実行するためのパラメーターが設定される。以下では、パラメーターの最適化の一例について説明する。

アライメントの回数をＡとし、実物マーカーＭＫ１，ＭＫ２の特徴要素（例えば、円の中心）の数をｎとする。カメラ６０Ｃａと画像表示部とのペア（第３実施形態ではカメラ６０Ｃａと右と左のいずれかの光学像表示部２６Ｃａ、２８Ｃａとのペア）について調整されるべきパラメーターの数をｍとすると、最適化されるべきパラメーターの数はＭであり、下記の式（７６）を満たす。

それぞれの繰り返しについて、最適化の疑似コードは、以下の通りになる。まず、それぞれのアライメントについて、カメラ６０Ｃａと右光学像表示部２６Ｃａとのペアおよびカメラ６０Ｃａと左光学像表示部２８Ｃａとのペアについて、ヤコビ行列Ｊｓを計算する。このヤコビ行列Ｊｓは、２ｎ×Ｍ行列として表すことができる。次に、２ｎ×１の残差行列ｅｓを計算する。以上をＡ個のアライメントのそれぞれについて実施する。

次に、ヤコビ行列Ｊｓを、４ｎ×Ｍの大きさの行列Ｊへとマージする。残差行列ｅｓを連結して、４ｎ×１の行列ｅを生成する。行列ｅの要素は式（６６）で表わされ得る。そして、選択されたパラメーターの増加値ｄｐを計算する。

式（７７）におけるＢは、修正行列であり、式（７７）におけるｔｒａｎｓｐｏｓｅ（Ｊ）＊Ｊがうまく調整されていない場合の収束問題を回避するために用いられる。なお、上記式において、「inverse（）」はかっこ内の行列の逆行列を意味し、「transpose（）」は、かっこ内の行列の転置行列を意味する。次に、パラメーターｐについて、式（７８）のように更新する。

更新されたパラメーターｐが、終了条件を満たす場合には、最適化を終了し、終了条件を満たさない場合には、繰り返し、最適化を行なう。

Ｆ−６．変形例６：
上記実施形態では、パラメーター設定部１６７Ｃａは、カメラパラメーターＣＰも最適化により導出したが、製造時の設計値からのばらつきが少ない場合には、カメラパラメーターＣＰについては設計値を設定し、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係だけを導出してもよい。この変形例のＨＭＤ１００Ｃａでは、最適化するパラメーターの数が少なくなる。また、製造上、ばらつきの少ないパラメーターに対して、設計値を代入することで、コスト関数Ｅをより小さくするパラメーターの最適化を行ないつつ、パラメーターを最適化するための時間を短くできる。

上記実施形態では、右光学像表示部２６Ｃａに表示されるマーカーと左光学像表示部２８Ｃａに表示されるマーカーとは、同じマーカー画像ＩＭＧであったが、マーカー画像ＩＭＧおよび実物マーカーＭＫ１，ＭＫ２については、種々変形可能である。例えば、右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとのそれぞれに表示されるマーカーの画像は、異なるマーカーの画像であってもよい。また、マーカー画像ＩＭＧおよび実物マーカーＭＫ１，ＭＫ２は、導出されるパラメーターの精度に応じて、種々変形可能である。例えば、実物マーカーＭＫ１に含まれる円の数は、１０個に限られず、１０個よりも多くてよいし、１０個よりも少なくてもよい。また、実物マーカーＭＫ１に含まれる複数の特徴点は、円の中心でなくてもよく、単に三角形の重心であってもよい。また、実物マーカーＭＫ１の内部に並行でない複数の直線が形成されて、直線の交点が複数の特徴点として特定されてもよい。また、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とは、異なるマーカーであってもよい。マーカー画像と実物マーカーとを重ねる場合に、どの部分を重ね合わせるのかが使用者に認識される範囲で、マーカー画像と実物マーカーとについては、種々変形可能である。例えば、矩形状のマーカー画像に対して、正円の実物マーカーの中心をマーカー画像の中心に合わせるような位置合わせであってもよい。

上記実施形態では、カメラ６０ＣａのカメラパラメーターＣＰが最適化される場合に、焦点距離(F_x,F_y)と、カメラ主点位置（撮像画像の中心位置）(C_x,C_y)と、が最適化されたが、これらに代えて、またはこれらとともに、カメラ６０ＣａのカメラパラメーターＣＰとして歪係数を最適化してもよい。

Ｆ−７．変形例７：
第３実施形態において定義された式（６９）のコスト関数に、以下の付加的な制約条件を加えてもよい。使用者ＵＳの目視によるアライメントは、それぞれの光学像表示部２６Ｃａ，２７Ｃａに対して別々に行われることから、そのアライメントエラーは、必ずしも同じではない。このため、左および右の光学像表示部２６Ｃａ、２８Ｃａに対するカメラ６０Ｃａの２つの並進のうち、Ｔｙ成分の推定が光学像表示部２６Ｃａ，２８Ｃａの間で大きく異なることがあり得る。２つのＴｙ成分が大きく異なる場合には、ユーザーが立体視の融合問題を経験する。カメラ６０Ｃａと光学像表示部２６Ｃａ、２８Ｃａとの間の並進Ｔｙの最大の差が所定有限値であることから、左右のＴｙ差の絶対値の関数として下記式（７９）のように定義する関数を式（６９）に加えてもよい。式（７９）を式（６９）に加えた場合には、式（６９）は、下記の式（８０）のように表される。

ここで、式（８０）に含まれる要素は、下記の式（８１）ないし式（８３）で表される通りである。

上記式（８２）および式（８３）において、「acceptable difference」は許容されるＴｙ差であり、「maximum difference」は、想定されるＴ_ｙ差の最大値である。
式（６９）は以下のようになる。

「acceptable difference」と、「maximum difference」とは経験的にセットされ得る。Ｔ_ｙ_ｌｅｆｔとＴ_ｙ_ｒｉｇｈｔとの差が大きくなればコスト関数Ｅは増大する。このため、変数ｐ（特に左右のＴ_ｙ_ｌｅｆｔ、Ｔ_ｙ_ｒｉｇｈｔ）が要求範囲内に収まるように強いられながら、コスト関数Ｅはグローバルミニマムに近づくことになる。最適化計算においては、新しいロウ（row:行列の横の並び）がヤコビ行列Ｊに追加され、ｅ行列が最適化の各繰り返しステップで生成される。上記した関数から計算された誤差は、ｅ行列の最後に追加される。ヤコビ行列Ｊにおける新しいロウは、Ｔ_ｙ_ｌｅｆｔとＴ_ｙ_ｒｉｇｈｔとを除いて、すべてのパラメーターについてゼロ値を取る。また、これら２つのパラメーターに対応するエントリー（初期値）は、それぞれ１および−１にすればよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

Ａ…回転差、ＡＰ…先端部、２２１…右ＢＬ、Ｃ１、Ｃ１０、Ｃ３、Ｃ５、Ｃ６、Ｃ９…円、Ｃ３Ｐ…円の中心、ＣＡ…蓋、ＣＤ１、ＣＤ２…座標軸、ＣＬ１、ＣＬ２…対角線、ＣＰ…カメラパラメーター、ＣＳ…カーソル画像、Ｆｘ…焦点距離、ＩＭＧ…マーカー画像、Ｊｓ…ヤコビ行列、ＬＥ…左眼、ＬＰ…左眼位置、ＭＫ１、ＭＫ１Ａ、ＭＫ２、ＭＫ３、ＭＫ４、ＭＫ５…実物マーカー、ＯＡ…外部機器、Ｐ０、Ｐ１、Ｐ２、Ｐ３…頂点、ＰＭ…空間パラメーター、ＰＭ１…第１パラメーター、ＰＭＲ…右変換パラメーター、ＰＰ…紙面、ＰＴ…ペットボトル本体、ＰＴａ…開口部、ＲＡ…円弧、ＲＣ…円弧、ＲＥ…右眼、ＲＬ…実物マーカー、ＲＰ…右眼位置、ＳＣ…外景、ＳＩＭ…設定画像、ＴＸ１、ＴＸ２、ＴＸ３…文字画像、ＵＳ…使用者、ＶＲ…視野、ＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４，ＩＣ５，ＩＣ６，ＩＣ７，ＩＣ８，ＩＣ９…アイコン、３ＤＣＧ…確認用画像、１０，１０Ｂ，１０Ｃａ，１０Ｃｂ…制御部（コントローラー）、２０、２０Ｂ、２０Ｃａ…画像表示部、２１、２１Ｂ、２１Ｃａ…右保持部、２２、２２Ｂ、２２Ｃａ…右表示駆動部、２３、２３Ｂ、２３Ｃａ…左保持部、２４、２４Ｂ、２４Ｃａ…左表示駆動部、２６、２６Ｂ、２６Ｃａ…右光学像表示部、２８、２８Ｂ、２８Ｃａ…左光学像表示部、３０…イヤホンプラグ、３２…右イヤホン、３４…左イヤホン、４０、４０Ｂ、４０Ｃａ…接続部、４２…右コード、４４…左コード、４６、４６Ｂ、４６Ｃａ…連結部材、４８…本体コード、５１、５１Ｂ、５１Ｃａ、５２、５２Ｂ、５２Ｃａ…送信部、５３、５３Ｂ、５３Ｃａ…受信部、６０、６０Ｂ、６０Ｃａ、６１…カメラ、９０Ｂ、９０Ｃａ…装着帯、９１Ｂ、９１Ｃａ…装着基部、９２Ｂ、９２Ｃａ…ベルト部、９３Ｂ、９３Ｃａ…連結部、１００、１００Ｂ、１００Ｃａ、１０１Ｃａ…ＨＭＤ（頭部装着型表示装置）、１２１、１２１Ｂ、１２１Ｃａ…ＲＯＭ、１２２、１２２Ｂ、１２２Ｃａ…ＲＡＭ、１３０、１３０Ｂ、１３０Ｃａ…電源、１３５、１３５Ｂ、１３５Ｃａ…操作部、１３８、１３８Ｂ、１３８Ｃａ、１３８Ｃｃ…マーカー画像記憶部、１４０、１４０Ｂ、１４０Ｃａ…ＣＰＵ、１５０、１５０Ｂ、１５０Ｃａ…オペレーティングシステム、１６０、１６０Ｂ、１６０Ｃａ…画像処理部、１６５、１６５Ｂ、１６５Ｃａ…表示設定部、１６６、１６６Ｂ、１６６Ｃａ…マーカー特定部、１６７、１６７Ｂ…演算部、１６７Ｃａ…パラメーター設定部、１７０、１７０Ｂ、１７０Ｃａ…音声処理部、１８０、１８０Ｂ、１８０Ｃａ…インターフェイス、１９０、１９０Ｂ、１９０Ｃａ…表示制御部、２０１、２０１Ｂ、２０１Ｃａ…右バックライト制御部、２０２、２０２Ｂ、２０２Ｃａ…左バックライト制御部、２１１、２１１Ｂ、２１１Ｃａ…右ＬＣＤ制御部、２１２、２１２Ｂ、２１２Ｃａ…左ＬＣＤ制御部、２２１、２２１Ｂ、２２１Ｃａ…右バックライト、２５１、２５１Ｂ、２５１Ｃａ…右投写光学系、２６１、２６１Ｂ、２６１Ｃａ…右導光板、２６２、２６２Ｂ。２６２Ｃａ…左導光板、ＣＳ１…カーソル画像

Claims

頭部装着型表示装置であって、
外光を透過可能であって、画像を表示可能な画像表示部と、
撮像部と、
マーカー画像のデータを記憶するマーカー画像記憶部と、
前記データに基づいて前記マーカー画像を前記画像表示部に表示させる画像設定部と、
パラメーター設定部と、を備え、
前記パラメーター設定部は、前記画像表示部に表示された前記マーカー画像と前記マーカー画像に対応した実物マーカーとが少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記撮像画像に少なくとも基づいて、前記撮像部のカメラパラメーター、および前記撮像部と前記画像表示部との間の空間関係の少なくとも一つを導出する、頭部装着型表示装置。
請求項１に記載の頭部装着型表示装置であって、
前記画像設定部は、前記パラメーター設定部が前記カメラパラメーターと前記空間関係との少なくとも一方を設定した後に、設定された前記カメラパラメーターと前記空間関係とを用いて、ＡＲ画像の位置と向きと、前記実物マーカーの位置と向きと、が対応した状態の前記ＡＲ画像が前記使用者に視認されるように、前記画像表示部に前記ＡＲ画像を表示する、頭部装着型表示装置。
請求項１または請求項２に記載の頭部装着型表示装置であって、
前記マーカー画像記憶部は、前記マーカー画像の元となる３次元モデルを前記データとして記憶しており、
前記画像設定部は、前記３次元モデルを前記マーカー画像として前記画像表示部に表示させ、
前記画像表示部に表示された前記マーカー画像と、前記３次元モデルに対応した３次元形状を有する実物マーカーと、が少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記パラメーター設定部は、前記撮像画像に少なくとも基づいて、前記カメラパラメーター、および前記空間関係の少なくとも一つを導出する、頭部装着型表示装置。
請求項１に記載の頭部装着型表示装置であって、
前記撮像部は前記画像表示部に対して可動である、頭部装着型表示装置。
外光を透過可能であって、画像を表示可能な画像表示部と、撮像部と、マーカー画像のデータを記憶するマーカー画像記憶部と、を備える頭部装着型表示装置のためのコンピュータープログラムであって、
前記データに基づいて前記マーカー画像を前記画像表示部に表示させる画像設定機能と、
パラメーター設定機能と、を頭部装着型表示装置に実現させ、
前記パラメーター設定機能は、前記画像表示部に表示された前記マーカー画像と前記マーカー画像に対応した実物マーカーとが少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記撮像画像に少なくとも基づいて、前記撮像部のカメラパラメーター、および前記撮像部と前記画像表示部との間の空間関係の少なくとも一つを導出する、コンピュータープログラム。