JP2018182570A - 視線情報共有方法および視線情報共有システム - Google Patents

Abstract

【課題】ＨＭＤのハンズフリー性を損なわずに意思疎通を的確に行う。他の端末の使用者が表示画像の注視による映像酔いを起こさずに指示を的確に出すことを可能にする。ＨＭＤの使用者が動きながらでも、他の端末の使用者からの指示を的確に把握可能にする。【解決手段】視線情報共有方法は、第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する工程と、第１端末での撮影によって動画を取得する工程（Ｓ２１）と、上記動画から、基準画像に対応する領域を検出する工程（Ｓ２２）と、第２端末において上記領域を表す画像を表示する工程（Ｓ２３）と、第２端末において表示画像に対する注視位置を求める工程（Ｓ２４）と、上記領域の検出結果等に基づいて、第１端末におけるマーカーの表示位置を算出する工程（Ｓ２５）と、第１端末において、上記表示位置にマーカーを表示する工程（Ｓ２６）とを含む。【選択図】図３０

Description

本発明は、通信回線を介して接続される複数の情報入出力端末間で、使用者の視線情報を共有する視線情報共有方法および視線情報共有システムに関する。

従来から、シースルーＨＭＤ（Head Mounted Display；ヘッドマウントディスプレイ）と呼ばれる頭部装着型のシースルー情報表示装置が知られている。このシースルーＨＭＤは、外界観察時に所望の情報を映像として付加して装着者に提供できる装置であり、大別すると、ビデオシースルー型と、光学シースルー型とがある。

ビデオシースルー型は、遮蔽型（クローズ型）の表示装置に、装着者の前方視界を撮像するカメラを付加し、装着者の前方の視界を撮像した画像に所望の映像を重ね、これらを一体的な画像として装着者に視認させる装置である。一方、光学シースルー型は、外界からの光と映像光とを重ねるコンバイナを用い、コンバイナによってこれらの光を装着者の瞳に導くことにより、装着者に映像とともに外界を直接視認させる装置である。

上記いずれのタイプのシースルーＨＭＤについても、視認される外界の像（以下、外界像とも称する）に所望の映像を重畳することによって、装着者の作業を補完して助ける活用提案がある。ＨＭＤの持つハンズフリー性と合わせて外界を観察可能とすることで、装着者に通常の作業を妨げることがなく、さらに必要な情報（例えば作業指示やマニュアル）を外界像に重畳して表示して、装着者の作業性を向上させることができる。

ＨＭＤを用いて装着者の作業を補完する例については、例えば特許文献１で提案されている。特許文献１では、作業者および指示者がビデオシースルー型のＨＭＤを装着し、作業者の前方の外界をカメラで撮像し、撮影によって取得された現実空間の画像に仮想空間の画像を合成した複合現実空間画像を遠隔地の指示者に送信して共有する。そして、表示画像に対して指示者が付加情報を追加することで、作業者に指示を伝達し、協働作業を行う。付加情報を追加する手段としては、手に持つタイプ（手持ち型、ハンディ型）の入力装置が用いられる。

特開２００６−２０９６６４号公報（請求項１、段落〔０００７〕、〔００１９〕、〔０１０２〕、図１、図２等参照）

しかし、特許文献１のように、付加情報を追加する手段として、手持ち型の入力装置を用いる場合、入力装置によって手がふさがるため、本来のＨＭＤが持つハンズフリー性が損なわれる。このため、ＨＭＤを用い、例えば、対象物のネジを実際に締める、部品を取り外すなど、手による作業が必要な場合には、その作業性が悪化する。

その他、上記のような複数人での協働作業や、指示者からの指示を受けて作業者が実作業を行う活用においては、音声や、音声入力による表示（音声を活字に変換して表示する手法）での意思疎通も考えられる。しかし、実際の対象物に対する作業箇所を特定するにあたって、「これ」、「あれ」、「そこ」などの曖昧な音声や表示による指示では、作業箇所を特定しにくい。また、詳細に意思疎通を行おうとすると、例えば、特定のボルトに対する作業を指示する際に、「右から３列目で上から２番目のボルト」、などのように、指示内容が長くなったり複雑化する。このため、音声または音声入力による表示のみで意思疎通を的確に行うことは困難である。

したがって、ＨＭＤを活用した複数人での協働・連携作業においては、ＨＭＤの有用性であるハンズフリー性を損なわずに、意思疎通を的確に行うことができる手段が求められる。

また、ＨＭＤを装着した作業者は、作業対象物に対して常に静止した状態で作業するとは限らず、作業中に横に移動したり、頭部が動くこともある。このような作業者の動きに追従して撮影された画像を指示者側の端末に送り、そこで表示するシステムを仮定したとき、表示画像としては、作業者の動きに追従して作業対象物が動く画像が表示される。特に、作業者の動きが速い場合には、表示画像中の作業対象物の動きも速くなる。この場合、指示者は、指示のために表示画像中の同一箇所（例えば作業対象物において締める指示を出したいネジ）を注視し続けることが困難となり、無理に注視し続けようとすると、注視点の移動が激しくなって映像酔いを起こしやすくなる。これでは、指示者が表示画像を見ながら作業者に的確な指示を出すことができなくなる。また、ＨＭＤを装着した作業者にとっては、作業中に動きながらでも、指示者側からの指示を的確に把握できるようにすることが望まれる。

本発明は、上記の問題点を解決するためになされたもので、その目的は、ＨＭＤのハンズフリー性を損なわずに意思疎通を的確に行うとともに、他の端末の使用者が表示画像の注視による映像酔いを起こさずに指示を的確に出すことができ、また、ＨＭＤの使用者が動きながらでも、他の端末の使用者からの指示を的確に把握することができる視線情報共有方法および視線情報共有システムを提供することにある。

本発明の一側面に係る視線情報共有方法は、通信回線を介して接続される複数の情報入出力端末を含むシステムにおける視線情報共有方法であって、前記複数の情報入出力端末は、外界を撮影して画像を取得可能なシースルー型のヘッドマウントディスプレイである第１端末と、情報の表示および使用者の視線方向の検出が可能な第２端末とを含み、該視線情報共有方法は、前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する工程と、前記第１端末での撮影によって動画を取得する工程と、前記第１端末で取得された前記動画から、前記基準画像に対応する領域を検出する工程と、前記第２端末において、検出された前記領域を表す画像を表示する工程と、前記第２端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、前記第１端末において、算出された前記表示位置に前記マーカーを表示する工程とを含む。

本発明の他の側面に係る視線情報共有システムは、通信回線を介して接続される複数の情報入出力端末を含む視線情報共有システムであって、前記複数の情報入出力端末は、第１端末および第２端末を含み、前記第１端末は、外界を撮影して画像を取得する撮像装置を含むシースルー型のヘッドマウントディスプレイであり、前記第２端末は、情報を表示する表示装置と、前記表示装置によって表示された情報に対する使用者の視線方向を検出する視線検出装置とを含み、前記複数の情報入出力端末のいずれかは、前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する保持部と、前記第１端末での撮影によって動画が取得されたときに、前記動画から、前記基準画像に対応する領域を検出する領域検出部と、前記領域検出部によって検出された前記領域を表す画像が前記第２端末で表示され、前記視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する演算部とを有し、前記第１端末は、前記演算部によって算出された前記表示位置に前記マーカーを表示する。

第１端末では、第２端末の使用者の注視位置を示すマーカーが表示されるため、第１端末の使用者は、表示される上記マーカーを見て、第２端末の使用者の意思（例えば作業箇所の指定）を把握し、それに基づいて両手で作業を行うことが可能となる。したがって、ＨＭＤで構成される第１端末のハンズフリー性を損なわずに、意思疎通を的確に行うことができる。しかも、第１端末では、第２端末の使用者の注視位置（視線方向）をマーカーという明確に視認可能な形態で示すため、音声のみで意思疎通を行う場合のように指示が曖昧となることがなく、意思疎通を的確に行うことができる。

また、第１端末の使用者が作業中に動き、それに伴って、撮影によって取得される動画中で撮影対象（例えば作業対象物）の位置が動く場合でも、第２端末では、第１端末で取得された動画のうちで、基準画像に対応する所定の領域の画像が表示される。つまり、表示画像としては、撮影対象の位置がほとんど変化しない上記領域の画像が表示される。これにより、表示画像を観察する第２端末の使用者は、映像酔いを起こしにくくなり、表示画像に基づいて、視線による指示を的確に出すことが可能となる。

また、第１端末では、基準画像に対応する領域の検出結果と、第２端末の使用者の注視位置と、第１端末の撮像特性および表示特性とに基づいて算出される位置に、上記注視位置を示すマーカーが表示されるため、第１端末の使用者が作業中に動いても、第１端末の画像の表示領域内で、第２端末で使用者が注視する位置と対応する位置（例えば作業対象物に対して同じ位置）に、上記マーカーを表示させ続けることができる。これにより、第１端末の使用者は、作業中に動きながらでも、表示されたマーカーを見て、第２端末の使用者からの視線による指示（例えば作業箇所の指定）を的確に把握して、作業を行うことが可能となる。

本発明の実施の一形態に係る視線情報共有システムの概略の構成を示す説明図である。 上記視線情報共有システムを構成する情報入出力端末の一例であるＨＭＤの概略の構成を示す正面図である。 上記ＨＭＤが備える映像表示装置の光学構成を示す断面図である。 上記ＨＭＤの詳細な構成を示すブロック図である。 上記視線情報共有システムを構成する管理サーバーの概略の構成を示すブロック図である。 作業者と指示監督者とが協働作業を行う様子を模式的に示す説明図である。 上記視線情報共有システムにおける動作の流れの一例を示すフローチャートである。 作業者の視界のイメージを示す説明図である。 指示監督者が表示映像を観察している様子を示す説明図である。 指示監督者の視線位置を示すマーカーが表示されたときの、作業者の視界のイメージを示す説明図である。 上記視線情報共有システムにおける動作の流れの他の例を示すフローチャートである。 作業者および指示監督者の両者の視線の位置が表示されたときの、作業者の視界のイメージを示す説明図である。 上記視線情報共有システムにおける動作の流れのさらに他の例を示すフローチャートである。 作業者および指示監督者の両者の視線の位置が表示されたときの、指示監督者の視界のイメージを示す説明図である。 作業者が遠距離の指示監督者から視線情報に基づく指示を受けて作業を行う様子を示す説明図である。 本発明の他の実施の形態に係る視線情報共有システムにおいて、２人の作業者が協働作業を行う様子を模式的に示す説明図である。 一方の作業者の視界のイメージを示す説明図である。 他方の作業者の視界のイメージを示す説明図である。 他方の作業者の視界画像を、一方の作業者のＨＭＤによって表示したときの、一方の作業者の視界のイメージを示す説明図である。 一方の作業者の視界画像を、他方の作業者のＨＭＤによって表示したときの、他方の作業者の視界のイメージを示す説明図である。 ２人の作業者の視線位置を示すマーカーが表示されたときの、一方の作業者の視界のイメージを示す説明図である。 ２人の作業者の視線位置を示すマーカーが表示されたときの、他方の作業者の視界のイメージを示す説明図である。 本発明のさらに他の実施の形態に係る視線情報共有システムにおいて、２人の作業者から送られて表示された映像を、指示監督者が観察している様子を模式的に示す説明図である。 ２人の作業者および指示監督者の視線位置を示すマーカーが表示されたときの、一方の作業者の視界のイメージを示す説明図である。 ２人の作業者および指示監督者の視線位置を示すマーカーが表示されたときの、他方の作業者の視界のイメージを示す説明図である。 上記視線情報共有システムを構成する情報入出力端末の他の構成を示す説明図である。 本発明の一実施例における基準画像取得処理の流れを示すフローチャートである。 基準画像取得時の一方の作業者の視界のイメージを示す説明図である。 基準画像取得時の他方の作業者の視界のイメージを示す説明図である。 上記実施例の視線情報管理システムにおいて、指示者側端末および作業者側端末での画像表示に係る処理の流れを示すフローチャートである。 上記視線情報管理システムの管理サーバーの保持部に記憶されている基準画像を複数の領域に分割した状態を示す説明図である。 上記基準画像と、上記基準画像の取得時の位置よりも作業者が一方のデバイスに近づいた状態で撮影された画像とを模式的に示す説明図である。 他方の作業者のＨＭＤにて、基準画像と注目領域の画像とが重なって表示されている状態を模式的に示す説明図である。 一方の作業者の動きが小さい場合の、パターンマッチングを行う範囲のイメージを示す説明図である。 一方の作業者の動きが大きい場合の、パターンマッチングを行う範囲のイメージを示す説明図である。 上記基準画像そのものをパターンマッチングのキーとして用いる場合のイメージを示す説明図である。 上記管理サーバーでの処理の詳細な流れを示すフローチャートである。 本発明の他の実施例における他方の作業者のＨＭＤの表示画像を示す説明図である。 本発明のさらに他の実施例における他方の作業者のＨＭＤの表示画像を示す説明図である。 本発明のさらに他の実施例における他方の作業者の視界の一例を示す説明図である。 上記他方の作業者の視界の他の例を示す説明図である。 本発明のさらに他の実施例における他方の作業者の視界の一例を示す説明図である。 図４２において、映像として表示される領域と、映像として表示されない非表示部分とを併せて示した説明図である。 他方の作業者が姿勢を変化させたときの視界を示す説明図である。 図４４において映像として表示される領域と、映像として表示されない非表示部分とを併せて示した説明図である。 本発明のさらに他の実施例の視線情報管理システムにおいて、指示者側端末および作業者側端末での画像表示に係る処理の流れを示すフローチャートである。

本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されるものではない。

（１．視線情報共有システムの構成）
図１は、本実施形態の視線情報共有システム１００の概略の構成を示す説明図である。視線情報共有システム１００は、複数の情報入出力端末２００を、通信回線３００を介して通信可能に（情報連携可能に）接続して構成されている。通信回線３００は、例えばＷｉ−Ｆｉ（登録商標）などの無線通信環境によって実現されているが、光ファイバーなどのケーブルを用いた有線の通信回線であってもよい。

複数の情報入出力端末２００は、相互に情報を入出力（送受信）することが可能である。入出力の対象となる情報には、例えば、各情報入出力端末２００で取得される撮像画像の情報（画像データ）や、各情報入出力端末２００の使用者の視線方向や視線の位置（注視位置）に関する情報（以下、単に視線情報とも称する）が含まれる。これにより、複数の情報入出力端末２００間で、使用者の視線情報を共有して、後述するように使用者の視線に基づく意思疎通が可能となる。

複数の情報入出力端末２００は、シースルー型のヘッドマウントディスプレイ（ＨＭＤ）と、管理サーバー４００（図５参照）とを含んで構成されている。ＨＭＤは、使用者の頭部に装着され、映像を虚像として使用者に視認可能に表示する頭部装着型端末である。管理サーバー４００は、ＨＭＤにて取得される情報を管理する端末である。なお、管理サーバー４００の機能をいずれかのＨＭＤに持たせて、管理サーバー４００を省略することも可能である。まず、ＨＭＤの詳細について以下に説明する。

（２．ＨＭＤの構成）
図２は、本実施形態の情報入出力端末２００の一例であるＨＭＤ２０１の概略の構成を示す正面図である。ＨＭＤ２０１は、使用者に映像を提示する映像表示装置２０２と、支持部材２０３とを含んで構成されている。支持部材２０３は、映像表示装置２０２を観察者（ＨＭＤ２０１の使用者）の眼前（例えば右眼ＥＲの前）で支持する部材であり、眼鏡のフレームやテンプルに相当する支持部２０３ａと、支持部２０３ａに取り付けられて、装着時に使用者の鼻と当接する鼻当て２０３ｂとを含む。

なお、ＨＭＤ２０１は、さらに、右眼用レンズや左眼用レンズを含み、これらが支持部材２０３で支持される構成であってもよい。また、ＨＭＤ２０１は、映像表示装置２０２を２個有し、支持部材２０３によって各映像表示装置２０２を使用者の右眼および左眼の眼前で支持する構成であってもよい。さらに、ＨＭＤ２０１は、映像表示装置２０２の位置（例えば左右方向、上下方向の各位置）や取付角度（アオリ角）を調整する位置調整機構を有していてもよい。

映像表示装置２０２は、使用者が映像とともに外界を直接観察可能な光学シースルー型ディスプレイである。すなわち、映像表示装置２０２は、外界からの光を使用者の瞳に導くことにより、使用者に外界を観察させるとともに、使用者の視野の一部に映像を虚像として表示して提供する表示光学系である。以下、映像表示装置２０２の光学構成について説明する。

図３は、映像表示装置２０２の光学構成を示す断面図である。映像表示装置２０２は、照明光学系２と、偏光板３と、偏光ビームスプリッタ（ＰＢＳ）４と、表示素子５と、接眼光学系６とを有している。照明光学系２、偏光板３、ＰＢＳ４、表示素子５、および接眼光学系６の上端部は、図２で示した筐体２０２ａ内に位置している。

なお、以下での説明の便宜上、各方向を以下のように定義しておく。図３において、接眼光学系６によって形成される光学瞳Ｐの中心（映像観察時の使用者の瞳中心）と表示素子５の表示面の中心とを光学的に結ぶ軸およびその軸の延長線を光軸（観察中心軸）とする。そして、接眼光学系６のＨＯＥ（Holographic Optical Element；ホログラフィック光学素子）２３の光軸平面に垂直な方向をＸ方向とする。なお、ＨＯＥ２３の光軸平面とは、上記光軸と一致する光線がＨＯＥ２３に入射するときの、入射光線と反射光線とを含む平面を指す。また、各光学部材の上記光軸との交点における、面法線と垂直な面内で、Ｘ方向に垂直な方向をＹ方向とする。そして、Ｘ方向およびＹ方向に垂直な方向をＺ方向とする。このような定義を用いると、例えば、表示素子５の法線と接眼光学系６の後述する２つの平行な面２１ｂ・２１ｃの法線とを含み、かつ、表示素子５の表示面の中心を含む断面は、ＹＺ断面となる。

照明光学系２は、表示素子５を照明するものであり、光源１１と、照明ミラー１２と、拡散板１３とを有している。

光源１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色に対応する光を出射するＲＧＢ一体型のＬＥＤで構成されている。複数の発光点（ＲＧＢの各発光点）は、水平方向（Ｘ方向）に略直線状に並んでいる。光源１１から出射される光の波長は、例えば、光強度のピーク波長および光強度半値の波長幅で、４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）である。なお、光源１１は、レーザ光源であってもよい。

照明ミラー１２は、光源１１から出射された光（照明光）を拡散板１３に向けて反射させるとともに、Ｙ方向に関して、光学瞳Ｐと光源１１とが略共役となるように、照明光を曲げる光学素子である。

拡散板１３は、光源１１の複数の発光点が並ぶＸ方向に入射光を例えば４０°拡散し、Ｙ方向には入射光を拡散しない一方向拡散板である。拡散板１３は、偏光板３の表面に保持されている。

偏光板３は、拡散板１３を介して入射する光のうち、所定の偏光方向の光を透過させてＰＢＳ４に導く。

ＰＢＳ４は、偏光板３を透過した光を反射型の表示素子５の方向に反射させる一方、表示素子５にて反射された光のうち、画像信号オンに対応する光（偏光板３を透過した光とは偏光方向が直交する光）を透過させる平板状の偏光分離素子であり、接眼光学系６の後述する接眼プリズム２１の光入射面２１ａに貼り付けられている。

表示素子５は、照明光学系２からの光を変調して映像を表示する表示素子であり、本実施形態では、反射型の液晶表示素子で構成されている。表示素子５はカラーフィルタを有する構成であってもよいし、光源１１のＲＧＢごとの時分割発光に同期して、発光色に対応するＲＧＢの画像が表示されるように、時分割で駆動される構成であってもよい。

表示素子５は、ＰＢＳ４からほぼ垂直に入射する光がほぼ垂直に反射されてＰＢＳ４に向かうように配置されている。これにより、反射型の表示素子に対して大きな入射角で光を入射させる構成に比べて、解像度を増大させるような光学設計が容易となる。表示素子５の表示面は長方形となっており、表示面の長手方向がＸ方向となり、短手方向がＹ方向となるように配置されている。

接眼光学系６は、表示素子５からの映像光を使用者の瞳（光学瞳Ｐ）に導くための光学系であり、非軸対称（非回転対称）な正の光学パワーを有している。この接眼光学系６は、接眼プリズム２１と、偏向プリズム２２と、ＨＯＥ２３とを有している。

接眼プリズム２１は、表示素子５からＰＢＳ４を介して入射する映像光を内部で導光する一方、外界からの光（外光）を透過させるものであり、平行平板の上端部を上端に向かうほど厚くし、下端部を下端に向かうほど薄くした形状で構成されている。

接眼プリズム２１において、ＰＢＳ４が貼り付けられる面は、表示素子５からの映像光が入射する光入射面２１ａであり、光学瞳Ｐとほぼ平行に位置して互いに対向する２つの面２１ｂ・２１ｃは、映像光を全反射によって導光する全反射面となっている。そのうち、光学瞳Ｐ側の面２１ｂは、ＨＯＥ２３で回折反射される映像光の出射面を兼ねている。

接眼プリズム２１は、その下端部に配置されるＨＯＥ２３を挟むように偏向プリズム２２と接着剤で接合されている。本実施形態では、接眼プリズム２１を構成する面のうち、ＨＯＥ２３が接する面２１ｄ以外で映像光が透過する面（光入射面２１ａ、面２１ｂ）は、平面となっている。接眼プリズム２１において、ＨＯＥ２３が接する面２１ｄは、平面であってもよいし、曲面であってもよいし、平面と曲面とを組み合わせた面であってもよい。

偏向プリズム２２は、接眼プリズム２１とＨＯＥ２３を介して貼り合わされて略平行平板を形成している。偏向プリズム２２を接眼プリズム２１と貼り合わせることで、外光が接眼プリズム２１の楔状の下端部を透過するときの屈折を偏向プリズム２２でキャンセルすることができ、外界として観察（視認）される像（外界像）に歪みが生じるのを防止することができる。

ＨＯＥ２３は、接眼プリズム２１に接して設けられ、接眼プリズム２１内部で導光された映像光を回折反射する体積位相型で反射型のホログラフィック光学素子である。ＨＯＥ２３は、回折効率のピーク波長および回折効率半値の波長幅で、例えば４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させる。すなわち、ＨＯＥ２３のＲＧＢの回折波長は、ＲＧＢの映像光の波長（光源１１の発光波長）とほぼ対応している。

上記の構成において、照明光学系２の光源１１から出射された光は、照明ミラー１２で反射され、拡散板１３にてＸ方向にのみ拡散された後、所定の偏光方向の光のみが偏光板３を透過する。そして、偏光板３を透過した光は、ＰＢＳ４で反射され、表示素子５に入射する。

表示素子５では、入射光が画像信号に応じて変調される。このとき、画像信号オンに対応する映像光は、表示素子５にて入射光とは偏光方向が直交する光に変換されて出射されるため、ＰＢＳ４を透過して接眼プリズム２１の内部に光入射面２１ａから入射する。一方、画像信号オフに対応する映像光は、表示素子５にて偏光方向が変換されずに出射されるため、ＰＢＳ４で遮断され、接眼プリズム２１の内部に入射しない。

接眼プリズム２１では、入射した映像光が接眼プリズム２１の対向する２つの面２１ｃ・２１ｂでそれぞれ１回ずつ全反射された後、ＨＯＥ２３に入射し、そこで回折反射されて面２１ｂから出射され、光学瞳Ｐに達する。したがって、この光学瞳Ｐの位置では、使用者は、表示素子５に表示された映像を虚像として観察することができる。

一方、接眼プリズム２１、偏向プリズム２２およびＨＯＥ２３は、外光をほとんど全て透過させるので、使用者は外界をシースルーで観察することができる。したがって、表示素子５に表示された映像の虚像は、使用者の視野（視界）内で、外界の一部に重なって観察されることになる。

なお、本実施形態では、表示素子５として、反射型の映像表示素子を用いているが、透過型の液晶表示素子を用い、それに応じた光学設計で映像表示装置２０２を構成してもよい。また、接眼光学系６は、ＨＭＤ２０１の右眼用レンズまたは左眼用レンズと一体的に構成されてもよいし、別体で構成されてもよい。

（３．ＨＭＤの詳細な構成）
図４は、ＨＭＤ２０１の詳細な構成を示すブロック図である。ＨＭＤ２０１は、上記した映像表示装置２０２および支持部材２０３に加えて、撮像装置３１、視線検出装置３２、画像処理部３３、通信部３４、記憶部３５、音声入力装置３６、音声出力装置３７、加速度センサ３８、操作部３９および制御部４０をさらに備えている。制御部４０は、例えば中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、映像表示装置２０２を含むＨＭＤ２０１の各部の動作を制御する。したがって、制御部４０の制御には、例えば、映像表示装置２０２の光源１１の点灯／消灯の切り替えや、表示素子５における情報の表示に関する制御も含まれる。

撮像装置３１は、外界を撮影して画像（静止画、動画）を取得可能なカメラ（デジタルカメラ、デジタルビデオカメラ）で構成されている。この撮像装置３１は、例えば図２で示した筐体２０２ａの外面に設けられているが、筐体２０２ａの内部に設けられてもよい。後者の場合、撮像装置３１の前方に、筐体２０２ａを貫通する開口部または透明な窓が設けられ、これによって撮像装置３１による前方の撮影が可能となる。

また、図２に示すように、撮像装置３１の撮像中心Ｃｏ（撮像光軸と撮像素子との交点）は、映像表示装置２０２の観察中心Ｖｏ（瞳中心）のほぼ真上に位置しており、映像表示装置２０２に対する撮像装置３１の相対位置が固定されている。また、撮像装置３１の撮像光軸は、無限遠を観察するときの使用者の視線方向と略一致している。これにより、撮像装置３１は、使用者の通常視界（前方の外界）を撮像することができる。

視線検出装置３２は、使用者の観察視線（視線方向）を検出するセンサである。視線検出装置３２は、赤外線ＬＥＤとカメラとを含んで構成されており、例えば図２で示すように、接眼光学系６の左右の縁部に設けられている。視線検出装置３２は、赤外線ＬＥＤから使用者の瞳または網膜に向けて安全な光線（例えば赤外線）を照射し、その反射光をカメラで計測することにより、使用者の視線方向を直接検知する。より具体的には、赤外線ＬＥＤで使用者の顔を照らしたときに、使用者の角膜上で赤外光が反射される位置（角膜反射の位置）を基準点とし、この角膜反射の位置に対する瞳孔の位置をカメラで（赤外線を受光して）検知することにより、使用者の視線方向を検知する。例えば、右眼の角膜反射の位置よりも瞳孔が目じり側にあれば、使用者は右側を見ており（使用者の視線が右方向を向いており）、角膜反射の位置よりも瞳孔が目頭側にあれば、使用者は左側を見ている（使用者の視線が左方向を向いている）ことを検出できる。

視線検出装置３２の数は、１個であってもよいし、複数個であってもよいが、複数個であるほうが、複数の情報に基づいて視線検知を行うことができ、検知精度が向上するため望ましい。このため、本実施形態では、図２に示すように、接眼光学系６の左右の縁部（計２か所）に視線検出装置３２を設けて、視線検出を行うようにしている。

なお、トビーテクノロジー社からは、複数の赤外光源で照明された瞳を、複数のカメラで撮像することによって視線を検知するメガネ型の視線検出装置が提案されているが、本実施形態の視線検出装置３２はこれに類する構成とすることができる。

画像処理部３３は、表示素子５に表示させる映像を画像処理によって生成する処理部であり、例えばＡＳＩＣ（application specific integrated circuit）のような特定の演算処理回路で構成される。上記の画像処理には、通常の画像処理（色補正、拡大／縮小、エッジ強調などの画像処理）のほか、後述する使用者の視線位置を示す指標（マーカー）や、他の端末から入力される撮像画像を個別に、または合成して表示素子５に表示させるための画像処理なども含まれる。

通信部３４は、ＨＭＤ２０１と他の情報入出力端末２００との間で情報の入出力を行うためのインターフェースであり、送信回路、受信回路、アンテナなどを含んで構成される。記憶部３５は、例えばフラッシュメモリなどの不揮発性メモリで構成され、他の端末から出力された各種の情報（撮像画像の情報（画像データ）、視線位置を示す情報を含む）や、制御部４０の動作プログラムなどを記憶する。

音声入力装置３６は、例えばマイクなどで構成される音声情報の入力装置である。音声入力装置３６に入力された音声情報は、通信部３４を介して他の端末に出力される。音声出力装置３７は、例えばスピーカーやイヤホンなどで構成される音声情報の出力装置である。他の端末から通信部３４を介して入力された音声情報は、音声出力装置３７から出力される。加速度センサ３８は、ＨＭＤ２０１の使用者の姿勢変化を検出するセンサ（検出器）である。加速度センサ３８のタイプとしては、静電容量型、圧電型、抵抗型などがあるが、いずれのタイプであってもよい。

操作部３９は、ＨＭＤ２０１の各種設定や指示（例えば後述する範囲確認用マーカーＦ・Ｆ’（図２８、図２９参照）の表示の拡大／縮小の設定、後述する基準画像の更新指示など）を入力するための入力部である。このような操作部３９は、例えばＨＭＤ２０１の支持部材２０３（図２参照）に取り付けられる入力ボタンで構成されてもよいし、ＨＭＤ２０１と有線接続されるか、無線通信が可能な外付けの入力部で構成されてもよい。なお、操作部３９は、基本的に、ＨＭＤ２０１の各種設定等を行うときのみ、使用者によって操作されるものであり、使用者の作業時にハンズフリー性が損なわれるほどの操作が必要とされるものではない。

なお、複数の情報入出力端末２００は、頭部装着型以外の情報入出力端末を含んでいてもよい。例えば、複数の情報入出力端末２００は、室内に設置の表示装置（例えば液晶表示装置や有機ＥＬ（Electro-Luminescence）表示装置）に、上記の視線検出装置３２などを組み合わせた情報入出力端末を含んでいてもよい。

（４．管理サーバーについて）
次に、管理サーバー４００の詳細について説明する。図５は、情報入出力端末２００としての管理サーバー４００の概略の構成を示すブロック図である。管理サーバー４００は、保持部４０１と、領域検出部４０２と、演算部４０３と、通信部４０４と、制御部４０５とを含んで構成されている。制御部４０５は、例えばＣＰＵで構成されており、管理サーバー４００の各部の動作を制御する。このような管理サーバー４００は、例えば汎用のパーソナルコンピュータで構成することができる。

保持部４０１は、例えばハードディスクで構成され、領域検出部４０２および演算部４０３で取得された情報、他の端末から出力された各種の情報（撮像画像の情報（画像データ）、視線位置を示す情報を含む）、制御部４０５の動作プログラムなどを記憶する大容量のメモリである。特に、保持部４０１は、後述する実施例で示すように、ＨＭＤ２０１の使用者（装着者）が静止した状態で、ＨＤＭ２０１での撮影によって事前に取得された静止画の一部を、基準画像として保持する。

領域検出部４０２は、ＨＭＤ２０１（特に撮像装置３１）での撮影によって動画が取得されたときに、その動画から、上記基準画像に対応する領域を検出するブロックであり、例えばＣＰＵまたはＧＰＵ（Graphics Processing Unit）などの演算処理装置で構成される。なお、制御部４０５が領域検出部４０２の機能を兼ねていてもよい。上記領域の検出は、例えばパターンマッチング処理によって行われる。パターンマッチング処理としては、ＮＣＣ（Normalized Cross Correlation；正規化相互相関係数）、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）などの従来の公知の方法を使用することができる。

演算部４０３は、ＨＭＤ２０１に表示するマーカー（後述する）の位置を算出するブロックであり、領域検出部４０２と同様に、例えばＣＰＵまたはＧＰＵなどの演算処理装置で構成される。なお、制御部４０５が演算部４０３の機能を兼ねていてもよい。また、領域検出部４０２および演算部４０３は、制御部４０５とは別個で、一体的に（１つの演算処理装置で）実現されてもよく、制御部４０５とともに一体的に実現されてもよい。

通信部４０４は、管理サーバー４００と他の情報入出力端末２００との間で情報の入出力を行うためのインターフェースであり、送信回路、受信回路、アンテナなどを含んで構成される。

（５．視線情報共有システムの活用例について）
次に、上記した視線情報共有システム１００の活用例について説明する。なお、ここでは、説明を簡単にするため、２台のＨＭＤ２０１Ａ・２０１Ｂが上述の管理サーバー４００を介さずに、情報を直接やり取りする例について説明する。また、ここでは、作業中に、ＨＭＤ２０１Ａ・２０１Ｂを使用する使用者の移動（すなわち、ＨＭＤ２０１Ａ・２０１Ｂの移動）はないものとする。

＜活用例１＞
図６は、作業者ＰＡと指示監督者ＰＢとがそれぞれＨＭＤ２０１Ａ・２０１Ｂを頭部に装着して協働作業を行う様子を模式的に示している。作業者ＰＡおよび指示監督者ＰＢは、それぞれＨＭＤ２０１Ａ・２０１Ｂの使用者である。なお、ＨＭＤ２０１Ａ・２０１Ｂの構成は、上述したＨＭＤ２０１と全く同じである。また、ＨＭＤ２０１Ａ・２０１Ｂに含まれる各構成要素を互いに区別する場合は、例えば映像表示装置２０２Ａ・２０２Ｂのように、各構成要素の符号の後に「Ａ」または「Ｂ」の記号を付す。

ここでは、例として、テーブルＴ上に載置された対象物であるデバイスＯＢに対して、メンテナンスのためにカバーを外す作業を想定する。また、テーブルＴの周囲三方（作業者ＰＡから見て奥側、左側、右側）は、作り付けの壁Ｗで囲まれており、作業者ＰＡがテーブルＴの前に立ち、デバイスＯＢに対して作業を行う状況では、作業者ＰＡの背後に立つ指示監督者ＰＢからは、デバイスＯＢへの直接のアクセスや視認が困難であるとする。

また、ＨＭＤ２０１Ａ・２０１Ｂは、相互に情報連携が可能なように通信状態下（例えばＷｉ−Ｆｉ（登録商標）によって通信可能な状態）にあり、相互の情報を送受信可能である。このとき、ＨＭＤ２０１Ａ・２０１Ｂ間の通信は、それぞれの制御部４０の制御のもとで、それぞれの通信部３４を介して行われるものとする。

図７は、本実施形態の視線情報共有システム１００における動作の流れの一例を示すフローチャートである。以下、このフローチャートを参照しながら説明する。

まず、作業者ＰＡのＨＭＤ２０１Ａ（第１端末）は、ＨＭＤ２０１Ａの視線カメラである撮像装置３１にて取得される撮像画像の情報を、ＨＭＤ２０１Ａの通信部３４を介して指示監督者ＰＢのＨＭＤ２０１Ｂ（第２端末）に出力する（Ｓ１；第１の工程）。

図８は、作業者ＰＡの視界のイメージを示している。破線で示した矩形の領域ＩＭ（２０１Ａ）は、作業者ＰＡが装着したＨＭＤ２０１Ａの撮像装置３１の撮像範囲を示している。作業者ＰＡには、デバイスＯＢ、作業者ＰＡの手（右手ＲＨ（ＰＡ）、左手ＬＨ（ＰＡ））、作業者ＰＡの手に持たれた工具（ドライバＤＲ（ＰＡ））が見えており、作業者ＰＡの前方の視界がＨＭＤ２０１Ａの撮像装置３１によって撮像されている。ＨＭＤ２０１Ａは、このような作業者ＰＡの視点から見た撮像装置３１の撮像画像の情報（画像データ）を、ＨＭＤ２０１Ｂに出力する。

続いて、ＨＭＤ２０１Ｂは、映像表示装置２０２Ｂにより、ＨＭＤ２０１Ａから入力された撮像画像の情報に基づいて、上記撮像画像を指示監督者ＰＢに視認可能に表示する（Ｓ２；第２の工程）。

図９は、指示監督者ＰＢのＨＭＤ２０１Ｂの映像表示装置２０２Ｂによって表示された映像（虚像）Ｖ（２０２Ｂ）を、指示監督者ＰＢが観察している様子を示している。指示監督者ＰＢは、図６で示したように、デバイスＯＢに向かって実作業をしている作業者ＰＡの背後に立っているため、上述のように、実際の作業者ＰＡの作業やデバイスＯＢを直接観察することが困難である。しかし、ＨＭＤ２０１Ａで撮像され、ＨＭＤ２０１Ｂに送信されて表示された映像Ｖ（２０２Ｂ）を指示監督者ＰＢが観察することにより、指示監督者ＰＢは作業者ＰＡの実際の作業を確認することができる。

次に、映像表示装置２０２Ｂによって表示された撮像画像（映像Ｖ（２０２Ｂ））に対する指示監督者ＰＢの視線方向を、ＨＭＤ２０１Ｂの視線検出装置３２によって検出する（Ｓ３；第３の工程）。

視線検出装置３２は、図２で示したように、映像表示装置２０２（接眼光学系６）に取り付けられており、映像表示装置２０２に対する相対位置が固定されている。このため、ＨＭＤ２０１Ｂの視線検出装置３２は、映像表示装置２０２Ｂにて表示された映像Ｖ（２０２Ｂ）のどの部分を指示監督者ＰＢが見ているのかを検出することができる。

次に、ＨＭＤ２０１Ｂは、上記視線検出装置３２によって検出された指示監督者ＰＢの視線方向に関する視線情報を、ＨＭＤ２０１Ｂの通信部３４を介してＨＭＤ２０１Ａに出力する（Ｓ４；第４の工程）。そして、ＨＭＤ２０１Ａは、映像表示装置２０２Ａにより、ＨＭＤ２０１Ｂから入力された視線情報に基づいて、指示監督者ＰＢの視線の位置を、ＨＭＤ２０１Ａによる映像の表示領域内で対応する位置に、作業者ＰＡに視認可能に表示する（Ｓ５；第５の工程）。

作業者ＰＡのＨＭＤ２０１Ａでは、撮像装置３１は映像表示装置２０２に対して相対位置が固定されており、指示監督者ＰＢのＨＭＤ２０１Ｂで表示された撮像画像（映像Ｖ（２０２Ｂ））は、元々作業者ＰＡのＨＭＤ２０１Ａで取得された撮像画像である。このため、ＨＭＤ２０１Ｂで表示された撮像画像に対する指示監督者ＰＢの注視点（指示監督者ＰＢの視線方向の先にある点）は、作業者ＰＡのＨＭＤ２０１Ａにおいて、撮像装置３１と相対位置が既知である映像表示装置２０２Ａの映像（虚像）の表示領域全体における任意の位置と対応関係を持つ。したがって、作業者ＰＡのＨＭＤ２０１Ａにて、指示監督者ＰＢの視線の位置を、映像表示装置２０２Ａの表示領域内の所定の位置（指示監督者ＰＢの注視点と対応する位置）に即座に表示することが可能となる。

図１０は、作業者ＰＡがＨＭＤ２０１Ａを介して外界を見ているときの、作業者ＰＡの視界のイメージを示す。ＨＭＤ２０１Ａでは、指示監督者ＰＢの視線の位置を示すマーカーＭＢを表示することにより、指示監督者ＰＢがデバイスＯＢのどの部分を見ているかを作業者ＰＡに提示することができる。作業者ＰＡは、表示されたマーカーＭＢ（指示監督者ＰＢの視線の位置）を見て、マーカーＭＢが示すネジを緩める作業を行うことができる。このように、指示監督者ＰＢの視線の位置をＨＭＤ２０１Ａにて表示することで、作業者ＰＡと指示監督者ＰＢとで視線に基づく意思疎通を行うことができ、作業を的確かつ効率よく行うことが可能となる。

このとき、作業者ＰＡおよび指示監督者ＰＢは隣接しているため（図６参照）、例えば指示監督者ＰＢは、「このネジを緩めろ！」などの音声を発するようにしてもよい。これにより、作業者ＰＡは、ＨＭＤ２０１Ａで表示されたマーカーＭＢを見ながら、「このネジを緩めればよい」ということを容易に認識することができる。つまり、指示監督者ＰＢは、視線と音声とにより、正確な指示を作業者ＰＡに与えることができ、この指示に基づいて作業者ＰＡは作業を正確に行うことができる。

以上のように、本実施形態では、作業者ＰＡのＨＭＤ２０１Ａの視界を示す撮像画像を指示監督者ＰＢのＨＭＤ２０１Ｂに出力し、ＨＭＤ２０１Ｂにてその撮像画像を表示し、その撮像画像に対する指示監督者ＰＢの視線を検出してその視線情報をＨＭＤ２０１Ａに出力する。これにより、ＨＭＤ２０１Ａは、撮像画像に対する指示監督者ＰＢの視線の位置とＨＭＤ２０１Ａの表示映像で対応する位置に、指示監督者ＰＢの視線の位置をマーカーＭＢで即座に表示することができる。したがって、複数のＨＭＤ２０１Ａ・２０１Ｂを用いた協働作業において、作業者ＰＡおよび指示監督者ＰＢの相互の空間位置の把握や、視線情報の変換（位置座標の変換）などの複雑な処理を必要とすることなく、簡便な方法で、視線に基づく意思疎通を行うことが可能となる。

また、指示監督者ＰＢがデバイスＯＢを直接視認できない状況であっても、指示監督者ＰＢは、作業者ＰＡのＨＭＤ２０１Ａから出力された撮像画像（表示された映像Ｖ（２０２Ｂ））に基づいてデバイスＯＢを把握することができる。このため、撮像画像に対する指示監督者ＰＢの視線情報を作業者ＰＡのＨＭＤ２０１Ａに出力し、ＨＭＤ２０１Ａにて指示監督者ＰＢの視線の位置を表示させることにより、作業者ＰＡは、表示された視線位置に基づいてデバイスＯＢに対して的確に作業を行うことが可能となる。つまり、指示監督者ＰＢがデバイスＯＢを視認できないような状況であっても、視線に基づく的確な意思疎通および作業が可能となる。

図１１は、上記の視線情報共有システム１００における動作の流れの他の例を示すフローチャートである。ＨＭＤ２０１Ａは、作業者ＰＡ自身の視線方向を、ＨＭＤ２０１Ａの視線検出装置３２によって検出してよい（Ｓ６；第６の工程）。そして、上記したＳ５の工程では、ＨＭＤ２０１Ａにて、指示監督者ＰＢの視線の位置と合わせて、Ｓ６での検出結果に基づく作業者ＰＡの視線の位置を表示してもよい。

図１２は、ＨＭＤ２０１Ａにて、作業者ＰＡおよび指示監督者ＰＢの両者の視線の位置が表示されたときの、作業者ＰＡの視界のイメージを示している。図１２では、作業者ＰＡの視線の位置をマーカーＭＡで示し、指示監督者ＰＢの視線の位置をマーカーＭＢで示している。ただし、マーカーＭＡ・ＭＢを互いに区別するために、ここでは、マーカーＭＡ・ＭＢの形状を互いに異ならせている。より具体的には、自己（作業者ＰＡ）の視線を示すマーカーＭＡを四角形で表示し、他者（指示監督者ＰＢ）の視線を示すマーカーＭＢを円形で表示している。なお、マーカーＭＡ・ＭＢの表示方法はこれに限定されず、例えば互いに色を異ならせたり、互いに線種（実線、破線など）を異ならせたり、「指示監督者」、「作業者」などの文字をマーカーに並記したり、形状、線種、色、文字のいずれかを組み合わせるなどにより、マーカーＭＡ・ＭＢを互いに区別して表示してもよい。

このように、作業者ＰＡのＨＭＤ２０１Ａにおいて、指示監督者ＰＢの視線の位置（マーカーＭＢ）と合わせて、作業者ＰＡの視線の位置（マーカーＭＡ）を表示することにより、作業者ＰＡは、デバイスＯＢに対して自分が見ている箇所（作業を行おうとする箇所）と指示監督者ＰＢが見ている箇所（作業を指示する箇所）とを同時に把握して、これらの一致／不一致を即座に把握することができる。そして、不一致の場合、作業者ＰＡは、音声を発して確認するなど、適切な措置をとることが可能となる。したがって、作業者ＰＡは、指示監督者ＰＢとの間で、意思疎通をより正確に行うことが可能となる。

図１３は、上記の視線情報共有システム１００における動作の流れのさらに他の例を示すフローチャートである。ＨＭＤ２０１Ａは、Ｓ６の工程で検出した作業者ＰＡの視線情報を、指示監督者ＰＢのＨＭＤ２０１Ｂに出力してもよい（Ｓ７；第７の工程）。そして、ＨＭＤ２０１Ｂでは、ＨＭＤ２０１Ａから出力された撮像画像に、Ｓ７の工程で取得された作業者ＰＡの視線の位置と、Ｓ３の工程での検出結果に基づく指示監督者ＰＢの視線の位置とを合わせて表示してもよい（Ｓ８；第８の工程）。

図１４は、ＨＭＤ２０１Ｂにて、作業者ＰＡおよび指示監督者ＰＢの両者の視線の位置が表示されたときの、指示監督者ＰＢの視界のイメージを示している。なお、図１４では、自己（指示監督者ＰＢ）の視線を示すマーカーＭＢを四角形で表示し、他者（作業者ＰＡ）の視線を示すマーカーＭＢを円形で表示している。図１２と図１４とでは、映像を見る主体が作業者ＰＡと指示監督者ＰＢとで異なるため、例えば同じ作業者ＰＡの視線位置を示すマーカーＭＡであっても、その形状は図１２と図１４とで異なっている。しかし、映像を見る主体に対応するマーカーを四角形で表示し、他者のマーカーを円形で表示している点では、図１２と図１４とは共通している。

このように、指示監督者ＰＢのＨＭＤ２０１Ｂにおいて、作業者ＰＡのＨＭＤ２０１Ａから出力される撮像画像に、作業者ＰＡの視線の位置（マーカーＭＡ）と、指示監督者ＰＢの視線の位置（マーカーＭＢ）とを合わせて表示することにより、指示監督者ＰＢは、デバイスＯＢに対して自分が見ている箇所（作業を指示したい箇所）と作業者ＰＡが見ている箇所（作業を行おうとする箇所）とを同時に把握して、これらの一致／不一致を即座に把握することができる。そして、不一致の場合、指示監督者ＰＢは、音声を発して指示を追加するなど、適切な措置をとることが可能となる。したがって、指示監督者ＰＢは、作業者ＰＡとの間で意思疎通をより正確に行うことが可能となる。また、指示監督者ＰＢは、マーカーＭＢを見て、デバイスＯＢに対して作業を指定したい箇所を自身で確認しながら、作業者ＰＡに対して視線による指示を正確に出すことができる。

また、図１２に示すように、作業者ＰＡのＨＭＤ２０１Ａにおいて、作業者ＰＡの視線の位置と、指示監督者ＰＢの視線の位置とは、異なるパターン（マーカーＭＡ・ＭＢ）で表示される。同様に、図１４に示すように、指示監督者ＰＢのＨＭＤ２０１Ｂにおいても、作業者ＰＡの視線の位置と、指示監督者ＰＢの視線の位置とは、異なるパターン（マーカーＭＡ・ＭＢ）で表示される。このような表示により、作業者ＰＡおよび指示監督者ＰＢは、それぞれのＨＭＤ２１０Ａ・２０１Ｂにおいて、相互の視線位置を容易に区別して把握することができ、これによって迅速な意思疎通が可能となる。

なお、以上では、指示監督者ＰＢのＨＭＤ２０１Ｂは、光学シースルー型の映像表示装置２０２を用いて構成されているが、指示監督者ＰＢは作業者ＰＡの背後に立ち、デバイスＯＢを直接視認することが困難であるため、光学的にシースルーである必要はない。したがって、ＨＭＤ２０１Ｂは、ビデオシースルー型の映像表示装置２０２を用いて構成されていてもよい。ビデオシースルー型の映像表示装置２０２は、遮蔽型ディスプレイを用い、撮像装置３１によって撮像される外界の像（撮像画像）を映像と一体的に使用者に視認可能に表示する表示装置である。上記の遮蔽型ディスプレイは、上述した接眼光学系６の外界側に遮蔽板を配置することによって実現できる。

以上では、図６で示したように、作業者ＰＡおよび指示監督者ＰＢが近距離に位置している場合を想定したが、図１５に示すように、作業者ＰＡおよび指示監督者ＰＢが遠距離に位置していてもよい。例えば、指示監督者ＰＢから数百キロ離れた場所で作業者ＰＡが作業を行う場合でも、本実施形態のシステムを適用して作業者ＰＡが指示監督者ＰＢから視線情報に基づく指示を、通信回線３００（図１参照）を介して受けることにより、本実施形態と同様の効果を得ることができる。

このとき、ＨＭＤ２０１Ａ・２０１Ｂ間で、図４で示した音声入力装置３６および音声出力装置３７により、「これ」、「あれ」、「このネジを緩めろ！」、「了解しました！」などの音声情報が入出力されてもよい。この場合、指示監督者ＰＢの視線情報に加えて、音声情報を用いた意思疎通が可能となるため、意思疎通がさらに簡便となる。また、視線情報の内容を音声情報で補足できるため、意思疎通の精度もさらに向上する。

以上では、撮像画像の出力が、ＨＭＤ２０１ＡからＨＭＤ２０１Ｂへの一方向である場合について説明したが、双方向である場合も、本実施形態の構成を適用して同様の効果を得ることができる。以下、その具体例について、活用例２として説明する。

＜活用例２＞
図１６は、作業者ＰＡと作業者ＰＣとがそれぞれＨＭＤ２０１Ａ・２０１Ｃを頭部に装着して協働作業を行う様子を模式的に示している。作業者ＰＡおよび作業者ＰＣは、それぞれＨＭＤ２０１Ａ・２０１Ｃの使用者である。なお、ＨＭＤ２０１Ａ・２０１Ｃの構成は、活用例１で説明したＨＭＤ２０１（図２〜図４等参照）と全く同じである。また、ＨＭＤ２０１Ａ・２０１Ｃに含まれる各構成要素を互いに区別する場合は、例えば映像表示装置２０２Ａ・２０２Ｃのように、各構成要素の符号の後に「Ａ」または「Ｃ」の記号を付す。

ここでは、例として、工作室の中央のテーブルＴ上に、対象物であるデバイスＯＢが載置されており、このデバイスＯＢに対して、複数の作業者である作業者ＰＡおよび作業者ＰＣがメンテナンスを実行する場合を想定する。

また、ＨＭＤ２０１Ａ・２０１Ｃは、相互に情報連携が可能なように通信状態下（例えばＷｉ−Ｆｉ（登録商標）によって通信可能な状態）にあり、相互の情報を送受信可能である。このとき、ＨＭＤ２０１Ａ・２０１Ｃ間の通信は、それぞれの制御部４０の制御のもとで、それぞれの通信部３４を介して行われるものとする。

活用例２では、図７で示したＳ１〜Ｓ５の工程を、作業者ＰＡのＨＭＤ２０１Ａと作業者ＰＣのＨＭＤ２０１Ｃとの間で相互に行う。以下、より具体的に説明する。

《撮像画像の情報の出力》
一の情報入出力端末であるＨＭＤ２０１Ａは、ＨＭＤ２０１Ａの撮像装置３１にて取得される撮像画像の情報を、他の情報入出力端末であるＨＭＤ２０１Ｃに出力する。同様に、ＨＭＤ２０１Ｃは、ＨＭＤ２０１Ｃの撮像装置３１にて取得される撮像画像の情報を、ＨＭＤ２０１Ａに出力する。

図１７は、作業者ＰＡの視界のイメージを示している。破線で示した矩形の領域ＩＭ（２０１Ａ）は、作業者ＰＡが装着したＨＭＤ２０１Ａの撮像装置３１の撮像範囲を示している。作業者ＰＡには、デバイスＯＢ、作業者ＰＡの手（右手ＲＨ（ＰＡ）、左手ＬＨ（ＰＡ））、作業者ＰＡの手に持たれた工具（ドライバＤＲ（ＰＡ））、作業者ＰＣの手（右手ＲＨ（ＰＣ）、左手ＬＨ（ＰＣ））が見えており、作業者ＰＡの視界がＨＭＤ２０１Ａの撮像装置３１によって撮像されている。ＨＭＤ２０１Ａは、このような作業者ＰＡの視点から見た撮像装置３１の撮像画像の情報（画像データ）を、ＨＭＤ２０１Ａの通信部３４を介してＨＭＤ２０１Ｃに出力する。

一方、図１８は、作業者ＰＣの視界のイメージを示している。破線で示した矩形の領域ＩＭ（２０１Ｃ）は、作業者ＰＣが装着したＨＭＤ２０１Ｃの撮像装置３１の撮像範囲を示している。作業者ＰＣには、デバイスＯＢ、作業者ＰＡの手（右手ＲＨ（ＰＡ）、左手ＬＨ（ＰＡ））、作業者ＰＡの手に持たれた工具（ドライバＤＲ（ＰＡ））、作業者ＰＣの手（右手ＲＨ（ＰＣ）、左手ＬＨ（ＰＣ））が見えており、作業者ＰＣの視界がＨＭＤ２０１Ｃの撮像装置３１によって撮像されている。ＨＭＤ２０１Ｃは、このような作業者ＰＣの視点から見た撮像装置３１の撮像画像の情報（画像データ）を、ＨＭＤ２０１Ｃの通信部３４を介してＨＭＤ２０１Ａに出力する。

《撮像画像の表示》
ＨＭＤ２０１Ｃは、映像表示装置２０２Ｃにより、ＨＭＤ２０１Ａから入力された撮像画像の情報に基づいて、上記撮像画像をＨＭＤ２０１Ｃの作業者ＰＣに視認可能に表示する。同様に、ＨＭＤ２０１Ａは、映像表示装置２０２Ａにより、ＨＭＤ２０１Ｃから入力された撮像画像の情報に基づいて、上記撮像画像をＨＭＤ２０１Ａの作業者ＰＡに視認可能に表示する。

図１９は、作業者ＰＣのＨＭＤ２０１Ｃで撮像されて出力された画像（視界画像）を、作業者ＰＡのＨＭＤ２０１Ａの映像表示装置２０２Ａにて、映像（虚像）Ｖ（２０２Ａ）として表示したときの作業者ＰＡの視界を示している。また、図２０は、作業者ＰＡのＨＭＤ２０１Ａで撮像されて出力された画像（視界画像）を、作業者ＰＣのＨＭＤ２０１Ｃの映像表示装置２０２Ｃにて、映像（虚像）Ｖ（２０２Ｃ）として表示したときの作業者ＰＣの視界を示している。このように、ＨＭＤ２０１Ａ・２０１Ｃでは、各々の撮像装置３１で撮像された視界画像を相互に入出力し、入力された視界画像を映像（虚像）として表示する。これにより、作業者ＰＡは、自身が装着しているＨＭＤ２０１Ａにて、作業者ＰＣの視界画像を観察することができ、また、作業者ＰＣは、自身が装着しているＨＭＤ２０１Ｃにて、作業者ＰＡの視界画像を観察することができる。

特に、図１９で示したように、デバイスＯＢ、作業者ＰＡの手、ドライバＤＲ（ＰＡ）、作業者ＰＣの手は、作業者ＰＡの実際の視界内のリアルな物体である。また、図２０で示したように、デバイスＯＢ、作業者ＰＡの手、ドライバＤＲ（ＰＡ）、作業者ＰＣの手も、作業者ＰＣの実際の視界内のリアルな物体である。このような視界画像をＨＭＤ２０１Ａ・２０１Ｃの相互間で入出力して表示することにより、作業者ＰＡおよび作業者ＰＣは、各々の視界（視線方向の視野）を相互に共有して、各々の視界内のリアルな物体を視認することができる。

なお、ＨＭＤ２０１Ａで表示される映像Ｖ（２０２Ａ）は、映像表示装置２０２Ａによって虚像として表示可能な領域の一部であって、上記領域の中央以外に表示される（表示素子５では、表示素子５の表示面の一部であって、上記表示面の中央以外に映像が表示される）。作業者ＰＡがデバイスＯＢに対して作業を行うとき、作業者ＰＡは視界の中央にデバイスＯＢを位置させて作業を行うのが通常と考えられる。したがって、作業者ＰＡの作業時に、映像Ｖ（２０２Ａ）とデバイスＯＢとが重なって視認されて、デバイスＯＢに対する作業性が低下する（作業がしにくくなる）のを回避することができる。同様の観点から、ＨＭＤ２０１Ｃで表示される映像Ｖ（２０２Ｃ）も、映像表示装置２０２Ｃによって虚像として表示可能な領域の一部であって、上記領域の中央以外に表示される。

《撮像画像に対する視線方向の検出》
ＨＭＤ２０２Ｃは、映像表示装置２０２Ｃによって表示された撮像画像（映像Ｖ（２０２Ｃ））に対する作業者ＰＣの視線方向を、ＨＭＤ２０２Ｃの視線検出装置３２によって検出する。同様に、ＨＭＤ２０２Ａは、映像表示装置２０２Ａによって表示された撮像画像（映像Ｖ（２０２Ａ））に対する作業者ＰＡの視線方向を、ＨＭＤ２０２Ａの視線検出装置３２によって検出する。

視線検出装置３２は、図２で示したように、映像表示装置２０２（接眼光学系６）に取り付けられており、映像表示装置２０２に対する相対位置が固定されている。このため、ＨＭＤ２０１Ｃの視線検出装置３２は、映像表示装置２０２Ｃにて表示された映像Ｖ（２０２Ｃ）のどの部分を作業者ＰＣが見ているのかを検出することができる。同様に、ＨＭＤ２０１Ａの視線検出装置３２は、映像表示装置２０２Ａにて表示された映像Ｖ（２０２Ａ）のどの部分を作業者ＰＡが見ているのかを検出することができる。

《視線情報の出力、視線の位置の表示》
ＨＭＤ２０１Ｃは、検出した作業者ＰＣの視線方向に関する視線情報を、ＨＭＤ２０１Ｃの通信部３４を介してＨＭＤ２０１Ａに出力する。そして、ＨＭＤ２０１Ａは、映像表示装置２０２Ａにより、ＨＭＤ２０１Ｃから入力された視線情報に基づいて、作業者ＰＣの視線の位置を、作業者ＰＡに視認可能に表示する。同様に、ＨＭＤ２０１Ａは、検出した作業者ＰＡの視線方向に関する視線情報を、ＨＭＤ２０１Ａの通信部３４を介してＨＭＤ２０１Ｃに出力する。そして、ＨＭＤ２０１Ｃは、映像表示装置２０２Ｃにより、ＨＭＤ２０１Ａから入力された視線情報に基づいて、作業者ＰＡの視線の位置を、作業者ＰＣに視認可能に表示する。

作業者ＰＡのＨＭＤ２０１Ａでは、撮像装置３１は映像表示装置２０２に対して相対位置が固定されており、作業者ＰＣのＨＭＤ２０１Ｃで表示された撮像画像（映像Ｖ（２０２Ｃ））は、元々作業者ＰＡのＨＭＤ２０１Ａで取得された撮像画像である。このため、ＨＭＤ２０１Ｃで表示されたＨＭＤ２０１Ａの撮像画像に対する作業者ＰＣの注視点（作業者ＰＣの視線方向の先にある点）は、作業者ＰＡのＨＭＤ２０１Ａにおいて、撮像装置３１と相対位置が既知である映像表示装置２０２Ａの映像の表示領域全体（作業者ＰＡの視界範囲とほぼ等しい）における任意の位置と対応関係を持つ。したがって、作業者ＰＡのＨＭＤ２０１Ａにて、作業者ＰＣの視線の位置を、映像表示装置２０２Ａの表示領域内の所定の位置（作業者ＰＣの注視点と対応する位置）に即座に表示することが可能となる。

同様に、作業者ＰＣのＨＭＤ２０１Ｃでは、撮像装置３１は映像表示装置２０２に対して相対位置が固定されており、作業者ＰＡのＨＭＤ２０１Ａで表示された撮像画像（映像Ｖ（２０２Ａ））は、元々作業者ＰＣのＨＭＤ２０１Ｃで取得された撮像画像である。このため、ＨＭＤ２０１Ａで表示された撮像画像に対する作業者ＰＡの注視点（作業者ＰＡの視線方向の先にある点）は、作業者ＰＣのＨＭＤ２０１Ｃにおいて、撮像装置３１と相対位置が既知である映像表示装置２０２Ｃの表示領域全体（作業者ＰＣの視界範囲とほぼ等しい）における任意の位置と対応関係を持つ。したがって、作業者ＰＣのＨＭＤ２０１Ｃにて、作業者ＰＡの視線の位置を、映像表示装置２０２Ｃの表示領域内の所定の位置（作業者ＰＡの注視点と対応する位置）に即座に表示することが可能となる。

図２１は、作業者ＰＡがＨＭＤ２０１Ａを介して外界を見ているときの、作業者ＰＡの視界のイメージを示す。ＨＭＤ２０１Ａでは、作業者ＰＣの視線の位置を示すマーカーＭＣを表示することにより、作業者ＰＣがデバイスＯＢのどの部分を見ているかを作業者ＰＡに提示することができる。また、図２２は、作業者ＰＣがＨＭＤ２０１Ｃを介して外界を見ているときの、作業者ＰＣの視界のイメージを示す。ＨＭＤ２０１Ｃでは、作業者ＰＡの視線の位置を示すマーカーＭＡを表示することにより、作業者ＰＡがデバイスＯＢのどの部分を見ているかを作業者ＰＣに提示することができる。

このとき、作業者ＰＡおよび作業者ＰＣは隣接しているため（図１６参照）、例えば作業者ＰＣがデバイスＯＢの筐体を両手で支えているなど、作業者ＰＣの手がふさがっている場合に、意図するデバイスＯＢの部分を注視しながら、「このネジを緩めろ！」などの音声を発するようにしてもよい。これにより、作業者ＰＡは、ＨＭＤ２０１Ａで表示されたマーカーＭＣ（図２１参照）を見ながら、「このネジを緩めればよい」ということを容易に認識して、作業を正確に行うことができる。また、作業者ＰＣは、視線と音声とにより、手作業を損なわず正確に、指示を作業者ＰＡに伝達することができる。以下、視線と音声とによる作業者ＰＡおよび作業者ＰＣの協働作業の具体例について説明する。

なお、図２１および図２２において、マーカーＭＡ・ＭＣの近傍に付した（１）〜（４）の番号は、マーカーの表示順序を示す。また、ここでは、マーカーＭＡ・ＭＣを互いに区別するため、自機で表示される自分の視線位置を示すマーカーを四角形で表し、自機で表示される他の作業者の視線位置を示すマーカーを円形で表す。

まず、作業者ＰＡのＨＭＤ２０１Ａから出力された撮像画像が、ＨＭＤ２０１Ｃの映像表示装置２０２Ｃにて映像Ｖ（２０２Ｃ）として表示されると、作業者ＰＣは、その映像Ｖ（２０２Ｃ）中で、緩める対象となるネジを見ながら、「このネジを緩めろ！」という音声指示を出す。映像Ｖ（２０２Ｃ）に対する作業者ＰＣの視線方向は、ＨＭＤ２０１Ｃの視線検出装置３２によって検出される。そして、映像表示装置２０２Ｃにより、映像Ｖ（２０２Ｃ）において、ＨＭＤ２０１Ａの撮像画像と合わせて、作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２２の（１）参照）。これにより、どのネジを緩めるべきかが明確に同定される。

次に、ＨＭＤ２０１Ｃで検出された作業者ＰＣの視線位置を示す視線情報、およびＨＭＤ２０１Ｃで取得された撮像画像の情報が、ＨＭＤ２０１Ａに出力される。そして、ＨＭＤ２０１Ａの映像表示装置２０２Ａの映像の表示領域全体（作業者ＰＡの視界範囲に対応）における、上記の映像Ｖ（２０２Ｃ）に対する作業者ＰＣの注視点と対応する位置に、作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２１の（２）参照）。また、ＨＭＤ２０１Ｃで取得された撮像画像が、ＨＭＤ２０１Ａの映像表示装置２０２Ａにより、映像Ｖ（２０２Ａ）として表示される。

作業者ＰＡは、自身のＨＭＤ２０１Ａで表示されたマーカーＭＣを視認することで、作業者ＰＣが指示するネジ（緩める対象となるネジ）を把握し、そのネジを緩める作業を行うことになる。このとき、例えば、緩める対象となるネジが止められている筐体カバーを安全のために保持してほしいなど、作業者ＰＣに対して補助を要求したい場合には、作業者ＰＡは、映像Ｖ（２０２Ａ）中で、保持してほしい箇所を見ながら、「このカバーを支えてください！」という要求を音声で発する。映像Ｖ（２０２Ａ）に対する作業者ＰＡの視線方向は、ＨＭＤ２０１Ａの視線検出装置３２によって検出される。そして、映像表示装置２０２Ａにより、ＨＭＤ２０１Ｃの撮像画像と合わせて、作業者ＰＡの視線位置を示すマーカーＭＡが映像Ｖ（２０２Ａ）として表示される（図２１の（３）参照）。これにより、作業者ＰＡがどのカバーを支えて欲しいのかが明確に同定される。

その後、ＨＭＤ２０１Ａで検出された作業者ＰＡの視線位置を示す視線情報が、ＨＭＤ２０１Ｃに出力される。そして、ＨＭＤ２０１Ｃの映像表示装置２０２Ｃの映像の表示領域全体（作業者ＰＣの視界範囲に対応）における、上記の映像Ｖ（２０２Ａ）に対する作業者ＰＡの注視点と対応する位置に、作業者ＰＡの視線位置を示すマーカーＭＡが表示される（図２２の（４）参照）。これにより、作業者ＰＣは、マーカーＭＡを見て、支えるべきカバーを即座に把握し、作業者ＰＡの作業を的確に補助することができる。

以上のように、撮像画像の情報の出力、撮像画像の表示、撮像画像に対する視線方向の検出、視線情報の出力、視線の位置の表示、の各工程を、ＨＭＤ２０１Ａ・２０１Ｃの相互間で行うことにより、各々のＨＭＤ２０１Ａ・２０１Ｃで作業者ＰＡおよび作業者ＰＣの視線情報を相互に共有して、協働作業を行うことができる。また、「これ」、「あれ」という場所や対象物があいまいな音声指示を、視線位置を示すマーカーＭＡ・ＭＣを用いて視覚的に示すことで、手作業を損なうことなく、意思疎通が良好で、効率的な協働作業を行うことが可能となる。特に、複数のＨＭＤ２０１Ａ・２０１Ｃ間で視線情報を共有することにより、ＨＭＤに特有のハンズフリー性を活かした協働作業が可能となる。また、視線情報に加えて音声情報を用いることにより、より正確な意思疎通が可能となる。

＜活用例３＞
上述の活用例２では、作業者ＰＡと作業者ＰＣの２人で連携して作業を行う例について説明したが、活用例３では、３人で連携して作業を行う場合について説明する。ここでは、活用例２のシステムにおいて、作業者ＰＡおよび作業者ＰＣに、遠方の離れた場所にいる指示監督者ＰＤが加わって作業（作業の指示および支援を含む）を行う例について説明する。

図２３は、作業者ＰＡおよび作業者ＰＣがそれぞれＨＭＤ２０１Ａ・２０１Ｃを頭部に装着し、遠方の指示監督者ＰＤがＨＭＤ２０１Ｄを装着し、ＨＭＤ２０１Ａ・２０１ＣからＨＭＤ２０１Ｄに送られて表示された映像を、指示監督者ＰＤが観察している様子を模式的に示している。作業者ＰＡおよび作業者ＰＣは、それぞれＨＭＤ２０１Ａ・２０１Ｃの使用者であり、指示監督者ＰＤは、ＨＭＤ２０１Ｄの使用者である。ＨＭＤ２０１Ｄは、通信回線３００（図１参照）を介して、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｃと通信可能な情報入出力端末である。なお、ＨＭＤ２０１Ａ・２０１Ｃ・２０１Ｄの構成は、前述のＨＭＤ２０１（図２〜図４等参照）と全く同じである。以下での説明において、ＨＭＤ２０１Ａ・２０１Ｃ・２０１Ｄに含まれる各構成要素を互いに区別する場合は、例えば映像表示装置２０２Ａ・２０２Ｃ・２０２Ｄのように、各構成要素の符号の後に「Ａ」、「Ｃ」または「Ｄ」の記号を付す。

ＨＭＤ２０１ＡとＨＭＤ２０１Ｃとの間での情報の入出力は、活用例２と同様である。以下、ＨＭＤ２０１ＡとＨＭＤ２０１Ｄとの間、およびＨＭＤ２０１ＣとＨＭＤ２０１Ｄとの間での情報の入出力について説明する。

まず、ＨＭＤ２０１Ａ・２０１Ｃにて取得された撮像画像の情報は、それぞれの通信部３４を介してＨＭＤ２０１Ｄに出力される。そして、ＨＭＤ２０１Ｄでは、ＨＭＤ２０１Ａ・２０１Ｃの各撮像画像が、映像Ｖ（２０２Ｄ）−Ａおよび映像Ｖ（２０２Ｄ）−Ｃとして表示される。

ＨＭＤ２０１Ｄにて、指示監督者ＰＤが映像Ｖ（２０２Ｄ）−Ａを観察している場合、そのときの指示監督者ＰＤの視線方向が、ＨＭＤ２０１Ｄの視線検出装置３２によって検出される。そして、検出した視線方向に関する視線情報が、ＨＭＤ２０１Ｄから通信部３４を介してＨＭＤ２０１Ａに出力される。その後、ＨＭＤ２０１Ａでは、上記視線情報に基づいて、映像表示装置２０２Ａの表示映像全体における所定位置に、指示監督者ＰＤの視線の位置が表示される。

一方、指示監督者ＰＤが映像Ｖ（２０２Ｄ）−Ｃを観察している場合、そのときの指示監督者ＰＤの視線方向が、ＨＭＤ２０１Ｄの視線検出装置３２によって検出される。そして、検出した視線方向に関する視線情報が、ＨＭＤ２０１Ｄから通信部３４を介してＨＭＤ２０１Ｃに出力される。その後、ＨＭＤ２０１Ｃでは、上記視線情報に基づいて、映像表示装置２０２Ｃの表示映像全体における所定位置に、指示監督者ＰＤの視線の位置が表示される。

図２４は、作業者ＰＡがＨＭＤ２０１Ａを介して外界を見ているときの、作業者ＰＡの視界のイメージを示す。ＨＭＤ２０１Ａでは、作業者ＰＣの視線の位置を示すマーカーＭＣに加えて、指示監督者ＰＤの視線の位置を示すマーカーＰＤを表示することにより、作業者ＰＣおよび指示監督者ＰＤがデバイスＯＢのどの部分を見ているかを作業者ＰＡに提示することができる。また、図２５は、作業者ＰＣがＨＭＤ２０１Ｃを介して外界を見ているときの、作業者ＰＣの視界のイメージを示す。ＨＭＤ２０１Ｃでは、作業者ＰＡの視線の位置を示すマーカーＭＡに加えて、指示監督者ＰＤの視線の位置を示すマーカーＰＤを表示することにより、作業者ＰＡおよび指示監督者ＰＤがデバイスＯＢのどの部分を見ているかを作業者ＰＣに提示することができる。

このように、ＨＭＤ２０１Ａ・２０１Ｃにて、作業者ＰＡ、作業者ＰＣ、指示監督者ＰＤの３者の視線位置をそれぞれ表示させることにより、３者間で意思疎通を行って作業を行うことが可能となる。以下、作業者ＰＡ、作業者ＰＣおよび指示監督者ＰＤによる作業の具体例について説明する。

なお、図２３〜図２５において、マーカーＭＡ・ＭＣ・ＭＤの近傍に付した（１）〜（１０）の番号は、マーカーの表示順序を示す。また、ここでは、マーカーＭＡ・ＭＣ・ＭＤを互いに区別するため、自機で表示される自分の視線位置を示すマーカーを四角形で表し、自機で表示される他の作業者の視線位置を示すマーカーを円形で表す。また、図２４および図２５では、指示監督者ＰＤの視線位置を示すマーカーを三角形で表す。

まず、作業者ＰＡのＨＭＤ２０１Ａにて取得された撮像画像の情報は、ＨＭＤ２０１Ｃ・ＨＭＤ２０１Ｄに出力され、ＨＭＤ２０１Ｃ・ＨＭＤ２０１Ｄにて、上記撮像画像が映像Ｖ（２０２Ｃ）・Ｖ（２０２Ｄ）−Ａとしてそれぞれ表示される（図２５、図２３参照）。

作業者ＰＣは、ＨＭＤ２０１Ｃで表示された映像Ｖ（２０２Ｃ）中で、緩める対象となるネジを見ながら、「このネジを緩めろ！」という音声指示を出す。映像Ｖ（２０２Ｃ）に対する作業者ＰＣの視線方向は、ＨＭＤ２０１Ｃの視線検出装置３２によって検出される。そして、映像表示装置２０２Ｃにより、映像Ｖ（２０２Ｃ）において、ＨＭＤ２０１Ａの撮像画像と合わせて、作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２５の（１）参照）。

次に、ＨＭＤ２０１Ｃで検出された作業者ＰＣの視線位置を示す視線情報、およびＨＭＤ２０１Ｃで取得された撮像画像の情報は、ＨＭＤ２０１Ａに出力される。そして、ＨＭＤ２０１Ａの映像表示装置２０２Ａの映像の表示領域全体（作業者ＰＡの視界範囲に対応）における、上記の映像Ｖ（２０２Ｃ）に対する作業者ＰＣの注視点と対応する位置に、作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２４の（２）参照）。また、ＨＭＤ２０１Ａの映像表示装置２０２Ａにより、ＨＭＤ２０１Ｃで取得された撮像画像が、映像Ｖ（２０２Ａ）として表示される（図２４参照）。

また、ＨＭＤ２０１Ｃで検出された作業者ＰＣの視線位置を示す視線情報は、ＨＭＤ２０１Ｄにも出力される。これにより、ＨＭＤ２０１Ｄでは、映像表示装置２０２Ｄにより、映像Ｖ（２０２Ｄ）−Ａ中に作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２３の（３）参照）。なお、映像Ｖ（２０２Ｃ）および映像Ｖ（２０２Ｄ）−Ａは、どちらも、ＨＭＤ２０１Ａで撮像された画像であるため、映像Ｖ（２０２Ｄ）−Ａにおいて、映像Ｖ（２０２Ｃ）に対する作業者ＰＣの注視点と対応する位置に、作業者ＰＣの視線位置を示すマーカーＭＣを表示することは容易に実現できる。

指示監督者ＰＤは、映像Ｖ（２０２Ｄ）−Ａ中のマーカーＭＣを見て、作業者ＰＣの指示が誤っていると判断した場合、映像Ｖ（２０２Ｄ）−Ａ中で、緩める対象となるネジを見ながら、「いや、最初にこのネジから緩めた方がよい！」という音声指示を出す。映像Ｖ（２０２Ｄ）−Ａに対する指示監督者ＰＤの視線方向は、ＨＭＤ２０１Ｄの視線検出装置３２によって検出される。そして、映像表示装置２０２Ｄにより、映像Ｖ（２０２Ｄ）−Ａにおいて、指示監督者ＰＤの視線位置を示すマーカーＭＤが表示される（図２３の（４）参照）。

指示監督者ＰＤの視線方向に関する視線情報は、ＨＭＤ２０１Ａに出力される。これにより、ＨＭＤ２０１Ａでは、映像表示装置２０２Ａの映像の表示領域全体（作業者ＰＡの視界範囲に対応）における、上記の映像Ｖ（２０２Ｄ）−Ａに対する指示監督者ＰＤの注視点と対応する位置に、指示監督者ＰＤの視線位置を示すマーカーＭＤが表示される（図２４の（５）参照）。なお、指示監督者ＰＤが、映像Ｖ（２０２Ｄ）−Ａを見ているか、映像Ｖ（２０２Ｄ）−Ｃを見ているかは、ＨＭＤ２０１Ｄの視線検出装置３２での視線検出結果に基づいて判断できる。したがって、指示監督者ＰＤが映像Ｖ（２０２Ｄ）−Ａを見ている場合には、映像Ｖ（２０２Ｄ）−Ａの提供元となるＨＭＤ２０１Ａに、指示監督者ＰＤの視線情報を出力することができる。

作業者ＰＡは、自身のＨＭＤ２０１Ａで表示されたマーカーＭＤを視認することで、作業者ＰＣが指示するネジではなく、指示監督者ＰＤが指示するネジを緩める作業を行うことになる。このとき、作業者ＰＡは、映像Ｖ（２０２Ａ）中で、保持してほしい箇所を見ながら、「このカバーを支えてください！」という要求を音声で発する。映像Ｖ（２０２Ａ）に対する作業者ＰＡの視線方向は、ＨＭＤ２０１Ａの視線検出装置３２によって検出される。そして、映像表示装置２０２Ａにより、作業者ＰＡの視線位置を示すマーカーＭＡが、ＨＭＤ２０１Ｃの撮像画像と合わせて映像Ｖ（２０２Ａ）として表示される（図２４の（６）参照）。

その後、ＨＭＤ２０１Ａで検出された作業者ＰＡの視線位置を示す視線情報が、ＨＭＤ２０１Ｃに出力される。そして、ＨＭＤ２０１Ｃの映像表示装置２０２Ｃの映像の表示領域全体（作業者ＰＣの視界範囲に対応）における、上記の映像Ｖ（２０２Ａ）に対する作業者ＰＡの注視点と対応する位置に、作業者ＰＡの視線位置を示すマーカーＭＡが表示される（図２５の（７）参照）。

また、ＨＭＤ２０１Ａで検出された作業者ＰＡの視線位置を示す視線情報は、ＨＭＤ２０１Ｄにも出力される。これにより、ＨＭＤ２０１Ｄでは、映像表示装置２０２Ｄにより、映像Ｖ（２０２Ｄ）−Ｃ中に作業者ＰＡの視線位置を示すマーカーＭＡが表示される（図２３の（８）参照）。なお、映像Ｖ（２０２Ａ）および映像Ｖ（２０２Ｄ）−Ｃは、どちらも、ＨＭＤ２０１Ｃで撮像された画像であるため、映像Ｖ（２０２Ｄ）−Ｃにおいて、映像Ｖ（２０２Ａ）に対する作業者ＰＡの注視点と対応する位置に、作業者ＰＡの視線位置を示すマーカーＭＡを表示することは容易に実現できる。

指示監督者ＰＤは、映像Ｖ（２０２Ｄ）−Ｃ中のマーカーＭＡを見て、作業者ＰＡの指示が誤っていると判断した場合、映像Ｖ（２０２Ｄ）−Ｃ中で、保持すべきカバーを見ながら、「いや、そのカバーだけでなく、このカバーを保持しろ！」という音声指示を出す。映像Ｖ（２０２Ｄ）−Ｃに対する指示監督者ＰＤの視線方向は、ＨＭＤ２０１Ｄの視線検出装置３２によって検出される。そして、映像表示装置２０２Ｄにより、映像Ｖ（２０２Ｄ）−Ｃにおいて、指示監督者ＰＤの視線位置を示すマーカーＭＤが表示される（図２３の（９）参照）。

指示監督者ＰＤの視線方向に関する視線情報は、ＨＭＤ２０１Ｃに出力される。これにより、ＨＭＤ２０１Ｃでは、映像表示装置２０２Ｃの映像の表示領域全体（作業者ＰＣの視界範囲に対応）における、上記の映像Ｖ（２０２Ｄ）−Ｃに対する指示監督者ＰＤの注視点と対応する位置に、指示監督者ＰＤの視線位置を示すマーカーＭＤが表示される（図２５の（１０）参照）。これにより、作業者ＰＣは、マーカーＭＤで指定されたカバーを保持し、ネジを緩める作業者ＰＡの作業を適切に補助することが可能となる。なお、上述のように、指示監督者ＰＤが、映像Ｖ（２０２Ｄ）−Ａを見ているか、映像Ｖ（２０２Ｄ）−Ｃを見ているかは、ＨＭＤ２０１Ｄの視線検出装置３２での視線検出結果に基づいて判断できるので、指示監督者ＰＤが映像Ｖ（２０２Ｄ）−Ｃを見ている場合には、映像Ｖ（２０２Ｄ）−Ｃの提供元となるＨＭＤ２０１Ｃに指示監督者ＰＤの視線情報を出力することができる。

以上のように、ＨＭＤ２０１Ａ・２０１Ｃ・２０１Ｄの３つの情報入出力端末間で、作業者ＰＡ、作業者ＰＣおよび指示監督者ＰＤの視線情報を相互に共有することにより、手作業を損なうことなく、意思疎通が良好で、協働作業を効率的に行うことが可能となる。特に、視線情報に加えて音声情報をさらに活用することにより、さらに正確な意思疎通が可能となり、その意思疎通に基づいてさらに効率的な作業が可能となる。

ところで、以上では、指示監督者ＰＤが使用する情報入出力端末２００として、頭部に装着可能なＨＭＤ２０１Ｄを用いる例について説明したが、指示監督者ＰＤが特段ハンズフリーやモビリティを必要としない場合には、情報入出力端末２００は別の形態であっても構わない。

図２６は、情報入出力端末２００の他の構成を示す説明図である。同図のように、情報入出力端末２００は、少なくとも、表示装置２００ａと、表示装置２００ａに固定される視線検出装置３２とを有して構成されていてもよい。表示装置２００ａは、部屋に設置されるテレビなどの直視型ディスプレイ（モニター）である。視線検出装置３２は、表示装置２００ａにて表示される映像Ｖ（２００）−Ａおよび映像Ｖ（２００）−Ｃを観察する指示監督者ＰＤの視線方向を検出する。視線検出装置３２は、表示装置２００ａに対して位置が同定されている。このような形態の視線検出装置３２については、先のトビーテクノロジー社からも提案されており、これを使用することができる。なお、映像Ｖ（２００）−Ａは、作業者ＰＡのＨＭＤ２０１Ａにて取得され、情報入出力端末２００に入力されて表示されたＨＭＤ２０１Ａの撮像画像である。また、映像Ｖ（２００）−Ｃは、作業者ＰＣのＨＭＤ２０１Ｃにて取得され、情報入出力端末２００に入力されて表示されたＨＭＤ２０１Ｃの撮像画像である。

活用例３のように、指示監督者ＰＤが、作業者ＰＡおよび作業者ＰＣに指示を与えるだけの場合（指示監督者ＰＤが実際にデバイスＯＢに対して手作業を行わない場合）、上記構成の情報入出力装置２００にて他者の視線映像を表示し、その表示映像に対する指示監督者ＰＤの観察視線を検出し、その視線情報を他者に出力することで、図２３〜図２５と同様に、視線に基づく意思疎通が可能である。したがって、指示監督者ＰＤの情報入出力装置２００は、必ずしもＨＭＤである必要はない。

なお、以上の活用例では、最大３人で連携して作業を行う例について説明したが、４人以上で作業を行う場合でも、各活用例で説明したシステム、構成、方法を適用して、相互に視線情報を共有し、連携して作業を行うことは勿論可能である。

また、本実施形態の情報入出力端末は、作業者の作業状態や作業環境を把握して、作業性向上を図る観点から、ＧＰＳ（Global Positioning System）センサ、地磁気センサ、温度センサなどの複数のセンサを備えていてもよい。例えばＧＰＳセンサは、作業者の位置情報を取得する。地磁気センサは、作業者が向いている方向を検知する。温度センサは、作業環境の温度または作業者自身の体温を検知する。これらのセンサで取得された情報を、通信部３４を介して外部の入出力端末に送信することより、外部では、作業の指示監督者が作業環境を把握し、必要に応じて適切な指示（例えば作業の中止等）を作業者（ＨＭＤ）に出すことが可能となる。

（６．作業者が動く場合の指示者側端末および作業者側端末での表示について）
本実施形態では、上述した活用例１〜３において、ＨＭＤ２０１Ａを装着した作業者ＰＡがデバイスＯＢに対する作業中に動き、これによってＨＭＤ２０１Ａの撮像装置３１の撮像範囲が変化する場合でも、ＨＭＤ２０１Ａの撮像範囲に含まれるデバイスＯＢの画像を切り出し、指示者側の情報入出力端末（ＨＭＤや、表示装置＋視線検出装置の構成）にて静止画または動画として表示するようにしている。一方、作業者ＰＡ側のＨＭＤ２０１Ａでは、指示者側の端末での表示画像に対する視線検出結果を利用して、作業者ＰＡが動いても、作業者ＰＡの視界の中で、指示者が作業を指示する位置（デバイスＯＢの同一箇所）をマーカーで表示し続けるようにしている。以下、この点について、実施例１〜６として、より詳細に説明する。

なお、上記の「指示者」とは、作業者ＰＡに対して作業の指示を出すものを指し、活用例１〜３では、指示監督者ＰＢ、作業者ＰＣ、指示監督者ＰＤのいずれかがこれに相当する。以下では、例として、活用例２で示した協働作業において、作業者ＰＡが作業中に動く場合の各端末での表示制御について説明するが、他の活用例においても以下の表示制御を適用することができる。

＜実施例１＞
≪基準画像の取得≫
図２７は、実施例１における基準画像取得処理の流れを示すフローチャートである。本実施例では、作業者ＰＡがデバイスＯＢに対してネジを締める、または外す等の作業を開始する前に、デバイスＯＢの画像を基準画像として事前に取得するようにしている。すなわち、本実施例では、まず、作業者ＰＡが静止した状態で、第１端末としてのＨＭＤ２０１Ａ（撮像装置３１）での撮影によって、デバイスＯＢを含む外界を撮影し、画像を取得する（Ｓ１１；予備撮影工程）。そして、上記画像から、該画像の一部の領域（デバイスＯＢの画像を含む）を切り出し、これを静止画の基準画像として取得する（Ｓ１２；基準画像取得工程）。その後、取得した基準画像を保持する（Ｓ１３；保持工程）。より具体的に説明すると、以下の通りである。

図２８は、基準画像取得時の作業者ＰＡの視界のイメージを示している。作業者ＰＡが装着しているＨＭＤ２０１Ａの映像表示領域には、範囲確認用マーカーＦが表示されており、作業者ＰＡは、デバイスＯＢをシースルーで観察しながら、表示された範囲確認用マーカーＦを観察することができる。なお、同図では、範囲確認用マーカーＦは、矩形の四隅のみを示す形状で表示されているが、矩形形状（一続きの枠）で表示されてもよい。また、範囲確認用マーカーＦは、視認しやすいように色つきであってもよく、その線種も実線には限定されない（例えば破線で表示されてもよい）。

図２９は、基準画像取得時の指示者（ここでは作業者ＰＣ）の視界のイメージを示している。作業者ＰＣが装着しているＨＭＤ２０１Ｃ（第２端末）には、ＨＭＤ２０１Ａにおける作業者ＰＡの視界映像（ＨＭＤ２０１Ａの撮像装置３１の撮影によって取得され、ＨＭＤ２０１Ｃに出力された画像）と、ＨＭＤ２０１Ａで表示されている範囲確認用マーカーＦに対応する範囲確認用マーカーＦ’が映像Ｖ（２０２Ｃ）として表示されている。なお、範囲確認用マーカーＦ・Ｆ’の表示サイズ（縦横比）は揃えてあり、映像Ｖ（２０２Ｃ）自体は、範囲確認用マーカーＦ’の表示のために、図２０（活用例２）で示した範囲よりも少し広めに表示されている。

作業者ＰＣは、ＨＭＤ２０１Ｃにて表示される範囲確認用マーカーＦ’の位置や大きさをＨＭＤ２０１Ｃの操作部３９によって微調整する。このような範囲確認用マーカーＦ’の微調整に関する情報は、通信部３４を介してＨＭＤ２０１Ａに出力され、この情報に基づいて、ＨＭＤ２０１Ａに表示されている範囲確認用マーカーＦの位置や大きさも微調整される。そして、作業者ＰＣは、ＨＭＤ２０１Ｃにて表示される映像Ｖ（２０２Ｃ）を見ながら、範囲確認用マーカーＦ’内にデバイスＯＢが位置するように、例えば音声により、作業者ＰＡに対して上下左右前後の移動（平行移動および回動を含む）を指示する。このような指示のもとで、作業者ＰＡは、上下方向の移動等によって自身の姿勢を変えて、デバイスＯＢが撮像装置３１の撮像範囲の中央付近（範囲確認用マーカーＦ内）に位置するようにする。

この状態で作業者ＰＡが静止し、ＨＭＤ２０１Ａの撮像装置３１によって外界を撮影すると、ＨＭＤ２０１Ａの画像処理部３３は、得られた画像（例えば静止画）から、該画像の一部、すなわち、範囲確認用マーカーＦ内の画像（デバイスＯＢの画像）を画像処理によって切り出し、これによってデバイスＯＢの画像を基準画像（静止画）として取得する。ＨＭＤ２０１Ａにて取得された基準画像の情報（画像データ）は、例えば、管理サーバー４００に出力されて保持部４０１に記憶される。これにより、管理サーバー４００では、上記基準画像の情報を用いて種々の処理（例えばパターンマッチング処理）を行うことが可能となる。なお、ＨＭＤ２０１Ａで取得された基準画像の情報は、ＨＭＤ２０１Ａの記憶部３５に記憶され、保持されてもよいし、ＨＭＤ２０１Ａから指示者側のＨＭＤ２０１Ｃに出力されて、ＨＭＤ２０１Ｃの記憶部３５に記憶されてもよい。

また、基準画像を切り出す処理は、指示者側のＨＭＤ２０１Ｃで行われてもよい。すなわち、図２９で示したように、ＨＭＤ２０１Ｃには、ＨＭＤ２０１Ａによる撮影画像（例えば動画）と範囲確認用マーカーＦ’とが映像Ｖ（２０２Ｃ）として表示されている。作業者ＰＣは、作業者ＰＡの姿勢変化によってデバイスＯＢの画像が範囲確認用マーカーＦ’内に位置するときに、ＨＭＤ２０１Ｃの操作部３９を操作することで、ＨＭＤ２０１Ｃの画像処理部３３に対して、デバイスＯＢを含む撮影画像から範囲確認用マーカーＦ’内の画像を切り抜く指示を与える。この指示に基づき、ＨＭＤ２０１Ｃの画像処理部３３が画像処理を行うことで上記基準画像を取得できる。取得した基準画像の情報は、例えば管理サーバー４００に出力されて保持部４０１に保持されるが、ＨＭＤ２０１Ｃの記憶部３５に記憶されてもよいし、ＨＭＤ２０１Ａに出力されてＨＭＤ２０１Ａの記憶部３５に記憶されてもよい。

また、撮影画像から基準画像を切り出す処理は、管理サーバー４００で行われてもよい。例えば、作業者ＰＡが静止状態で撮像装置３１によって撮影された画像と範囲確認用マーカーＦとを合成した画像のデータを管理サーバー４００に出力し、管理サーバー４００の領域検出部４０２にて基準画像を切り出す処理を行ってもよい。切り出した基準画像の情報は、例えば保持部４０１に保持される。

上記した基準画像の情報が、例えば作業者ＰＣのＨＭＤ２０１Ｃに出力されると、ＨＭＤ２０１Ｃでは、上記基準画像を映像Ｖ（２０２Ｃ）として表示させることが可能となる。このとき、作業者ＰＣは、操作部３９の操作によって映像Ｖ（２０２Ｃ）の表示位置を調整してもよい。作業者ＰＣは、ＨＭＤ２０１Ｃにて実空間のデバイスＯＢをシースルーで観察したり、表示された映像Ｖ（２０２Ｃ）のどこかを注視して指示を出したりする必要があるため、シースルーで観察されるデバイスＯＢに映像Ｖ（２０２Ｃ）が重ならないようにすることが望ましい。上記した映像Ｖ（２０２Ｃ）の表示位置の調整により、シースルーで観察されるデバイスＯＢから少しだけ離れた位置に映像Ｖ（２０２Ｃ）を表示させることができるため、作業者ＰＣは両者（デバイスＯＢおよび映像Ｖ（２０２Ｃ））を支障なく観察することが可能となる。

≪指示者側端末および作業者側端末での表示≫
図３０は、本実施例の視線情報管理システムにおいて、指示者側端末および作業者側端末での画像表示に係る処理の流れを示すフローチャートである。本実施例では、上記のようにして基準画像を取得した後、その基準画像を利用して以下の処理が行われる。なお、ここでは、上記基準画像の情報（画像データ）は、ＨＭＤ２０１Ａから管理サーバー４００に出力されて、保持部４０１に記憶されているものとする。

〈指示者側端末での表示〉
まず、作業者ＰＡのＨＭＤ２０１Ａにおいて、撮像装置３１の撮影によって動画を取得する（Ｓ２１；動画取得工程）。作業者ＰＡがデバイスＯＢに対して作業する場合、そのデバイスＯＢに対する作業の様子が撮像装置３１によって動画撮影される。動画撮影によって取得される情報（動画の画像データ）は、ＨＭＤ２０１Ａの通信部３４を介して管理サーバー４００に出力され、保持部４０１にて記憶される。

管理サーバー４００では、領域検出部４０２がパターンマッチング処理を行うことにより、ＨＭＤ２０１Ａにて撮影された動画の中で基準画像に対応する領域を検出する（Ｓ２２；領域検出工程）。なお、上記のパターンマッチング処理は、時間的に異なるタイミングで定期的に行われるものとする（後述する図３７のＳ２２−１、Ｓ２２−３参照）。また、以下では、撮影された動画の中で基準画像に対応する領域のことを、「注目領域」とも称する。領域検出部４０２によって検出された注目領域の情報（画像データ）は、通信部４０４を介して作業者ＰＣのＨＭＤ２０１Ｃに出力される。これにより、ＨＭＤ２０１Ｃでは、検出された注目領域を表す画像、すなわち、デバイスＯＢの画像が表示される（Ｓ２３；画像表示工程）。

ここで、Ｓ２２およびＳ２３についてさらに詳しく説明する。図３１は、保持部４０１に記憶されている基準画像ＩＭを複数の領域Ｄに分割した状態を示している。基準画像ＩＭの分割数（領域Ｄの数）は予め設定されており、同図では、分割数が６×６＝３６個である場合を示している。なお、上記分割数は、例えば作業者ＰＣがＨＭＤ２０１Ｃの操作部３９を操作し、管理サーバー４００に対して指示を送ることによって変更することもできる。

ここでは、分割した各領域Ｄの少なくともいずれかを、パターンマッチングの計算（処理）を行うときのキー（テンプレート）として使用する。このときのパターンマッチングの手法としては、前述したように、ＮＣＣ、ＳＡＤ、ＳＳＤなどの公知の手法を採用することができる。また、パターンマッチングの精度を確保する上では、分割した各領域Ｄのうち、特徴的な構造やテクスチャーを含む領域だけを、パターンマッチングのキーとして使用することが望ましい。つまり、どの領域Ｄをパターンマッチングに使用するかは、その領域をキーとして基準画像に対してパターンマッチングの計算をしたときに、パターンとマッチングする位置（領域）を正しく特定できるかどうかで判断する。また、例えば作業者ＰＣがＨＭＤ２０１Ｃの操作部３９を操作し、管理サーバー４００に対して指示を送ることにより、パターンマッチングのキーとして使用する領域Ｄを選別しなおすこともできる。

ここで、作業者ＰＡが姿勢を変えたとき、ＨＭＤ２０１Ａの撮像装置３１によって取得される画像は、上記姿勢に応じて変化する。例えば、図３２は、基準画像と、その基準画像の取得時の位置よりも作業者ＰＡがデバイスＯＢに近づいた状態で撮像装置３１によって撮影された画像を模式的に示している。なお、作業者ＰＡの姿勢変化後に取得される画像のことを、パターンマッチングの対象となる画像という意味で、以下では、便宜的に「対象画像」とも称する。

作業者ＰＡがデバイスＯＢに近づくと、撮影されるデバイスＯＢの画像は大きくなる。このため、対象画像において、基準画像の各領域のパターンとマッチングする領域は、互いに遠ざかるように移動する。このことは、図３２において、基準画像の中で互いに離間した領域Ｄ１・Ｄ２が、対象画像において領域Ｄ１’・Ｄ２’とマッチングする場合に、領域Ｄ１・Ｄ２間の距離よりも、領域Ｄ１’・Ｄ２’間の距離が長くなっていることからも容易に理解できる。逆に、作業者ＰＡがデバイスＯＢから遠ざかれば、姿勢変化後の対象画像において、基準画像の各領域のパターンとマッチングする領域は、互いに近づくように移動する。

また、実空間内での撮像装置３１の位置が変化しないように、撮像装置３１の角度だけを上下左右に動かした場合、角度が大きくなければ、撮影される画像の中でデバイスＯＢの位置が移動する。このため、対象画像において、基準画像の各領域のパターンとマッチングする各領域は、それぞれ同じ方向に同じ量だけ移動する。また、角度変化が大きくなれば、撮像装置３１の光学系の射影特性に応じてデバイスＯＢが角度変更方向に伸び縮みする。このため、対象画像において、基準画像の各領域のパターンとマッチングする各領域も不均等に近寄ったり離れたりする。作業者ＰＡがデバイスＯＢに対して横方向に移動した場合は、画像の中での移動量が均等ではなく、デバイスＯＢにおいて作業者ＰＡとの距離の近い部分ほど、撮影した画像の中では大きく移動する。

このように、対象画像において、基準画像の各領域のパターンとマッチングする各領域の情報から、作業者ＰＡのデバイスＯＢに対する相対的な位置の変化を検出することができる。したがって、Ｓ２１で取得した動画から、基準画像に対応する領域（デバイスＯＢの部分）を切り抜き、切り抜いた動画を、該動画に含まれる撮影対象（デバイスＯＢ）が所望の形状となるように、パターンマッチングによって取得される情報（作業者ＰＡの相対的な位置の変化の情報）を利用して変形（拡大、縮小、回転などを含む）することにより、基準画像に近い画像（注目領域の画像）を得ることができる。本実施例では、変形後の注目領域の画像に透明度（透過率）を予め設定しておき、Ｓ２３にて、ＨＭＤ２０１Ｃの映像表示領域において、基準画像と対応する位置に、基準画像と重ね合わせて注目領域の画像（例えば動画）を表示する。これにより、作業者ＰＣは、基準画像（静止画）と注目領域の画像とを同時に視認することが可能となる。図３３は、ＨＭＤ２０１Ｃにて、基準画像Ｒと注目領域の画像Ｔとが重なって表示されている状態を模式的に示している。なお、図３３では、基準画像Ｒと注目領域の画像Ｔとを図面上で区別する目的で、これらをずらして位置させ、かつ、基準画像Ｒを破線で示しているが、実際にはこれらの画像は重なっているものとする。

また、作業者ＰＡのＨＭＤ２０１Ａは、加速度センサ３８（図４参照）を搭載している。このため、加速度センサ３８の検出結果に基づき、作業者ＰＡの姿勢変化に伴ってデバイスＯＢが撮像装置３１の撮影画像上で動く方向および量をある程度予測することができる。しかし、作業者ＰＡが動いた場合に、画像上でデバイスＯＢが動く量は、撮像装置３１からデバイスＯＢまでの距離に依存するため、画像上でのデバイスＯＢの動きを正確に予測するには距離関係を正確に把握することが必要となり、難易度が高い。

本実施例では、画像の動き、つまり、画像上でのデバイスＯＢの動きを抑制することが目的であるため、デバイスＯＢの画像そのものを使ってパターンマッチングを行うことで、画像上でのデバイスＯＢの動きをより簡便にかつ効果的に抑制することができる。すなわち、加速度センサ３８の情報に基づいて作業者ＰＡが動いた量が小さいと判断できる場合、撮影された画像の中で、作業者ＰＡが動く直前のデバイスＯＢの検出位置の近傍のみ（前回パターンマッチングを行った範囲またはその近傍のみ）でパターンマッチングを行う。図３４は、作業者ＰＡの動きが小さい場合の、パターンマッチングを行う範囲のイメージを示す。図中、５０１は、作業者ＰＡが動く直前のデバイスＯＢの位置を示し、５０２は、パターンマッチングを行う範囲を示す。範囲５０２の大きさは、前回パターンマッチングを行った範囲とほとんど変わらず、範囲５０２の位置もほとんど同じである。

一方、図３５は、作業者ＰＡの動きが大きい場合の、パターンマッチングを行う範囲５０２のイメージを示す。加速度センサ３８の情報に基づいて作業者ＰＡが動いた量が大きいと判断できる場合、パターンマッチングを行う範囲５０２の中心を、作業者ＰＡの動きに伴ってデバイスＯＢが相対的に動く方向にずらすことに加えて、範囲５０２を、前回パターンマッチングを行った範囲よりも広げる。これにより、パターンマッチングの対象となる箇所が計算範囲外に出てしまって、基準画像に対応する注目領域を検出できなくなる事態を回避することができる。

以上では、図３１で示したように、基準画像ＩＭを複数の領域Ｄに分割し、分割した各領域Ｄの少なくともいずれかを、パターンマッチングを行うときのキーとして使用する例について説明したが、図３６に示すように、基準画像ＩＭを分割せずに、基準画像ＩＭそのものをキーとして用いてパターンマッチングを行ってもよい。

〈作業者側端末での表示〉
図３０に戻って説明を続ける。Ｓ２３にて、指示者側のＨＭＤ２０１Ｃで注目領域の画像が表示されると、ＨＭＤ２０１Ｃでは、視線検出装置３２により、表示画像（注目領域の画像）に対する作業者ＰＣの視線方向を検出して注視位置を求める（Ｓ２４；視線検出工程）。検出した視線方向に関する情報が管理サーバー４００に出力されると、演算部４０３は、領域検出部４０２による注目領域の検出結果と、ＨＭＤ２０１Ｃの作業者ＰＣの上記注視位置と、ＨＭＤ２０１Ａの撮像特性および表示特性とに基づいて、ＨＭＤ２０１Ａにおける、上記注視位置を示すマーカーの表示位置を算出する（Ｓ２５）。Ｓ２５にて、算出されたマーカーの表示位置の情報は、管理サーバー４００からＨＭＤ２０１Ａに出力され、ＨＭＤ２０１Ａは、演算部４０３にて算出された上記表示位置に、作業者ＰＣの視線位置を示すマーカーを表示する（Ｓ２６）。

ここで、図３７は、管理サーバー４００での処理の詳細な流れを示すフローチャートである。なお、管理サーバー４００では、Ｓ２５の工程に先立ち、上記したＳ２２の領域検出工程が行われているが、Ｓ２２では、上述したように、領域検出部４０２により、時間的に異なるタイミングでパターンマッチング処理が行われている（Ｓ２２−１、Ｓ２２−３参照）。そして、次に（例えばＳ２２−３で）パターンマッチングを行う際に、加速度センサ３８での姿勢検出結果に基づき、前回のパターンマッチングを行う範囲に対して、次にパターンマッチングを行う範囲の位置や大きさをどうするか、決定している（Ｓ２２−２参照）。この点は、図３４および図３５に基づいて説明した通りである。

上記したＳ２５の工程は、位置変化量検出工程（Ｓ２５−１）と、表示位置決定工程（Ｓ２５−２）とを含む。Ｓ２５−１では、演算部４０３は、時間的にずれて行われる各パターンマッチングの結果に基づいて、ＨＭＤ２０１Ａでの撮影（Ｓ２１）によって取得された動画上での（撮像画像全体に対する）、Ｓ２２にて検出された注目領域の位置の変化量を検出する。そして、Ｓ２５−２では、Ｓ２５−１で検出された上記変化量と、Ｓ２４で取得された、ＨＭＤ２０１Ｃの作業者ＰＣの注視位置と、ＨＭＤ２０１Ａの撮像特性および表示特性とに基づいて、ＨＭＤ２０１Ａにおけるマーカーの表示位置を決定する。ここで、ＨＭＤ２０１Ａが、外界を撮影する撮像装置３１（カメラ）と、作業者ＰＡに観察可能な画像（虚像）を提示する映像表示装置２０２Ａとを含む構成では、上記撮像特性は、上記撮像装置３１の撮像特性（例えば焦点距離（撮影画角、解像度（撮像素子の画素数））であり、上記表示特性は、上記映像表示装置２０２Ａの表示特性（例えば焦点距離（表示画角、解像度（表示素子５（図３参照）の画素数））である。なお、これらの撮像特性および表示特性は、ＨＭＤ２０１Ａに固有の情報であり、予めわかっている情報である。

Ｓ２５−１にて、動画上での上記注目領域の位置の変化量がわかると、撮像装置３１の焦点距離の情報を使えば、上記変化量を、撮像装置３１から見た方向（縦方向および横方向の角度（画角））の変化量に換算することができる。さらに、映像表示装置２０２Ａの焦点距離の情報を使えば、注目領域の位置の変化後の「撮像装置３１から見た方向」が、映像表示装置２０２Ａにおいて表示素子５上のどの画素に対応するかがわかる。

したがって、Ｓ２６にて、表示素子５の上記画素を中心とする範囲にマーカーを表示することにより、作業者ＰＡの向きに関係なく（作業者ＰＡがどの方向を向いていても）、作業者ＰＡから見てデバイスＯＢ上の同じに位置にマーカーを表示させ続けることができる。

以上のように、作業者ＰＡが作業中に動き、それに伴って、撮影によって取得される動画中で撮影対象（デバイスＯＢ）の位置が動く場合でも、ＨＭＤ２０１Ｃでは、ＨＭＤ２０１Ａで取得された動画のうちで、基準画像に対応する注目領域の画像、つまり、撮影対象の位置がほとんど変化しない画像が表示される。これにより、作業者ＰＣは、表示画像を注視しても映像酔いを起こしにくくなり、表示画像に基づいて、視線による指示を的確に出すことが可能となる。

また、ＨＭＤ２０１Ａでは、注目領域の検出結果と、作業者ＰＣの表示画像に対する注視位置と、ＨＭＤ２０１Ａの撮像特性および表示特性とに基づいて算出される位置に、上記注視位置を示すマーカーＭＣが表示されるため、作業者ＰＡの姿勢が作業中に変化しても、ＨＭＤ２０１Ａの表示領域内で、作業者ＰＣの注視位置と対応する適切な位置に（デバイスＯＢに対してほとんど同じ位置に）、マーカーＭＣを表示させ続けることができる。これにより、作業者ＰＡは、作業中に動きながらでも、表示されたマーカーＭＣを見て、作業者ＰＣからの視線による指示を的確に把握して、デバイスＯＢに対して作業を行うことが可能となる。

特に、マーカーＭＣの表示位置を算出するＳ２５の工程は、位置変化量検出工程（Ｓ２５−１）と、表示位置決定工程（Ｓ２５−２）とを含んでいるため、ＨＭＤ２０１ＡでのマーカーＭＣの正しい表示位置を確実に算出することができる。

なお、ＨＭＤ２０１Ａの映像表示装置２０２Ａは、表示素子５（例えば液晶表示素子）とＨＯＥ２３とを用いて使用者に観察可能な虚像を提示する表示装置で構成されているが、ＭＥＭＳ（Micro Electro Mechanical Systems）スキャナを用いた網膜走査式の表示装置で構成されていてもよい。後者の場合、映像表示装置の表示特性としては、上記スキャナの特性（例えば走査速度）を考えればよい。

また、ＨＭＤ２０１Ｃの表示画像は動画を含み、上記動画は、ＨＭＤ２０１Ａで取得した動画から、基準画像に対応する注目領域を切り抜き、変形することによって、予め設定された透過率で基準画像（静止画）と重ね合わせて表示される。作業者ＰＣは、表示された動画を見ることで、作業者ＰＡの作業をリアルタイムで把握することができる。また、動画が所定の透過率で基準画像と重ね合わされて表示されるため、作業者ＰＡの手や工具などで撮影対象（例えばデバイスＯＢ）が遮蔽される状態であっても、作業者ＰＣには基準画像が透けて見える。これにより、作業者ＰＣは、基準画像をもとに視線による指示を出し続けることができる。さらに、ＨＭＤ２０１Ａで取得される動画において、基準画像に対応する範囲が、作業者ＰＡの作業中の動き（例えばデバイスＯＢに対して近づく／遠ざかる動き）に応じて変化（例えば拡大または縮小）する場合でも、作業者ＰＣは、基準画像と重ね合わされて表示される変形後（例えば縮小後または拡大後）の動画を見て、視線による的確な指示を出すことが可能となる。

また、Ｓ２２の領域検出工程では、ＨＭＤ２０１Ａで取得した動画に対して、基準画像に含まれる複数の分割画像をキーとしたパターンマッチングを行うことによって注目領域を検出するとともに、個々の分割画像のパターンマッチングの結果に応じて、検出した注目領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形する（図３１、図３２参照）。複数の分割画像を用いたパターンマッチングにより、注目領域を迅速に検出することができる。また、個々の分割画像のパターンマッチングの結果に応じて、検出した注目領域の動画を変形するため、作業者ＰＡが作業中に動いて、ＨＭＤ２０１Ａと撮影対象（デバイスＯＢ）との位置関係（例えば距離）が変動しても、撮影対象が所望の形状となる注目領域を取得することができる。

また、Ｓ２２の領域検出工程では、ＨＭＤ２０１Ａで取得した動画に対して、基準画像をキーとしたパターンマッチングを行うことによって注目領域を検出してもよい（図３６参照）。この場合は、基準画像そのものを用いたパターンマッチングにより、注目領域を検出することができる。

また、ＨＭＤ２０１Ａは、作業者ＰＡの姿勢変化を検出する第１端末側検出器としての加速度センサ３８を含み、Ｓ２２の領域検出工程では、加速度センサ３８による姿勢変化の検出結果に応じて、ＨＭＤ２０１Ａで取得した動画中で、パターンマッチングを行う範囲を変化させる（図３４、図３５参照）。例えば、図３４のように、作業者ＰＡの姿勢変化が遅い場合には（移動量が少ない場合には）、ＨＭＤ２０１Ａで取得した動画中でパターンマッチングを行う範囲５０２を狭めることで、パターンマッチングの計算量を減らして迅速な処理を行うことが可能となる。逆に、図３５のように、作業者ＰＡの姿勢変化が速い場合には（移動量が多い場合には）、動画中でパターンマッチングを行う範囲５０２を広げることで、動画の広範囲から基準画像に対応する注目領域を検出することが可能となる。つまり、作業者ＰＡの姿勢変化が速い場合に、パターンマッチングの範囲が狭いと、その範囲内に基準画像に対応する注目領域が入っていない可能性があるが、パターンマッチングの範囲５０２を広げることで、そのような事態を回避することができる。

また、複数の情報入出力端末２００は、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂにて取得される情報を管理する管理サーバー４００を含み、管理サーバー４００（特に保持部４０１）が、ＨＭＤ２０１Ａで取得した静止画の一部を基準画像として保持する。この場合、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂにおいて、基準画像を保持する大容量のメモリを設けなくても済み、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂの製造コストを低減できる。

また、管理サーバー４００（特に領域検出部４０２、演算部４０３）が、基準画像に対応する注目領域を検出するとともに、マーカーＭＣの表示位置を算出する。この場合、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂで上記の各処理を行わなくても済み、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂの処理負担を軽減できる。また、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂにおいて、上記各処理を行うための高性能な処理部が不要であるため、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂの製造コストのさらなる低減が可能となり、また、これらの端末の大型化および重量化も回避することが可能となる。

また、ＨＭＤ２０１Ｃは、シースルー型のＨＭＤであるため、作業者ＰＣは、ＨＭＤ２０１Ｃを装着して外界をシースルーで観察し、作業者ＰＡと協働して作業を行いながら、視線による指示を出すことができる。

なお、作業者ＰＡの作業中には、作業者ＰＡの手や工具が撮影画像に映り込む。また、手や工具によってデバイスＯＢの一部が遮られた状態で、デバイスＯＢが撮影される。このような撮影画像が取得されると、基準画像とのパターンマッチングの計算が正しくできない領域が生じる。パターンマッチングの計算の結果、基準画像とのマッチングがベストな位置でも、相関が低い領域（パターンマッチングの計算が正しくできない領域）については計算結果を破棄し、パターンマッチングの計算ができた領域の情報と、上記相関が低い領域について、その前の時刻に撮影された画像中で対応する領域との相対位置関係の情報とを使って補完してもよい。

また、手や工具によってデバイスＯＢが一時的に遮蔽される以外に、作業によってデバイスＯＢの状態が変化することによっても、パターンマッチングの計算が正しくない領域が生じる。なお、上記デバイスＯＢの状態の変化は、例えばデバイスＯＢからネジを取り外したり、逆にネジを取り付けたりする作業によって起こり得る。パターンマッチングの計算が正しく検出できる領域が減った場合、例えば管理サーバー４００は作業者ＰＣのＨＭＤ２０１Ｃに注意を表示させる指示を出し、作業者ＰＣに基準画像の更新を促す。作業者ＰＣはこの注意を見て、きりの良いところで協働作業を中断する。そして、作業開始時と同様の手順で、基準画像が再取得される。

以上では、基準画像とのパターンマッチングによる注目領域の検出処理、およびＨＭＤ２０１Ａにおけるマーカーの表示位置の算出処理を、管理サーバー４００（領域検出部４０２、演算部４０３）で行うようにしているが、作業者ＰＡ側のＨＭＤ２０１Ａまたは指示者（作業者ＰＣ）側のＨＭＤ２０１Ｃの画像処理部３３にて行ってもよい。ただし、処理が重たくなってＨＭＤ２０１Ａ・２０１Ｃでの表示が遅延したり、高機能の画像処理部３３の搭載によるＨＭＤ２０１Ａ・２０１Ｃの大型化やコストアップを防ぐ意味では、本実施例のように上記の各処理を管理サーバー４００で行うことが望ましい。

＜実施例２＞
図３８は、本実施例におけるＨＭＤ２０１Ｃの表示画像を示している。本実施例では、ＨＭＤ２０１Ｃに表示する画像を静止画とした以外は、実施例１と同様である。上記画像（静止画）は、同図に示すように、基準画像Ｒそのものであってもよいし、基準画像Ｒを所定の時間間隔で更新した画像であってもよいし、作業者ＰＣの操作部３９の操作によって更新される画像であってもよい。

本実施例では、作業者ＰＡの作業中に、ＨＭＤ２０１Ａの撮像装置３１によって撮影されるリアルタイム映像（動画）は、どこにも表示されないが、ＨＭＤ２０１Ａでの動画の取得と、パターンマッチングによる注目領域の検出は行って、マーカー表示位置の計算に使用する。

このようにＨＭＤ２０１Ｃでの表示画像が静止画（例えば基準画像Ｒ）であっても、作業者ＰＣは、表示された静止画を見て、視線による指示を出すことができる。また、表示画像が、基準画像の更新画像（所定の時間間隔で更新または手動で更新される画像）であれば、撮影対象であるデバイスＯＢに対する作業が進んでデバイスＯＢの状態が初期と変化する場合でも（例えばネジが外される、ネジが取り付けられるなど）、作業者ＰＣは、更新画像を見て、作業状況に合った的確な指示を出すことができる。

なお、基準画像を更新する場合にも、実施例１と同様のパターンマッチングを利用して初期と同じ範囲（デバイスＯＢ）が見え続けるようにする。このとき、基準画像に一時的な遮蔽物（作業者ＰＡの手や工具）が映り込んでしまうこともあるが、この場合には、例えば、作業者ＰＣが必要に応じてＨＭＤ２０１Ｃの操作部３９を操作して、例えばＨＭＤ２０１Ａに指示を出すことで、ＨＭＤ２０１Ａにて改めて基準画像を取得（更新）することが可能である。

＜実施例３＞
図３９は、本実施例におけるＨＭＤ２０１Ｃの表示画像を示している。本実施例では、作業者ＰＣのＨＭＤ２０１Ｃに動画が表示されるが、この表示画像（動画）が、ＨＭＤ２０１Ａで取得した動画から、基準画像に対応する注目領域を切り抜き、該動画に含まれる撮影対象（デバイスＯＢ）が所望の形状となるように変形することによって、予め設定されたサイズで基準画像と対応する位置に表示される点で、実施例１とは異なっている。すなわち、本実施例では、実施例１で基準画像Ｒと重ね合わせる注目領域の画像Ｔの透明度をゼロとした場合と同じであり、これによって注目領域の画像Ｔのみ（動画のみ）が表示される（基準画像Ｒが注目領域の画像Ｔで隠れて見えなくなる）。

ＨＭＤ２０１Ｃにて上記のように注目領域の画像Ｔを動画で表示することにより、作業者ＰＣは、動画（画像Ｔ）に含まれるデバイスＯＢに対する作業者ＰＡの作業をリアルタイムで把握することができる。また、ＨＭＤ２０１Ｃにおける表示画像は、ＨＭＤ２０１Ａで取得した動画から基準画像に対応する範囲を切り抜き、変形することによって、予め設定されたサイズで表示されるため、ＨＭＤ２０１Ａで取得される動画において、基準画像に対応する範囲が作業者ＰＡの作業中の動き（例えばデバイスＯＢに対して近づく／遠ざかる動き）に応じて変化（例えば拡大または縮小）する場合でも、作業者ＰＣは、表示される変形後（例えば縮小後または拡大後）の動画を見て、視線による的確な指示を出すことが可能となる。

＜実施例４＞
実施例１では、作業者ＰＣのＨＭＤ２０１Ｃに映像Ｖ（２０２Ｃ）を表示する位置は、初期に調整した位置から変化しないが、本実施例では、作業者ＰＣが姿勢（向き）を変えると、それに応じて、映像Ｖ（２０２Ｃ）の表示位置（特に注目領域の画像の表示位置）を変えるようにしている。

例えば図４０および図４１は、作業者ＰＣがデバイスＯＢに近づいたときの作業者ＰＣの視界であって、図４０は、注目領域の画像Ｔの表示位置が初期から変化しない場合を示し、図４１は、上記表示位置を変化させた場合を示している。作業者ＰＣがデバイスＯＢに近づくと、作業者ＰＣの視界中では、デバイスＯＢが大きく視認されるため、注目領域の画像Ｔの表示位置が固定されていると、図４０のように、視認されるデバイスＯＢと、表示される注目領域の画像Ｔとで重なる部分が生じ、作業者ＰＣはこの重なり部分を視認することが困難となる。

本実施例では、ＨＭＤ２０１Ｃにおいて、加速度センサ３８（第２端末側検出器）によって作業者ＰＣの姿勢変化が検出されたときに、制御部４０が、図４１に示すように、ＨＭＤ２０１Ｃで表示される注目領域の画像Ｔが、作業者ＰＣから見て空間中の同じ位置に見えるように、加速度センサ３８の検出結果に応じて、注目領域の画像Ｔの表示位置を移動させる。これにより、作業者ＰＣの姿勢が変化した場合でも、作業者ＰＣの視界内の撮影対象（デバイスＯＢ）に対して表示画像（注目領域の画像Ｔ）を離して表示させることができ、視界内でデバイスＯＢと表示画像とが重なって作業者ＰＣが視認困難となる事態を回避することができる。なお、この場合のＨＭＤ２０１Ｃの制御部４０は、映像表示装置２０２Ｃでの情報の表示を制御する表示制御部として機能している。

なお、作業者ＰＣから表示される画像（虚像）までの距離を予め設定しておけば、加速度センサの情報（検出結果）と設定した上記距離とに基づいて、注目領域の画像Ｔの表示位置を、視界内のデバイスＯＢとは重ならない適切な位置に移動させることができる。このとき、作業者ＰＣからデバイスＯＢまでの距離と、作業者ＰＣから表示画像までの距離とで、設定に大きな差異が生じると、実物（デバイスＯＢ）と表示画像との、作業者ＰＣの視界内での相対的な位置関係を維持することができなくなる。このため、差異が大きくならないように上記各距離を設定しておくことが必要である。

また、加速度センサ３８の情報にノイズが含まれると、画像の表示位置が小刻みに動いて（表示位置が急激に変化して）見づらくなる。表示位置の急激な変化を避けるために、加速度センサ３８が検出した動きに対して、表示位置の移動を遅延させ、また、その前後の時間の姿勢情報を平均して均すことによって、小刻みな動きを抑制することが望ましい。表示位置の変化率や変化量が大きいときには、予め決めた変化率や変化量の上限値を超える分について、次の時間で表示位置を動かすようにすれば、表示位置の急激な変化が起こらないようにすることができる。

つまり、ＨＭＤ２０１Ｃでは、制御部４０が、注目領域の画像の表示位置を変化させる前後での上記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、表示位置の移動を制御することが望ましい。なお、上記の変化率とは、所定時間内での表示位置の変化の割合（表示位置の変化量／所定時間）のことである。上記の表示制御により、表示画像の急激な移動（小刻みな動き）を抑えて、表示画像が見にくくなる事態を低減することができる。

＜実施例５＞
本実施例では、作業者ＰＣの姿勢の変化に応じて、作業者ＰＡのＨＭＤ２０１Ａで取得される動画から切り抜く領域を変えて、ＨＭＤ２０１Ｃに表示させるようにしている。

例えば、図４２は、姿勢変化前の作業者ＰＣの視界を示しており、図４３は、図４２において映像Ｖ（２０２Ｃ）として表示される領域に加え、映像として表示されない非表示部分を参考のために破線で示したものである。本実施例では、基準画像がデバイスＯＢの一部となっており、ＨＭＤ２０１Ｃには、映像Ｖ（２０２Ｃ）として、基準画像に対応する注目領域の画像（ここでは作業者ＰＡから見てデバイスＯＢの左上の部分）が表示されている。

図４４は、作業者ＰＣが右上方向に顔を向けたときの作業者ＰＣの視界を示しており、図４５は、図４４において映像Ｖ（２０２Ｃ）’として表示される領域に加え、映像として表示されない非表示部分を参考のために破線で示したものである。作業者ＰＣが図４２の表示画像（映像Ｖ（２０２Ｃ））の少し外側を確認したい場合、見たい方向（ここでは右上方向）に顔を向ける。すると、ＨＭＤ２０１Ｃの加速度センサ３８は、このような作業者ＰＣの姿勢変化を検出する。そして、ＨＭＤ２０１Ｃの制御部４０は、加速度センサ３８による姿勢変化の検出結果と、作業者ＰＡのＨＭＤ２０１Ａで取得された動画からの注目領域の検出結果とに基づき、ＨＭＤ２０１Ａで取得された上記動画内で基準画像に対応する注目領域から、作業者ＰＣの姿勢変化量と対応する量だけずれた範囲の動画を、映像表示装置２０２Ｃにおいて、図４２で示した上記注目領域の画像の表示位置から上記姿勢変化量と対応する量だけずれた位置に映像（Ｖ２０２Ｃ’）として表示させる。

このように作業者ＰＣのＨＭＤ２０１Ｃでは、作業者ＰＣの姿勢変化に応じて、基準画像に対応する注目領域からずれた範囲の動画が映像（Ｖ２０２Ｃ’）として表示されるため、作業者ＰＣは、基準画像に対応する注目領域以外の動画を観察することが可能となる。言い換えれば、作業者ＰＣの姿勢変化により、画像として見える範囲を変更することができる。

なお、本実施例においても、実施例４と同様の表示制御を行ってもよい。つまり、ＨＭＤ２０１Ｃでは、制御部４０が、画像の表示位置を移動させる前後での上記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、上記表示位置の移動を制御してもよい。この場合、作業者ＰＣの姿勢変化による表示画像の急激な移動を抑えて、表示画像が見にくくなる事態を低減することができる。

なお、基準画像に対応する注目領域から外れた位置では、作業者ＰＡの姿勢変化に応じて映像を歪ませる情報が存在しないので、歪みの情報のうち一律な倍率変化のみを与えた状態で表示を行うことによって、基準画像がある範囲（注目領域）とその外側とで画像の不連続性が発生しないようにする。その代わりに、作業者ＰＡの姿勢変化による映像の歪みは、作業者ＰＣの見ている映像で発生してしまうことになるが、領域が固定されている分、リアルタイム映像をそのまま表示する場合に比べれば、注視はしやすくなっている。

＜実施例６＞
本実施例では、上述したＨＭＤ２０１Ｃでの注目領域の画像の表示方法を、ＨＭＤ２０１Ａにも適用し、また、ＨＭＤ２０１Ａでのマーカーの表示方法を、ＨＭＤ２０１Ｃにも適用した例について説明する。

本実施例では、まず、作業者ＰＣの静止状態で基準画像（第２端末側基準画像）を取得する処理が行われる。この処理の流れは、図２７と同様である。すなわち、作業者ＰＣが静止した状態で、ＨＭＤ２０１Ｃ（撮像装置３１）での撮影によって、デバイスＯＢを含む外界を撮影し、画像を取得する（Ｓ１１）。そして、上記画像から、該画像の一部の領域（デバイスＯＢの画像を含む）を切り出し、これを静止画の基準画像（第２端末側基準画像）として取得する（Ｓ１２）。その後、取得した基準画像を管理サーバー４００（保持部４０１）にて保持する（Ｓ１３）。

図４６は、本実施例の視線情報管理システムにおいて、指示者側端末および作業者側端末での画像表示に係る処理の流れを示すフローチャートである。まず、作業者ＰＣのＨＭＤ２０１Ｃにおいて、撮像装置３１の撮影によって動画を取得する（Ｓ３１；動画取得工程）。作業者ＰＣがデバイスＯＢに対して作業する場合、そのデバイスＯＢに対する作業の様子が撮像装置３１によって動画撮影される。動画撮影によって取得される情報（動画の画像データ）は、ＨＭＤ２０１Ｃの通信部３４を介して管理サーバー４００に出力され、保持部４０１にて記憶される。

管理サーバー４００では、領域検出部４０２がパターンマッチング処理を行うことにより、ＨＭＤ２０１Ｃにて撮影された動画の中で基準画像に対応する注目領域を検出する（Ｓ３２；領域検出工程）。領域検出部４０２によって検出された注目領域の情報（画像データ）は、通信部４０４を介して作業者ＰＡのＨＭＤ２０１Ａに出力される。これにより、ＨＭＤ２０１Ａでは、検出された注目領域を表す画像、すなわち、ＨＭＤ２０１Ｃ側から見たデバイスＯＢの画像が表示される（Ｓ３３；画像表示工程）。

続いて、ＨＭＤ２０１Ａでは、視線検出装置３２により、表示画像（注目領域の画像）に対する作業者ＰＡの視線方向を検出して注視位置を求める（Ｓ３４；視線検出工程）。検出した視線方向に関する情報が管理サーバー４００に出力されると、演算部４０３は、Ｓ３２での領域検出部４０２による注目領域の検出結果と、ＨＭＤ２０１Ａの作業者ＰＡの上記注視位置と、ＨＭＤ２０１Ｃの撮像装置３１の撮像特性および映像表示装置２０１Ｃの表示特性とに基づいて、ＨＭＤ２０１Ｃにおける、上記注視位置を示すマーカーＭＡ（図２２参照）の表示位置を算出する（Ｓ３５）。算出されたマーカーＭＡの表示位置の情報は、管理サーバー４００からＨＭＤ２０１Ｃに出力され、ＨＭＤ２０１Ｃは、演算部４０３にて算出された上記表示位置に、作業者ＰＡの視線位置を示すマーカーＭＡを表示する（Ｓ３６）。

以上のように、ＨＭＤ２０１Ａでは、ＨＭＤ２０１Ｃで取得された動画のうちで、第２端末側基準画像に対応する所定の領域の画像が表示されるため、作業者ＰＣが作業中に動いたとしても、上記領域に含まれる撮影対象（デバイスＯＢ）を、その表示位置をほとんど変えずに表示させることができる。これにより、作業者ＰＡは、表示画像の注視による映像酔いを起こしにくくなる。

また、作業者ＰＣの姿勢が作業中に変化しても、ＨＭＤ２０１Ｃの表示領域内で、作業者ＰＡの注視位置と対応する適切な位置に（デバイスＯＢに対してほとんど同じ位置に）、マーカーＭＡを表示させ続けることができるので、作業者ＰＣは、作業中に動きながらでも、表示されたマーカーＭＡを見て、作業者ＰＡからの視線による指示や応答を的確に把握し、必要に応じて視線による追加の指示を作業者ＰＡに出すことが可能となる。

以上のことから、本実施形態で説明した視線情報共有方法は、以下のように表現することができる。また、上記視線情報共有方法を使用する本実施形態のシステムは、以下の視線情報検出システムとして表現することができる。

本実施形態の視線情報共有方法は、通信回線を介して接続される複数の情報入出力端末を含むシステムにおける視線情報共有方法であって、前記複数の情報入出力端末は、外界を撮影して画像を取得可能なシースルー型のヘッドマウントディスプレイである第１端末と、情報の表示および使用者の視線方向の検出が可能な第２端末とを含み、該視線情報共有方法は、前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する工程と、前記第１端末での撮影によって動画を取得する工程と、前記第１端末で取得された前記動画から、前記基準画像に対応する領域を検出する工程と、前記第２端末において、検出された前記領域を表す画像を表示する工程と、前記第２端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、前記第１端末において、算出された前記表示位置に前記マーカーを表示する工程とを含む。

上記の視線情報共有方法において、前記第２端末で表示される前記画像は、動画を含み、前記動画は、前記第１端末で取得した動画から、前記基準画像に対応する前記領域を切り抜き、変形することによって、予め設定された透過率で前記基準画像と重ね合わせて表示されてもよい。

上記の視線情報共有方法において、前記第２端末で表示される前記画像は、静止画であり、前記基準画像そのもの、もしくは、前記基準画像を所定の時間間隔で更新した画像、または前記第２端末の使用者の操作によって更新される画像であってもよい。

上記の視線情報共有方法において、前記第２端末で表示される前記画像は、動画であり、前記第１端末で取得した動画から、前記基準画像に対応する前記領域を切り抜き、変形することによって、予め設定されたサイズで前記基準画像と対応する位置に表示されてもよい。

上記の視線情報共有方法において、前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器を含み、前記第２端末では、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、表示される前記画像が、前記第２端末の使用者から見て空間中の同じ位置に見えるように、前記第２端末側検出器の検出結果に応じて、前記画像の表示位置を移動させてもよい。

上記の視線情報共有方法において、前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器を含み、前記第２端末では、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記姿勢変化の検出結果と、前記第１端末で取得された前記動画からの前記領域の検出結果とに基づいて、前記第１端末で取得された前記動画内で前記基準画像に対応する領域から使用者の姿勢変化量と対応する量だけずれた範囲の動画を、前記領域の画像の表示位置から前記姿勢変化量と対応する量だけずれた位置に表示してもよい。

上記の視線情報共有方法において、前記第２端末では、画像の表示位置を移動させる前後での前記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、前記表示位置の移動を制御してもよい。

上記の視線情報共有方法において、前記基準画像に対応する領域を検出する工程では、前記第１端末で取得した前記動画に対して、前記基準画像をキーとしたパターンマッチングを行うことによって前記領域を検出してもよい。

上記の視線情報共有方法において、前記基準画像に対応する領域を検出する工程では、前記第１端末で取得した前記動画に対して、前記基準画像に含まれる複数の分割画像をキーとしたパターンマッチングを行うことによって前記領域を検出するとともに、個々の前記分割画像のパターンマッチングの結果に応じて、検出した前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形してもよい。

上記の視線情報共有方法において、前記第１端末は、外界を撮影する撮像装置と、使用者に観察可能な画像を提示する表示装置とを含み、前記マーカーの表示位置を算出する工程は、時間的にずれて行われる各パターンマッチングの結果に基づいて、前記第１端末での撮影によって取得された前記動画上での、検出された前記領域の位置の変化量を検出する工程と、上記変化量と、前記第２端末の使用者の前記注視位置と、前記第１端末の前記撮像装置の前記撮像特性および前記表示装置の前記表示特性とに基づいて、前記第１端末における前記マーカーの表示位置を決定する工程とを含んでいてもよい。

上記の視線情報共有方法において、前記第１端末は、使用者の姿勢変化を検出する第１端末側検出器を含み、前記基準画像に対応する領域を検出する工程では、前記第１端末側検出器による姿勢変化の検出結果に応じて、前記第１端末で取得した前記動画中で、パターンマッチングを行う範囲を変化させてもよい。

上記の視線情報共有方法において、前記複数の情報入出力端末は、前記第１端末および前記第２端末にて取得される情報を管理する管理サーバーを含み、前記管理サーバーが、前記第１端末で取得した前記静止画の一部を前記基準画像として保持することが望ましい。

上記の視線情報共有方法において、前記管理サーバーが、前記基準画像に対応する前記領域を検出するとともに、前記マーカーの表示位置を算出することが望ましい。

上記の視線情報共有方法において、前記第２端末は、シースルー型のヘッドマウントディスプレイであってもよい。

上記の視線情報共有方法において、前記第２端末は、外界を撮影して画像を取得可能であり、該視線情報共有方法は、前記第２端末の使用者が静止した状態で、前記第２端末での撮影によって事前に取得された静止画の一部を、第２端末側基準画像として保持する工程と、前記第２端末での撮影によって動画を取得する工程と、前記第２端末で取得された前記動画から、前記第２端末側基準画像に対応する領域を検出する工程と、前記第１端末において、検出された前記領域を表す画像を表示する工程とをさらに含んでいてもよい。

上記の視線情報共有方法において、第１端末は、情報の表示および使用者の視線方向の検出が可能であり、該視線情報共有方法は、前記第１端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、前記第２端末で取得された前記動画からの前記領域の検出結果と、前記第１端末の使用者の前記注視位置と、前記第２端末の撮像特性および表示特性とに基づいて、前記第２端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、前記第２端末において、算出された前記表示位置に前記マーカーを表示する工程とをさらに含んでいてもよい。

本実施形態の視線情報共有システムは、通信回線を介して接続される複数の情報入出力端末を含む視線情報共有システムであって、前記複数の情報入出力端末は、第１端末および第２端末を含み、前記第１端末は、外界を撮影して画像を取得する撮像装置を含むシースルー型のヘッドマウントディスプレイであり、前記第２端末は、情報を表示する表示装置と、前記表示装置によって表示された情報に対する使用者の視線方向を検出する視線検出装置とを含み、前記複数の情報入出力端末のいずれかは、前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する保持部と、前記第１端末での撮影によって動画が取得されたときに、前記動画から、前記基準画像に対応する領域を検出する領域検出部と、前記領域検出部によって検出された前記領域を表す画像が前記第２端末で表示され、前記視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する演算部とを有し、前記第１端末は、前記演算部によって算出された前記表示位置に前記マーカーを表示する。

上記の視線情報共有システムにおいて、前記領域検出部は、前記第１端末で取得された前記動画から、前記基準画像に対応する前記領域を切り抜き、切り抜いた前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形し、前記第２端末の前記表示装置は、前記領域検出部による変形後の動画を、予め設定された透過率で前記基準画像と重ね合わせて表示してもよい。

上記の視線情報共有システムにおいて、前記第２端末の前記表示装置は、前記領域検出部によって検出された前記領域を表す画像を静止画で表示し、前記静止画は、前記基準画像そのもの、もしくは、前記基準画像を所定の時間間隔で更新した画像、または前記第２端末の使用者の操作によって更新される画像であってもよい。

上記の視線情報共有システムにおいて、前記領域検出部は、前記第１端末で取得された前記動画から、前記基準画像に対応する前記領域を切り抜き、切り抜いた前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形し、前記第２端末の前記表示装置は、前記領域検出部による変形後の動画を、予め設定されたサイズで前記基準画像と対応する位置に表示してもよい。

上記の視線情報共有システムにおいて、前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器と、前記表示装置による表示を制御する表示制御部とを含み、前記表示制御部は、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記表示装置で表示される画像が、前記第２端末の使用者から見て空間中の同じ位置に見えるように、前記第２端末側検出器の検出結果に応じて、前記画像の表示位置を移動させてもよい。

上記の視線情報共有システムにおいて、前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器と、前記表示装置による表示を制御する表示制御部とを含み、前記表示制御部は、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記姿勢変化の検出結果と、前記第１端末で取得された前記動画からの前記領域の検出結果とに基づいて、前記第１端末で取得された前記動画内で前記基準画像に対応する領域から使用者の姿勢変化量と対応する量だけずれた範囲の動画を、前記表示装置において、前記領域の画像の表示位置から前記姿勢変化量と対応する量だけずれた位置に表示させてもよい。

上記の視線情報共有システムにおいて、前記表示制御部は、画像の表示位置を移動させる前後での前記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、前記表示位置の移動を制御してもよい。

上記の視線情報共有システムにおいて、前記領域検出部は、前記第１端末で取得された前記動画に対して、前記基準画像をキーとしたパターンマッチングを行うことによって前記領域を検出してもよい。

上記の視線情報共有システムにおいて、前記領域検出部は、前記第１端末で取得された前記動画に対して、前記基準画像に含まれる複数の分割画像をキーとしたパターンマッチングを行うことによって前記領域を検出するとともに、個々の前記分割画像のパターンマッチングの結果に応じて、検出した前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形してもよい。

上記の視線情報共有システムにおいて、前記第１端末は、使用者に観察可能な画像を提示する表示装置とを含み、前記演算部は、時間的にずれて行われる各パターンマッチングの結果に基づいて、前記第１端末での撮影によって取得された前記動画上での、検出された前記領域の位置の変化量を検出し、上記変化量と、前記第２端末の使用者の前記注視位置と、前記第１端末の前記撮像装置の前記撮像特性および前記表示装置の前記表示特性とに基づいて、前記第１端末における前記マーカーの表示位置を決定してもよい。

上記の視線情報共有システムにおいて、前記第１端末は、使用者の姿勢変化を検出する第１端末側検出器を含み、前記領域検出部は、前記第１端末側検出器による姿勢変化の検出結果に応じて、前記第１端末で取得された前記動画中で、パターンマッチングを行う範囲を変化させてもよい。

上記の視線情報共有システムにおいて、前記複数の情報入出力端末は、前記第１端末および前記第２端末にて取得される情報を管理する管理サーバーを含み、前記管理サーバーが、前記保持部を含むことが望ましい。

上記の視線情報共有システムにおいて、前記管理サーバーが、前記領域検出部および前記演算部を含むことが望ましい。

上記の視線情報共有システムにおいて、前記第２端末は、シースルー型のヘッドマウントディスプレイであってもよい。

上記の視線情報共有システムにおいて、前記第２端末は、外界を撮影して画像を取得する第２端末側撮像装置をさらに含み、前記保持部は、前記第２端末の使用者が静止した状態で、前記第２端末での撮影によって事前に取得された静止画の一部を、第２端末側基準画像として保持し、前記領域検出部は、前記第２端末での撮影によって動画が取得されたときに、前記動画から、前記第２端末側基準画像に対応する領域を検出し、前記第１端末は、前記領域検出部にて検出された前記領域を表す画像を表示してもよい。

上記の視線情報共有システムにおいて、前記第１端末は、第１端末側表示装置と、前記第１端末側表示装置によって表示された画像に対する使用者の視線方向を検出して注視位置を求める第１端末側視線検出装置とを含み、前記演算部は、前記領域検出部によって検出された前記領域を表す画像が前記第１端末で表示され、前記第１端末側視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第１端末の使用者の前記注視位置と、前記第２端末の撮像特性および表示特性とに基づいて、前記第２端末における、前記注視位置を示すマーカーの表示位置を算出し、前記第２端末の前記表示装置は、算出された前記表示位置に前記マーカーを表示してもよい。

本発明は、通信回線を介して接続される複数の情報入出力端末間で、使用者の視線情報を共有するシステムに利用可能である。

３１ 撮像装置（第２端末側撮像装置）
３２ 視線検出装置（第１端末側視線検出装置、第２端末側視線検出装置）
３８ 加速度センサ（第１端末側検出器、第２端末側検出器）
１００ 視線情報共有システム
２００ 情報入出力端末
２０１Ａ ＨＭＤ（情報入出力端末、第１端末）
２０１Ｃ ＨＭＤ（情報入出力端末、第２端末）
２０２Ａ 映像表示装置（表示装置、第１端末側表示装置）
２０２Ｃ 映像表示装置（表示装置、第２端末側表示装置）
３００ 通信回線
４００ 管理サーバー
４０１ 保持部
４０２ 領域検出部
４０３ 演算部

Claims (32)

1. 通信回線を介して接続される複数の情報入出力端末を含むシステムにおける視線情報共有方法であって、
   前記複数の情報入出力端末は、
   外界を撮影して画像を取得可能なシースルー型のヘッドマウントディスプレイである第１端末と、
   情報の表示および使用者の視線方向の検出が可能な第２端末とを含み、
   該視線情報共有方法は、
   前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する工程と、
   前記第１端末での撮影によって動画を取得する工程と、
   前記第１端末で取得された前記動画から、前記基準画像に対応する領域を検出する工程と、
   前記第２端末において、検出された前記領域を表す画像を表示する工程と、
   前記第２端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、
   前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、
   前記第１端末において、算出された前記表示位置に前記マーカーを表示する工程とを含むことを特徴とする視線情報共有方法。
2. 前記第２端末で表示される前記画像は、動画を含み、
   前記動画は、前記第１端末で取得した動画から、前記基準画像に対応する前記領域を切り抜き、変形することによって、予め設定された透過率で前記基準画像と重ね合わせて表示されることを特徴とする請求項１に記載の視線情報共有方法。
3. 前記第２端末で表示される前記画像は、静止画であり、前記基準画像そのもの、もしくは、前記基準画像を所定の時間間隔で更新した画像、または前記第２端末の使用者の操作によって更新される画像であることを特徴とする請求項１に記載の視線情報共有方法。
4. 前記第２端末で表示される前記画像は、動画であり、前記第１端末で取得した動画から、前記基準画像に対応する前記領域を切り抜き、変形することによって、予め設定されたサイズで前記基準画像と対応する位置に表示されることを特徴とする請求項１に記載の視線情報共有方法。
5. 前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器を含み、
   前記第２端末では、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、表示される前記画像が、前記第２端末の使用者から見て空間中の同じ位置に見えるように、前記第２端末側検出器の検出結果に応じて、前記画像の表示位置を移動させることを特徴とする請求項１から４のいずれかに記載の視線情報共有方法。
6. 前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器を含み、
   前記第２端末では、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記姿勢変化の検出結果と、前記第１端末で取得された前記動画からの前記領域の検出結果とに基づいて、前記第１端末で取得された前記動画内で前記基準画像に対応する領域から使用者の姿勢変化量と対応する量だけずれた範囲の動画を、前記領域の画像の表示位置から前記姿勢変化量と対応する量だけずれた位置に表示することを特徴とする請求項１に記載の視線情報共有方法。
7. 前記第２端末では、画像の表示位置を移動させる前後での前記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、前記表示位置の移動を制御することを特徴とする請求項５または６に記載の視線情報共有方法。
8. 前記基準画像に対応する領域を検出する工程では、前記第１端末で取得した前記動画に対して、前記基準画像をキーとしたパターンマッチングを行うことによって前記領域を検出することを特徴とする請求項１から７のいずれかに記載の視線情報共有方法。
9. 前記基準画像に対応する領域を検出する工程では、前記第１端末で取得した前記動画に対して、前記基準画像に含まれる複数の分割画像をキーとしたパターンマッチングを行うことによって前記領域を検出するとともに、個々の前記分割画像のパターンマッチングの結果に応じて、検出した前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形することを特徴とする請求項１、２、４から７のいずれかに記載の視線情報共有方法。
10. 前記第１端末は、外界を撮影する撮像装置と、使用者に観察可能な画像を提示する表示装置とを含み、
    前記マーカーの表示位置を算出する工程は、
    時間的にずれて行われる各パターンマッチングの結果に基づいて、前記第１端末での撮影によって取得された前記動画上での、検出された前記領域の位置の変化量を検出する工程と、
    上記変化量と、前記第２端末の使用者の前記注視位置と、前記第１端末の前記撮像装置の前記撮像特性および前記表示装置の前記表示特性とに基づいて、前記第１端末における前記マーカーの表示位置を決定する工程とを含むことを特徴とする請求項８または９に記載の視線情報検出方法。
11. 前記第１端末は、使用者の姿勢変化を検出する第１端末側検出器を含み、
    前記基準画像に対応する領域を検出する工程では、前記第１端末側検出器による姿勢変化の検出結果に応じて、前記第１端末で取得した前記動画中で、パターンマッチングを行う範囲を変化させることを特徴とする請求項８から１０のいずれかに記載の視線情報共有方法。
12. 前記複数の情報入出力端末は、前記第１端末および前記第２端末にて取得される情報を管理する管理サーバーを含み、
    前記管理サーバーが、前記第１端末で取得した前記静止画の一部を前記基準画像として保持することを特徴とする請求項１から１１のいずれかに記載の視線情報共有方法。
13. 前記管理サーバーが、前記基準画像に対応する前記領域を検出するとともに、前記マーカーの表示位置を算出することを特徴とする請求項１２に記載の視線情報共有方法。
14. 前記第２端末は、シースルー型のヘッドマウントディスプレイであることを特徴とする請求項１から１３のいずれかに記載の視線情報共有方法。
15. 前記第２端末は、外界を撮影して画像を取得可能であり、
    該視線情報共有方法は、
    前記第２端末の使用者が静止した状態で、前記第２端末での撮影によって事前に取得された静止画の一部を、第２端末側基準画像として保持する工程と、
    前記第２端末での撮影によって動画を取得する工程と、
    前記第２端末で取得された前記動画から、前記第２端末側基準画像に対応する領域を検出する工程と、
    前記第１端末において、検出された前記領域を表す画像を表示する工程とをさらに含むことを特徴とする請求項１４に記載の視線情報共有方法。
16. 第１端末は、情報の表示および使用者の視線方向の検出が可能であり、
    該視線情報共有方法は、
    前記第１端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、
    前記第２端末で取得された前記動画からの前記領域の検出結果と、前記第１端末の使用者の前記注視位置と、前記第２端末の撮像特性および表示特性とに基づいて、前記第２端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、
    前記第２端末において、算出された前記表示位置に前記マーカーを表示する工程とをさらに含むことを特徴とする請求項１５に記載の視線情報共有方法。
17. 通信回線を介して接続される複数の情報入出力端末を含む視線情報共有システムであって、
    前記複数の情報入出力端末は、第１端末および第２端末を含み、
    前記第１端末は、外界を撮影して画像を取得する撮像装置を含むシースルー型のヘッドマウントディスプレイであり、
    前記第２端末は、情報を表示する表示装置と、前記表示装置によって表示された情報に対する使用者の視線方向を検出する視線検出装置とを含み、
    前記複数の情報入出力端末のいずれかは、
    前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する保持部と、
    前記第１端末での撮影によって動画が取得されたときに、前記動画から、前記基準画像に対応する領域を検出する領域検出部と、
    前記領域検出部によって検出された前記領域を表す画像が前記第２端末で表示され、前記視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する演算部とを有し、
    前記第１端末は、前記演算部によって算出された前記表示位置に前記マーカーを表示することを特徴とする視線情報共有システム。
18. 前記領域検出部は、前記第１端末で取得された前記動画から、前記基準画像に対応する前記領域を切り抜き、切り抜いた前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形し、
    前記第２端末の前記表示装置は、前記領域検出部による変形後の動画を、予め設定された透過率で前記基準画像と重ね合わせて表示することを特徴とする請求項１７に記載の視線情報共有システム。
19. 前記第２端末の前記表示装置は、前記領域検出部によって検出された前記領域を表す画像を静止画で表示し、
    前記静止画は、前記基準画像そのもの、もしくは、前記基準画像を所定の時間間隔で更新した画像、または前記第２端末の使用者の操作によって更新される画像であることを特徴とする請求項１７に記載の視線情報共有システム。
20. 前記領域検出部は、前記第１端末で取得された前記動画から、前記基準画像に対応する前記領域を切り抜き、切り抜いた前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形し、
    前記第２端末の前記表示装置は、前記領域検出部による変形後の動画を、予め設定されたサイズで前記基準画像と対応する位置に表示することを特徴とする請求項１７に記載の視線情報共有システム。
21. 前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器と、前記表示装置による表示を制御する表示制御部とを含み、
    前記表示制御部は、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記表示装置で表示される画像が、前記第２端末の使用者から見て空間中の同じ位置に見えるように、前記第２端末側検出器の検出結果に応じて、前記画像の表示位置を移動させることを特徴とする請求項１７から２０のいずれかに記載の視線情報共有システム。
22. 前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器と、前記表示装置による表示を制御する表示制御部とを含み、
    前記表示制御部は、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記姿勢変化の検出結果と、前記第１端末で取得された前記動画からの前記領域の検出結果とに基づいて、前記第１端末で取得された前記動画内で前記基準画像に対応する領域から使用者の姿勢変化量と対応する量だけずれた範囲の動画を、前記表示装置において、前記領域の画像の表示位置から前記姿勢変化量と対応する量だけずれた位置に表示させることを特徴とする請求項１７に記載の視線情報共有システム。
23. 前記表示制御部は、画像の表示位置を移動させる前後での前記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、前記表示位置の移動を制御することを特徴とする請求項２１または２２に記載の視線情報共有システム。
24. 前記領域検出部は、前記第１端末で取得された前記動画に対して、前記基準画像をキーとしたパターンマッチングを行うことによって前記領域を検出することを特徴とする請求項１７から２３のいずれかに記載の視線情報共有システム。
25. 前記領域検出部は、前記第１端末で取得された前記動画に対して、前記基準画像に含まれる複数の分割画像をキーとしたパターンマッチングを行うことによって前記領域を検出するとともに、個々の前記分割画像のパターンマッチングの結果に応じて、検出した前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形することを特徴とする請求項１７、１８、２０から２３のいずれかに記載の視線情報共有システム。
26. 前記第１端末は、使用者に観察可能な画像を提示する表示装置とを含み、
    前記演算部は、時間的にずれて行われる各パターンマッチングの結果に基づいて、前記第１端末での撮影によって取得された前記動画上での、検出された前記領域の位置の変化量を検出し、上記変化量と、前記第２端末の使用者の前記注視位置と、前記第１端末の前記撮像装置の前記撮像特性および前記表示装置の前記表示特性とに基づいて、前記第１端末における前記マーカーの表示位置を決定することを特徴とする請求項２４または２５に記載の視線情報検出システム。
27. 前記第１端末は、使用者の姿勢変化を検出する第１端末側検出器を含み、
    前記領域検出部は、前記第１端末側検出器による姿勢変化の検出結果に応じて、前記第１端末で取得された前記動画中で、パターンマッチングを行う範囲を変化させることを特徴とする請求項２４から２６のいずれかに記載の視線情報共有システム。
28. 前記複数の情報入出力端末は、前記第１端末および前記第２端末にて取得される情報を管理する管理サーバーを含み、
    前記管理サーバーが、前記保持部を含むことを特徴とする請求項１７から２７のいずれかに記載の視線情報共有システム。
29. 前記管理サーバーが、前記領域検出部および前記演算部を含むことを特徴とする請求項２８に記載の視線情報共有システム。
30. 前記第２端末は、シースルー型のヘッドマウントディスプレイであることを特徴とする請求項１７から２９のいずれかに記載の視線情報共有システム。
31. 前記第２端末は、外界を撮影して画像を取得する第２端末側撮像装置をさらに含み、
    前記保持部は、前記第２端末の使用者が静止した状態で、前記第２端末での撮影によって事前に取得された静止画の一部を、第２端末側基準画像として保持し、
    前記領域検出部は、前記第２端末での撮影によって動画が取得されたときに、前記動画から、前記第２端末側基準画像に対応する領域を検出し、
    前記第１端末は、前記領域検出部にて検出された前記領域を表す画像を表示することを特徴とする請求項３０に記載の視線情報共有システム。
32. 前記第１端末は、第１端末側表示装置と、前記第１端末側表示装置によって表示された画像に対する使用者の視線方向を検出して注視位置を求める第１端末側視線検出装置とを含み、
    前記演算部は、前記領域検出部によって検出された前記領域を表す画像が前記第１端末で表示され、前記第１端末側視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第１端末の使用者の前記注視位置と、前記第２端末の撮像特性および表示特性とに基づいて、前記第２端末における、前記注視位置を示すマーカーの表示位置を算出し、
    前記第２端末の前記表示装置は、算出された前記表示位置に前記マーカーを表示することを特徴とする請求項３１に記載の視線情報共有システム。

Images