JP4642538B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像処理方法および画像処理装置に関し、特に、複合現実感の提示中において、複数の使用者の位置が近接した場合、使用者に報知する画像処理方法および画像処理方法に関する。

近年、現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用した装置が盛んに提案されている。

これらの複合現実感装置は、カメラなどの撮像装置によって撮影した現実世界の画像に対し、コンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で描画した仮想世界の画像を合成し、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの表示装置に表示することで、複合現実感を装置の使用者に提示している。（例えば、特許文献１）
これらの複合現実感装置は、現実世界の画像の変化に追従させて仮想世界の画像を生成し、複合現実感を高めるために、装置の使用者の視点位置・姿勢をリアルタイムで取得し、かつ、使用者に対してＨＭＤのような表示装置にリアルタイムに表示する必要がある。

複合現実感装置では、センサ装置によって計測した使用者の視点位置・姿勢を仮想世界での仮想の視点位置・姿勢として設定し、この設定に基づいて仮想世界の画像をＣＧにより描画して、現実世界の画像と合成する。

また、ＨＭＤは、複合現実感の提示のため、複合現実感装置の使用者の視野には、ＨＭＤの表示装置の表示があり、かつ、ＨＭＤの表示装置の表示内にはＣＧを描画する領域が含まれる。そのため、複合現実感装置の使用者は、あたかも現実世界の中に仮想の物体が存在しているかのような画像を観察することができるが、複合現実感の使用者の本来の視野に入るであろう現実世界の視界に対し、必ず、ＨＭＤの表示装置、および、ＣＧの描画分、現実世界を遮る領域が存在し、使用者の現実世界における視界を狭くしている。特に、複数の複合現実感を体験する使用者が、同時に複合現実感を体験すると、他の使用者や現実世界の物体をＣＧが遮り、使用者の接近による接触や複合現実感の効果を損なう可能性がある。
特開２００４−１２７０２４号公報

このような状況において、複合現実感装置の使用者のうち、ＨＭＤを使用して複合現実感を体験中の使用者は、他の使用者や物体に接近している状況を知る手段がなく、複合現実感装置を用いて複合現実感を提供するオペレータにおいては、複数のＨＭＤの使用者の接近状況を的確に把握する手段がなく、特に、使用者の体格や手などの可動領域を含めた接触を回避するのに有効な体験中の使用者の状況把握方法がなかった。

本願発明は、複合現実感の提示中において、ＨＭＤを装着した複合現実感装置の複数の使用者、および、オペレータにＨＭＤを装着した使用者の接近を報知し、接触を回避するような画像処理方法および画像処理装置を提供することを目的とする。

また、複合現実感の提示中において、ＨＭＤを装着した複合現実感装置の複数の使用者、および、オペレータにＨＭＤを装着した使用者の頭部のみならず、使用者の手やセンサのオフセット位置などの稼動領域間の接近による接触可能性を報知し、使用者の接触の可能性を回避するような画像処理方法および画像処理装置を提供することを目的とする。

上記の課題を解決するために、画像処理装置が行う画像処理方法であって、前記画像処理装置の撮像手段が、複数のユーザのうちの第１のユーザの視点位置および方向から観測される現実世界画像を撮像する撮像工程と、前記画像処理装置の検出手段が、前記第１のユーザの視点位置および視点方向と、前記複数のユーザのうち該第１のユーザと異なる第２のユーザの視点位置および視点方向とを検出する検出工程と、前記画像処理装置の合成手段が、前記視点位置および視点方向に基づいたＣＧと前記現実世界画像とを合成する合成工程と、前記画像処理装置の提示手段が、前記合成した画像を前記第１のユーザに提示する提示工程と、前記画像処理装置の計測手段が、前記第１のユーザと前記第２のユーザとの距離を計測する計測工程と、前記画像処理装置の判定手段が、前記計測工程で計測した距離が、所定値以下になったか否かを判定する判定工程と、前記画像処理装置の報知手段が、前記判定工程により前記所定値以下になったと判定された場合、前記第１のユーザに前記第２のユーザが接近していることを報知する報知工程とを備える。

更に、本発明の画像処理装置は、複数のユーザのうちの第１のユーザの視点位置および方向から観測される現実世界画像を撮像する撮像手段と、前記第１のユーザの視点位置および視点方向と、前記複数のユーザのうち該第１のユーザと異なる第２のユーザの視点位置および視点方向とを検出する検出手段と、前記視点位置および視点方向に基づいたＣＧと前記現実世界画像とを合成する合成手段と、前記合成した画像を前記第１のユーザに提示する提示手段と、前記第１のユーザと、前記第２のユーザとの距離を計測する計測手段と、前記計測手段で計測した距離が、所定値以下になったか否かを判定する判定手段と、前記判定手段により前記所定値以下になったと判定された場合、前記第１のユーザに前記第２のユーザが接近していることを報知する報知手段とを備える。

本発明は、複数のユーザに対して、他のユーザとの接触の可能性のあることを報知することで、ユーザ同士の接触を回避することが可能となる。

以下、本発明の一実施の形態について、図面を用いて説明する。

図１は、本実施の形態による複合現実感装置の概略構成を示すブロック図である。

図１において、演算処理部１００は、コンピュータなどの計算機により構成される。演算処理部１００には、ＣＰＵ１０１、ＲＡＭ１０２、画像生成装置１０３、システムバス１０４、ディスク装置１０５、入力装置１０６、画像読取装置１０７により構成される。

ＣＰＵ１０１は、不図示のＲＯＭ又は、ＲＡＭ１０２に格納された複合現実感プログラムに基づき、複合現実感処理を制御する。ＣＰＵ１０１はシステムバス１０４に接続され、ＲＡＭ１０２、画像生成装置１０３、システムバス１０４、ディスク装置１０５、入力装置１０６、画像読取装置１０７と相互に通信可能であり、各機器を制御する。

ＲＡＭ１０２は、メモリなどの主記憶装置によって実現され、システムバス１０４を介して、複合現実感プログラムのプログラムコードやプログラムの制御情報、ＣＧデータや計測位置データなどを一時的に保持する。

画像生成装置１０３は、グラフィックスカードなどの機器によって実現される。一般的に、画像生成装置１０３は図示しないグラフィックスメモリを保持している。ＣＰＵ１０１上で実行されるプログラムによって生成された画像情報は、システムバス１０４を介して画像生成装置１０３が保持するグラフィックスメモリに書き込まれる。画像出力装置１０３は、グラフィックスメモリに書き込まれた画像情報を表示装置に応じた画像信号に変換して表示部２００、および、表示装置３０１、４０１、８０１に送出する。

グラフィックスメモリは必ずしも画像生成装置１０３が保持する必要はなく、ＲＡＭ１０２によってグラフィックスメモリの機能を実現してもよい。

システムバス１０４は、演算処理部１００を構成する各機器が接続され、各機器が相互に通信するための通信路である。

ディスク装置１０５は、ハードディスク等の補助記憶装置によって実現される。ディスク装置１０５は、複合現実感プログラムのプログラムコードやプログラムの制御情報、仮想世界のＣＧオブジェクトデータ、ＨＭＤの位置データ、注意距離情報などを保持する。

入力装置１０６は、各種インターフェース機器によって実現される。例えば、演算処理部１００の外部に接続された機器からの信号をデータとして入力し、システムバス１０４を介して、ＲＡＭ１０２にデータを書き込むなどの機能を実現する。

画像読取装置１０７は、キャプチャカードなどのようにビデオ画像などの画像信号を入力し、システムバス１０４を介して、ＲＡＭ１０２またはグラフィックスメモリに画像データを書き込む。なお、第１ＨＭＤ３００、第２ＨＭＤ４００、第３ＨＭＤ８００が、工学シースルーの場合は、画像読取装置１０７を具備しなくてよい。

表示部２００は、例えば、ＣＲＴ、液晶ディスプレイなどの表示装置であり、本発明の複合現実感提示装置の使用者（第１ＨＭＤ３００、第２ＨＭＤ４００、第３ＨＭＤ８００の夫々の使用者）に対し、複合現実感提示装置の動作状況やＨＭＤの位置情報などを表示する。

第１ＨＭＤ３００、第２ＨＭＤ４００、第３ＨＭＤ８００は、本実施形態の複合現実感装置を体験するために、本装置の使用者が装着するＨＭＤである。なお、ＨＭＤの数は、３つに限定するものではなき、２つ、４つ又はそれ以上であっても良い。

第１ＨＭＤ３００は、表示装置３０１、撮像装置３０２、計測対象３０３により構成される。第２ＨＭＤ４００は、表示装置４０１、撮像装置４０２、計測対象４０３により構成される。第３ＨＭＤ８００は、表示装置８０１、撮像装置８０２、計測対象８０３により構成される。

本発明の構成では、第１ＨＭＤ３００、第２ＨＭＤ４００、第３ＨＭＤ８００は、同じＨＭＤとして説明するが、必ずしも同じＨＭＤでなくてもよい。また、ＨＭＤと同じように使用者の位置をセンサで特定できるものであれば、ＨＭＤ以外の対象物とＨＭＤの位置関係をもとに注意距離を判定してもよい。

本発明の実施形態中では、ビデオシースルー方ＨＭＤを例にして、光学式シースルーＨＭＤであっても本発明を適用することが可能であり、その場合、撮像装置３０３、４０３は不要となる。また、以下の説明では、２つのＨＭＤの場合を説明する。

表示装置３０１、４０１は、例えば、ビデオシースルー型ＨＭＤのディスプレイによって実現される。表示装置３０１、４０１は、画像生成装置１０３から送出される画像信号を表示し、使用者に複合現実感を提示するために用いられる。

撮像装置３０２、４０２は、各ＨＭＤの使用者の視点から見られる現実世界の画像を撮像するために用いられ、撮像した画像は、画像信号として画像読取装置１０７に送られる。

計測対象３０３、４０３は、センサ６００がＨＭＤのそれぞれの位置を認識するために必要な計測対象であり、ＨＭＤ上に設けられる。

センサ６００は、使用者の位置、姿勢を計測する。センサ制御部５００はセンサ６００を制御し、計測対象３０３、４０３、および、センサ６００により観測データを取得する。センサ制御部５００は、観測データをもとに、計測対象３０３、４０３の位置、姿勢情報を算出し、計測値として入力装置１０６に送信する。

なお、本発明の実施形態では、計測対象３０３、４０３、センサ制御部５００、センサ６００は、センサ装置により、異なる構成であっても適用することができる。

光学式の例として、Ｎｏｒｔｈｅｒｎ Ｄｉｇｉｔａｌ社の光学式センサＯＰＴＯＴＲＡＫ３０２０の計測対象３０３、４０３は、発光装置によって構成され、センサ制御部５００の制御により発光する。センサ６００は、受講装置によって構成され、計測対象３０３、４０３の発光装置から発した光を観測する。センサ制御部５００は、センサ６００の観測データと計測対象３０３、４０３の位置、姿勢を算出する。

また、別の光学式センサの例として、３ｒｄＴｅｃｈ社の光学式センサＨｉＢａｌｌの場合は、計測対象３０３，４０３は、受光装置によって構成され、センサ６００は、発光装置によって構成される。センサ６００は、センサ制御部５００の制御によって発光する。計測対象３０３、４０３は、センサ６００の発する光を観測する。センサ制御部５００は、計測対象３０３、４０３の観測データ、センサ６００の配置データをもとに、計測対象３０３、４０３の位置、姿勢を算出する。

更に、磁気センサの例として、Ｐｏｌｈｍｕｓ社の磁気センサＦａｓｔｒａｋの場合は、計測対象３０３、４０３はレシーバで構成され、センサ６００のトランスミッタが発生する磁界を観測し、観測データを生成する。センサ６００は、トランスミッタによって構成され、センサ制御部５００の制御によって磁界を発生する。センサ制御部５００は、計測対象３０３、４０３の観測データをもとに、計測対象３０３、４０３の位置、姿勢を算出する。

また、使用者がマーカを装着し、ＨＭＤとは別の撮像装置によって撮像した画像に画像処理を施し、画像中からマーカを抽出、マーカの画像中の位置から使用者のＨＭＤの位置、姿勢を算出する手法も適用することができる。

この場合、計測対象３０３、４０３をマーカ、センサ６００を撮像装置、センサ制御部５００を画像処理部とする構成として考えられる。また、計測対象３０３、４０３に、特にマーカを装着せず、撮像装置が本装置の使用者を撮像し、使用者の画像特徴を用いて、使用者の位置、姿勢を算出する手法も適応可能である。この場合、計測対象３０３、４０３は、本装置の使用者が該当する。

さらに、本装置を使用する空間中にランドマークとなる複数のマーカを設置し、撮像装置３０２、４０２によって撮像された画像に対して、画像処理を行い、画像中のマーカの位置から本装置の使用者の位置姿勢を算出する方法や、本装置を使用する空間中にランドマークとして明示的なマーカを設置せずに撮像装置が撮像した画像から画像特徴を抽出することにより、本装置の使用者の位置、姿勢を算出する方法も適応できる。

また、複数のセンサや計測手法を併用して本装置の使用者の位置、姿勢を計測することや位置のみを計測しても本実施の形態に適用することが可能である。

（第１の実施の形態）
図４は、第１の実施の形態を示すフローチャートである。

第１の実施の形態では、センサにより計測される使用者間の距離のみを用いて近接の判定を行う例について、図４のフローチャートを用いて詳細に説明する。

また、ステップＳ４０１で、複合現実感提示処理に必要な初期化処理を行う。初期化処理には、例えば、ＣＰＵ１０１が仮想世界ＣＧオブジェクトデータ、報知用ＣＧオブジェクトデータ、注意距離データや、プログラムの制御データなど、必要なデータをディスク装置１０５からＲＡＭ１０２上に読み出す。

ステップＳ４０２において、画像読取装置１０７は、撮像装置３０２、４０２によって撮像された本装置の使用者のＨＭＤからの現実世界画像を入力し、ＲＡＭ１０２に書き込む。ＣＰＵ１０１は、ＲＡＭ１０２から画像を読み出し、必要に応じて補正処理を行った後に、画像生成装置１０３のグラフィックスメモリ上のフレーム・バッファに書き込む。なお、ＲＡＭ１０２を介さずに、画像読取装置１０７が入力した画像を画像生成装置１０３のグラフィックスメモリ上のフレーム・バッファに直接書き込むようにしてもよい。

なお、表示装置２０１に光学シースルー型の表示装置を用いる場合には、ステップＳ４０２の処理は行う必要はない。

ステップＳ４０３において、入力装置１０６は、センサ部６００のセンサ制御部５００が出力した計測値を取得する。ＣＰＵ１０１は、取得した計測値を本装置の使用者の視点での位置・姿勢に変換し、ＲＡＭ１０２に書き込む。更に、ステップＳ４０３では、ディスク装置１０６からステップＳ４０１の境界計測値収集処理（センサー計測可能、又は、使用者が移動可能な範囲を収集する処理）によって計測された境界計測値（センサー計測可能、又は、移動可能な範囲の計測値）を読み込み、ＲＡＭ１０２に格納する。

ＣＰＵ１０１は、ステップＳ４０３において変換した本装置の使用者の視点位置とＲＡＭ１０２に格納した複数の境界計測値群とを照合し、本装置の使用者が装着する第１ＨＭＤ３００と第２ＨＭＤ４００のＨＭＤ間距離（図２参照）が、注意距離内であるか否かを判定する。

ステップＳ４０５では、ステップＳ４０４で判定された本装置の使用者の第１ＨＭＤ３００、第２ＨＭＤ４００の位置から算出されるＨＭＤ間の距離があらかじめシステムに設定されている注意距離以内であれば、注意表示を行う処理に進む。

注意距離内であれば、ステップＳ４０９に進み、ＣＰＵ１０１は、ＲＡＭ１０２にあらかじめ読み込まれている、注意用ＣＧオブジェクトを表示装置３０１、４０１に表示して使用者に報知する。例えば、表示装置３０１、４０１のそれぞれの予め決められた位置（中央部など）に、「注意：他のユーザと接触する可能性があります。」と、表示する。

次に、ステップＳ４１０においては、ＣＰＵ１０１は、ＲＭＡ１０２にあらかじめ読み込まれている、例えば、図３に示すようなオペレータパネルのＧＵＩを表示部２００に表示し、第１ＨＭＤ３００と第２ＨＭＤ４００の距離を表示するとともに、第１ＨＭＤ３００と第２ＨＭＤ４００の距離が１ｍ（１０００ｍｍ）以内であれば、アイコンの色をオレンジにし、５０ｃｍ以内であれば、アイコンの色を赤にするような注意表示を行う。

これらの注意表示には、表示だけでなく、アニメーションの表示、また、注意距離内に存在する使用者のＨＭＤ近辺のＣＧの描画を消すなどのように、他の使用者が注意距離内に存在する表示であれば、他の表示手段を併用してもよい。

また、判定に用いる注意距離の閾値は、使用者の位置、姿勢から、向き、進行方向、速度、に応じて異なる値を使いわけてもよい。

ステップＳ４０５において、注意距離内でないと判定されれば、ステップＳ４０６において計測値を保持（ＲＡＭ１０２に記憶）し、ステップＳ４０７に進む。

ステップＳ４０７において、ＣＰＵ１０１はＲＡＭ１０２から仮想世界のＣＧオブジェクトのデータを読み出し、算出した本装置の使用者の視点位置・姿勢からＣＧを描画して、グラフィックスメモリ上に出力する。画像生成装置１０３は、グラフィックスメモリ上の各種バッファに描画されたデータを合成し、表示装置３０１、４０１に対して画像信号を送出する。

ステップＳ４０８においては、複合現実感提示処理の続行を判定し、処理を続行する場合にはステップＳ４０２に戻る。処理を終了する場合には、本発明の複合現実感提示処理を終了する。

以上、説明のように本実施の形態によれば、複数のＨＭＤ装着者の距離が、予め設定した距離以下になると、接触する可能性があることを、ＨＭＤ装着者に対して報知することができる。また、装置全体を管理するオペレータに対しては、それぞれの距離を提示できると共に接触の可能性の可能性を色によって提示することができる。

（第２の実施の形態）
図５は、本発明の第２の実施の形態における、注意領域の概念を示す図である。

図５において、センサ５０１０は、複合現実感提示システムのＨＭＤを装着した使用者の位置、姿勢を検知するセンサである。センサ計測域５０２０は、センサ５０１０が計測可能な領域を示している。また、計測対象５０３０は、複合現実感提示処理の使用者のＨＭＤの位置、姿勢や、使用者の手や装着している物体など、使用者が接触の可能性を有するものの位置、姿勢を計測するための計測対象である。本実施の形態では、計測対象として説明するが、計測対象５０３０が、自らの位置姿勢を計測できるセンサやジャイロであっても構わない。

注意領域５０４０は、計測対象５０３０の位置と、あらかじめシステムに設定されている閾値で決定される注意領域である。注意領域間距離５０５０は使用者ごとの注意領域の最短距離である。本第２の実施の形態では、注意領域間距離５０５０の値が、あらかじめシステムに設定されている注意距離に応じて使用者に、他の使用者との接近を報知する表示を行う。

図４に示したフローチャートと図５を用いて、第２の実施の形態を詳細に説明する。

なお、第１の実施の形態と異なる部分のみを説明する。

ステップＳ４０３において、本装置の使用者が装着する第１ＨＭＤ３００、第２ＨＭＤ４００の位置が、図５の注意領域間距離５０５０内に存在するか否かを判定する。この注意領域間距離は、複数の計測対象５０３０と使用者の位置から注意領域５０４０を設定し、各使用者の注意領域間の距離を用いて判定を行う。この注意領域は、使用者ごとに任意に設定してもよく、使用者の体格や、装着状態に応じて注意領域情報を使い分けることができる。

同一使用者の複数の計測対象５０３０間の距離については判定を行わず、図５で示すような、計測対象５０３０を中心とした一定の距離Ｒの注意領域と、他の使用者の注意領域間の距離で判定する。注意領域の大きさを決定する距離Ｒは、オペレータが操作入力７００から任意に変更することも可能である。

ステップＳ４１０における表示は、さらに、相対位置情報、客観的な視点で使用者の位置がマッピングされたマップ画像など、使用者への注意に有効な画像情報を、同時に表示することも可能である。

また、判定に用いる注意領域間距離の閾値は、使用者の位置、姿勢から、向き、進行方向、速度、に応じて異なる値を使いわけてもよい。また、本実施の形態では、第１、第２のＨＭＤの使用者の実施の形態に関して説明しているが、第３の使用者が存在し、オペレータと同様に、第３の使用者に第１、第２のＨＭＤの使用者の接近を通知することも可能である。

以上、説明したように本実施の形態によれば、使用者の形体を考慮して注意領域を設定するため、適切な注意領域を設定することができる。

また、一人の使用者に計測対象を複数設定するため、適切な大きさの注意領域を設定することができ、また、同一使用者の計測対象同士で、近接判断を行わないようにしたので、不要な処理を行うことがない。

（第３の実施の形態）
図６は、本発明の第３の実施の形態おける、注意領域の概念を示す図である。

図６において、センサ６０１０は、複合現実感提示システムのＨＭＤを装着した使用者の位置、姿勢を検知するセンサである。センサ計測域６０２０は、センサ６０１０が計測可能な領域を示している。

図６では、ＨＭＤ（図６においては不図示）と計測対象６０８０（図中に四角形で示す）を装着した３人の使用者の相対的な位置関係を示している。すなわち、第１使用者６０３１、 第２使用者６０３２、第３使用者６０３３には、それぞれ任意の数の計測対象とシステムに設定されている注意領域の値により決定される、注意領域６０４１、６０４２、６０４３が算出されて、設定される。

これらの注意領域の最短距離は、それぞれ、第１使用者６０３１の注意領域６０４１と、第２使用者６０３２の注意領域６０４２の最短距離については注意領域間距離６０５０、第２使用者６０３２の注意領域６０４２と、第３使用者６０３３の注意領域６０４３の最短距離については注意領域間距離６０６０、第３使用者６０３３の注意領域６０４３と、第１使用者６０３２の注意領域６０４１の最短距離については注意領域間距離６０７０、で示されている。

計測対象６０８０は、複合現実感提示装置の使用者のＨＭＤの位置、姿勢や、使用者の手や装着している物体など、使用者が他と接触する可能性を有するものの位置、姿勢を計測するための計測対象である。本実施の形態では、計測対象として説明するが、計測対象５０８０が、自らの位置姿勢を計測できるセンサやジャイロであっても構わない。また、本発明の第３の実施の形態では、図６に示す３名の使用者が、いずれも、頭部と両手に計測対象６０８０を装着している例を説明するが、計測対象６０８０の数や位置は、注意領域を決定するための位置、姿勢を計測できる使用者の体の一部、使用者に装着された物体であれば、どこであってもよく、計測対象６０８０の数も任意の数であってよい。

図７は、本第３の実施の形態の処理の手順を示すフローチャートである。

図６，７を用いて、以下に本第３の実施の形態について詳細に説明する。

本第３の実施の形態では、センサ計測領域内に第１使用者６０３１、第２使用者６０３２、第３使用者６０３３の３名が、センサ計測域６０２０内に存在し、はじめは３名とも注意領域間距離が、所定の閾値よりも大きく、注意の必要のない位置（２ｍ）に存在し、その後、第３使用者６０３３が、第２使用者６０３２に近づいたために、第３使用者６０３３と第２使用者６０３２間の注意領域間距離６０６０が閾値（１ｍ、５０ｃｍ）内になり、第２、第３使用者の双方のＨＭＤに近接注意を表示し、第１使用者には、第２、第３使用者が近接していることを通知する手順について説明する。

ステップＳ７０１では、複合現実感提示処理に必要な初期化処理を行う。初期化処理には、例えば、ＣＰＵ１０１が仮想世界ＣＧオブジェクトデータ、注意用ＣＧオブジェクトデータ、注意領域間距離データや、プログラムの制御データなど、必要なデータをディスク装置１０５からＲＡＭ１０２上に読み出す。

本実施の形態で用いる、使用者や、使用者の計測対象ごとの注意領域の大きさや、注意を出す閾値となる注意領域間距離などのパラメータはこの時点で、システムに保存されるファイルから読み込まれ、ＲＡＭ１０２上に保持される。

ステップＳ７０１でシステムの初期化処理が終了すると、ステップＳ７０２において、画像読取装置１０７は、撮像装置３０２、４０２、８０２によって撮像された本装置の使用者のＨＭＤからの現実世界画像を入力し、ＲＡＭ１０２にそれぞれ書き込む。

ＣＰＵ１０１は、ＲＡＭ１０２からそれぞれの画像を読み出し、必要に応じて補正処理を行った後に、画像生成装置１０３のグラフィックスメモリ上のフレーム・バッファに書き込む。この場合、ＲＡＭ１０２を介さずに、画像読取装置１０７が入力した画像を画像生成装置１０３のグラフィックスメモリ上のフレーム・バッファに直接書き込むようにしてもよい。なお、表示装置３０１、４０１、８０１に光学シースルー型の表示装置を用いる場合には、ステップＳ７０２の処理は行う必要はない。

ステップＳ７０３において、入力装置１０６はセンサ部６００（６０１０）のセンサ制御部３００が出力した計測値を取得する。ＣＰＵ１０１は、取得した計測値を本装置の使用者の視点での位置・姿勢に変換し、ＲＡＭ１０２に書き込む。ステップＳ７０３では、ディスク装置１０６からステップＳ７０１の境界計測値収集処理によって計測された境界計測値を読み込み、ＲＡＭ１０２に格納する。

次にステップＳ７０４において、ＣＰＵ１０１は、ステップＳ７０３において変換した使用者の視点位置とＲＡＭ１０２に格納した複数の境界計測値群とを照合し、使用者が装着する第１ＨＭＤ，、第２ＨＭＤ、第３ＨＭＤの位置が、図６の注意領域間距離内に存在するか否かを判定する。この注意領域間距離は、複数の計測対象６０８０を装着した使用者の位置から注意領域を設定し、各使用者の注意領域間の距離を用いて判定を行う。

この注意領域は、使用者ごとに任意に設定してもよく、使用者の体格や、装着状態に応じて注意領域情報を使い分けることができる。同一使用者の複数の計測対象６０８０間の距離については判定を行わず、例えば、図５で示すような、計測対象５０３０を中心とした一定の距離Ｒで決定される円で囲まれるような注意領域と、他の使用者の注意領域間の距離で判定する。注意領域の大きさを決定する距離Ｒは任意に変更することも可能である。

また、使用者に近接を報知すべき状況を判定するために使用者、または、使用者が装着する物が接触せずに余裕をもって稼動できる領域であり、使用者ごとの領域を決定できる方法であれば、別の方法であっても構わない。

ステップＳ７０５では、ステップＳ７０４で判定された使用者の第１ＨＭＤ、第２ＨＭＤ、第３ＨＭＤの位置から算出されるＨＭＤ間の距離があらかじめシステムに設定されている注意領域間距離以内かどうか判定する。

第１使用者６０３１、第２使用者６０３２、第３使用者６０３３の三名は、十分、離れた位置にいるため、それぞれの注意領域６０４１、６０４２、６０４３をもとに、それぞれの注意領域間距離６０５０、６０６０、６０７０を算出すると、２ｍであり、閾値である１ｍよりも離れていて注意の必要がない。第１、第２、第３使用者のＨＭＤは、いずれも、それぞれの使用者に対し、注意の必要がないため、ステップＳ７０６の判定に進む。

ステップＳ７０６において、別の使用者に注意すべき、使用者どうしの近接が発生していないか判断するが、第１、第２、第３ＨＭＤの使用者のいずれの注意領域間距離も、閾値以下になっていないため、他の使用者も注意すべき近接は発生していないと判定し、ステップＳ７０７に進む。

ステップＳ７０７において、第１、第２、第３使用者の各位置、姿勢の計測値を保持し、ステップＳ７０８において、それぞれの位置、姿勢に応じて、各使用者のＨＭＤの実写画像に重ねてＣＧを描画する。そして、ステップＳ７０９において、描画の終了が指示されていなければ、ステップＳ７０２に戻り、同様の描画処理を継続する。

次に、第３使用者６０３３が、第２使用者６０３２に接近し、第１使用者６０３１とのそれぞれの距離は１ｍ以上であるが、第２使用者と第３使用者の注意領域間距離が閾値の１ｍ以下になった場合について、説明する。

ステップＳ７０２、Ｓ７０３は、閾値以上の場合と同様の処理を実行し、第１使用者６０３１、第２使用者６０３２、第３使用者６０３４とも同様の処理となる。

ステップＳ７０４においても判定処理は同様の処理だが、各使用者の距離に応じて、異なる判定結果となる。すなわち、第１使用者６０３１の注意間距離の判定結果は、いずれも、閾値である１ｍ以上である。

第２使用者６０３２の注意領域間距離の判定結果は、第１使用者６０３１との注意領域間距離６０５０は、閾値以下であるが、第３使用者６０３３との注意領域間距離６０６０は、閾値の１ｍ以下と算出される。第３使用者６０３３も同様に、第１使用者６０３１との注意領域間距離６０７０は、閾値の１ｍ以上であり、第２使用者６０３２との注意領域間距離６０６０は閾値の１ｍ以下と算出される。

以下は、各使用者ごとに処理が異なるため、使用者別の処理について説明する。

ステップＳ７０５において、第１使用者６０３１の判定結果は、他の２者との注意領域間距離が、閾値である１ｍ以上であるので、ステップＳ７０６に進む。第１使用者６０３１は、他の２人の使用者とは注意を受ける距離にいないと判定されているが、他の２者どうしが、注意距離内に近づいているため、ステップＳ７１０にすすむ。ステップＳ７１０において、第２使用者６０３２と第３使用者６０３３の注意領域間距離が閾値以下であることを通知できるような描画を行う。表示内容に関しては、例えば、テキストで表示してもよいし、第１、第２使用者を抽象化したモデルでもよいし、画面内の色がオペレータのパネルの表示と同様の色に変更されるなど、定常状態とは区別される表示であればよく、どのような表示内容であっても、識別できる状態であればよい。

次に、ステップＳ７０８にすすみ、ＣＰＵ１０１はＲＡＭ１０２から仮想世界のＣＧオブジェクトのデータを読み出し、算出した本装置の使用者の視点位置・姿勢からＣＧを描画して、グラフィックスメモリ上に出力する。画像生成装置１０３は、グラフィックスメモリ上の各種バッファに描画されたデータを合成し、すなわち、実写画像データ、注意表示用のデータ、近接注意に関わらず、表示すべきＣＧオブジェクトの合成画像を作成し、表示装置３０１に対して画像信号を送出する。

次に、第２使用者６０３２、第３使用者６０３３用の処理について、ステップＳ７０５の処理から説明する。

ステップＳ７０４において、第２使用者６０３２の判定結果は、第１使用者６０３１との注意領域間距離６０５０については、閾値の１ｍ以上であるが、第３使用者６０３３との注意領域間距離６０６０は、１ｍ以下と算出されたため、ステップＳ７０５では、第１使用者６０３１とは異なり、ステップＳ７１１に進み、注意用のＣＧを描画する。この描画は、第２使用者６０３２に対し、第３使用者６０３３に近づいていることを示す描画でもよいし、または、第２使用者６０３２と、第３使用者６０３３の距離を数値的に示すような表示でもよいし、テキストの情報やアイコンなどの簡略化した表示でもよい。

次に、ステップＳ７１２にすすみ、オペレータパネル上に、第２使用者６０３２のＨＭＤが第３使用者６０３３のＨＭＤとの距離が閾値以下になったことを示すような表示を行う。例えば、１ｍ以下であれば、アイコンの色をブルーからオレンジに変更する、というように、オペレータに対しても、どの使用者のＨＭＤどうしが、どの程度の距離まで接近したか表示し、かつ、閾値に応じて分かりやすい色で表示するような例が考えられる。

オペレータに対する表示も、各使用者のＨＭＤの接近を注意し、閾値ごとに異なり、かつ、接触の可能性の増大を段階的に示すような表示であれば、どのような表示であっても適用することができる。

次に、ステップＳ７１３に進み、ＣＧ描画の有無を判定する。

例えば、注意領域間距離が第１の閾値１ｍ以下で第２の閾値５０ｃｍ以上であれば、ＨＭＤの近接による接触可能性は比較的小さいと設定されているシステムであれば、ステップＳ７０８に進み、注意表示と共にコンテンツのＣＧの描画も行い、一連の描画処理をシステムが繰り返される。そして、注意領域間距離の判定結果が変わるまで同様の表示を継続する。

そして、注意領域間距離が第２の閾値５０ｃｍ以下になった場合に、ステップＳ７１１において、より接触する可能性が高くなったことを強調するため５０ｃｍ〜１ｍの場合の表示とは区別できる別の表示画像を描画し、ステップＳ７１２におけるオペレータへの注意表示においても、例えば、オレンジ色のアイコンを赤色にし、ウインドウの表示が最前面になるように描画する。さらに、ステップＳ７１３においては、ＣＧの描画をせずに実写と注意用の描画だけを行い、第２使用者６０３２が、接近する第３使用者６０３３との近接に対応するために、邪魔になるＣＧ描画を極力しないようにし、システムが終了するか、注意領域間距離の判定が変更されるまで、同様の描画処理を継続する。

第３使用者６０３３の描画処理も、前述の第２使用者６０３２の描画処理と同様の判断で実施することができる。

上記のような手順で、第１使用者６０３１、第２使用者６０３２、第３使用者６０３３の描画処理をステップＳ７０９において描画の終了を指示されるまで継続することにより、本発明の複合現実感提示方法における、第３の実施の形態を実施できる。

以上説明のように、複合現実感提示装置の使用者が複合現実感を体験中に、使用中の移動や他の使用者の接近による接触から、適切に誘導し、同時に、複合現実感提示装置のオペレータにも、接近による接触の可能性の情報を示すことができる。

また、複数の使用者の情報をオペレータにも提示することができるため、外部からも使用者の状態を適確に判断することができる。

更に、使用者ごとに設定された注意領域間の距離で判断するため、使用者の体格の相違などによる誤差を吸収することができる。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の画像処理装置の概略構成を示すブロック図である。 本発明の第１の実施の形態の注意距離の概念を示す図である。 本発明の画像処理装置のオペレータの表示例を示す図である。 本発明の第１、第２の実施の形態の処理手順を示すフローチャートである。 本発明の第２の実施の形態における注意領域間距離の概念を示す図である。 本発明の第３の実施の形態における各使用者の相対的な位置関係と、注意領域間距離の概念を示す図である。 本発明の第３の実施の形態の処理手順を示すフローチャートである。

符号の説明

１００ 演算処理部
１０３ 画像生成装置
１０７ 画像読取装置
２００ 表示部
３００ 第１ＨＭＤ
４００ 第２ＨＭＤ
８００ 第３ＨＭＤ
３０１、４０１、８０１ 表示装置
３０２、４０２、８０２ 撮像装置
３０３、４０３、８０３ 計測対象

Claims (12)

1. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の撮像手段が、複数のユーザのうちの第１のユーザの視点位置および方向から観測される現実世界画像を撮像する撮像工程と、
   前記画像処理装置の検出手段が、前記第１のユーザの視点位置および視点方向と、前記複数のユーザのうち該第１のユーザと異なる第２のユーザの視点位置および視点方向とを検出する検出工程と、
   前記画像処理装置の合成手段が、前記視点位置および視点方向に基づいたＣＧと前記現実世界画像とを合成する合成工程と、
   前記画像処理装置の提示手段が、前記合成した画像を前記第１のユーザに提示する提示工程と、
   前記画像処理装置の計測手段が、前記第１のユーザと前記第２のユーザとの距離を計測する計測工程と、
   前記画像処理装置の判定手段が、前記計測工程で計測した距離が、所定値以下になったか否かを判定する判定工程と、
   前記画像処理装置の報知手段が、前記判定工程により前記所定値以下になったと判定された場合、前記第１のユーザに前記第２のユーザが接近していることを報知する報知工程とを備えることを特徴とする画像処理方法。
2. 前記第１のユーザと前記第２のユーザとの距離に応じて、報知する種類が異なることを特徴とする請求項１に記載の画像処理方法。
3. 前記判定工程の判定に用いる所定値が、前記第１のユーザ及び前記第２のユーザの向き、進行方向、速度に応じて、異なることを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記報知工程による前記第１のユーザへの報知を、前記第２のユーザにも行うことを特徴とする請求項１乃至３の何れか１項に記載の画像処理方法。
5. 前記報知工程による前記第１のユーザへの報知は、前記合成工程による合成画像を使用せず、前記現実世界画像に注意情報を重畳した画像を用いることを特徴とする請求項１乃至４の何れか１項に記載の画像処理方法。
6. 前記第１のユーザと前記第２のユーザとの距離は、前記第１のユーザの視点位置と前記第２のユーザの視点位置との距離であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理方法。
7. 前記画像処理装置の設定手段が、前記複数のユーザの各々に備えられた計測対象であって位置が計測される計測対象に注意領域を設定する設定工程と、
   を更に備え、
   前記第１のユーザと前記第２のユーザとの距離は、前記第１のユーザの計測対象に設定された注意領域と前記第２のユーザの計測対象に設定された注意領域との距離であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理方法。
8. 前記計測対象は、前記複数のユーザの各々ごとに複数備わることを特徴とする請求項７に記載の画像処理方法。
9. 前記計測対象は、前記複数のユーザの各々の体の一部、若しくは該複数のユーザの各々が所持する物体であることを特徴とする請求項７又は８に記載の画像処理方法。
10. 複数のユーザのうちの第１のユーザの視点位置および方向から観測される現実世界画像を撮像する撮像手段と、
    前記第１のユーザの視点位置および視点方向と、前記複数のユーザのうち該第１のユーザと異なる第２のユーザの視点位置および視点方向とを検出する検出手段と、
    前記視点位置および視点方向に基づいたＣＧと前記現実世界画像とを合成する合成手段と、
    前記合成した画像を前記第１のユーザに提示する提示手段と、
    前記第１のユーザと、前記第２のユーザとの距離を計測する計測手段と、
    前記計測手段で計測した距離が、所定値以下になったか否かを判定する判定手段と、
    前記判定手段により前記所定値以下になったと判定された場合、前記第１のユーザに前記第２のユーザが接近していることを報知する報知手段とを備えることを特徴とする画像処理装置。
11. 請求項１乃至９のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１乃至９のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを格納した記憶媒体。

Images