JP2017010119A - 情報処理装置、画像処理装置、それらの制御方法及びプログラム - Google Patents

Abstract

【課題】位置姿勢の検出精度の低下を抑えつつ、伝送する映像データ量を削減する。
【解決手段】画像処理装置と通信可能な情報処理装置であって、情報処理装置の移動量と回転量との少なくとも一方を含む移動回転量を取得する取得部と、取得部によって取得された移動回転量が所定値以下である場合、画像処理装置に送信する撮像画像のデータ量を削減する制御部とを備える。
【選択図】 図２

Description

本発明は、情報処理装置、画像処理装置、それらの制御方法及びプログラムに関する。

現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲシステムを実現する方法の一つとして、ビデオシースルー型の頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するものがある。このＭＲシステムでは、ＨＭＤ装着者の視界領域をカメラで撮像し、その撮像映像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を合成した映像をＨＭＤ装着者に提示する。

特許文献１では、ビデオシースルー型ＨＭＤを用いたＭＲシステムとして、ＨＭＤ装着者の視界領域を撮像する第一のカメラと、ＨＭＤの位置姿勢を検出するための映像を撮像する第二のカメラとを備えたＨＭＤを用いる技術が提案されている。

撮像映像からＨＭＤの位置姿勢を取得する処理、及びＨＭＤの位置姿勢に応じたＣＧを生成する処理は、計算処理コストが大きい。このため、ＨＭＤをＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の外部の画像処理装置と接続し、撮像映像を画像処理装置に送信する。そして、画像処理装置上で、ＨＭＤの位置姿勢の検出と、ＨＭＤの位置姿勢に応じたＣＧの生成と、撮像画像へのＣＧの合成とを行い、それをＨＭＤに送り返してからＨＭＤに表示させる。このような場合に、ＨＭＤ装着者は自由に動きながらＭＲ空間を体験することを可能とするために、ＨＭＤと画像処理装置とが無線で接続することが多い。しかし、一般的に、無線通信は有線通信に比較して通信帯域が狭いため、無線伝送する映像データ量を削減する必要がある。また、ＨＭＤはバッテリ等で駆動するため、電力消費の観点からも無線伝送する映像データ量を削減する必要がある。

無線伝送する映像データ量を削減する公知技術として、映像符号化技術によりデータを圧縮する方法が知られている。また、特許文献２では、映像フレーム間の差分を検出し、フレーム間で変化した領域のみを抽出して伝送する技術が提案されている。

上述したビデオシースルー型ＨＭＤを用いたＭＲシステムでは、画像処理装置が、撮像映像からマーカまたは自然特徴点等の指標を画像解析により抽出することで、ＨＭＤの位置姿勢を検出する。

特開２００４−２０５７１１号公報 特開２００１−３２０７０７号公報

しかし、この検出処理においては、高精細な映像データが必要であり、映像データを大幅に圧縮してしまうと必要十分な映像品質が得られず、ＨＭＤの位置姿勢検出の精度が低下してしまうという課題がある。また、特許文献１に記載の技術のように、フレーム間で変化した領域のみを抽出して伝送する方法では、ＨＭＤ装着者が視線方向を変えた場合に変化領域が多く発生し、データ量を削減することが難しいという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、位置姿勢の検出精度の低下を抑えつつ、伝送する映像データ量を削減する技術を提供することを目的とする。

上記の目的を達成するために、本発明の一態様による情報処理装置は以下の構成を備える。即ち、
画像処理装置と通信可能な情報処理装置であって、
前記情報処理装置の移動量と回転量との少なくとも一方を含む移動回転量を取得する取得手段と、
前記取得手段によって取得された移動回転量が所定値以下である場合、前記画像処理装置に送信する撮像画像のデータ量を削減する制御手段と
を備えることを特徴とする。

本発明によれば、位置姿勢の検出精度の低下を抑えつつ、伝送する映像データ量を削減することができる。

本発明の一実施形態に係る画像処理システムの構成例を示す図である。 本発明の実施形態１に係る情報処理装置の機能ブロックの構成例を示す図である。 本発明の実施形態１に係る画像処理装置の機能ブロックの構成例を示す図である。 本発明の実施形態１に係る情報処理装置及び画像処理装置の動作例を示すシーケンス図である。 本発明の実施形態１に係る情報処理装置及び画像処理装置の動作例を示すシーケンス図である。 本発明の実施形態２に係る情報処理装置の機能ブロックの構成例を示す図である。 本発明の実施形態２に係る画像処理装置の機能ブロックの構成例を示す図である。 本発明の実施形態２に係る情報処理装置及び画像処理装置の動作例を示すシーケンス図である。 本発明の実施形態２に係る情報処理装置及び画像処理装置の動作例を示すシーケンス図である。 本発明の一実施形態に係る情報処理装置及び画像処理装置の各部の動作例を示す図である。

以下、添付の図面を参照して、本発明の実施の形態を詳細に説明する。

（実施形態１）
＜１．画像処理システムの構成＞
図１は、本発明の一実施形態に係る画像処理システム（例えば、ＭＲシステム）の構成例を示す図である。本発明の一実施形態に係る画像処理システム（ＭＲシステム）は、使用者が装着するビデオシースルー型の情報処理装置（頭部装着型表示装置（ＨＭＤ１００））と、画像処理装置（ＰＣ１０１）とを含み、相互に通信可能である。使用者がＭＲを体験する空間には、ＰＣ１０１がＨＭＤ１００の位置姿勢を検出するための指標が設置される。指標は、例えば、それぞれが異なる色を有する円形状のマーカによって構成してもよいし、それぞれが異なる特徴を有する自然特徴等の特徴点によって構成してもよい。また、ある程度の面積を有する四角形領域によって形成されるような四角形指標を用いることも可能である。撮像映像上で画像座標が検出可能であって、かつ、何れの指標であるかを示すパターンが識別可能であるような指標であれば、何れの形態であってもよい。

ＨＭＤ１００には、メインカメラとサイドカメラとが付属されている。メインカメラ映像は、ＨＭＤ１００で表示する映像を生成するために使用される。また、サイドカメラ映像は、ＨＭＤ１００の位置姿勢を検出するために使用される。本実施形態では、映像内に指標を多く収めるため、画角がメインカメラよりも広いものをサイドカメラとして用いるものとする。なお、メインカメラとサイドカメラの構成はこれに限定されるものでなく、特許文献１に記載の技術のように焦点距離が異なるものを使用する等、目的に応じて任意の構成としてもよい。また、ＨＭＤ１００には、三次元位置姿勢センサが備えられている。メインカメラ映像データ１０８とサイドカメラ映像データ１０９、及び三次元位置姿勢センサの検出結果はＰＣ１０１に伝送される。伝送方式としては、ＩＥＥＥ８０２．１１ｎやＩＥＥＥ８０２．１１ａｃ等の任意の無線方式や、Ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔ（登録商標）やＩＥＥＥ１３９４等の有線方式を用いることができるが、これらの通信方式のみに限定されるものではない。

ＰＣ１０１では、ＨＭＤ１００から受信したサイドカメラ映像データ１０９を解析する。サイドカメラ映像には、指標１０２〜指標１０７が撮像されており、これらの指標を検出した後、その形状からＨＭＤ１００の位置姿勢を取得する。また、後述するように三次元位置姿勢センサの検出結果に基づいてＨＭＤ１００の位置姿勢を取得する。ＰＣ１０１は、ＨＭＤ１００の位置姿勢に応じたＣＧ１１０を生成し、メインカメラ映像データ１０８の上に合成することでＣＧ合成映像１１１を生成する。そして、ＰＣ１０１はＣＧ合成映像１１１をＨＭＤ１００に送信し、ＨＭＤ１００は受信したＣＧ合成映像１１１を表示する。

＜２．情報処理装置の機能ブロック＞
図２は、本実施形態に係る情報処理装置（ＨＭＤ１００）の機能ブロックの構成例を示す図である。また、図１０は、ＨＭＤ１００とＰＣ１０１の各部の動作タイミングを示す図である。以下、図２と図１０を用いて、ＨＭＤ１００の構成及び動作を説明する。

まず、図２に示されるように、ＨＭＤ１００は、メインカメラ２００と、サイドカメラ２０１、三次元位置姿勢センサ２０２と、タイミング制御部２０３と、移動回転量取得部２０４と、データ量制御部２０５と、送信部２０６と、アンテナ２０７と、受信部２０８と、表示部２０９とを備えている。

メインカメラ２００とサイドカメラ２０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の電荷結合素子と光学系とにより構成される。メインカメラ２００は、ＨＭＤ装着者の視界領域と略一致した現実空間映像を撮像する。サイドカメラ２０１は、メインカメラ映像よりも画角の広い現実空間映像を撮像する。

三次元位置姿勢センサ２０２は、磁気センサやジャイロセンサ（加速度、角速度）により構成され、ＨＭＤ１００の三次元方向の加速度とパン・チルト・ヨー方向の角速度を検出する。タイミング制御部２０３は、メインカメラ２００とサイドカメラ２０１、そして移動回転量取得部２０４に所定周期毎に撮像タイミング信号を出力する。また、三次元位置姿勢センサ２０２に所定周期毎に検出タイミング信号を出力する。

本実施形態では、これらのタイミング信号により、メインカメラ２００とサイドカメラ２０１のフレームレートを６０ｆｐｓ、三次元位置姿勢センサ２０２のサンプリング周波数を６００Ｈｚに制御するものとする。なお、これらのフレームレートとサンプリング周波数は、これに限定されるものではなく、任意の値に設定可能である。

移動回転量取得部２０４は、タイミング制御部２０３が出力する撮像タイミング信号に基づいて動作し、三次元位置姿勢センサ２０２の出力値を積分処理することで、撮像フレーム間のＨＭＤ１００の三次元方向の移動量とパン・チルト・ヨー方向の回転量（以後、移動回転量と呼ぶ）との少なくとも一方を取得する。本実施形態では、撮像フレーム間（１／６０秒）に、三次元位置姿勢センサ２０２は加速度・角速度データを１０回出力する。移動回転量取得部２０４は、この１０個の加速度・角速度データを積分処理することで、撮像フレーム間のＨＭＤ１００の移動回転量を取得する。

データ量制御部２０５は、移動回転量取得部２０４により取得されたＨＭＤ１００の移動回転量に基づき、サイドカメラ２０１から出力されてくる映像データ量を制御する。具体的には、ＨＭＤ１００の移動回転量が所定値以下の場合、サイドカメラ２０１から出力されてきた撮像フレームを間引くように動作する。

図１０に示すタイミング図では、フレームＮ−１とフレームＮ＋１はＨＭＤ１００の移動回転量が所定値を超えた場合の動作例を示している。一方、フレームＮはＨＭＤ１００の移動回転量が所定値以下の場合の動作例を示している。送信部２０６には、メインカメラ２００の出力する撮像映像と、データ量制御部２０５の出力する撮像映像と、移動回転量取得部２０４の出力する移動回転量とが入力される。送信部２０６は、これら送信データのデータ種別を示すヘッダを追加し、使用する通信方式に応じた変調処理を施すことで無線信号を生成する。ＨＭＤ１００の移動回転量が所定値を上回るフレームでは、送信部２０６はヘッダ１００３とメインカメラ映像１０００とサイドカメラ映像１００１を含む無線信号を生成する。この際、ヘッダ１００３としては、当該フレームではメインカメラ映像とサイドカメラ映像とを伝送する旨を示す情報が追加される。

一方、ＨＭＤ１００の移動回転量が所定値以下であるフレームでは、送信部２０６はヘッダ１００３と移動回転量１００２とメインカメラ映像１０００を含む無線信号を生成する。この際、ヘッダ１００３としては、当該フレームでは移動回転量とメインカメラ映像とを伝送する旨を示す情報が追加される。送信部２０６で生成された無線信号は、アンテナ２０７を介してＰＣ１０１に送信される。

なお、無線送信データ量を削減するため、メインカメラ映像とサイドカメラ映像は、Ｍｏｔｉｏｎ−ＪＰＥＧやＨ．２６４／ＡＶＣを用いて圧縮するようにしてもよい。例えば、６０ｆｐｓの映像データを２５Ｍｂｐｓに圧縮する場合、１フレーム当たりの映像データ量は約４２０ｋｂｉｔとなる。一方、移動回転量は、その分解能を１６ｂｉｔとした場合、１フレーム当たりのデータ量は９６ｂｉｔであり、映像データと比較すると、データ量は非常に小さいものとなる。

ＰＣ１０１からはＣＧ合成映像が送信されており、ＨＭＤ１００はアンテナ２０７により、これを受信する。受信部２０８は、受信した無線信号に対して復調処理することでＣＧ合成映像を取得し、表示部２０９に出力する。表示部２０９は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等により構成され、ＰＣ１０１から送信されたＣＧ合成映像を表示することで、ＨＭＤ装着者にＭＲ空間を提示する。

尚、図２に示す各機能部は、ハードウェア又はソフトウェアとして装置に実装される。機能部がソフトウェアとして実装される場合には、これらの機能を実行するためのプログラムが、ＨＭＤ１００が備える記憶部（ＲＯＭ，ＲＡＭ等のメモリ）に記憶されることになる。そして、ＨＭＤ１００が備えるＣＰＵが、記憶部に記憶されたプログラムを実行することにより、これらの機能部が提供する機能が実現されることになる。

＜３．画像処理装置の機能ブロック＞
図３は、本実施形態に係る画像処理装置（ＰＣ１０１）の機能ブロックの構成例を示す図である。ＰＣ１０１は、アンテナ３００と、受信部３０１と、画像解析部３０２と、位置姿勢取得部３０３と、ＣＧ生成部３０４と、ＣＧ合成部３０５と、送信部３０６とを備えている。

ＨＭＤ１００から送信される無線信号は、アンテナ３００で受信され、受信部３０１に出力される。受信部３０１は、無線信号を復調し、受信データを後段の処理部に出力する。画像解析部３０２は、サイドカメラ映像内の指標を検出することでＨＭＤ１００の位置姿勢を求める。位置姿勢の取得に用いる指標の数は一つでもよいが、複数の指標を同時に使用してもよい。複数の指標を同時に使用する場合、各指標の位置関係を予め定義しておき、それらの位置関係から指標に対するＨＭＤ１００の位置姿勢を取得することができる。

本実施形態では、サイドカメラ映像内の指標１０２〜指標１０７を用いてＨＭＤ１００の位置姿勢を取得するものとするが、映像内の特徴点を検出し、これらを組み合わせて使用することで、位置姿勢の検出精度を高めることも可能である。なお、ＨＭＤ１００からＰＣ１０１にサイドカメラ映像が伝送されないフレームでは、画像解析部３０２は位置姿勢取得処理を実行しない。

位置姿勢取得部３０３は、画像解析部３０２から位置姿勢取得結果が入力された場合、その値をＣＧ生成部３０４にスルー出力する。また、画像解析部３０２から位置姿勢取得結果が入力されない場合、すなわちサイドカメラ映像が伝送されないフレームでは、位置姿勢取得部３０３はＨＭＤ１００から送信される移動回転量を用いて位置姿勢の検出を行う。具体的には、サイドカメラ映像を受信したフレームで取得された位置姿勢に対して、ＨＭＤ１００から送信される移動回転量を加算することで、このフレームにおけるＨＭＤ１００の位置姿勢を取得する。

ＣＧ生成部３０４には、仮想空間を構成する仮想物体に関するデータが保存されており、この仮想空間をＨＭＤ１００の位置姿勢を有する視点から見たときの画像をＣＧ画像として生成する。ＣＧ合成部３０５は、メインカメラ映像とＣＧ生成部３０４が生成するＣＧ画像とを合成することでＣＧ合成映像を生成する。ＣＧ合成映像は、送信部３０６を介してＨＭＤ１００に送信される。

尚、図３に示す各機能部は、ハードウェア又はソフトウェアとして装置に実装される。機能部がソフトウェアとして実装される場合には、これらの機能を実行するためのプログラムが、ＰＣ１０１が備える記憶部（ＲＯＭ，ＲＡＭ等のメモリ）に記憶されることになる。そして、ＰＣ１０１が備えるＣＰＵが、記憶部に記憶されたプログラムを実行することにより、これらの機能部が提供する機能が実現されることになる。

＜４．情報処理装置（ＨＭＤ１００）及び画像処理装置（ＰＣ１０１）の動作例を示すシーケンス＞
図４は、ＨＭＤ１００で取得される移動回転量が所定値を超える場合におけるＨＭＤ１００とＰＣ１０１の動作例を示すシーケンス図である。図４では、映像フレーム一つ分の処理を示している。

まずＨＭＤ１００は、ステップＳ４００において、タイミング制御部２０３の制御に基づいてメインカメラ映像とサイドカメラ映像を取得する。続いて、ステップＳ４０１において、三次元位置姿勢センサ２０２の出力値を積分処理することでＨＭＤ１００の移動回転量を取得する。ステップＳ４０２において、ＨＭＤ１００は、移動回転量が所定値を超えるため、メインカメラ映像とサイドカメラ映像をＰＣ１０１に送信する。

ステップＳ４０３において、ＰＣ１０１は、ＨＭＤ１００から受信したサイドカメラ映像を解析し、ＨＭＤ１００の位置姿勢を求める。ステップＳ４０４において、ＰＣ１０１は、ステップＳ４０３で取得されたＨＭＤ１００の位置姿勢に基づいたＣＧ画像を生成する。ステップＳ４０５において、ＰＣ１０１は、生成されたＣＧ画像をメインカメラ映像に合成することでＣＧ合成映像を生成する。ステップＳ４０６において、ＰＣ１０１は、ＣＧ合成映像をＨＭＤ１００に送信する。ステップＳ４０７において、ＨＭＤ１００は、受信したＣＧ合成映像を表示する。

図５は、ＨＭＤ１００で取得される移動回転量が所定値以下の場合におけるＨＭＤ１００とＰＣ１０１の動作例を示すシーケンス図である。図５においても図４と同様に、映像フレーム一つ分の処理を示している。また、図４と同様の処理フローについては同じ符号を付与し、図４の処理フローと異なる部分についてのみ説明を行う。

ステップＳ５００において、ＨＭＤ１００は、移動回転量が所定値以下であるため、サイドカメラ映像は間引き、メインカメラ映像と移動回転量のみをＰＣ１０１に送信する。前述したように、移動回転量のデータ量は、映像データと比較して非常に小さいため、サイドカメラ映像を間引いたフレームでは、無線送信データ量は大きく削減される。

ステップＳ５０１において、ＰＣ１０１は、一つ前のフレームで取得したＨＭＤ１００の位置姿勢に、ＨＭＤ１００から受信した移動回転量を加算することで、このフレームにおけるＨＭＤ１００の位置姿勢を求める。なお、三次元位置姿勢センサ２０２の出力は誤差を含むため、ＨＭＤ１００で取得される移動回転量と実際の移動回転量とは必ずしも一致しない。この誤差が大きい場合には、ＣＧ生成部３０４の生成する仮想物体の位置がずれる等の問題が発生することになる。

しかしながら、本実施形態では、ＨＭＤ１００で取得される移動回転量が小さい場合、すなわちセンサの絶対誤差が小さい場合にのみ、センサ出力を用いてＨＭＤ１００の位置姿勢を取得するため、ＨＭＤ１００の位置姿勢に大きな誤差は発生しない。したがって、ＨＭＤ１００の位置姿勢の検出精度の低下を抑えつつ、ＨＭＤ１００からＰＣ１０１に送信するデータ量を削減することが可能となる。

すなわち、本実施形態によれば、無線周波数資源を効率的に利用可能なＭＲシステムを提供することが可能となる。また、無線送信時間を減らすことで電力消費を抑えることができるため、ＨＭＤのバッテリ駆動に好適なＭＲシステムを提供することができる。

なお、上述したサイドカメラ映像データの削減処理は、利用可能な通信帯域が狭くなったとき、あるいはＨＭＤ１００のバッテリ残量が少なくなったとき等の特定の条件下においてのみ動作するように構成してもよい。または、ＨＭＤ１００に省電力モード等の動作モードを備え、ＨＭＤ装着者がこのモードを選択したときのみ、本実施形態の動作を行うように構成してもよい。

また、本実施形態では、ＨＭＤ１００の移動回転量が所定値以上のフレームでは、ＰＣ１０１にて移動回転量を用いた位置姿勢演算を行わないため、ＨＭＤ１００からＰＣ１０１に移動回転量を送信しないよう動作した。しかしながら、移動回転量はデータ量が小さいため、全フレームで移動回転量を送信するようにしてもよい。

また、本実施形態では、移動回転量が所定値以下のフレームにおいて、ＨＭＤ１００はサイドカメラ映像を間引いて無線送信するよう動作したが、平均移動回転速度を取得し、この値に応じてサイドカメラ映像を間引くようにしてもよい。例えば、移動回転速度が所定値を上回る場合には、毎フレームサイドカメラ映像を送信し、移動回転速度が所定値以下の場合にはＮフレーム（Ｎは正の整数）毎にサイドカメラ映像を送信するように構成する。この動作により、ＨＭＤ１００の移動回転量が小さいときにサイドカメラ映像を間引くよう動作するため、本実施形態と同様にＨＭＤ１００の位置姿勢の検出精度の低下を抑えつつ、ＨＭＤ１００からＰＣ１０１に送信するデータ量を削減することが可能である。

また、ＨＭＤ１００はサイドカメラ映像を間引くことでデータ量を削減するよう動作したが、画像圧縮部（不図示）によるサイドカメラ映像の画像圧縮率を上げることでデータ量を削減するようにしてもよい。この場合、ＰＣ１０１では、サイドカメラ映像で指標を検出できた場合には画像解析部３０２の出力する位置姿勢検出結果を使用する。一方、サイドカメラ映像で指標を検出できなかった場合には、ＨＭＤ１００から送信される移動回転量を用いて位置姿勢を取得する。このように圧縮率を制御することでも、本実施形態と同様の効果を得ることができる。

なお、サイドカメラ映像を間引いたフレームで移動回転量の無線伝送エラーが発生すると、ＰＣ１０１がＨＭＤ１００の位置姿勢を検出できなくなり、そのフレームで大きくＣＧの位置がずれてしまう。これを防ぐため、ＨＭＤ１００がサイドカメラ映像を間引いたフレームでは、送信部２０６が移動回転量の変調符号化レートを下げるようにしてもよい。具体的には、例えば、通常は８０２．１１ｎ ＭＣＳ（Ｍｏｄｕｌａｔｉｏｎ ａｎｄ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅ）７を用いて変調処理を行うが、サイドカメラ映像を間引いたフレームでは移動回転量の変調処理のみＭＣＳ０を用いるようにする。この動作により、サイドカメラ映像を間引いたフレームにおける移動回転量の無線伝送エラーを低減することができる。

また、本実施形態では、ＨＭＤ１００がメインカメラとサイドカメラを備え、サイドカメラ映像データを削減する構成とした。しかしながら、本発明はこれに限定されるものではなく、指標を検出するための映像を伝送するシステムであれば適用可能である。例えば、ＰＣ１０１がメインカメラ映像により指標を検出する構成とすることも可能である。この場合、ＨＭＤ１００は撮像部としてメインカメラ２００のみを備え、移動回転量取得部２０４の取得結果に基づいて、ＰＣ１０１に送信するメインカメラ映像データを削減する構成とする。さらに、ＰＣ１０１はＨＭＤ１００にＣＧ１１０を送信し、ＨＭＤ１００においてＣＧ合成映像１１１の生成処理を行う構成とする。この構成により、ＨＭＤ１００が移動回転量の取得結果に基づいてメインカメラ映像を間引く場合においても、ＨＭＤ１００にＣＧ合成映像１１１を表示することができる。

また、本実施形態では、ＨＭＤ１００の移動回転量取得部２０４が、三次元位置姿勢センサの出力値を積分処理することで移動回転量を取得したが、ＨＭＤ１００からＰＣ１０１にセンサ出力値を送信し、ＰＣ１０１で移動回転量を取得するようにしてもよい。

以上説明したように、本実施形態によれば、ＨＭＤ位置姿勢検出精度の低下を抑えつつ、ＨＭＤから画像処理装置に伝送する映像データ量を削減することで、無線周波数資源を効率的に利用可能なＭＲシステムを提供することができる。また、無線送信時間を減らすことで電力消費を抑えことができるため、ＨＭＤのバッテリ駆動に好適なＭＲシステムを提供することが可能となる。

（実施形態２）
実施形態１では、サイドカメラ映像データを削減するか否かをＨＭＤ１００が判定する構成としたが、ＰＣ１０１が判定する構成としてもよい。本実施形態では、ＰＣ１０１は、サイドカメラ映像の解析結果に基づいてＨＭＤ１００の移動回転量を取得し、この取得結果とセンサ出力により取得される移動回転量とを比較する。この比較の結果、センサ出力により取得される移動回転量の誤差が所定値以下の場合には、ＨＭＤ１００に対してサイドカメラ映像データの削減を指示する。

以下、本実施形態におけるＨＭＤ１００とＰＣ１０１の機能ブロックの構成及び動作を説明するが、図中、実施形態１と同様のブロックについては実施形態１と同じ符号を付与し、その説明は省略するものとする。尚、各機能部は、実施形態１での説明と同様に、ハードウェア又はソフトウェアとして装置に実装される。

図６は、本実施形態におけるＨＭＤ１００の機能ブロックの構成例を示す図である。実施形態１におけるＨＭＤ１００の機能ブロック構成とは、ＰＣ１０１から受信部６０８により受信したデータ量制御指示情報に基づいて、データ量制御部６０５がサイドカメラ映像データを削減する点が異なる。また、実施形態１では、サイドカメラ映像が間引かれていないフレームでは、ＨＭＤ１００からＰＣ１０１に移動回転量が送信されない構成としたが、本実施形態では送信部２０６は全フレームで移動回転量を送信するものとする。

図７は、本実施形態におけるＰＣ１０１の機能ブロックの構成例を示す図である。実施形態１と比較し、本実施形態のＰＣ１０１は、移動回転量取得部４００と、データ量制御指示情報生成部４０１とを更に備えている。

移動回転量取得部４００は、画像解析部３０２から、連続するフレームでＨＭＤ１００の位置姿勢取得結果が出力される場合に動作する。移動回転量取得部４００は、画像解析部３０２の位置姿勢取得結果に基づいて、フレーム間のＨＭＤ１００の移動回転量を取得する。具体的には、１フレーム前の位置姿勢取得結果と、現在のフレームの位置姿勢取得結果との差分を取ることで、ＨＭＤ１００の移動回転量を取得する。

データ量制御指示情報生成部４０１は、移動回転量取得部４００が出力する移動回転量と、ＨＭＤ１００から送信される移動回転量との比較を行う。そして、双方の差が所定値以下の場合、センサ誤差が小さいものと判定し、ＨＭＤ１００にサイドカメラ映像の削減を指示する。また、双方の差が所定値を超える場合には、センサ誤差が大きいものと判定し、ＨＭＤ１００にサイドカメラ映像を伝送するよう指示する。

図８と図９は、本実施形態におけるＨＭＤ１００とＰＣ１０１の動作例を示すシーケンス図である。同図中、実施形態１と同様の処理フローについては同じ符号を付与し、その説明は省略する。

図８は、ＨＭＤ１００からＰＣ１０１にサイドカメラ映像が送信されるフレームにおけるＨＭＤ１００とＰＣ１０１の動作例を示すシーケンス図である。ステップＳ８００において、ＨＭＤ１００は、前フレームでＰＣ１０１から受信したデータ量制御指示情報に基づくデータをＰＣ１０１に送信する。図８においては、ＰＣ１０１からサイドカメラ映像の伝送を指示する情報を受信しており、ＨＭＤ１００はメインカメラ映像とサイドカメラ映像と移動回転量とをＰＣ１０１に送信する。

ＰＣ１０１は、ＨＭＤ１００からサイドカメラ映像を受信した場合、ステップＳ８０１にて、画像解析により取得されるＨＭＤ１００の移動回転量と、ＨＭＤ１００から受信する移動回転量とを比較する。そして、ステップＳ８０２において、ＰＣ１０１は、比較の結果、双方の差が所定値以下の場合、センサ誤差が小さいと判定し、ＨＭＤ１００にサイドカメラ映像の削減を指示するデータ量制御指示情報を生成し、ステップ８０３においてＣＧ合成映像とともに当該データ量制御指示情報をＨＭＤ１００に送信する。

図９は、ＨＭＤ１００からＰＣ１０１にサイドカメラ映像が送信されないフレームにおけるＨＭＤ１００とＰＣ１０１の動作例を示すシーケンス図である。ＨＭＤ１００は、ステップＳ９００において、前フレームでＰＣ１０１から受信したデータ量制御指示情報に基づくデータをＰＣ１０１に送信する。図９においては、ＰＣ１０１からサイドカメラ映像の削減を指示する情報を受信しており、ＨＭＤ１００はサイドカメラ映像を間引き、メインカメラ映像と移動回転量とをＰＣ１０１に送信する。

ステップＳ９０１において、ＰＣ１０１は、ＨＭＤ１００に送信するデータ量制御指示情報を生成する。本実施形態では、ＨＭＤ１００のフレーム間移動回転量が所定値を超える場合、ＨＭＤ１００にサイドカメラ映像の伝送を指示する情報を生成する。一方、ＨＭＤ１００のフレーム間移動回転量が所定値以下の場合、ＨＭＤ１００にサイドカメラ映像の削減を指示する情報を生成する。なお、サイドカメラ映像が連続する複数フレームにわたって削減される場合、ＰＣ１０１では各フレームのフレーム間移動回転量を累積加算し、この値が所定値を超える場合、ＨＭＤ１００にサイドカメラ映像の伝送を指示する情報を生成するようにしてもよい。また、サイドカメラ映像を削減したフレームの次のフレームは、必ずＨＭＤ１００がサイドカメラ映像の伝送を指示する情報を生成するようにしてもよい。

本実施形態では、ＰＣ１０１において、画像解析により取得されるＨＭＤ１００のフレーム間移動回転量と、ＨＭＤ１００の三次元位置姿勢センサ２０２の出力に基づいて取得される移動回転量とを比較し、比較結果に応じてサイドカメラ映像の削減を行う。すなわち、センサ誤差が少ない場合にのみ、センサ出力を用いてＨＭＤ１００の位置姿勢を取得するため、ＨＭＤ１００の位置姿勢検出精度の低下を抑えつつ、ＨＭＤ１００からＰＣ１０１に送信するデータ量を削減することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００：メインカメラ、２０１：サイドカメラ、２０２：三次元位置姿勢センサ、２０３：タイミング制御部、２０４：移動回転量取得部、２０５：データ量制御部、２０６：送信部、２０７：アンテナ、２０８：受信部、２０９：表示部、３００：アンテナ、３０１：受信部、３０２：画像解析部、３０３：位置姿勢取得部、３０４：ＣＧ生成部、３０５：ＣＧ合成部、３０６：送信部、４００：移動回転量取得部、４０１：データ量指示情報生成部

Claims (15)

1. 画像処理装置と通信可能な情報処理装置であって、
   前記情報処理装置の移動量と回転量との少なくとも一方を含む移動回転量を取得する取得手段と、
   前記取得手段によって取得された移動回転量が所定値以下である場合、前記画像処理装置に送信する撮像画像のデータ量を削減する制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記制御手段は、前記移動回転量が所定値以下である場合、前記撮像画像のフレームを間引くことでデータ量を削減することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記移動回転量が所定値以下である場合、前記情報処理装置の位置姿勢の取得のために撮像された撮像画像のフレームを間引くことでデータ量を削減することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記制御手段は、前記移動回転量が所定値以下である場合、前記情報処理装置の装着者の視点で撮像された撮像画像と、前記移動回転量とを、前記画像処理装置に送信することを特徴とする請求項３に記載の情報処理装置。
5. 前記制御手段は、前記画像処理装置に送信する前記移動回転量の変調符号化レートを下げることを特徴とする請求項４に記載の情報処理装置。
6. 前記撮像画像を圧縮する画像圧縮手段をさらに備え、
   前記制御手段は、前記移動回転量が所定値以下である場合、前記撮像画像の画像圧縮率を上げることでデータ量を削減することを特徴とする請求項１に記載の情報処理装置。
7. 前記情報処理装置の装着者の視点で撮像を行う第１の撮像手段と、
   前記情報処理装置の位置姿勢の取得のための撮像を行う第２の撮像手段と
   をさらに備えることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記情報処理装置から取得した情報に基づいて生成されたＣＧ画像を前記画像処理装置から受信する受信手段と、
   前記ＣＧ画像を表示する表示手段と
   をさらに備えることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記情報処理装置は、頭部装着型表示装置であることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 情報処理装置と通信可能な画像処理装置であって、
    前記情報処理装置の移動量と回転量との少なくとも一方を含む移動回転量と、前記情報処理装置により撮像された撮像画像とを受信する受信手段と、
    前記撮像画像に基づいて前記情報処理装置の移動回転量を取得する取得手段と、
    前記受信手段により受信された移動回転量と、前記取得手段により取得された移動回転量とに基づいて、前記情報処理装置が送信するデータ量を制御するための指示情報を生成する生成手段と、
    前記指示情報を前記情報処理装置に送信する送信手段と
    を備えることを特徴とする画像処理装置。
11. 前記生成手段は、前記受信手段により受信された移動回転量と、前記取得手段により取得された移動回転量との差が所定値以下である場合、前記情報処理装置が送信するデータ量を削減するための指示情報を生成することを特徴とする請求項１０に記載の画像処理装置。
12. 画像処理装置と通信可能な情報処理装置の制御方法であって、
    取得手段が、前記情報処理装置の移動量と回転量との少なくとも一方を含む移動回転量を取得する取得工程と、
    制御手段が、前記取得手段によって取得された移動回転量が所定値以下である場合、前記画像処理装置に送信する撮像画像のデータ量を削減する制御工程と
    を有することを特徴とする情報処理装置の制御方法。
13. 情報処理装置と通信可能な画像処理装置の制御方法であって、
    受信手段が、前記情報処理装置の移動量と回転量との少なくとも一方を含む移動回転量と、前記情報処理装置により撮像された撮像画像とを受信する受信工程と、
    取得手段が、前記撮像画像に基づいて前記情報処理装置の移動回転量を取得する取得工程と、
    生成手段が、前記受信工程により受信された移動回転量と、前記取得工程により取得された移動回転量とに基づいて、前記情報処理装置が送信するデータ量を制御するための指示情報を生成する生成工程と、
    送信手段が、前記指示情報を前記情報処理装置に送信する送信工程と
    を有することを特徴とする画像処理装置の制御方法。
14. 請求項１２に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
15. 請求項１３に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images