JP2020034765A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】映像の投影領域をユーザが所望する様々な位置に設定し当該投影領域に容易に映像を投影すること。【解決手段】情報処理装置は、入力部と制御部とを有する。上記入力部は、映像が投影される空間がセンシングされたセンシング情報と、ユーザによる上記空間のポインティング操作によってポインティングされた座標情報とが入力される。上記制御部は、上記センシング情報に基づいて上記空間内の状況を解析した結果と上記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶部に記憶する。そして制御部は、上記記憶された設定情報から上記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御する。【選択図】図８

Description

本技術は、投影エリアを変更できる駆動型プロジェクタを制御可能な情報処理装置、情報処理方法及びプログラムに関する。

従来から、投影エリアを変更可能なプロジェクタが開発されている。下記特許文献１には、ユーザのポインティング操作に基づいて投影領域の位置または形状を変化させる表示制御モードと、上記操作に基づいて投影領域内の表示オブジェクトに対応する処理を実行する実行モードとを切り替えることが可能な情報処理装置が開示されている。

特開２０１３−２５８５５５号公報

しかし、上記特許文献１に記載の技術では、ユーザは、投影領域の変更を望む場合、その度ごとに表示制御モードを呼び出し、変更後の投影領域を位置決めする必要がある。

以上のような事情に鑑み、本技術の目的は、映像の投影領域をユーザが所望する様々な位置に設定し当該投影領域に容易に映像を投影することが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、入力部と制御部とを有する。上記入力部は、映像が投影される空間がセンシングされたセンシング情報と、ユーザによる上記空間のポインティング操作によってポインティングされた座標情報とが入力される。上記制御部は、上記センシング情報に基づいて上記空間内の状況を解析した結果と上記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶部に記憶する。そして制御部は、上記記憶された設定情報から上記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御する。

この構成により情報処理装置は、ユーザのポインティング操作に基づいて、投影領域をユーザが所望する様々な位置に設定し当該投影領域に容易に映像を投影することができる。ここで投影装置は、情報処理装置と外部で接続されていてもよいし、情報処理装置と一体的に構成されていてもよい。センシング情報は例えばデプスセンサや明度センサ等で得られる情報である。

上記制御部は、上記座標情報によって示される座標から、上記解析結果に基づいて変更した座標を中心として上記投影領域を設定してもよい。

これにより情報処理装置は、ユーザによってポインティングされた座標の空間が投影に適さないことが認識された場合に、投影領域をより適した座標に変更して設定することができる。

上記制御部は、上記座標情報によって示される座標の近傍で認識されたオブジェクトのエッジに沿って上記投影領域を設定してもよい。

これにより情報処理装置は、投影領域をエッジに沿って設定することで、ユーザに当該投影領域を覚えやすくすると共に、投影時の視認性も向上させることができる。

上記制御部は、上記座標情報によって示される座標から所定半径の距離内に複数のエッジが検出された場合、当該各エッジに沿って上記座標を移動させた場合の移動距離が最小となるエッジに沿って上記投影領域を設定してもよい。

これにより情報処理装置は、複数のエッジのうち元々のユーザが意図した位置に極力近いエッジに沿って投影領域を設定できる。

上記制御部は、上記座標情報によって示される座標を含む平面の面積に応じて上記設定する投影領域の面積を変更してもよい。

これにより情報処理装置は、ポインティング操作対象の平面の面積に応じて投影領域を最大限の面積に設定することができる。

上記制御部は、上記解析により、上記座標情報によって示される座標の近傍の面が投影に適さないと判断した場合に、当該座標とは異なる座標について再度の上記ポインティング操作を促す情報を出力してもよい。

これにより情報処理装置は、ユーザが投影に適さない位置をポインティングした場合にその位置を避けて投影領域を設定するよう促すことができる。

上記制御部は、上記設定された投影領域を含み当該投影領域よりも拡張された拡張領域内で上記ユーザによるポインティング操作が受け付けられた場合に、上記投影領域が指定されたと判定してもよい。

これによりユーザは厳密なポインティング位置の調整をしなくても直感的かつ容易に投影領域を指定することができる。当該拡張領域は、ユーザと投影領域との距離に応じて可変されてもよい。

上記制御部は、上記設定された複数の投影領域の上記拡張領域同士の重複領域が存在する場合、当該重複領域に対する上記ポインティング操作を無効な操作として扱ってもよい。

これにより情報処理装置は、近い位置に設定された複数の投影領域のうちどれがユーザに指定されたのかが判定不明になるのを防ぐことができる。

上記制御部は、上記ポインティング操作が上記拡張領域外または上記重複領域内で検出された場合に、当該ポインティング操作が無効であることを上記ユーザにフィードバックするフィードバック情報を出力してもよい。

これにより情報処理装置は、ユーザにポインティング操作が無効であることを把握させ、投影領域の指定のために異なる位置への再度のポインティング操作を促すことができる。ここで上記フィードバック情報は、画像情報として投影装置から出力されてもよいし、音声情報としてＰＣまたは外部スピーカから出力されてもよい。

上記制御部は、上記投影領域を識別する識別情報と共に上記設定情報を記憶し、上記ユーザから上記識別情報を選択する操作または音声が入力された場合に、当該識別情報に対応する投影領域が指定されたと判定してもよい。

これにより情報処理装置は、ユーザのポインティング操作のみならず識別情報の選択に基づいて投影領域を選択することができる。

本技術の他の形態に係る情報処理方法は、
映像が投影される空間がセンシングされたセンシング情報と、ユーザによる上記空間のポインティング操作によってポインティングされた座標情報との入力を受け付け、
上記センシング情報に基づいて上記空間内の状況を解析した結果と上記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶し、
上記記憶された設定情報から上記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御することを含む。

本技術の他の形態に係るプログラムは、情報処理装置に、
映像が投影される空間がセンシングされたセンシング情報と、ユーザによる上記空間のポインティング操作によってポインティングされた座標情報との入力を受け付けるステップと、
上記センシング情報に基づいて上記空間内の状況を解析した結果と上記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶するステップと、
上記記憶された設定情報から上記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御するステップと、を実行させる。

以上のように、本技術によれば、映像の投影領域をユーザが所望する様々な位置に設定し当該投影領域に容易に映像を投影することができる。しかし、当該効果は本技術を限定するものではない。

本技術の一実施形態に係る映像投影システムの構成を示した図である。 上記映像投影システムが有するＰＣのハードウェア構成を示した図である。 上記映像投影システムが有する機能ブロック構成を示した図である。 上記映像投影システムにおいてプリセットされる投影領域の設定情報のデータ形式を示した図である。 上記映像投影システムにおいてプリセットされる投影領域の微調整処理の流れを示した図である。 上記映像投影システムにおける投影領域のプリセット例を示した図である。 上記映像投影システムにおいて空間内の３次元形状を観測したポイントクラウドデータを示した図である。 上記映像投影システムによる投影領域プリセット処理及び投影処理の流れを示したフローチャートである。 上記映像システムにおけるオートアジャスト処理のアルゴリズムについて示した図である。 上記映像システムにおけるポインティング判定領域の拡張処理を示した図である。 上記映像システムにおけるポインティング無効領域の算出処理を示した図である。 上記映像システムにおいて判定エリア外がポインティングされた場合のユーザへのビジュアルフィードバック例を示した図である。 上記映像システムにおいてプリセットされた投影領域をプリセット名から選択するＧＵＩの例を示した図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［システムの概要］
図１は、本技術の一実施形態に係る映像投影システムの構成を示した図である。

同図に示すように、本システムは、ＰＣ１００と、ムービングプロジェクタ２００と、ＩＲ（infrared）カメラ３００と、ポインティングデバイス４００とを有する。これらは例えば家庭内等の同一の空間内に存在する。

ＰＣ１００は、ムービングプロジェクタ２００及びＩＲカメラと接続されている。

ムービングプロジェクタ２００は、空間内の壁面等に設定される投影領域Ａに映像を投影する。

ポインティングデバイス４００は、ユーザの操作に基づいてＩＲ光を照射させる。ＩＲカメラ３００は、壁面等に映ったＩＲ光を検出する。

ＰＣ１００は、上記ポインティングデバイス４００によるポインティング操作によって検出された座標に対して、ムービングプロジェクタ２００の投影中心を向け、その方向にある壁面の傾きに合わせて投影映像（投影領域Ａ）の幾何補正をおこなう。

本実施形態では、以上のようなシステムにおいて、ＰＣ１００は、ユーザのポインティング操作に基づいて、空間の状況を考慮して投影領域Ａのプリセット位置を記憶する機能（以下、プリセット機能とも称する）及び当該プリセットされた投影領域を呼び出す機能（以下、呼び出し機能とも称する）を有する。

［ＰＣのハードウェア構成］
図２は、上記ＰＣ１００のハードウェア構成を示した図である。

同図に示すように、ＰＣ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、およびＲＡＭ（Random Access Memory）１３を含む。また、ＰＣ１００は、ホストバス１４、ブリッジ１５、外部バス１６、インタフェース１７、入力装置１８、出力装置１９、ストレージ装置２０、ドライブ２１、接続ポート２２、通信装置２３を含んでもよい。さらに、ＰＣ１００は、必要に応じて、撮像装置２６、およびセンサ２７を含んでもよい。ＰＣ１００は、ＣＰＵ１１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。

ＣＰＵ１１は、演算処理装置および制御装置として機能し、ＲＯＭ１２、ＲＡＭ１３、ストレージ装置２０、またはリムーバブル記録媒体２４に記録された各種プログラムに従って、ＰＣ１００内の動作全般またはその一部を制御する。ＲＯＭ１２は、ＣＰＵ１１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１３は、ＣＰＵ１１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、ＣＰＵバスなどの内部バスにより構成されるホストバス１４により相互に接続されている。さらに、ホストバス１４は、ブリッジ１５を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス１６に接続されている。

入力装置１８は、例えば、タッチパネル、物理ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置１８は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、ＰＣ１００の操作に対応したスマートフォンやスマートウォッチなどの外部接続機器２５であってもよい。入力装置１８は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ１１に出力する入力制御回路を含む。ユーザは、この入力装置１８を操作することによって、ＰＣ１００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置１９は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置１９は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカなどの音声出力装置などでありうる。出力装置１９は、ＰＣ１００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。

ストレージ装置２０は、ＰＣ１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２０は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置２０は、例えばＣＰＵ１１が実行するプログラムや各種データ、および外部から取得した各種のデータ、並びに、上記投影領域Ａのプリセット情報などを格納する。

ドライブ２1は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体２４のためのリーダライタであり、ＰＣ１００に内蔵、あるいは外付けされる。ドライブ２1は、装着されているリムーバブル記録媒体２４に記録されている情報を読み出して、ＲＡＭ１３に出力する。また、ドライブ２1は、装着されているリムーバブル記録媒体２４に記録を書き込む。

接続ポート２２は、機器をＰＣ１００に接続するためのポートである。接続ポート２２は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート２２は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート２２に外部接続機器２５を接続することで、ＰＣ１００と外部接続機器２５との間で各種のデータが交換されうる。

通信装置２３は、例えば、通信ネットワーク５０に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置２３は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置２３は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置２３は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置２３に接続される通信ネットワーク５０は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。

撮像装置２６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成するカメラである。撮像装置２６は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ２７は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、デプスセンサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ２７は、例えばＰＣ１００の筐体の姿勢など、ＰＣ１００自体の状態に関する情報や、ＰＣ１００の周辺の明るさや騒音など、ＰＣ１００の周辺環境に関する情報を取得する。また、センサ２７は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機を含んでもよい。

上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

［映像投影システムの機能ブロック構成］
図３は、上記ＰＣ１００が有する機能ブロック（モジュール）構成を示した図である。

同図に示すように、ＰＣ１００は、機能ブロックとして、制御部１１０、ポインティング検出部１２０、ユーザ検出部１３０、環境検出部１４０、機器検出部１５０、インタフェース部１６０及び記憶部１７０を有する。

上記各機能ブロックが各機能を実現するためのセンサ情報の入力元であるセンサ部３０としては、上記ＩＲカメラ３００の他、デプスセンサ３１、マイクロフォン３２等が挙げられる。

制御部１１０は、映像制御部１１１、表示位置制御部１１２、解析部１１３を有する。

映像制御部１１１は、投影領域Ａに表示される映像の投影処理を制御する。

表示位置制御部１１２は、インタフェース部１６０を介してムービングプロジェクタ２００を駆動して、ユーザのポインティング場所に映像を投影する。

解析部１１３は、センサ部３０からインタフェース部１６０を介して入力された各種センシングデータを解析する。例えば解析部１１３は、デプスセンサ３１からのデプス情報を基に解釈されたポイントクラウドデータ（後述）をセグメンテーションし、壁面やオブジェクト等に分類して当該セグメンテーションされたポイントクラウドデータを記憶部１７０に記憶する。

ポインティング検出部１２０は、ユーザがポインティングデバイス４００によりポインティングし、ＩＲカメラ３００が撮像した輝点を検出する。

ユーザ検出部１３０は、空間内のユーザの位置を検出する。

環境検出部１４０は、各種センサからのセンシング情報を環境情報として検出する。例えば環境検出部１４０は、上記デプスセンサ３１のデプス情報を上記ポイントクラウドデータとして解釈することで空間の形状、凹凸、オブジェクト等を検出する。また環境検出部１４０は、その他にも、空間の色、照度、音量等を検出する。

機器検出部１５０は、空間内に存在する各種機器及びその位置を検出する。

インタフェース部１６０は、上記センサ部３０及び上記各機能ブロックが実行した機能に基づく情報の表示先である表示部４０とのインタフェースを担う。

当該表示部４０としては、上記ムービングプロジェクタ２００の他、（非駆動型）プロジェクタ４１、ＴＶ４２、タブレットＰＣ４３、スマートフォン４４、（ＰＣ１００とは異なる）ＰＣ４５等が挙げられる。

［投影領域のプリセット機能］
次に、上記投影領域Ａのプリセット機能の前提となる技術について説明する。

プリセット機能とは、ユーザが実空間における頻繁に投影したい場所を予め登録する機能である。ＰＣ１００は、予め投影する厳密な位置を設定・保存することにより、後述の呼び出しモードにより投影環境を容易に再現する事ができる。ＰＣ１００が保存するプリセット情報の一例を図４に示す。

同図に示すように、プリセットデータには、プリセットされた投影位置を識別する情報（プリセット名）と、投影領域Ａの中心座標（Ｘ１，Ｙ１，Ｚ１）及び投影サイズ（Ｘ２，Ｙ２）の各データが含まれる。

上記ポインティングデバイス４００を利用してプリセットで投影場所を設定する場合、ポインティングデバイス４００は細かな調整操作に向いていないため、ＰＣ１００は、微調整機能を有してもよい。これには、キーボードによるマニュアル設定と、実空間に合わせたオート設定の２種類がある。下記に各々の詳細を示す。

まず、投影領域Ａのキーボードによるマニュアル微調整処理について説明する。図５は、その調整手順を示した図である。

この機能は、ユーザが、大まかにポインティングデバイス４００で空間を指定した後、ＰＣ１００またはＰＣ４５のキーボードの十字キーを用いて上下左右方向への微調整をする機能である。ポインティングデバイス４００に十字キーが設けられている場合には、ＰＣ１００またはＰＣ４５の十字キーに代えてポインティングデバイス４００の十字キーが用いられてもよい。

同図に示すように、まずユーザは、ポインティングデバイス４００により投影した場所を大まかに指定する（同図（１））。同図の例では、ポインティング位置はＴＶ４２のやや斜め上方を指している。

続いて、ユーザが、ＰＣ１００またはＰＣ４５のキーボードの十字キーを利用して、投影したい場所を微調整する（同図（２））。同図では、上記（１）よりも右下の、ＴＶ４２の上部エッジに沿った位置に調整されている。

そして、投影場所の微調整が終了しプリセット位置が決まると、ユーザは、ＰＣ１００またはＰＣ４５のキーボード等を介した入力により、プリセットした場所に名前を付ける（同図（３））。以上で投影領域Ａのプリセット位置のマニュアル設定が終了する。

次に、実空間に合わせた投影領域Ａのオート設定処理について説明する。オート設定処理は、例えばユーザの入力に基づいてその機能のＯＮ／ＯＦＦの設定が可能とされている。

ＰＣ１００は、上述のように、センサ部３０の各種センシングデータを解析することにより、予め空間の形状を認識している。これは、ＰＣ１００は、ＩＲカメラ３００によって観測するポインティングデバイス４００の輝点が、空間のどのオブジェクトに反射しているのかを空間座標系で理解する必要があるからである。

ＰＣ１００は、この３次元情報を利用し、ポインティングデバイス４００でユーザが大まかに指定した場所において、近傍にオブジェクトがある場合には、そのオブジェクトのエッジに合わせて投影領域Ａを配置し、近傍に何もない場合には、最も適したエリアに投影領域Ａを配置する。図６を用いて、空間内に設定される各々の投影領域について説明する。

投影領域Ａ１は、ＴＶの上方付近への大まかなポインティング操作を基に、ＴＶの上辺に沿った場所に調整される。

投影領域Ａ２は、ＴＶの右側付近への大まかなポインティング操作を基に、ＴＶの右辺とＴＶ台の天面に沿った場所に調整される。

投影領域Ａ３は、窓の上方付近への大まかなポインティング操作を基に、窓の上辺に沿った場所に調整される。

投影領域Ａ４及びＡ５は、ポインティング操作の場所にオブジェクトが存在しなかったため、当該ポインティングした場所を中心に配置される。

ＰＣ１００は、このような、空間の環境に合わせたオートアジャスト位置を、ポインティング処理で利用する上記３次元形状を利用して計算する。図７は、３次元形状を観測したポイントクラウドデータを示した図である。同図Ａが空間を俯瞰した場合のデータを示し、同図Ｂが空間の側面方向のデータを示す。

ＰＣ１００は、これらのポイントクラウドデータをセグメンテーションすることにより、上記ＴＶや窓等の物体の境界線を認識することができる。

以上のような投影領域Ａのプリセット処理はプリセットモードにおいて実行され、呼び出しモードにおいて、プリセットされた投影領域Ａが呼び出されてそこに映像が投影される。

［映像投影システムの動作］
次に、以上のように構成された映像投影システムの動作について説明する。当該動作は、ＰＣ１００のＣＰＵ１１及び通信部等のハードウェアと、ＲＯＭ１２、ＲＡＭ１３、ストレージ装置２０、またはリムーバブル記録媒体２４に記憶されたソフトウェアとの協働により実行される。以下の説明では、便宜上、主にＣＰＵ１１を動作主体として説明する。

図８は、上記映像投影システムによる投影領域プリセット処理及び投影処理の流れを示したフローチャートである。当該処理の前処理として、ＣＰＵ１１は、初期設定処理を実行する。

すなわちＣＰＵ１１は、センサ部３０のデプスセンサ３１を用いて設置した空間のデプス情報を取得し、取得したデータを環境検出部１４０によりポイントクラウドデータ（図７）として解釈し、解析部１１３によりセグメンテーションして、壁面、オブジェクト等に分類されて記憶部１７０に保存する。

上記初期設定を経て、同図に示すように、ＣＰＵ１１は、プリセットモードと呼び出しモードのいずれのモードの実行が指示されたのかを判断する（ステップ８１）。

プリセットモードと呼び出しモードとは、ＰＣ１００が表示するメニュー画面を介してユーザによって切り替えられてもよいし、ポインティングデバイス４００に設けられたスイッチ等への操作をＰＣ１００が検出することで切り替えられてもよい。

現在のモードがプリセットモードであると判断した場合、ＣＰＵ１１は、ユーザによる３次元空間のポインティング操作による大まかな場所指定を検出する（ステップ８２）。

すなわち、ユーザがポインティングデバイス４００により登録したい投影場所をポインティングすると、センサ部３０のＩＲカメラ３００が輝点を撮像し、ＣＰＵ１１は、ポインティング検出部１２０により輝点を検出する。

そしてＣＰＵ１１は、予め保存したポイントクラウドデータを記憶部１７０から読出し、輝点を検出した座標の３次元座標点を特定する。続いてＣＰＵ１１は、表示位置制御部１１２により、Ｉ／Ｆ部１６０を介してムービングプロジェクタ２００を駆動して、ポインティング場所に映像を投影する。

続いてＣＰＵ１１は、オートアジャスト機能がＯＮになっているか否かを判断する（ステップ８３）。

オートアジャスト機能がＯＮになっていると判断した場合（Ｙｅｓ）、ＣＰＵ１１は、上記ポイントクラウドデータから解釈したオブジェクトのエッジに合わせて、投影領域の位置を調整する（ステップ８４）。図９は、このオートアジャスト処理のアルゴリズムについて示した図である。

同図において、一点鎖線で描かれた矩形がポインティングデバイス４００により指定された領域Ｐを示す。

ＣＰＵ１１は、このポインティング領域Ｐの中心から半径ｒの距離にあるエッジを検出する。同図では、ＴＶ４２の上、右、下の３辺が該当する。ここで、各々のエッジに合わせた場合の距離をそれぞれｄ１,ｄ２,ｄ３とする。ＣＰＵ１１は、この中で最も距離が小さい場所を投影領域Ａのアジャスト場所に設定する。同図の場合は、ｄ３＞ｄ１＞ｄ２であるため、投影領域ＡはＴＶ４２の右辺にアジャストされる。

上記ステップ８３においてオートアジャスト機能がＯＦＦであると判断した場合（Ｎｏ）及び上記オートアジャスト処理が終了した場合、ＣＰＵ１１は、ユーザによる微調整として、十字キーによる上下左右の押下操作が有ったか否かを判断する（ステップ８５）。

十字キーの押下操作があったと判断した場合（Ｙｅｓ）、ＣＰＵ１１は、十字キーが押下された方向へ投影領域Ａをオフセットする（ステップ８６）。

十字キーの押下操作が例えば所定時間以上無いと判断した場合（Ｎｏ）、ＣＰＵ１１は現在の投影領域Ａの位置について、その３次元座標とユーザによって入力された保存名を対応付けて記憶部１７０にプリセット（登録）する（ステップ８７）。ここで、投影領域Ａの面積は、一律に所定のサイズの矩形に設定されるが、ポインティング座標近傍のオブジェクトの有無等に応じて当該サイズが可変されてもよい。

上記ステップ８１において、現在のモードが呼び出しモードであると判断した場合、ＣＰＵ１１は、当該呼び出しが、いずれの手法で指示されたものであるかを判断する。

すなわち、プリセットされた空間内の投影領域Ａの呼び出しには、以下の３つの手法がある。
１）ユーザがプリセットに利用したポインティングデバイス４００を利用してポインティングにより指定する手法
２）スマートフォン４４上に表示されるＧＵＩによる登録プリセット名リストから選択する手法（図１３の登録プリセット名リストＬ参照）
３）スマートフォン４４またはスマートスピーカー（図示せず）の音声入力機能を用いてプリセット名を発話することで選択する手法

呼び出しがポインティング操作によるものと判断した場合（ステップ８８）、ＣＰＵ１１は、ポインティング座標が無効領域か否かを判断する（ステップ８９）。

ここで、ＰＣ１００がポインティング座標を有効と判断する場合及び無効と判断する場合について説明する。

ＰＣ１００は、呼び出しモードにおいては、上記プリセットモードにおいて保存した３次元座標を中心とする投影領域Ａを上下左右で拡張した拡張領域を、ポインティング操作の有効判定領域（ポインティング操作によって指定された領域）として扱う。図１０は、当該ポインティング有効判定領域の拡張処理を示した図である。

同図左側は、プリセットモードで保存された投影領域Ａの中心座標と表示サイズを示す。ＣＰＵ１１は、これを元に、同図右側に示すように、ポインティングの有効判定領域として、上記投影領域Ａを距離ｄだけ拡張した拡張領域Ａｅを利用する。

このｄは固定値でもよいが、ＣＰＵ１１は、ユーザと投影面との距離を上記センサ部３０から取得し、当該距離に応じてｄを可変してもよい。例えば、操作距離が遠くなるとポインティング精度が落ちるため、ＣＰＵ１１は、ｄの値を大きくして有効判定領域を広げる。これにより、ユーザは、厳密なポインティング位置の調整をせずとも直感的かつ容易に投影領域Ａを指定できる。

また、プリセットモードにおいて、複数の投影領域Ａ同士に重複領域が発生することはないが、上記拡張処理により、複数の投影領域Ａが比較的近い位置に存在する場合には、拡張領域同士が重複することが有り得る。

そこでＣＰＵ１１は、そのような重複領域に対するポインティング操作を無効な操作として扱う。図１１は、当該ポインティング無効領域の算出処理を示した図である。同図の例では、簡略化の為にＸ成分のみで計算している。

同図に示すように、ＣＰＵ１１は、同図下部の計算式に従って、２つの拡張領域Ａｅ１と拡張領域Ａｅ２の重複領域を算出し、当該重複領域をポインティング操作の無効領域とする。

すなわち、ＣＰＵ１１は、２つの拡張領域の中心座標から左右端までの距離の和が、２つの拡張領域間の距離よりも大きいと判断した場合には、２つの拡張領域は重複していると判断する。

そしてＣＰＵ１１は、当該重複領域の横幅を算出して、その分を考慮して２つの拡張領域Ａｅ１と拡張領域Ａｅ２の境界座標を決定する。これにより重複領域がポインティング操作の無効領域として設定される。

これにより、近い位置に設定された複数の投影領域Ａのうちどれがユーザに指定されたのかが判定不明になるのが防止される。

図８に戻り、ＣＰＵ１１は、ポインティング座標が上記無効領域内であると判断した場合（ステップ８９のＹｅｓ）、ユーザに、ポインティング位置が無効領域であることを示すビジュアルフィードバックを、例えばそのポインティング位置においてムービングプロジェクタ２００に投影させる（ステップ９０）。

またＣＰＵ１１は、ポインティング座標が、上記無効領域ではないが、上記拡張領域Ａｅ（プリセットにより保存した３次元座標を中心とする投影領域Ａをｄだけ拡張した領域）の範囲外であると判断した場合（ステップ９１のＮｏ）には、ユーザに、ポインティング位置が当該投影領域Ａ外であることを示すビジュアルフィードバックを、例えばそのポインティング位置においてムービングプロジェクタ２００に投影させる（ステップ９２）。

図１２は、このようなユーザへのビジュアルフィードバック例を示した図である。

同図Ａに示すように、ＣＰＵ１１は、ポインティング位置を中心に波紋が広がるような画像を出力してもよい。

同図Ｂに示すように、ＣＰＵ１１は、ポインティング位置に例えばインフォメーションマークや×マーク等の記号を出力すると共に、近くの投影領域Ａのプリセット設定方向に矢印画像を出力してもよい。

同図Ｃに示すように、ＣＰＵ１１は、ポインティング位置に例えばインフォメーションマークや×マーク等の記号を出力すると共に、近くの投影領域Ａのプリセット設定方向に徐々に広がる２本の直線の画像を出力してもよい。

同図Ｄに示すように、ＣＰＵ１１は、ポインティング位置に例えばインフォメーションマークや×マーク等の記号を出力するのみでも構わない。

同図Ｅに示すように、ＣＰＵ１１は、ポインティング位置に例えばインフォメーションマークや×マーク等の記号を出力すると共に、近くの投影領域Ａのプリセット設定方向に波紋の画像を出力してもよい。

同図Ｆに示すように、ＣＰＵ１１は、ポインティング位置に例えばインフォメーションマークや×マーク等の記号を出力すると共に、近くの投影領域Ａのプリセット設定方向にパーティクル画像を出力してもよい。

同図Ｇに示すように、ＣＰＵ１１は、ポインティング位置に、ポインティング操作が無効であることを示すアイコン（指を指した画像の上に×のマーク）を出力してもよい。

同図Ｈに示すように、ＣＰＵ１１は、複数のプリセットされた投影領域間で重複する無効領域をポインティングしたことを示す画像（２つの領域の重複範囲に×のマークを示した画像等）を出力してもよい。

ＣＰＵ１１は、これら以外にも、上記ポインティング操作が、上記無効領域Ｉ内へのポインティング操作である場合と、拡張領域Ａｅ外へのポインティング操作である場合とで、異なるビジュアルフィードバック画像を出力してもよい。

このようなビジュアルフィードバックにより、ＰＣ１００は、ユーザにポインティング操作が無効であることを把握させ、投影領域の指定のために異なる位置への再度のポインティング操作を促すことができる。

上記フィードバック情報は、画像情報としてムービングプロジェクタ２００から出力される代わりに、ＰＣ１００やスマートスピーカ等の外部スピーカから音声情報として出力されてもよい。

そしてＣＰＵ１１は、上記ポインティング座標が上記拡張領域Ａｅ内であると判断した場合（ステップ９１のＹｅｓ）には、当該ポインティング座標に対応する上記プリセットされた投影領域Ａにムービングプロジェクタ２００を駆動して映像を投影させる（ステップ９５）。

またＣＰＵ１１は、上記ポインティングデバイス４００によるポインティング操作のみならず、スマートフォン４４上に表示される登録プリセット名リストＬからの投影領域Ａの選択操作や、登録プリセット名の音声入力による投影領域Ａの選択操作が入力された場合（ステップ９３、９４）にも、当該選択に対応するプリセットされた投影領域Ａにムービングプロジェクタ２００を駆動して映像を投影させる（ステップ９５）。

以上説明したように、本実施形態によれば、ユーザのポインティング操作に基づいて、投影領域Ａをユーザが所望する様々な位置にプリセットし、当該投影領域Ａに容易に映像を投影することができる。

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態のプリセットモードにおいては、プリセットされる投影領域Ａのサイズは固定とされていたが、ＣＰＵ１１は、ポインティングデバイス４００によるポインティング座標を含む平面の面積に応じて、プリセットされる投影領域Ａの面積を変更してもよい。例えばＣＰＵ１１は、所定のアスペクト比の表示領域の面積を、ポインティング座標の周囲に存在するオブジェクトに重ならない最大限の面積に設定してもよい。

上述の実施形態のプリセットモードにおいて、ＣＰＵ１１は、投影対象のコンテンツに応じて、プリセットされる投影領域Ａの面積や形状を可変してもよい。例えば、正方形の写真をスライドショーするアプリケーションが起動されていることが検出された場合には、投影領域Ａが長方形ではなく正方形に設定されてもよい。また、ＣＰＵ１１は、投影領域Ａのプリセット毎に、投影されるコンテンツを出力するアプリケーションをユーザに選択させ、当該選択に応じて投影領域Ａの面積や形状を設定してもよい。

上述の実施形態のプリセットモードにおいては、ユーザのポインティング位置の近傍のオブジェクトのエッジに沿って投影領域Ａの位置が調整された。しかし、ＣＰＵ１１は、上記センサ情報の解析により、ポインティング座標の近傍の面が投影に適さないと判断した場合には、当該座標を避けて異なる座標について再度の上記ポインティング操作を促す情報（画像または音声）をムービングプロジェクタ２００やＰＣ１００等から出力してもよい。

ここで、投影に不適切な面とは、ポインティング面が非平面であることのほか、当該面が投影に不適切な材質（例えばガラス等）、色味、照度である場合も含む。この場合、ＣＰＵ１１は、平面認識については、上記デプスセンサの他、超音波センサや撮像画像を用いてもよい。また、当該面が投影に不適切な材質や色味、照度であるかについては、光センサや撮像画像、照度センサ等が用いられてもよい。

上述の実施形態の呼び出しモードにおいて、ＣＰＵ１１は、複数のプリセットされた投影領域Ａの拡張領域Ａｅ同士の重複領域を無効領域として判定していたが、当該無効領域を形成する各拡張領域Ａｅの各反対側の辺に、例えば当該無効領域の面積分だけ、拡張領域Ａｅを拡張（すなわち、各拡張領域Ａｅを外側へ移動）してもよい。

またＣＰＵ１１は、上記重複領域を算出した際に、当該重複領域を無効領域として設定せずに、どちらの投影領域Ａの指定用に用いるかを、ユーザに選択させてもよい。

上述の実施形態では、ＰＣ１００とムービングプロジェクタ２００とが別個の装置として説明されたが、両デバイスが一体的に構成されていても構わない。

［その他］
本技術は以下のような構成もとることができる。
（１）
映像が投影される空間がセンシングされたセンシング情報と、ユーザによる前記空間のポインティング操作によってポインティングされた座標情報とが入力される入力部と、
前記センシング情報に基づいて前記空間内の状況を解析した結果と前記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶部に記憶し、
前記記憶された設定情報から前記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御する
制御部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記座標情報によって示される座標から、前記解析結果に基づいて変更した座標を中心として前記投影領域を設定する
情報処理装置。
（３）
上記（２）に記載の情報処理装置であって、
前記制御部は、前記座標情報によって示される座標の近傍で認識されたオブジェクトのエッジに沿って前記投影領域を設定する
情報処理装置。
（４）
上記（３）に記載の情報処理装置であって、
前記制御部は、前記座標情報によって示される座標から所定半径の距離内に複数のエッジが検出された場合、当該各エッジに沿って前記座標を移動させた場合の移動距離が最小となるエッジに沿って前記投影領域を設定する
情報処理装置。
（５）
上記（２）に記載の情報処理装置であって、
前記制御部は、前記座標情報によって示される座標を含む平面の面積に応じて前記設定する投影領域の面積を変更する
情報処理装置。
（６）
上記（１）〜（５）のいずれかに記載の情報処理装置であって、
前記制御部は、前記解析により、前記座標情報によって示される座標の近傍の面が投影に適さないと判断した場合に、当該座標とは異なる座標について再度の前記ポインティング操作を促す情報を出力する
情報処理装置。
（７）
上記（１）〜（６）のいずれかに記載の情報処理装置であって、
前記制御部は、前記設定された投影領域を含み当該投影領域よりも拡張された拡張領域内で前記ユーザによるポインティング操作が受け付けられた場合に、前記投影領域が指定されたと判定する
情報処理装置。
（８）
上記（７）に記載の情報処理装置であって、
前記制御部は、前記設定された複数の投影領域の前記拡張領域同士の重複領域が存在する場合、当該重複領域に対する前記ポインティング操作を無効な操作として扱う
情報処理装置。
（９）
上記（８）に記載の情報処理装置であって、
前記制御部は、前記ポインティング操作が前記拡張領域外または前記重複領域内で検出された場合に、当該ポインティング操作が無効であることを前記ユーザにフィードバックするフィードバック情報を出力する
情報処理装置。
（１０）
上記（１）〜（９）のいずれかに記載の情報処理装置であって、
前記制御部は、前記投影領域を識別する識別情報と共に前記設定情報を記憶し、前記ユーザから前記識別情報を選択する操作または音声が入力された場合に、当該識別情報に対応する投影領域が指定されたと判定する
情報処理装置。
（１１）
映像が投影される空間がセンシングされたセンシング情報と、ユーザによる前記空間のポインティング操作によってポインティングされた座標情報との入力を受け付け、
前記センシング情報に基づいて前記空間内の状況を解析した結果と前記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶し、
前記記憶された設定情報から前記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御する
情報処理方法。
（１２）
情報処理装置に、
映像が投影される空間がセンシングされたセンシング情報と、ユーザによる前記空間のポインティング操作によってポインティングされた座標情報との入力を受け付けるステップと、
前記センシング情報に基づいて前記空間内の状況を解析した結果と前記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶するステップと、
前記記憶された設定情報から前記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御するステップと
を実行させるプログラム。

１１…ＣＰＵ
１８…入力装置
１９…出力装置
２０…ストレージ装置
２６…撮像装置
２３…通信装置
１００…ＰＣ
２００…ムービングプロジェクタ
４００…ポインティングデバイス
Ａ…投影領域

Claims (12)

1. 映像が投影される空間がセンシングされたセンシング情報と、ユーザによる前記空間のポインティング操作によってポインティングされた座標情報とが入力される入力部と、
   前記センシング情報に基づいて前記空間内の状況を解析した結果と前記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶部に記憶し、
   前記記憶された設定情報から前記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御する
   制御部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記座標情報によって示される座標から、前記解析結果に基づいて変更した座標を中心として前記投影領域を設定する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記制御部は、前記座標情報によって示される座標の近傍で認識されたオブジェクトのエッジに沿って前記投影領域を設定する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記制御部は、前記座標情報によって示される座標から所定半径の距離内に複数のエッジが検出された場合、当該各エッジに沿って前記座標を移動させた場合の移動距離が最小となるエッジに沿って前記投影領域を設定する
   情報処理装置。
5. 請求項２に記載の情報処理装置であって、
   前記制御部は、前記座標情報によって示される座標を含む平面の面積に応じて前記設定する投影領域の面積を変更する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記解析により、前記座標情報によって示される座標の近傍の面が投影に適さないと判断した場合に、当該座標とは異なる座標について再度の前記ポインティング操作を促す情報を出力する
   情報処理装置。
7. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記設定された投影領域を含み当該投影領域よりも拡張された拡張領域内で前記ユーザによるポインティング操作が受け付けられた場合に、前記投影領域が指定されたと判定する
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記制御部は、前記設定された複数の投影領域の前記拡張領域同士の重複領域が存在する場合、当該重複領域に対する前記ポインティング操作を無効な操作として扱う
   情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記制御部は、前記ポインティング操作が前記拡張領域外または前記重複領域内で検出された場合に、当該ポインティング操作が無効であることを前記ユーザにフィードバックするフィードバック情報を出力する
   情報処理装置。
10. 請求項１に記載の情報処理装置であって、
    前記制御部は、前記投影領域を識別する識別情報と共に前記設定情報を記憶し、前記ユーザから前記識別情報を選択する操作または音声が入力された場合に、当該識別情報に対応する投影領域が指定されたと判定する
    情報処理装置。
11. 映像が投影される空間がセンシングされたセンシング情報と、ユーザによる前記空間のポインティング操作によってポインティングされた座標情報との入力を受け付け、
    前記センシング情報に基づいて前記空間内の状況を解析した結果と前記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶し、
    前記記憶された設定情報から前記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御する
    情報処理方法。
12. 情報処理装置に、
    映像が投影される空間がセンシングされたセンシング情報と、ユーザによる前記空間のポインティング操作によってポインティングされた座標情報との入力を受け付けるステップと、
    前記センシング情報に基づいて前記空間内の状況を解析した結果と前記座標情報とを基に所定範囲の投影領域を設定する設定情報を記憶するステップと、
    前記記憶された設定情報から前記ユーザによって投影領域が指定された場合に、当該投影領域に映像を投影するように投影装置を制御するステップと
    を実行させるプログラム。