JP2013114467A - Display system, display method and program - Google Patents
Display system, display method and program Download PDFInfo
- Publication number
- JP2013114467A JP2013114467A JP2011260236A JP2011260236A JP2013114467A JP 2013114467 A JP2013114467 A JP 2013114467A JP 2011260236 A JP2011260236 A JP 2011260236A JP 2011260236 A JP2011260236 A JP 2011260236A JP 2013114467 A JP2013114467 A JP 2013114467A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target area
- user
- display
- copy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】コンピュータ等を直接操作することなく、実空間内の物体の外観をコピーして、実空間内の任意の位置に表示する。
【解決手段】実空間における対象領域に対するユーザの操作を検出する操作検出部と、対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、対象領域を撮像した画像におけるコピー操作により指定された範囲を取得する画像取得部と、対象領域に対してユーザが予め定められたペースト操作をしたこと応じて、実空間に画像を表示するための表示装置を制御して、コピー操作により取得された画像をペースト操作により指定された位置に表示する表示制御部と、を備える表示システムを提供する。
【選択図】図１An object of the present invention is to copy the appearance of an object in a real space and display it at an arbitrary position in the real space without directly operating a computer or the like.
An operation detection unit for detecting a user operation on a target area in a real space, and a copy operation on an image obtained by capturing the target area in response to a user performing a predetermined copy operation on the target area. A copy operation by controlling an image acquisition unit for acquiring a range specified by the control unit and a display device for displaying an image in the real space in response to a user performing a predetermined paste operation on the target area. And a display control unit that displays the image acquired at the position specified by the paste operation.
[Selection] Figure 1
Description
本発明は、表示システム、表示方法およびプログラムに関する。 The present invention relates to a display system, a display method, and a program.
特許文献１には、コピー対象を正確に選択するための方法が記載されている。特許文献２には、マルチタッチパネルにおいて、指のジェスチャーにより情報を入力する方法が記載されている。特許文献３には、対象物を含む領域に注釈画像を表示する方法が記載されている。特許文献４には、複数のデプスセンシングカメラと複数のプロジェクタとの座標を一致させて、３次元空間の任意の位置に仮想的なオブジェクトを表示する方法が記載されている。
特許文献１ 特許第４０５６４７７号明細書
特許文献２ 特表２０１０−５３２０５５号公報（ＷＯ２００９／００２７５８）
特許文献３ 特開２００９−２９０４８８号公報
特許文献４ ＵＳ２０１１／０２０５３４１
しかし、従来、コンピュータ等を直接操作することなく、実空間内の物体の外観をコピーして、実空間内の任意の位置に表示させることはできなかった。 However, conventionally, the appearance of an object in the real space cannot be copied and displayed at an arbitrary position in the real space without directly operating a computer or the like.
本発明の第１の態様においては、実空間における対象領域に対するユーザの操作を検出する操作検出部と、前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記コピー操作により取得された画像を前記ペースト操作により指定された位置に表示する表示制御部と、を備える表示システム、及び、このような表示システムに関連する表示方法およびプログラムを提供する。 In the first aspect of the present invention, the operation detection unit that detects a user operation on the target area in the real space, and the target in response to a user performing a predetermined copy operation on the target area. An image acquisition unit that acquires a range specified by the copy operation in an image obtained by imaging an area, and an image is displayed in the real space in response to the user performing a predetermined paste operation on the target area A display system comprising: a display control unit for controlling a display device to display the image acquired by the copy operation at a position specified by the paste operation; and a display system related to such a display system A display method and program are provided.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、本実施形態に係る表示システム１０の構成を示す。表示システム１０は、ユーザがコピーを表す動作（コピー操作）をしたことに応じて、対象領域（本実施形態においては対象平面）におけるユーザにより指定された範囲の画像を撮像して取得する。そして、表示システム１０は、ユーザがペーストを表す動作（ペースト操作）をしたことに応じて、コピー操作によって取得した画像を対象領域（本実施形態においては対象平面）のユーザにより指定された位置に例えば投影して表示する。
FIG. 1 shows a configuration of a
表示システム１０は、撮像装置２２と、表示装置２４と、距離検出装置２６と、制御装置３０とを備える。撮像装置２２は、実空間における対象平面の少なくとも一部を撮像する。本実施形態において、対象平面は、部屋１２内に設けられたスクリーン１４である。しかし、対象領域は、スクリーン１４に限らず、机上の面、部屋の側壁、床面等の他の領域であってもよい。また、対象領域は、平面に限らず、曲面または段差が付いた面等であってもよい。
The
表示装置２４は、実空間における対象平面の少なくとも一部に画像を表示する。表示装置２４は、一例として、対象平面に画像を投影するプロジェクタである。また、表示装置２４は、スクリーン１４と一体的に設けられたフラットパネルディスプレイであってもよい。
The
なお、撮像装置２２の撮像範囲と表示装置２４の表示範囲とは、互いに重複する範囲であってもよいし、重複しない範囲であってもよい。例えば、スクリーン１４の全面が対象平面である場合、撮像装置２２の撮像範囲がスクリーン１４における左半分の範囲であり、表示装置２４の表示範囲がスクリーン１４における右半分の範囲である。
Note that the imaging range of the
距離検出装置２６は、実空間における物体までの距離を検出する。距離検出装置２６は、一例として、右側カメラと左側カメラとを有するステレオカメラである。このような距離検出装置２６は、右側カメラにより撮像された画像と左側カメラにより撮像された画像との間の視差により、画面内の各物体までの被写体距離を表すことができる。本実施形態においては、距離検出装置２６は、ステレオ画像に基づき画面内に含まれる物体の表面の各位置までの距離を示す距離画像を生成して出力する。
The
制御装置３０は、コンピュータである。制御装置３０は、撮像装置２２、表示装置２４および距離検出装置２６の動作を制御する。より具体的には、制御装置３０は、撮像装置２２を制御して、撮像装置２２により撮像された撮像画像を取得する。また、制御装置３０は、距離検出装置２６を制御して、距離検出装置２６により生成された距離画像を取得する。さらに、制御装置３０は、表示装置２４を制御して、対象平面に画像を表示する。
The
図２は、本実施形態に係る制御装置３０の機能構成を示す。制御装置３０は、距離取得部４２と、対象平面特定部４４と、平面パラメータ記憶部４６と、操作検出部４８と、メイン制御部５０と、画像取得部５２と、コピー画像記憶部５４と、オブジェクト記憶部５６と、表示制御部５８とを有する。
FIG. 2 shows a functional configuration of the
距離取得部４２は、距離検出装置２６から、実空間における各物体までの距離を示す距離画像を取得する。対象平面特定部４４は、距離取得部４２により取得された距離画像に基づき、対象平面の位置を特定する。対象平面特定部４４は、一例として、初期化処理において、対象平面の位置を特定する。平面パラメータ記憶部４６は、対象平面特定部４４により特定された対象平面の位置を表す平面パラメータを記憶する。
The
操作検出部４８は、通常処理において、距離取得部４２により取得された距離画像、および、平面パラメータ記憶部４６に記憶された平面パラメータに基づき、実空間における対象平面に対するユーザの操作を検出する。本実施形態においては、操作検出部４８は、対象平面から予め定められた距離内に位置するユーザの身体の予め定められた部位（例えば手）の動きに基づき、対象平面に対するユーザの操作を検出する。
The
操作検出部４８は、一例として、ユーザの手が対象平面に触れた状態で右に動いた場合、コピー操作がされたと検出する。操作検出部４８は、一例として、ユーザの手が対象平面に触れた状態で左に動いた場合、ペースト操作がされたと検出する。操作検出部４８は、一例として、ユーザの手が対象平面に触れた状態で下に動いた場合、消去操作がされたと検出する。操作検出部４８は、一例として、ユーザの手が表示されている画像に触れている場合、移動操作または拡大縮小操作がされたと検出する。
For example, when the user's hand moves to the right while touching the target plane, the
メイン制御部５０は、操作検出部４８により検出されたユーザの操作に応じて、画像取得部５２、コピー画像記憶部５４、オブジェクト記憶部５６および表示制御部５８を制御する。さらに、メイン制御部５０は、距離取得部４２を制御して距離画像を取得させる。
The
画像取得部５２は、撮像装置２２により撮像された画像を入力する。そして、画像取得部５２は、対象平面に対してユーザがコピー操作をしたことに応じて、対象平面を撮像した画像におけるコピー操作により指定された範囲を取得する。コピー画像記憶部５４は、画像取得部５２が取得した範囲の画像を、コピー画像として一時的に記憶する。
The
オブジェクト記憶部５６は、対象平面に表示するべき１または複数の画像オブジェクトを記憶する。ここで、画像オブジェクトは、画像データとともに、当該画像の表示上の大きさを示す大きさデータおよび表示位置を表す座標データを含むデータである。
The
表示制御部５８は、表示装置２４を制御して、オブジェクト記憶部５６に含まれる１または複数の画像オブジェクトを対象平面上に表示する。この場合において、表示制御部５８は、１または複数の画像オブジェクトのそれぞれに含まれる画像データが、座標データにより表させる座標に表示され、且つ、大きさデータにより表される大きさで表示されるように、１または複数の画像オブジェクトに含まれる画像データを合成して表示する。
The
さらに、表示制御部５８は、対象平面に対してユーザがペースト操作をしたこと応じて、表示装置２４を制御して、画像取得部５２により取得されたコピー画像を実空間におけるペースト操作により指定された位置に表示する。この場合、メイン制御部５０は、対象平面に対してユーザがペースト操作をしたことに応じて、コピー画像記憶部５４に記憶されているコピー画像にペースト操作により指定された座標データおよび大きさデータを付加して新たな画像オブジェクトを生成し、生成した新たな画像オブジェクトをオブジェクト記憶部５６に記憶させる。
Further, the
そして、表示制御部５８は、オブジェクト記憶部５６に記憶された新たな画像オブジェクトを含む１または複数の画像オブジェクトを合成して対象平面に表示する。これにより、表示制御部５８は、ペースト操作により指定された位置に、コピー画像を表示することができる。
Then, the
なお、制御装置３０は、対象平面の座標を１つの物理オブジェクトとして予め登録し、物理オブジェクトとして登録された対象平面に対する各種の操作入力があったことに応じて対応するメソッドを呼び出してデータの入出力をするプログラムを実行する。これにより、ユーザは、対象平面を１つのコンピュータにより制御可能な物理オブジェクトとして認識しながら制御プログラムを記述することができるので、容易にプログラミングをすることができる。
Note that the
図３は、スクリーン１４（対象平面）に設けられたポスター６２および表示された画像オブジェクトの一例を示す。表示システム１０によれば、ユーザがあたかも対象平面上の物体の外観をコピーして指定された位置にペーストしているように、画像の撮像および表示をすることができる。
FIG. 3 shows an example of the
例えば、図３に示されるように、人物およびカレンダーが描かれたポスター６２がスクリーン１４上に設けられていたとする。このような場合において、表示システム１０は、スクリーン１４に対するユーザの動作によって、ポスター６２内の人物の画像とカレンダーの画像とをそれぞれ別個にコピーして、それぞれの画像をスクリーン１４上の指定された位置にペーストすることができる。また、さらに、表示システム１０は、スクリーン１４に対するユーザの動作によって、ペーストした画像を移動したり、ペーストした画像を拡大縮小したり、ペーストした画像を消去したりすることもできる。
For example, it is assumed that a
図４は、初期化処理のフローを示す。表示システム１０の制御装置３０は、ユーザによる操作に先立って、図４に示すステップＳ１１からステップＳ１５の初期化処理を実行する。
FIG. 4 shows a flow of initialization processing. Prior to the operation by the user, the
まず、ステップＳ１１において、制御装置３０は、距離検出装置２６から距離画像を取得する。この場合において、制御装置３０は、少なくとも対象平面を含む距離画像を取得する。
First, in step S <b> 11, the
続いて、ステップＳ１２において、制御装置３０は、距離画像に基づき対象平面の位置を特定する。制御装置３０は、一例として、距離画像内の各点から、ＲＡＮＳＡＣ法等により、空間内における平面を表す式（ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＝ｄ）に一致する点を抽出して、対象平面の位置を特定する。なお、平面を表す式において、ａ、ｂ、ｃ、ｄは、定数である。また、平面を表す式において、ｘは、実空間における横軸方向の位置を表す変数であり、ｙは、実空間における縦軸方向の位置を表す変数であり、ｚは、実空間における高さ軸方向の位置を表す変数である。
Subsequently, in step S12, the
続いて、ステップＳ１３において、制御装置３０は、表示装置２４を制御して、対象平面上に予め定められた模様のチェッカーパターンを表示する。制御装置３０は、一例として、格子状のチェッカーパターンを表示する。続いて、ステップＳ１４において、制御装置３０は、チェッカーパターンが表示された対象平面を撮像装置２２および距離検出装置２６のそれぞれにより撮像して、画像を取得する。
Subsequently, in step S13, the
続いて、ステップＳ１５において、制御装置３０は、表示装置２４により表示される画像の座標、撮像装置２２により撮像される画像の座標、および、距離検出装置２６により検出される距離画像の座標のそれぞれを互いに位置合わせする。このような初期化処理を実行することにより、制御装置３０は、対象平面に対するユーザの操作位置、対象平面に対する画像の撮像位置、および、対象平面に対する画像の表示位置を一致させることができる。
Subsequently, in step S <b> 15, the
図５は、通常処理のフローを示す。表示システム１０の制御装置３０は、初期化処理を終了した後に、図５に示すステップＳ２１からステップＳ３５の通常処理を実行する。
FIG. 5 shows a flow of normal processing. After completing the initialization process, the
まず、ステップＳ２１において、制御装置３０は、距離画像を取得する。続いて、ステップＳ２２において、制御装置３０は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Ｔを検出する。例えば、制御装置３０は、ユーザの手等が、対象平面であるスクリーン１４から予め定められた距離（例えば５ｃｍ）以内に位置する場合、当該手の表面領域Ｔを検出する。これにより、制御装置３０は、ユーザの手が対象平面であるスクリーン１４に触った或いは接触しているといえるほどに近づいたことを検出することができる。
First, in step S21, the
続いて、ステップＳ２３において、制御装置３０は、ステップＳ２２で検出した表面領域Ｔを、初期化処理のステップＳ１２で特定した対象平面に射影した領域Ｔ´に変換する。続いて、ステップＳ２４において、制御装置３０は、領域Ｔ´の重心座標Ｐを算出する。
Subsequently, in step S23, the
続いて、ステップＳ２５において、制御装置３０は、重心座標Ｐが、対象平面上に表示されている画像オブジェクト上に位置するか否かを判断する。すなわち、制御装置３０は、例えばユーザの手が画像オブジェクト上にあるか否かを判断する。制御装置３０は、重心座標Ｐが画像オブジェクト上に位置する場合（ステップＳ２５のＹｅｓ）、処理をステップＳ２６に進めて、画像オブジェクトの移動操作または拡大縮小操作に応じた処理を実行する。そして、制御装置３０は、移動操作または拡大縮小操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
Subsequently, in step S25, the
制御装置３０は、重心座標Ｐが画像オブジェクト上に位置しない場合（ステップＳ２５のＮｏ）、処理をステップＳ２７に進める。ステップＳ２７において、制御装置３０は、重心座標Ｐが、右方向に移動したか否かを判断する。制御装置３０は、重心座標Ｐが右方向に移動した場合（ステップＳ２７のＹｅｓ）、処理をステップＳ２８に進めて、コピー操作に応じた処理を実行する。そして、制御装置３０は、コピー操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
When the barycentric coordinate P is not located on the image object (No in step S25), the
制御装置３０は、重心座標Ｐが右方向に移動していない場合（ステップＳ２７のＮｏ）、処理をステップＳ２９に進める。ステップＳ２９において、制御装置３０は、重心座標Ｐが左方向に移動したか否かを判断する。制御装置３０は、重心座標Ｐが左方向に移動した場合（ステップＳ２９のＹｅｓ）、処理をステップＳ３０に進めて、ペースト操作に応じた処理を実行する。そして、制御装置３０は、ペースト操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
If the center-of-gravity coordinate P has not moved to the right (No in step S27), the
制御装置３０は、重心座標Ｐが左方向に移動していない場合（ステップＳ２９のＮｏ）、処理をステップＳ３１に進める。ステップＳ３１において、制御装置３０は、重心座標Ｐが上方向に移動したか否かを判断する。制御装置３０は、重心座標Ｐが上方向に移動した場合（ステップＳ３１のＹｅｓ）、処理をステップＳ３２に進めて、保存操作に応じた処理を実行する。ここで、制御装置３０は、保存操作がされた場合には、例えば、対象平面上に表示している画像オブジェクトをデータ格納部内に保存する処理を実行する。そして、制御装置３０は、保存操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
If the center-of-gravity coordinate P has not moved to the left (No in step S29), the
制御装置３０は、重心座標Ｐが上方向に移動していない場合（ステップＳ３１のＮｏ）、処理をステップＳ３３に進める。ステップＳ３３において、制御装置３０は、重心座標Ｐが下方向に移動したか否かを判断する。制御装置３０は、重心座標Ｐが下方向に移動した場合（ステップＳ３３のＹｅｓ）、処理をステップＳ３４に進めて、消去操作に応じた処理を実行する。ここで、制御装置３０は、消去操作がされた場合には、例えば、対象平面上に表示している画像オブジェクトを消去する処理を実行する。そして、制御装置３０は、消去操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
When the barycentric coordinate P has not moved upward (No in step S31), the
制御装置３０は、重心座標Ｐが、対象平面上において下方向に移動していない場合（ステップＳ３３のＮｏ）、処理をステップＳ３５に進める。ステップＳ３５において、制御装置３０は、ユーザにより予め定められた停止指示がされたか否かを判断する。制御装置３０は、ユーザにより停止指示がされた場合（ステップＳ３５のＹｅｓ）、当該フローを抜けて、通常処理を終了する。制御装置３０は、ユーザにより停止指示がされていない場合（ステップＳ３５のＮｏ）、処理をステップＳ２１に戻す。
When the barycentric coordinate P has not moved downward on the target plane (No in step S33), the
このような通常処理を実行することにより、制御装置３０は、対象平面に対するユーザの操作に応じた処理を実行することができる。より具体的には、制御装置３０は、対象平面に対するコピー操作、ペースト操作、移動操作、拡大縮小操作、保存操作および消去操作に応じた処理を実行することができる。
By executing such normal processing, the
図６は、コピー操作の一例を示す。制御装置３０の画像取得部５２は、対象平面に対してユーザがコピー操作をしたことに応じて、撮像装置２２により撮像された対象平面を撮像した画像における、コピー操作により指定された範囲を取得する。
FIG. 6 shows an example of a copy operation. The
画像取得部５２は、一例として、対象平面に対してユーザが手を触れた状態で、縦方向に平行に並んだ複数の直線を一連の動作で描いた場合、これらの複数の直線を含む矩形の範囲の画像を、コピー操作において指定された範囲の画像として取得する。より詳しくは、画像取得部５２は、ユーザが、対象平面上に右から左へ且つ上方向から下方向へと複数本の直線を描いた場合、これら複数の直線を囲む矩形の範囲の画像を、撮像装置２２により撮像された画像から取得する。
As an example, when the user touches the target plane and the
図７は、コピー操作がされた場合の処理フローを示す。表示システム１０の制御装置３０は、図５のステップＳ２８のコピー操作に応じた処理として、ステップＳ４１からステップＳ５２の処理を実行する。
FIG. 7 shows a processing flow when a copy operation is performed. The
まず、ステップＳ４１において、制御装置３０は、コピー範囲Ｗを０とする。続いて、ステップＳ４２において、制御装置３０は、距離画像を取得する。
First, in step S41, the
続いて、ステップＳ４３において、制御装置３０は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Ｔを検出する。続いて、ステップＳ４４において、制御装置３０は、ステップＳ４３で検出した表面領域Ｔを、対象平面に射影した領域Ｔ´に変換する。
Subsequently, in step S43, the
続いて、ステップＳ４５において、制御装置３０は、コピー範囲Ｗと領域Ｔ´との論理和を演算して、演算結果をコピー範囲Ｗに代入する。これにより、制御装置３０は、ユーザが対象平面を手で触って移動させた場合、手の移動範囲をコピー範囲として検出することができる。
Subsequently, in step S <b> 45, the
続いて、ステップＳ４６において、制御装置３０は、領域Ｔ´の面積Ｓを算出する。続いて、ステップＳ４７において、制御装置３０は、面積Ｓが予め定められた面積Ｃより大きいか否かを判断する。制御装置３０は、面積Ｓが予め定められた面積Ｃより大きい場合（ステップＳ４７のＹｅｓ）、処理をステップＳ４２に戻す。これにより、制御装置３０は、ユーザの手が対象平面に接触し続けている場合には、コピー操作が継続していると判断して、コピー範囲Ｗの選択動作を継続することができる。
Subsequently, in step S46, the
制御装置３０は、面積Ｓが予め定められた面積Ｃ以下の場合（ステップＳ４７のＮｏ）、処理をステップＳ４８に進める。これにより、制御装置３０は、例えばユーザの手が対象平面から離れた場合には、ユーザによるコピー操作が終了したと判断して、コピー範囲Ｗの選択動作を抜けて、次の処理に進むことができる。
When the area S is equal to or smaller than the predetermined area C (No in step S47), the
続いて、ステップＳ４８において、制御装置３０は、撮像装置２２を制御して、実空間を撮像し、撮像画像Ｘを取得する。この場合において、制御装置３０は、コピー範囲Ｗを含む範囲を撮像する。続いて、ステップＳ４９において、制御装置３０は、撮像画像Ｘを対象平面に射影した射影画像Ｘ´に変換する。
Subsequently, in step S <b> 48, the
続いて、ステップＳ５０において、制御装置３０は、射影画像Ｘ´とコピー範囲Ｗとをアンド演算して、射影画像Ｘ´からコピー範囲Ｗの画像（コピー画像Ｒ）を取得する。続いて、ステップＳ５１において、制御装置３０は、取得したコピー画像Ｒに、識別番号を割り当てる。そして、ステップＳ５２において、制御装置３０は、コピー画像Ｒ、当該コピー画像Ｒの大きさ（例えば横方向の長さおよび縦方向の長さ）、および、識別番号の組をコピー画像記憶部５４に一時的に保存する。
Subsequently, in step S50, the
以上の処理により、制御装置３０は、対象平面に対してユーザがコピー操作をした場合、コピー操作により指定された範囲の画像を取得することができる。
With the above processing, when the user performs a copy operation on the target plane, the
図８は、ペースト操作の一例を示す。制御装置３０の表示制御部５８は、対象平面に対してユーザがペースト操作をしたことに応じて、表示装置２４を制御して、コピー操作により取得されたコピー画像Ｒをペースト操作により指定された位置に表示する。
FIG. 8 shows an example of the paste operation. The
表示制御部５８は、一例として、ユーザが対象平面に対して手を触れた後に予め定められた方向（例えば左方向）に直線を描いたことに応じて、図７のステップＳ４１からステップＳ５２の処理により取得されたコピー画像Ｒを表示する。この場合において、表示制御部５８は、例えば、対象平面上におけるユーザが手を触れた座標から、予め定められたベクトルを加算した位置にコピー画像Ｒを表示する。
For example, the
図９は、ペースト操作がされた場合の処理フローを示す。表示システム１０の制御装置３０は、図５のステップＳ３０のペースト操作に応じた処理として、ステップＳ６１からステップＳ６７の処理を実行する。
FIG. 9 shows a processing flow when the paste operation is performed. The
まず、ステップＳ６１において、制御装置３０は、距離画像を取得する。続いて、ステップＳ６２において、制御装置３０は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Ｔを検出する。
First, in step S61, the
続いて、ステップＳ６３において、制御装置３０は、ステップＳ６２で検出した表面領域Ｔを、対象平面に射影した領域Ｔ´に変換する。続いて、ステップＳ６４において、制御装置３０は、領域Ｔ´の重心座標Ｐを算出する。
Subsequently, in step S63, the
続いて、ステップＳ６５において、制御装置３０は、領域Ｔ´の重心座標Ｐから、コピー画像Ｒを表示するための開始座標を算出する。制御装置３０は、一例として、領域Ｔ´の重心座標Ｐを開始座標としてもよいし、領域Ｔ´の重心座標Ｐに予め定められたベクトルを加算した座標を開始座標としてもよい。
Subsequently, in step S65, the
続いて、ステップＳ６６において、制御装置３０は、コピー画像記憶部５４に一時的に保存されたコピー画像Ｒに、ステップＳ６５で算出した開始座標および当該コピー画像Ｒの大きさデータを付加して、新たな画像オブジェクトとしてオブジェクト記憶部５６に保存する。これにより、オブジェクト記憶部５６には、新たな画像オブジェクトが記憶される。
Subsequently, in step S66, the
続いて、ステップＳ６７において、制御装置３０は、オブジェクト記憶部５６に記憶された１または複数の画像オブジェクトを合成して、対象平面上に表示する。より詳しくは、制御装置３０は、オブジェクト記憶部５６に記憶された１または複数の画像オブジェクトに含まれる画像データのそれぞれを、開始座標に示された位置、且つ、大きさデータに示された大きさで表示されるように合成する。
Subsequently, in step S67, the
以上の処理により、制御装置３０は、対象平面に対してユーザがペースト操作をした場合、コピー画像Ｒをペースト操作により指定した位置に表示することができる。
With the above processing, when the user performs a paste operation on the target plane, the
図１０は、移動操作の一例を示す。制御装置３０の表示制御部５８は、対象平面に対して表示している画像に対してユーザが移動操作をしたことに応じて、表示装置２４を制御して、当該画像の表示位置を移動操作により指定された方向に移動する。表示制御部５８は、一例として、対象平面上に表示している画像に対してユーザが手を接触させた後に手を移動させたことに応じて、当該画像をユーザが手を移動させた方向に移動する。
FIG. 10 shows an example of the moving operation. The
また、制御装置３０の表示制御部５８は、対象平面に対して表示している画像に対してユーザが拡大縮小操作をしたことに応じて、表示装置２４を制御して、当該画像の大きさを拡大縮小操作により指定された大きさに変更する。表示制御部５８は、一例として、対象平面上に表示している画像の４つの角の何れかにユーザが手を接触させた後に手を移動させたことに応じて、手を接触させた角の座標位置をユーザが手を移動させた方向に移動して当該画像を拡大縮小する。
In addition, the
また、制御装置３０の表示制御部５８は、対象平面に対して表示している画像に対してユーザが予め定められた消去操作をしたことに応じて、当該画像を消去する。表示制御部５８は、一例として、対象平面に対して表示している画像の近傍において、ユーザが手を接触させた後に手を下側に移動させたことに応じて、当該画像を消去する。
In addition, the
図１１は、移動操作または拡大縮小操作がされた場合の処理フローを示す。表示システム１０の制御装置３０は、図５のステップＳ２６の移動操作および拡大縮小操作に応じた処理として、ステップＳ７１からステップＳ８１の処理を実行する。
FIG. 11 shows a processing flow when a movement operation or an enlargement / reduction operation is performed. The
まず、ステップＳ７１において、制御装置３０は、ユーザの手等に重なっている画像オブジェクトＬの開始座標および大きさデータを取得する。続いて、ステップＳ７２において、制御装置３０は、距離画像を取得する。ステップＳ７３において、制御装置３０は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Ｔを検出する。
First, in step S <b> 71, the
続いて、ステップＳ７４において、制御装置３０は、ステップＳ７３で検出した表面領域Ｔを、対象平面に射影した領域Ｔ´に変換する。続いて、ステップＳ７５において、制御装置３０は、領域Ｔ´の重心座標Ｐを算出する。続いて、ステップＳ７６において、制御装置３０は、画像オブジェクトＬの重心座標から、領域Ｔ´の重心座標ＰへのベクトルＶを算出する。
Subsequently, in step S74, the
続いて、ステップＳ７７において、制御装置３０は、領域Ｔ´の重心座標Ｐが、画像オブジェクトＬの４つの角から予め定められた範囲内に含まれているか否かを判断する。領域Ｔ´の重心座標Ｐが画像オブジェクトＬの４つの角から予め定められた範囲内に含まれていない場合（ステップＳ７７のＮｏ）、制御装置３０は、処理をステップＳ７８に進める。また、領域Ｔ´の重心座標Ｐが画像オブジェクトＬの４つの角から予め定められた範囲内に含まれている場合（ステップＳ７７のＹｅｓ）、制御装置３０は、処理をステップＳ７９に進める。
Subsequently, in step S77, the
ステップＳ７８において、制御装置３０は、画像オブジェクトＬの開始座標に、ベクトルＶを加算する。これにより、制御装置３０は、画像オブジェクトＬの表示位置を領域Ｔ´の重心座標Ｐの移動量分、移動させることができる。
In step S78, the
また、ステップＳ７８において、制御装置３０は、画像オブジェクトＬの大きさデータ（横方向の長さおよび縦方向の長さ）に、ベクトルＶを加算する。さらに、ステップＳ７８において、制御装置３０は、領域Ｔ´の重心座標Ｐが画像オブジェクトＬの４つの角のいずれの領域に含まれているかに応じて、領域Ｔ´の重心座標Ｐの近傍の角が移動して、領域Ｔ´の重心座標Ｐの近傍の角に対して対向している角が固定するように、開始座標を併せて変更してもよい。これにより、制御装置３０は、画像オブジェクトＬを領域Ｔ´の重心座標Ｐの移動量分、拡大または縮小することができる。
In step S78, the
続いて、ステップＳ８０において、制御装置３０は、オブジェクト記憶部５６に記憶された対応する画像オブジェクトＬの開始座標および大きさデータを更新する。続いて、ステップＳ８１において、制御装置３０は、オブジェクト記憶部５６に記憶された１または複数の画像オブジェクトを合成して、対象平面上に表示する。
Subsequently, in step S <b> 80, the
以上の処理により、制御装置３０は、対象平面に対してユーザが移動操作または拡大縮小操作をした場合、表示している画像を移動または拡大縮小することができる。
With the above processing, the
図１２は、コピー操作時に表示される枠６６および画像６８の一例を示す。例えば、制御装置３０の表示制御部５８は、対象平面に対してユーザがコピー操作を開始してからコピー操作を完了するまでの間において、コピー操作において指定されている範囲を示す枠６６を表示してもよい。これにより、表示システム１０は、コピー操作により選択されている範囲を、ユーザに視覚的にフィードバックすることができる。この結果、表示システム１０は、ユーザに正確な範囲指定をさせることができる。
FIG. 12 shows an example of a
また、例えば、制御装置３０の表示制御部５８は、対象平面に対してユーザがコピー操作を開始してからコピー操作を完了するまでの間において、コピー操作において指定されている範囲の画像６８を、対象平面におけるコピー操作において指定されている範囲外に表示してもよい。このようにしても、表示システム１０は、コピー操作により選択されている範囲を、ユーザに視覚的に認識させることができる。
Further, for example, the
また、制御装置３０の表示制御部５８は、予め指定された操作が割り付けられたボタンを有する操作パネルを表示してもよい。例えば、表示制御部５８は、コピー操作、ペースト操作、移動操作、拡大縮小操作および消去操作等が割り付けられたボタンを有する操作パネルを、対象平面の上部等に表示してもよい。そして、この場合、制御装置３０の操作検出部４８は、操作パネルが有するボタンに対してユーザが操作したことに応じて、当該ボタンに割り付けられた操作を検出する。これにより、表示システム１０は、ユーザの操作内容を確実に判別することができる。
In addition, the
図１３は、低解像度でコピーする場合および高解像度でコピーする場合のコピー操作の一例を示す。操作検出部４８は、対象平面上にユーザが手で予め定められた方向に直線を描いたことに応じて、コピー操作がされたことを検出する。この場合において、画像取得部５２は、一連の動作で描いた１または複数の直線を含む矩形の範囲を、コピー操作において指定された範囲として取得するとともに、ユーザが引いた直線の種類に応じて異なる解像度でコピー操作において指定された範囲の画像を取得してもよい。これにより、表示システム１０は、ユーザの動作に応じて、コピーする画像の画質等の属性を変更することができる。
FIG. 13 shows an example of a copy operation when copying at a low resolution and when copying at a high resolution. The
例えば、画像取得部５２は、ユーザが引いた複数の直線の間隔に応じて、異なる解像度の画像を取得する。より具体的には、画像取得部５２は、間隔が広い場合には低解像度の画像を取得し、間隔が狭い場合には高解像度の画像を取得する。
For example, the
また、例えば、画像取得部５２は、ユーザが引いた複数の直線の太さに応じて、異なる解像度の画像を取得する。より具体的には、画像取得部５２は、直線が太い場合には低解像度の画像を取得し、直線が細い場合には高解像度の画像を取得する。
For example, the
同様に、画像取得部５２は、直線を描く速度に応じて異なる解像度の画像を取得してもよい。さらに、画像取得部５２は、画像の解像度に代えて、直線の種類に応じて異なる色深度で画像を取得してもよい。
Similarly, the
図１４は、操作する指毎に異なる画像を対応付けてコピーする場合のコピー操作およびペースト操作の一例を示す。操作検出部４８は、ユーザが何れの指でコピー操作またはペースト操作をしたかを検出してもよい。この場合、画像取得部５２は、ユーザがコピー操作をしたことに応じて、操作をした指に対応付けて画像を取得する。そして、表示制御部５８は、ユーザがペースト操作をしたことに応じて、操作をした指に対応して取得した画像を表示する。
FIG. 14 shows an example of a copy operation and a paste operation when different images are copied in association with each operated finger. The
例えば、図１４に示されるように、表示制御部５８は、ユーザが親指でペースト操作をした場合には、親指でコピー操作をして取得したコピー画像（例えば人の画像）を表示する。また、図１４に示されるように、表示制御部５８は、ユーザが人差し指でペースト操作をした場合には、人差し指でコピー操作をして取得したコピー画像（例えばカレンダー画像）を表示する。これにより、表示システム１０は、指毎に区別して画像のコピーおよびペースト等をすることができる。
For example, as illustrated in FIG. 14, when the user performs a paste operation with the thumb, the
また、操作検出部４８は、ユーザが、予め指定された属性が割り付けられた物体を持って対象平面に対して操作をしているか否かを検出してもよい。そして、この場合、画像取得部５２は、操作検出部４８が検出した物体に割り付けられた属性で、対象平面を撮像した画像におけるコピー操作により指定された範囲を取得してもよい。
Further, the
例えば、ボールには高解像度の属性が割り当てられ、箱には低解像度の属性が割り当てられているとする。この場合、操作検出部４８は、ユーザがボールを持ってコピー操作をしているか、箱を持ってコピー操作をしているかを検出する。そして、画像取得部５２は、ユーザがボールを持ってコピー操作をした場合には、コピー画像を高解像度で取得し、ユーザが箱を持ってコピー操作をした場合には、コピー画像を低解像度で取得する。これにより、表示システム１０は、ユーザが保持している物に応じて、コピーする画像の画質等の属性を変更することができる。
For example, assume that a high resolution attribute is assigned to the ball and a low resolution attribute is assigned to the box. In this case, the
また、操作検出部４８は、対象平面に対してユーザが手のみで操作をしたことを条件として、ユーザの操作を検出してもよい。例えば、操作検出部４８は、ペン等を持って対象平面に対して文字を記入している場合には、ユーザの操作を検出しない。すなわち、操作検出部４８は、ユーザが予め定められた物を持って操作をした場合にはユーザの操作を検出せず、何ら物を持たずに操作した場合にユーザの操作を検出する。これにより、表示システム１０は、ペン等を持って対象平面に対して文字を記入している場合に、ユーザが対象平面に対して何らかの操作をしていると誤って判断してしまうことを無くすことができる。
In addition, the
また、複数のユーザが対象平面に対して操作をしている場合、操作検出部４８は、対象平面に対して操作をしたユーザを識別してもよい。この場合、画像取得部５２は、対象平面に対してユーザがコピー操作をしたことに応じて、コピー操作をしたユーザに対応付けてコピー操作により指定された範囲を取得する。そして、表示制御部５８は、対象平面に対してユーザがペースト操作をしたことに応じて、ペースト操作をしたユーザに対応して取得した画像を表示する。これにより、表示システム１０は、ユーザ毎に区別して、区別して画像のコピーおよびペースト等をすることができる。
Further, when a plurality of users are operating the target plane, the
また、画像取得部５２は、対象平面の平面度が基準値以上となるタイミングにおいて撮像された画像における、対象平面におけるコピー操作により指定された範囲を取得してもよい。これにより、画像取得部５２は、例えばユーザが対象平面の前に立っていることにより、対象平面に設けられた物体の外観がユーザに隠れて撮像装置２２により撮像できない場合であっても、ユーザが対象平面の前から他の場所へ移動したタイミングにおいて撮像された画像から、コピー操作により指定された範囲を取得することができる。これにより、表示システム１０によれば、障害物が写りこんでいないコピー画像を確実に取得することができる。
Further, the
また、画像取得部５２は、異なるタイミングで撮像された複数の画像のそれぞれからコピー操作により指定された範囲における障害物により隠れていない部分を抽出し、抽出した部分を合成してコピー操作により指定された範囲を取得してもよい。このようにしても、表示システム１０によれば、障害物が写りこんでいないコピー画像を確実に取得することができる。
In addition, the
また、画像取得部５２は、画像取得部５２は、対象平面の全体を画角内に含めて撮像している状態より撮像倍率を大きくして撮像された画像から、対象平面におけるコピー操作により指定された範囲を取得してもよい。これにより、表示システム１０によれば、鮮明なコピー画像を取得することができる。
In addition, the
図１５は、本実施形態の変形例に係る制御装置３０の機能ブロックを示す。本変形例に係る表示システム１０は、図１から図１４を参照して説明した本実施形態に係る表示システム１０と略同一の機能および構成を採るので、略同一の機能および構成を有する構成要素には同一の符号を付けて、相違点を除き説明を省略する。
FIG. 15 shows functional blocks of the
本変形例に係る制御装置３０は、読出部７０を更に有する。読出部７０は、メイン制御部５０からの制御に応じて、保存されたデータを読み出す。読出部７０は、ネットワークを介して外部サーバ等からデータを読み出してもよいし、当該制御装置３０内のデータ記憶装置からデータを読み出してもよい。読出部７０は、読み出したデータを画像オブジェクトに変換してオブジェクト記憶部５６に転送する。
The
オブジェクト記憶部５６は、読出部７０により読み出されたデータを一つの画像オブジェクトとして記憶する。そして、表示制御部５８は、表示装置２４を制御して、オブジェクト記憶部５６に記憶された１または複数の画像オブジェクトを表示する。これにより、表示制御部５８は、読出部７０により読み出されたデータを含む画像を対象平面に表示することができる。
The
図１６は、本実施形態の変形例に係る表示システム１０によるデータの表示例を示す。操作検出部４８は、ユーザによって対象平面に記載されたファイル名を検出する。例えば、操作検出部４８は、記載された文字８０を認識して、ファイル名を検出する。そして、操作検出部４８は、ユーザによる対象平面に対する予め定められたデータ読出操作を検出する。
FIG. 16 shows a display example of data by the
メイン制御部５０は、データ読出操作がされると、読出部７０に対して検出したファイル名およびデータ読出指示を与える。データ読出部７０は、データ読出操作がされたことに応じて、与えられたファイル名で表されるデータを読み出す。そして、読出部７０は、読み出したデータの内容を画像オブジェクトとしてオブジェクト記憶部５６に記憶させる。例えば、読出部７０は、読み出したデータが文書データである場合には、文書を開いた状態の画像データをオブジェクト記憶部５６に記憶させる。そして、表示制御部５８は、データ読出部７０により読み出されたデータを含む画像オブジェクトを対象平面に表示する。これにより、本変形例に係る表示システム１０によれば、対象平面に対するユーザの動作に応じて、データを読み出して表示することができる。
When the data reading operation is performed, the
また、操作検出部４８は、対象平面に記載された人物名を検出してもよい。この場合、メイン制御部５０は、データ読出操作がされると、読出部７０に対して検出した人物名およびデータ読出指示を与える。データ読出部７０は、データ読出操作がされたことに応じて、人物名で表される人物に関するデータを検索して読み出す。そして、読出部７０は、読み出したデータの内容を画像オブジェクトとしてオブジェクト記憶部５６に記憶させる。そして、表示制御部５８は、データ読出部７０により読み出されたデータを含む画像オブジェクトを対象平面に表示する。これにより、本変形例に係る表示システム１０によれば、対象平面に対するユーザの動作に応じて、人物に関するデータを読み出して表示することができる。
Further, the
図１７は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
FIG. 17 shows an example of the hardware configuration of a
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
The input /
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
The input /
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
A program provided to the
コンピュータ１９００にインストールされ、コンピュータ１９００を制御装置３０として機能させるプログラムは、距離取得モジュールと、対象平面特定モジュールと、平面パラメータ記憶モジュールと、操作検出モジュールと、メイン制御モジュールと、画像取得モジュールと、コピー画像記憶モジュールと、オブジェクト記憶モジュールと、表示制御モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、距離取得部４２、対象平面特定部４４、平面パラメータ記憶部４６、操作検出部４８、メイン制御部５０、画像取得部５２、コピー画像記憶部５４、オブジェクト記憶部５６および表示制御部５８としてそれぞれ機能させる。
A program installed in the
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である距離取得部４２、対象平面特定部４４、平面パラメータ記憶部４６、操作検出部４８、メイン制御部５０、画像取得部５２、コピー画像記憶部５４、オブジェクト記憶部５６および表示制御部５８として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の制御装置３０が構築される。
The information processing described in these programs is read by the
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
As an example, when communication is performed between the
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
The
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
In addition, the
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
Further, the
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
The program or module shown above may be stored in an external recording medium. As the recording medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０ 表示システム、１２ 部屋、１４ スクリーン、２２ 撮像装置、２４ 表示装置、２６ 距離検出装置、３０ 制御装置、４２ 距離取得部、４４ 対象平面特定部、４６ 平面パラメータ記憶部、４８ 操作検出部、５０ メイン制御部、５２ 画像取得部、５４ コピー画像記憶部、５６ オブジェクト記憶部、５８ 表示制御部、６２ ポスター、６６ 枠、６８ 画像、７０ 読出部、８０ 文字、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ
DESCRIPTION OF
Claims (21)
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記コピー操作により取得された画像を前記ペースト操作により指定された位置に表示する表示制御部と、
を備える表示システム。 An operation detection unit that detects a user's operation on a target area in real space;
An image acquisition unit that acquires a range specified by the copy operation in an image obtained by imaging the target area in response to a user performing a predetermined copy operation on the target area;
In response to the user performing a predetermined paste operation on the target area, a display device for displaying an image in the real space is controlled, and the image acquired by the copy operation is controlled by the paste operation. A display control unit for displaying at a position specified by
A display system comprising:
前記対象領域に画像を表示する表示装置と
を更に備える請求項１に記載の表示システム。 An imaging device for imaging the target area;
The display system according to claim 1, further comprising: a display device that displays an image in the target area.
前記操作検出部は、前記対象領域から予め定められた距離内に位置するユーザの身体の予め定められた部位の動きに基づき、前記対象領域に対するユーザの操作を検出する
請求項２に記載の表示システム。 A distance detection device for detecting a distance to the object in the real space;
The display according to claim 2, wherein the operation detection unit detects a user operation on the target region based on a movement of a predetermined part of a user's body located within a predetermined distance from the target region. system.
請求項１から３の何れか１項に記載の表示システム。 In response to the user performing a predetermined moving operation on the image displayed on the target area, the display control unit determines a display position of the image by the moving operation. The display system according to any one of claims 1 to 3.
請求項１から３の何れか１項に記載の表示システム。 The display control unit designates the size of the image by the enlargement / reduction operation in response to the user performing a predetermined enlargement / reduction operation on the image displayed on the target area. The display system according to any one of claims 1 to 3, wherein the display system is changed to a larger size.
請求項１から３の何れか１項に記載の表示システム。 The display control unit erases the image in response to the user performing a predetermined erasing operation on the image displayed on the target area. The display system according to item.
請求項１から６の何れか１項に記載の表示システム。 The display system according to claim 1, wherein the operation detection unit detects a user operation on the condition that the user has operated the target area with only a hand.
請求項１から７の何れか１項に記載の表示システム。 The image acquisition unit acquires a range designated by the copy operation in the target area from an image captured with a larger imaging magnification than a state where the entire target area is included in an angle of view. The display system according to any one of claims 1 to 7.
請求項１から８の何れか１項に記載の表示システム。 The said image acquisition part acquires the range designated by the said copy operation in the said target area in the image imaged in the timing when the flatness of the said target area becomes more than a reference value. The display system according to item.
請求項１から９の何れか１項に記載の表示システム。 The image acquisition unit extracts a portion that is not hidden by an obstacle in a range specified by the copy operation from each of a plurality of images captured at different timings, and combines the extracted portions to specify by the copy operation The display system according to claim 1, wherein the displayed range is acquired.
請求項１から１０の何れか１項に記載の表示システム。 The display control unit displays a frame indicating a range designated in the copy operation from when the user starts the copy operation to the target area until the copy operation is completed. 11. The display system according to any one of 1 to 10.
請求項１から１０の何れか１項に記載の表示システム。 The display control unit displays an image in a range designated in the copy operation in the target area from when the user starts the copy operation to the target area until the copy operation is completed. The display system according to any one of claims 1 to 10, wherein the display is performed outside a range specified in the copy operation.
前記操作検出部は、前記操作パネルが有するボタンに対してユーザが操作したことに応じて、当該ボタンに割り付けられた操作を検出する
請求項１から１２の何れか１項に記載の表示システム。 The display control unit displays an operation panel having buttons assigned with operations designated in advance,
The display system according to any one of claims 1 to 12, wherein the operation detection unit detects an operation assigned to the button in response to a user operating the button of the operation panel.
前記画像取得部は、一連の動作で描いた１または複数の前記直線を含む矩形の範囲を、前記コピー操作において指定された範囲として取得するとともに、前記ユーザが引いた直線の種類に応じて異なる解像度で前記コピー操作において指定された範囲の画像を取得する
請求項１から１３の何れか１項に記載の表示システム。 The operation detection unit detects that a copy operation has been performed in response to a user drawing a straight line in a predetermined direction by hand on the target area,
The image acquisition unit acquires a rectangular range including one or a plurality of straight lines drawn by a series of operations as a range specified in the copy operation, and varies depending on the type of the straight line drawn by the user. The display system according to any one of claims 1 to 13, wherein an image in a range specified in the copy operation at a resolution is acquired.
前記画像取得部は、ユーザが前記コピー操作をしたことに応じて、操作をした指に対応付けて画像を取得し、
前記表示制御部は、ユーザが前記ペースト操作をしたことに応じて、操作をした指に対応して取得した画像を表示する
請求項１から１３の何れか１項に記載の表示システム。 The operation detection unit detects with which finger the user has performed a copy operation or a paste operation,
The image acquisition unit acquires an image associated with the operated finger in response to the user performing the copy operation,
The display system according to claim 1, wherein the display control unit displays an image acquired corresponding to the operated finger in response to the user performing the paste operation.
前記画像取得部は、前記操作検出部が検出した物体に割り付けられた属性で、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する
請求項１から１４の何れか１項に記載の表示システム。 The operation detection unit detects whether or not the user is operating the target area with an object assigned with a predetermined attribute,
The said image acquisition part acquires the range designated by the said copy operation in the image which imaged the said target area with the attribute allocated to the object which the said operation detection part detected. Display system as described in.
前記画像取得部は、前記対象領域に対してユーザが前記コピー操作をしたことに応じて、コピー操作をしたユーザに対応付けて前記コピー操作により指定された範囲を取得し、
前記表示制御部は、前記対象領域に対してユーザが前記ペースト操作をしたことに応じて、前記ペースト操作をしたユーザに対応して取得した画像を表示する
請求項１から１５の何れか１項に記載の表示システム。 The operation detection unit identifies a user who has operated the target area,
The image acquisition unit acquires a range designated by the copy operation in association with the user who performed the copy operation in response to the user performing the copy operation on the target area,
The said display control part displays the image acquired corresponding to the user who performed the said paste operation according to the user performing the said paste operation with respect to the said object area | region. Display system as described in.
前記操作検出部は、前記対象領域に記載されたファイル名、および、予め定められたデータ読出操作を検出し、
前記データ読出部は、前記データ読出操作がされたことに応じて前記ファイル名で表されるデータを読み出し、
前記表示制御部は、前記データ読出部により読み出されたデータを表示する
請求項１から１６の何れか１項に記載の表示システム。 A data reading unit for reading stored data;
The operation detection unit detects a file name described in the target area and a predetermined data read operation,
The data reading unit reads the data represented by the file name in response to the data reading operation;
The display system according to any one of claims 1 to 16, wherein the display control unit displays data read by the data reading unit.
前記表示制御部は、前記データ読出操作がされたことに応じて前記人物名で表される人物に関するデータを読み出し、
前記表示制御部は、前記データ読出部により読み出されたデータを表示する
請求項１８に記載の表示システム。 The operation detection unit detects a person name described in the target area,
The display control unit reads data related to the person represented by the person name in response to the data reading operation,
The display system according to claim 18, wherein the display control unit displays data read by the data reading unit.
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得ステップと、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記画像取得ステップにより取得された画像を前記実空間における前記ペースト操作により指定された位置に表示する表示制御ステップと、
を備える表示方法。 An operation detection step for detecting a user operation on the target area in the real space;
An image acquisition step of acquiring a range designated by the copy operation in an image obtained by imaging the target area in response to a user performing a predetermined copy operation on the target area;
In response to the user performing a predetermined paste operation on the target area, the display device for displaying an image in the real space is controlled, and the image acquired in the image acquisition step is A display control step of displaying at a position specified by the paste operation in space;
A display method comprising:
実空間における対象領域に対するユーザの操作を検出する操作検出部と、
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記画像取得部により取得された画像を前記実空間における前記ペースト操作により指定された位置に表示する表示制御部と、
を備える制御装置として機能させるためのプログラム。 Computer
An operation detection unit that detects a user's operation on a target area in real space;
An image acquisition unit that acquires a range specified by the copy operation in an image obtained by imaging the target area in response to a user performing a predetermined copy operation on the target area;
In response to the user performing a predetermined paste operation on the target area, the display device for displaying an image in the real space is controlled, and the image acquired by the image acquisition unit is A display control unit for displaying at a position specified by the paste operation in space;
A program for functioning as a control device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011260236A JP2013114467A (en) | 2011-11-29 | 2011-11-29 | Display system, display method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011260236A JP2013114467A (en) | 2011-11-29 | 2011-11-29 | Display system, display method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013114467A true JP2013114467A (en) | 2013-06-10 |
Family
ID=48709959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011260236A Pending JP2013114467A (en) | 2011-11-29 | 2011-11-29 | Display system, display method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013114467A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015031752A (en) * | 2013-07-31 | 2015-02-16 | キヤノンマーケティングジャパン株式会社 | Image projection system, image projection device, image projection method, and program |
| JP2015100052A (en) * | 2013-11-20 | 2015-05-28 | シャープ株式会社 | Video projection device |
| WO2017057107A1 (en) * | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | Input device, input method, and program |
| WO2017057106A1 (en) * | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | Input device, input method, and program |
| CN108027655A (en) * | 2016-02-25 | 2018-05-11 | 日本电气株式会社 | Information processing system, information processing equipment, control method and program |
| JP2023092060A (en) * | 2021-12-21 | 2023-07-03 | カシオ計算機株式会社 | PROJECTION APPARATUS, PROJECTION SYSTEM, PROJECTION CORRECTION METHOD AND PROGRAM |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07168949A (en) * | 1993-04-30 | 1995-07-04 | Rank Xerox Ltd | Interactive copying device |
| JPH09237349A (en) * | 1995-10-14 | 1997-09-09 | Rank Xerox Ltd | Interactive desktop system |
| JPH09319556A (en) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | Information processing device |
| JP2000259338A (en) * | 1999-03-11 | 2000-09-22 | Seiko Epson Corp | Input system, display system, presentation system, and information storage medium |
| JP2001265523A (en) * | 2000-03-21 | 2001-09-28 | Sony Corp | Information input / output system, information input / output method, and program storage medium |
| JP2005267034A (en) * | 2004-03-17 | 2005-09-29 | Brother Ind Ltd | Image input device |
| JP2009020564A (en) * | 2007-07-10 | 2009-01-29 | Brother Ind Ltd | projector |
| JP2009070416A (en) * | 2009-01-05 | 2009-04-02 | Sony Computer Entertainment Inc | Control system and control method |
| JP2009140498A (en) * | 2008-12-03 | 2009-06-25 | Sony Corp | Information input / output device and information input / output method |
| JP2010261989A (en) * | 2009-04-30 | 2010-11-18 | Konica Minolta Business Technologies Inc | Image processing device, display history confirmation support method, and computer program |
| JP2011237680A (en) * | 2010-05-12 | 2011-11-24 | Seiko Epson Corp | Projector and control method for the same |
-
2011
- 2011-11-29 JP JP2011260236A patent/JP2013114467A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07168949A (en) * | 1993-04-30 | 1995-07-04 | Rank Xerox Ltd | Interactive copying device |
| JPH09237349A (en) * | 1995-10-14 | 1997-09-09 | Rank Xerox Ltd | Interactive desktop system |
| JPH09319556A (en) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | Information processing device |
| JP2000259338A (en) * | 1999-03-11 | 2000-09-22 | Seiko Epson Corp | Input system, display system, presentation system, and information storage medium |
| JP2001265523A (en) * | 2000-03-21 | 2001-09-28 | Sony Corp | Information input / output system, information input / output method, and program storage medium |
| JP2005267034A (en) * | 2004-03-17 | 2005-09-29 | Brother Ind Ltd | Image input device |
| JP2009020564A (en) * | 2007-07-10 | 2009-01-29 | Brother Ind Ltd | projector |
| JP2009140498A (en) * | 2008-12-03 | 2009-06-25 | Sony Corp | Information input / output device and information input / output method |
| JP2009070416A (en) * | 2009-01-05 | 2009-04-02 | Sony Computer Entertainment Inc | Control system and control method |
| JP2010261989A (en) * | 2009-04-30 | 2010-11-18 | Konica Minolta Business Technologies Inc | Image processing device, display history confirmation support method, and computer program |
| JP2011237680A (en) * | 2010-05-12 | 2011-11-24 | Seiko Epson Corp | Projector and control method for the same |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015031752A (en) * | 2013-07-31 | 2015-02-16 | キヤノンマーケティングジャパン株式会社 | Image projection system, image projection device, image projection method, and program |
| JP2015100052A (en) * | 2013-11-20 | 2015-05-28 | シャープ株式会社 | Video projection device |
| WO2017057107A1 (en) * | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | Input device, input method, and program |
| WO2017057106A1 (en) * | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | Input device, input method, and program |
| CN108027656A (en) * | 2015-09-28 | 2018-05-11 | 日本电气株式会社 | Input equipment, input method and program |
| JPWO2017057107A1 (en) * | 2015-09-28 | 2018-06-14 | 日本電気株式会社 | Input device, input method, and program |
| JPWO2017057106A1 (en) * | 2015-09-28 | 2018-07-05 | 日本電気株式会社 | Input device, input method, and program |
| US10168769B2 (en) | 2015-09-28 | 2019-01-01 | Nec Corporation | Input apparatus, input method, and program |
| US10234955B2 (en) | 2015-09-28 | 2019-03-19 | Nec Corporation | Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program |
| CN108027655A (en) * | 2016-02-25 | 2018-05-11 | 日本电气株式会社 | Information processing system, information processing equipment, control method and program |
| JP2023092060A (en) * | 2021-12-21 | 2023-07-03 | カシオ計算機株式会社 | PROJECTION APPARATUS, PROJECTION SYSTEM, PROJECTION CORRECTION METHOD AND PROGRAM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6007497B2 (en) | Image projection apparatus, image projection control apparatus, and program | |
| US11048333B2 (en) | System and method for close-range movement tracking | |
| US9619104B2 (en) | Interactive input system having a 3D input space | |
| US9910498B2 (en) | System and method for close-range movement tracking | |
| CN104166509B (en) | A kind of contactless screen exchange method and system | |
| US9513716B2 (en) | Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector | |
| JP6039248B2 (en) | Information processing apparatus and control method thereof | |
| US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
| US20140168267A1 (en) | Augmented reality system and control method thereof | |
| JP6618276B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| JP2013037675A5 (en) | ||
| WO2013010027A1 (en) | Drawing aid system for multi-touch devices | |
| JP2011022945A (en) | Fingertip-manipulation-type information providing system, program, and storage medium | |
| JP7602068B2 (en) | KEY FUNCTION EXECUTION METHOD, KEY FUNCTION EXECUTION SYSTEM, KEY FUNCTION EXECUTION DEVICE, ELECTRONIC DEVICE, AND COMPUTER PROGRAM | |
| JP2013114467A (en) | Display system, display method and program | |
| JP2014029656A (en) | Image processor and image processing method | |
| JP3355708B2 (en) | Command processing device | |
| CN104657098A (en) | Display System And Display Controll Device | |
| JP5456817B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP6007496B2 (en) | Display system, display program, and display method | |
| JP2013114466A (en) | Display system, display method and program | |
| JP6007490B2 (en) | Display system, display program, and display method | |
| CN114327229A (en) | Image-based gesture control method and electronic device using same | |
| JP2019186698A (en) | Image processing apparatus, processing method, and program | |
| JP2013149023A (en) | Display system, display program, and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160209 |