WO2023248381A1

WO2023248381A1 - 映像表示システム、映像制御方法、及び映像制御プログラム

Info

Publication number: WO2023248381A1
Application number: PCT/JP2022/024904
Authority: WO
Inventors: 勇人菊田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2022-06-22
Filing date: 2022-06-22
Publication date: 2023-12-28
Anticipated expiration: 2024-12-22
Also published as: JPWO2023248381A1; JP7728460B2; US20250358398A1; CN119366179A

Abstract

映像表示システム（１）は、三次元空間上の予め定められた表示可能領域（７０）内に実像である空中映像（７１、７２）を表示する空中映像表示部（１０）と、表示可能領域（７０）の近傍のユーザ（８１、８２）を検出して検出情報を出力するセンサ部（２０）と、検出情報に基づいてユーザ（８１、８２）の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが表示可能領域（７０）内における空中映像（７１、７２）の表示位置を指定する予め定められた位置指定ジェスチャである場合に、位置指定ジェスチャによって指定された表示位置である指定表示位置に空中映像（７１、７２）が表示されるように空中映像表示部（１０）を制御する制御部（３０）とを有する。

Description

映像表示システム、映像制御方法、及び映像制御プログラム

　本開示は、映像表示システム、映像制御方法及び映像制御プログラムに関する。

　特許文献１は、光線屈曲面の一方の面側に配置される被投影物の実像を当該光線屈曲面の他方の面側に空中映像として結像させる結像光学系と、前記実像に近接する物体の位置、又は位置及び形状を特定する物体特定手段と、を具備した空中映像インタラクション装置を提案している。

特許第５２１２９９１号公報

　しかしながら、上記装置では、空中映像の結像位置が観察者（すなわち、装置のユーザ）にとって適切な位置ではない場合があるという問題がある。

　本開示は、ユーザにとって適切な表示位置に空中映像を表示することを目的とする。

　本開示の映像表示システムは、三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、前記検出情報に基づいて前記ユーザの身体部位の三次元位置の判別を行い、前記判別の結果に基づいて前記空中映像の表示位置を決定し、前記表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する制御部と、を有することを特徴とする。

　本開示の他の映像表示システムは、三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、前記ジェスチャが前記表示可能領域内における前記空中映像の表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する制御部と、を有することを特徴とする。

　本開示によれば、ユーザにとって適切な表示位置に空中映像を表示することができる。

実施の形態１に係る映像表示システムの構成を概略的に示す図である。実施の形態１に係る映像表示システムの使用状態の例を示す図である。（Ａ）及び（Ｂ）は、ユーザによって指定された空中映像の表示位置である指定表示位置の例を示す図である。実施の形態１に係る映像表示システムの制御部の構成を概略的に示すブロック図である。実施の形態１に係る映像表示システムのハードウェア構成の例を示す図である。実施の形態１に係る映像表示システムの制御部の動作を示すフローチャートである。実施の形態１の変形例に係る映像表示システムの構成を概略的に示す図である。実施の形態１の変形例に係る映像表示システムの制御部の構成を概略的に示すブロック図である。実施の形態１の変形例に係る映像表示システムの制御部の動作を示すフローチャートである。実施の形態２に係る映像表示システムの構成を概略的に示す図である。実施の形態２に係る映像表示システムの制御部の構成を概略的に示すブロック図である。実施の形態２に係る映像表示システムの制御部の動作を示すフローチャートである。実施の形態２の変形例に係る映像表示システムの構成を概略的に示す図である。実施の形態２の変形例に係る映像表示システムの制御部の動作を示すフローチャートである。（Ａ）及び（Ｂ）は、実施の形態３に係る映像表示システムの構成及び動作を示す図である。実施の形態３に係る映像表示システムの制御部の動作を示すフローチャートである。（Ａ）及び（Ｂ）は、実施の形態４に係る映像表示システムにおけるサイズ指定ジェスチャの例を示す図である。（Ａ）及び（Ｂ）は、実施の形態４の変形例に係る映像表示システムにおけるサイズ指定ジェスチャの例を示す図である。実施の形態４に係る映像表示システムの制御部の動作を示すフローチャートである。

　以下に、実施の形態に係る映像表示システム、映像制御方法、及び映像制御プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

《実施の形態１》
　図１は、実施の形態１に係る映像表示システム１の構成を概略的に示す図である。図１に示されるように、映像表示システム１は、実像を空中映像７１、７２として表示する（すなわち、投影する）映像表示装置としての空中映像表示部１０と、センサ部２０と、空中映像表示部１０の動作を制御する制御装置としての制御部３０とを有している。

　空中映像表示部１０は、三次元空間上の予め定められた表示可能領域７０内に１つ以上の空中映像（例えば、空中映像７１、７２など）を表示する。空中映像表示部１０は、映像を表示する表示装置としての表示部１１と、表示部１１に表示された映像を空中映像７１、７２として表示可能領域７０内に結像させる実像光学系１２とを有している。表示部１１は、例えば、液晶ディスプレイ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイなどであり、入力される映像データ（例えば、映像コンテンツ）に基づいて映像を表示する。

　実像光学系１２は、入射した光を反射及び透過させる光学部材であるビームスプリッタ１３と、ビームスプリッタ１３で反射した光を再帰反射させる再帰反射部材としての再帰反射シート１４とを有している。再帰反射シート１４で再帰反射した光は、再帰反射シート１４への入射した光の進行方向とは逆方向に進み、ビームスプリッタ１３を透過して表示可能領域７０内で結像する。

　ビームスプリッタ１３は、光を反射及び透過させて分離することができる光学部材であればよく、例えば、ハーフミラー、ガラス板などであってもよい。また、再帰反射シート１４は、例えば、多数の透明な微小ガラスビーズ（すなわち、マイクロビーズ）の下半分を反射膜に埋め込んで形成された封入レンズ型反射シート、又は多数の透明なマイクロプリズムを反射膜に埋め込んで形成されたマイクロプリズム型反射シートである。

　センサ部２０は、例えば、撮像装置としてのカメラ又は物体を検出する検出器を有している。センサ部２０のカメラの具体例は、赤外カメラ、赤外ラインセンサ、ステレオカメラ、可視光カメラ、などである。検出器の具体例は、例えば、光を用いたＬｉＤＡＲ、電波を用いたミリ波レーダー、又は音を用いたソナー等の測距センサである。なお、検出器は、物体までの距離及び物体の形状を検出することが可能である。センサ部２０は、表示可能領域７０の近傍の１人以上のユーザ（例えば、ユーザ８１、８２）を検出して検出情報（例えば、映像信号、検出信号）を出力する。

　制御部３０は、検出情報に基づいてユーザ８１、８２の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが表示可能領域７０内における空中映像７１、７２の表示位置を指定する予め定められた位置指定ジェスチャである場合に、位置指定ジェスチャによって指定された表示位置である指定表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。具体的には、制御部３０は、位置指定ジェスチャによって指定された表示位置に空中映像７１、７２が表示されるように空中映像表示部１０の制御部３０を制御する。制御部３０は、表示可能領域７０内において指定表示位置に空中映像７１、７２を表示させるために、表示部１１に表示させる映像データを設定する（例えば、データベースから映像コンテンツを選択する）。

　制御部３０は、ジェスチャが第１のユーザとしてのユーザ８１による第１のジェスチャと第２のユーザとしてのユーザ８２による第２のジェスチャとを含み、第１のジェスチャと第２のジェスチャの両方が表示可能領域７０内における空中映像７１、７２の表示位置を指定する位置指定ジェスチャであると判別した場合に、第１のジェスチャによって指定された第１の表示位置と第２のジェスチャによって指定された第２の表示位置との各々に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。例えば、制御部３０は、表示可能領域７０内において指定表示位置に空中映像７１、７２を表示させるために、表示部１１に表示させる映像データを設定する。

　制御部３０は、検出情報に基づいてユーザ８１、８２の骨格を検出し、骨格の状態に基づいて位置指定ジェスチャが指定する表示位置を決定する骨格が予め定められた状態であるか否かに基づいて位置指定ジェスチャが指定する表示位置を判別してもよい。

　また、制御部３０は、ユーザ８１、８２が手の第１の指を第１の方向に伸ばすとともに第２の指を前記第１の方向に交差する第２の方向に伸ばす状態を位置指定ジェスチャと判断し、第１の指と第２の指とで指定された指定表示位置に空中映像７１、７２を表示させる制御を行ってもよい。ここで、第１の指と第２の指は、他と人差し指と親指であり、交差角度は９０度程度である。

　また、制御部３０は、ユーザ８１、８２の顔の表情（表情の変化を含む）が予め定められた表情である場合に顔の表情を位置指定ジェスチャと判断し、表情で指定された指定表示位置に空中映像７１、７２を表示させる制御を行ってもよい。ジェスチャとして利用可能な表情は、例えば、口の開閉、口の形状、瞬き、目のウインク、顔の表情、目の視線方向などである。

　図２は、映像表示システム１の使用状態の例を示す図である。図３（Ａ）及び（Ｂ）は、ユーザ８１によって指定された空中映像７１の表示位置である指定表示位置の例を示す図である。図２では、ユーザ８１、８２は、人差し指を第１の方向としての縦方向（図２では高さ方向）に伸ばすとともに他の指である親指を第１の方向に交差する第２の方向としての横方向（図２では水平方向）に伸ばす動作を位置指定ジェスチャとみなしている。この例では、人差し指に概ね平行な縦方向の辺と親指に概ね平行な横方向の辺とを有する矩形の領域のそれぞれに空中映像７１、７２が表示される。したがって、ユーザ８１は、人差し指と親指とで作る位置指定ジェスチャの位置を変えることによって、図３（Ａ）及び（Ｂ）に示されるように、空中映像７１、７２を移動させることができる。

　図４は、実施の形態１に係る映像表示システム１の制御部３０の構成を概略的に示すブロック図である。図４に示されるように、制御部３０は、三次元位置検出部３１と、視覚可能領域判定部３２と、映像データ制御部３３と、ジェスチャ判別部３４と、表示制御部３５とを有している。

　三次元位置検出部３１は、空中映像７１、７２の観察者であるユーザ８１、８２の位置及び動きを検出する。例えば、三次元位置検出部３１は、空中映像表示部１０の近傍のユーザの位置及び視点位置（すなわち、目の位置）を特定する。

　視覚可能領域判定部３２は、ユーザ８１、８２が視覚できる（すなわち、観察することができる）領域である視覚範囲を判定する。視覚可能領域判定部３２は、例えば、空中映像表示部１０とユーザ８１、８２の目との位置関係に基づいて視覚範囲を計算する。具体的には、視覚可能領域判定部３２は、空中映像表示部１０の配置情報と、三次元位置検出部３１からの三次元位置情報とから、ユーザ８１、８２の視覚範囲を計算する。

　映像データ制御部３３は、空中映像７１、７２の視覚範囲に応じて、空中映像７１、７２を表示させるための映像データを制御する（すなわち、データベースから映像コンテンツを選択する）。例えば、１つの実像光学系１２で表示できる領域から、ユーザ８１、８２が視覚できる特定領域にのみ表示されるように映像データを制御する。

　ジェスチャ判別部３４は、ユーザ８１、８２が行う空間操作であるジェスチャ（すなわち、ユーザが発信するコマンド）を判別する。ジェスチャ判別部３４は、ユーザ８１、８２が空中映像７１、７２を視覚後に、ユーザが行う特定のジェスチャを検知して、ジェスチャによって操作したい内容を判別する。

　表示制御部３５は、ユーザ８１、８２が実施したジェスチャに応じて、映像データを制御する。制御内容は上記ジェスチャに応じた画面への遷移又は映像コンテンツの選択などである。表示制御部３５は、空中映像表示部１０へ映像データ（すなわち、映像コンテンツ）を出力する。

　図５は、実施の形態１に係る映像表示システム１のハードウェア構成の例を示す図である。映像表示システム１は、表示部１１と、センサ部２０と、制御部３０とを有している。制御部３０は、例えば、実施の形態１に係る表示制御プログラムを実行することができるコンピュータである。制御部３０は、プロセッサ１０１と、メモリ１０２と、記憶装置１０３とを有している。プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などである。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの、揮発性の半導体メモリである。記憶装置１０３は、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶装置である。また、制御部３０には、ネットワークを介して他の装置と通信を行う通信部、入力インタフェースであるキーボードなどの操作部、が備えられてもよい。

　制御部３０の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。

　処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらのうちのいずれかを組み合わせたものである。

　処理回路がプロセッサ１０１である場合、実施の形態１に係る表示制御プログラムは、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶された表示制御プログラムを読み出して実行することにより、図４に示される各部の機能を実現することができる。なお、制御部３０は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、図１に示される各機能ブロックの機能を実現することができる。

　図６は、実施の形態１に係る映像表示システム１の制御部３０の動作を示すフローチャートである。先ず、制御部３０は、センサ部２０から検出情報を受信し（ステップＳ１１）、ユーザ８１、８２の身体部位の三次元位置を検出し（ステップＳ１２）、ユーザ８１、８２の視覚可能領域を判定する（ステップＳ１３）。制御部３０は、映像データ（例えば、映像コンテンツ）を設定し（ステップＳ１４）、センサ部２０から受信した検出情報（例えば、映像データ）に基づいてジェスチャを判別し（ステップＳ１５）、空中映像表示部１０に、ジェスチャによって示された表示位置である指定表示位置に空中映像７１、７２を表示させる（ステップＳ１６）。

　以上に説明したように、実施の形態１によれば、ユーザ８１、８２のジェスチャによってユーザ８１、８２にとって適切な表示位置に空中映像７１、７２を表示させることができる。例えば、大人のユーザ８１、子供のユーザ８２、車椅子利用者であるユーザ（図示せず）に応じて空中映像７１、７２の表示位置を適切な位置に変更することができる。

　図７は、実施の形態１の変形例に係る映像表示システム１ａの構成を概略的に示す図である。図７において、図１に示される構成と同一又は対応する構成には、図１に示される符号と同じ符号が付されている。映像表示システム１ａは、ユーザ８１、８２の位置及び姿勢に基づいて空中映像７１、７２の表示位置を決定する点が、ユーザ８１、８２のジェスチャに基づいて空中映像７１、７２の表示位置を決定する図１の映像表示システム１と相違する。

　図７に示されるように、映像表示システム１ａは、空中映像表示部１０と、表示可能領域７０の近傍のユーザ８１、８２を検出して検出情報を出力するセンサ部２０と、表示制御装置としての制御部３０ａとを有している。制御部３０ａは、センサ部２０から出力された検出情報に基づいてユーザ８１、８２の身体部位の三次元位置の判別を行い、判別の結果に基づいて空中映像７１、７２の表示位置を決定し、表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。

　制御部３０ａは、ユーザ８１、８２の目又は顔の三次元位置の判別を行い、目の位置及び視線、又は顔の位置及び向きに基づいて空中映像７１、７２の表示位置を決定し、表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。つまり、映像表示システム１ａでは、ユーザ８１、８２が、空中映像表示部１０の近傍に近づくだけで、例えば、ユーザ８１、８２の目の位置の近くに空中映像７１、７２が表示される。ユーザ８１、８２の目又は顔の三次元位置は、ユーザ８１、８２の位置姿勢の例であり、ユーザ８１、８２の位置姿勢は、目又は顔以外の身体部位の状態に基づいて判別してもよい。

　図８は、実施の形態１の変形例に係る映像表示システム１ａの制御部３０ａの構成を概略的に示すブロック図である。図８において、図４に示される構成と同一又は対応する構成には、図４に示される符号と同じ符号が付されている。映像表示システム１ａは、ユーザ８１、８２の位置姿勢に基づいて空中映像７１、７２の表示位置を決定する点が、ユーザ８１、８２の動作であるジェスチャに基づいて空中映像７１、７２の表示位置を決定する図１の映像表示システム１と相違する。制御部３０ａは、ユーザ位置姿勢判別部３４ａを有し、図４のジェスチャ判別部を有していない点が、制御部３０と相違する。制御部３０ａのユーザ位置姿勢判別部３４ａは、ユーザ８１、８２の目又は顔の三次元位置の判別を行い、目又は顔の位置及び向きに基づいて空中映像７１、７２の表示位置を決定し、表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御する。なお、制御部３０ａは、ユーザ位置姿勢判別部３４ａとジェスチャ判別部３４の両方を有してもよい。

　図９は、実施の形態１の変形例に係る映像表示システム１ａの制御部３０ａの動作を示すフローチャートである。図９において、図６に示されるステップと同一又は対応するステップには、図６に示される符号と同じ符号が付されている。映像表示システム１ａでは、制御部３０ａは、センサ部２０から検出情報を受信し（ステップＳ１１）、ユーザ８１、８２の身体部位の三次元位置を検出し（ステップＳ１２）、ユーザ８１、８２の視覚可能領域を判定する（ステップＳ１３）。制御部３０ａは、映像データ（例えば、映像コンテンツ）を設定し（ステップＳ１４ａ）、検出情報に基づいてユーザ８１、８２の位置姿勢を判別し（ステップＳ１５ａ）、ユーザ８１、８２の位置姿勢に応じた領域に空中映像７１、７２を表示させる（ステップＳ１６ａ）。

　以上に説明したように、実施の形態１の変形例に係る映像表示システム１ａによれば、ユーザ８１、８２の身体部位の状態（例えば、目の位置、視線方向、顔の向き）によってユーザ８１、８２にとって適切な表示位置に空中映像７１、７２を表示させることができる。つまり、映像表示システム１ａは、ユーザ８１、８２の各々に適した位置に、各人に合わせて空中映像７１、７２を表示することができる。

　また、実施の形態１の変形例に係る映像表示システム１ａは、群衆の中から、特定の位置にいる人を抽出し、特定の画面を抽出された各人に適した位置に空中映像７１、７２を表示することができる。

　なお、実施の形態１の変形例に係る映像表示システム１ａにおいては、制御部３０ａは、判別の結果に基づいて決定された表示位置に空中映像７１、７２を表示させた後に、空中映像７１、７２が検出情報に基づいてユーザ８１、８２の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが表示可能領域７０内における空中映像７１、７２の表示位置を新たに指定する予め定められた位置指定ジェスチャである場合に、位置指定ジェスチャによって指定された表示位置に空中映像７１、７２が表示されるように空中映像表示部１０を制御してもよい。

　また、映像表示システム１又は１ａに、後述の実施の形態２、３、４のいずれかの構成を組み合わせることが可能である。

《実施の形態２》
　図１０は、実施の形態２に係る映像表示システム２の構成を概略的に示す図である。実施の形態２に係る映像表示システム２では、センサ部２０は、ユーザ８１と、空中映像７１として表示させる対象９０とを撮影して映像データを出力するカメラを有している。対象９０は、物以外であってもよく、例えば、モニターに映っている映像（動画像を含んでもよい）又はモニターに映っている文字列の情報などでもよい。すなわち、対象９０は、実在する物に限定されない。制御部４０は、ジェスチャが空中映像７１の表示位置に表示させるべき対象９０を指定する予め定められたジェスチャである対象指定ジェスチャであると判別された場合に、対象指定ジェスチャによって指定された対象９０の映像が表示位置に空中映像７１として表示されるように空中映像表示部１０を制御する。

　図１０に示されるように、対象指定ジェスチャは、ユーザ８１が指で対象９０を指し示すジェスチャである。図１０では、人差し指で空中映像７１としてユーザ８１の目の前に表示させたい対象９０を指し示すだけで、ユーザ８１の目の前（例えば、実施の形態１における表示位置）に対象９０の空中映像７１を表示することができる。なお、制御部４０は、検出情報に基づいて、ユーザ８１の指が指し示す方向のベクトルＦと交差する物を、表示させるべき対象９０であると判別する。対象９０は、現実に存在する物、大きなスクリーンに表示された物、などである。

　図１１は、実施の形態２に係る映像表示システム２の制御部４０の構成を概略的に示すブロック図である。図１１において、図４に示される構成と同一又は対応する構成には、図４における符号と同じ符号が付されている。制御部４０では、ジェスチャ判別部３４ｂがユーザ８１が身体部位としての指で指し示す対象９０を判別し、映像データ制御部３３が対象９０の映像データを予め撮影された映像のデータベースから又はセンサ部２０で撮影されている映像データを取得し、表示位置に表示される映像形式に加工して表示制御部３５に提供する。

　図１２は、実施の形態２に係る映像表示システム２の制御部４０の動作を示すフローチャートである。図１２において、ステップＳ２１～Ｓ２３は、図６におけるステップＳ１１～Ｓ１３と同じである。映像表示システム２の制御部４０は、ユーザ８１が身体部位としての指で指し示す対象９０を判別し（ステップＳ２４）、対象９０の映像データを予め撮影された映像のデータベースから又はセンサ部２０で撮影されている映像データから取得し（ステップＳ２５）、ユーザ８１の位置姿勢を判別し（ステップＳ２６）、ユーザ８１の位置姿勢に応じた領域に対象９０の空中映像７１を表示する（ステップＳ２７）。

　図１３は、実施の形態２の変形例に係る映像表示システム２ａの構成を概略的に示す図である。図１３において、図１１に示される構成と同一又は対応する構成には、図１１における符号と同じ符号が付されている。映像表示システム２ａは、空中映像７１として表示させる対象９０を撮影して対象９０の映像データを出力するカメラ２１を更に有している。制御部４０は、ジェスチャが空中映像７１の表示位置に表示させる対象９０を指定する対象指定ジェスチャであると判別された場合に、対象指定ジェスチャによって指定された対象９０の映像が表示位置に空中映像７１として表示されるように空中映像表示部１０を制御する。

　図１４は、実施の形態２の変形例に係る映像表示システム２ａの制御部の動作を示すフローチャートである。図１４において、図１２に示されるステップと同一又は対応するステップには、図１２における符号と同じ符号が付されている。映像表示システム２ａは、カメラ２１で撮影された映像を表示位置に空中映像７１として表示する点が、映像表示システム２と相違する。

　実施の形態２によれば、ユーザ８１にとって適切な表示位置に指で示した対象９０の空中映像７１を表示させることができる。

　また、遠くにある対象９０、手の届きにくい高い位置にある対象９０、大画面のスクリーンに表示された画像内の対象９０、などをユーザ８１の近くに、空中映像７１で表示させることができる。

　また、映像表示システム２又は２ａに、実施の形態１、３、４のいずれかの構成を組み合わせることが可能である。例えば、図１０及び図１３に示される制御部４０は、カメラ２０で撮影された映像情報に基づいてユーザ８１の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが表示可能領域７０内における空中映像７１の表示位置を指定する予め定められた位置指定ジェスチャ（例えば、図２に示されるように、親指と人差し指でＬ字形状又は左右反転したＬ字形状を作るジェスチャ）である場合に、位置指定ジェスチャによって指定された表示位置である指定表示位置に空中映像７１が表示されるように空中映像表示部１０を制御する動作を行ってもよい。位置指定ジェスチャに基づく表示位置の指定は、対象指定ジェスチャの前又は後のいずれに行ってもよい。また、位置指定ジェスチャは、実施の形態１で説明したように、他のジェスチャであってもよい。

《実施の形態３》
　図１５（Ａ）及び（Ｂ）は、実施の形態３に係る映像表示システム３の構成及び動作を示す図である。図１５（Ａ）は、空中映像表示部１０ａから距離Ｌ１離れた表示位置に、空中映像７１を表示する様子を示し、図１５（Ｂ）は、空中映像表示部１０ａから距離Ｌ２（Ｌ２＜Ｌ１）離れた表示位置に、空中映像７１を表示する様子を示している。

　映像表示システム３は、センサ部２０と、空中映像表示部１０ａと、制御部３０とを有している。空中映像表示部１０ａは、第１の映像を表示する第１の表示部１１ａと、第２の映像を表示する第２の表示部１１ｂと、第１の映像又は第２の映像を実像である空中映像７１として表示する実像光学系１２とを有している。第１の表示部１１ａから実像光学系１２までの距離は、第２の表示部１１ｂから実像光学系１２までの距離より長い。また、制御部３０は、検出情報に基づいてユーザ８１の身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、ジェスチャが前記表示可能領域７０の奥行き方向の位置を指定する予め定められた奥行き指定ジェスチャである場合に、前記奥行き指定ジェスチャによって指定された表示可能領域７０内に空中映像７１が表示されるように空中映像表示部１０ａを制御する。

　奥行き指定ジェスチャは、ユーザ８１の身体部位で表示可能領域７０の奥行方向の位置を指定する動作である。奥行き指定ジェスチャは、奥行方向の位置が指定できるものであれば、どのようなジェスチャであってもよい。例えば、奥行き指定ジェスチャは、実施の形態１及び２で説明した位置指定ジェスチャに含まれてもよい。すなわち、奥行き指定ジェスチャは、位置指定ジェスチャと同時に行われるジェスチャであってもよい。例えば、図２に示されるように、親指と人差し指でＬ字形状又は左右反転したＬ字形状を作るジェスチャで、表示映像の高さ方向の位置と左右方向の位置とに加えて奥行方向の位置を指定してもよい。また、奥行き指定ジェスチャは、位置指定ジェスチャとは別のジェスチャであってもよい。この場合には、奥行き指定ジェスチャは、位置指定ジェスチャの前又は後に行われる。

　図１６は、実施の形態３に係る映像表示システム３の制御部の動作を示すフローチャートである。図１６において、ステップＳ３１～Ｓ３４は、図１２に示されるステップＳ１１～Ｓ１４と同じである。映像表示システム３は、ジェスチャが表示可能領域７０の奥行方向の位置が指定されると（ステップＳ３５）、ジェスチャによって指定された位置に表示可能領域７０を移動させ、表示可能領域７０内に空中映像を表示する（ステップＳ３６）。

　以上に説明したように、実施の形態３に係る映像表示システム３によれば、ユーザ８１にとって適切な表示位置に空中映像７１を表示することができる。

　また、映像表示システム３に、実施の形態１、２、４のいずれかの構成を組み合わせることが可能である。

　また、図１５（Ａ）及び（Ｂ）には、第１の表示部１１ａと第２の表示部１１ｂとを２つの表示デバイスとして記載しているが、この構成を、１つの表示デバイスと、この表示デバイスを移動させる移動機構（図示せず）とによって置き換えることが可能である。つまり、移動機構は、表示デバイスを実像光学系１２に近づけたり、表示デバイスから遠ざけたりすることができる。この場合には、表示デバイスは、図１５（Ａ）に「第１の表示部１１ａ」として示される第１の位置と、図１５（Ｂ）に「第２の表示部１１ｂ」として示される第２の位置とのいずれかの位置に移動することで、空中映像の奥行き方向の位置を変更する。

　また、図１５（Ａ）及び（Ｂ）に示される構成を、１つの表示デバイスと、実像光学系１２（又は、その一部の光学系）を移動させる移動機構（図示せず）とによって置き換えることが可能である。つまり、移動機構は、像光学系１２（又は、その一部の光学系）を表示デバイスに近づけたり、表示デバイスから遠ざけたりすることができる。この場合には、表示デバイスは、図１５（Ａ）に「第１の表示部１１ａ」として示される第１の位置と、図１５（Ｂ）に「第２の表示部１１ｂ」として示される第２の位置とのいずれかの位置に移動することで、空中映像の奥行き方向の位置を変更する。

《実施の形態４》
　図１７（Ａ）及び（Ｂ）は、実施の形態４に係る映像表示システムにおけるサイズ指定ジェスチャの例を示す図である。図１７（Ａ）は、ユーザ８１が２本の指の間隔を狭めることで、空中映像７１の表示領域を小さくするサイズ指定ジェスチャの例を示し、図１７（Ｂ）は、ユーザ８１が２本の指の間隔を広げることで、空中映像７１の表示領域を大きくするサイズ指定ジェスチャの例を示す。

　実施の形態４に係る映像表示システムの構成は、上記実施の形態１から３のいずれかの映像表示システムの構成と同じである。実施の形態４に係る映像表示システムの制御部は、ジェスチャが表示可能領域７０内における空中映像７１のサイズを拡大縮小する予め定められたサイズ指定ジェスチャである場合に、サイズ指定ジェスチャによって指定されたサイズで空中映像７１が表示されるように空中映像表示部１０を制御する。なお、ユーザ８１は、２本の指として、左右の手の指を使用しているが、片手の２本の指で同様の操作を行ってもよい。また、指以外の身体部位（例えば、両腕、両足、腕と指、など）で同様の操作を行ってもよい。

　図１８（Ａ）及び（Ｂ）は、実施の形態４の変形例に係る映像表示システムにおけるサイズ指定ジェスチャの例を示す図である。図１８（Ａ）は、ユーザ８１が身体部位の例としての指を表示領域に近づけることで、空中映像７１の表示領域を小さくするサイズ指定ジェスチャの例を示し、図１７（Ｂ）は、ユーザ８１が指を表示領域から遠ざけることで、空中映像７１の表示領域を大きくするサイズ指定ジェスチャの例を示す。

　実施の形態４の変形例に係る映像表示システムの構成は、上記実施の形態１から３のいずれかの映像表示システムの構成と同じである。実施の形態４の制御部は、ジェスチャが表示可能領域７０内における空中映像７１のサイズを拡大縮小する予め定められたサイズ指定ジェスチャである場合に、サイズ指定ジェスチャによって指定されたサイズで空中映像７１が表示されるように空中映像表示部１０を制御する。なお、ユーザ８１は、手の指を使用してジェスチャを行っているが、指以外の身体部位（例えば、両腕、両足、腕と指、など）で同様の操作を行ってもよい。

　図１９は、実施の形態４に係る映像表示システムの制御部の動作を示すフローチャートである。図１９において、ステップＳ４１～Ｓ４５は、図６に示されるステップＳ１１～Ｓ１５と同じである。実施の形態４に係る映像表示システムは、空中映像７１を表示した後に、サイズ指定ジェスチャによって空中映像７１を拡大縮小することができる（ステップＳ４６）。

　以上に説明したように、実施の形態４によれば、ユーザ８１にとって適切な表示位置に指で示した対象９０の空中映像７１を所望の大きさで表示することができる。

　また、実施の形態４に係る映像表示システムに、実施の形態１、２、３のいずれかの構成を組み合わせることが可能である。

《他の変形例》
　上記実施の形態１から４に係る映像表示システムは、多数の人が使用する非接触式の操作盤、ユーザ操作によって表示内容を切り替える機能を備えたデジタルサイネージ、などに適用可能である。

　また、上記実施の形態１から４に係る映像表示システムは、自動車の機器の表示装置としても使用可能である。

　１、１ａ、２、２ａ、３　映像表示システム、　１０、１０ａ　空中映像表示部、　１１　表示部、　１１ａ　第１の表示部、　１１ｂ　第２の表示部、　１２　実像光学系、　１３　ビームスプリッタ、　１４　再帰反射シート（再帰反射部材）、　２０　センサ部、　２１　カメラ、　３０、３０ａ、４０　制御部、　３１　三次元位置検出部、　３２視覚可能領域判定部、　３３　映像データ制御部、　３４、３４ｂ　ジェスチャ判別部、　３４ａ　ユーザ位置姿勢判別部、　３５　表示制御部、　７０　表示可能領域、７１、７２　空中映像、　８１、８２　ユーザ、　８１ａ　手、　９０　対象。

Claims

　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、
　前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、
　前記検出情報に基づいて前記ユーザの身体部位の三次元位置の判別を行い、前記判別の結果に基づいて前記空中映像の表示位置を決定し、前記表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する制御部と、
　を有することを特徴とする映像表示システム。
　前記制御部は、
　前記身体部位として前記ユーザの顔又は目の三次元位置の判別を行い、
　前記顔の位置及び向き又は前記目の位置及び視線に基づいて前記空中映像の前記表示位置を決定し、
　前記表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項１に記載の映像表示システム。
　前記制御部は、
　前記判別の結果に基づいて決定された前記表示位置に前記空中映像を表示させた後に、前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、
　前記ジェスチャが前記表示可能領域内における前記空中映像の前記表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項１又は２に記載の映像表示システム。
　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、
　前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、
　前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、前記ジェスチャが前記表示可能領域内における前記空中映像の表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する制御部と、
　を有することを特徴とする映像表示システム。
　前記制御部は、前記表示可能領域内において前記位置指定ジェスチャに応じて前記表示位置を変更する
　ことを特徴とする請求項３又は４に記載の映像表示システム。
　前記制御部は、前記ジェスチャが第１のユーザによる第１のジェスチャと第２のユーザによる第２のジェスチャとを含み、前記第１のジェスチャと前記第２のジェスチャの両方が前記表示可能領域内における前記空中映像の前記表示位置を指定する位置指定ジェスチャであると判断した場合に、前記第１のジェスチャによって指定された第１の表示位置と前記第２のジェスチャによって指定された第２の表示位置との各々に前記空中映像が表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項３又は４に記載の映像表示システム。
　前記制御部は、前記表示可能領域内において前記位置指定ジェスチャに応じて前記第１の表示位置及び前記第２の表示位置を変更する
　ことを特徴とする請求項６に記載の映像表示システム。
　前記制御部は、前記検出情報に基づいて前記ユーザの骨格の状態を検出し、前記骨格の状態に基づいて前記位置指定ジェスチャで指定される前記表示位置を決定する
　ことを特徴とする請求項３から７のいずれか１項に記載の映像表示システム。
　前記制御部は、
　前記ユーザのジェスチャとして手の第１の指を第１の方向に伸ばすとともに第２の指を前記第１の方向に交差する第２の方向に伸ばした状態を前記位置指定ジェスチャと判断し、
　前記第１の指と前記第２の指とで指定された前記指定表示位置に前記空中映像を表示させる
　ことを特徴とする請求項３から７のいずれか１項に記載の映像表示システム。
　前記制御部は、前記ユーザの顔の表情が予め定められた表情である場合に前記顔の前記表情を前記位置指定ジェスチャと判断し、
　前記表情で指定された前記指定表示位置に前記空中映像を表示させる
　ことを特徴とする請求項３から７のいずれか１項に記載の映像表示システム。
　前記センサ部は、少なくとも対象を撮影して映像データを出力するカメラを有し、
　前記制御部は、
　前記検出情報又は前記カメラで前記ユーザを撮影した場合の前記映像に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、
　前記ジェスチャが前記表示位置に表示させる前記対象を指定する対象指定ジェスチャであると判別された場合に、前記対象指定ジェスチャによって指定された前記対象の映像が前記表示位置に前記空中映像として表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項１に記載の映像表示システム。
　前記制御部は、前記ジェスチャが前記表示可能領域内における前記空中映像の前記表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項１１に記載の映像表示システム。
　前記センサ部は、前記ユーザと、対象とを撮影して映像データを出力するカメラを有し、
　前記制御部は、前記ジェスチャが前記指定表示位置に表示させる前記対象を指定する対象指定ジェスチャであると判別された場合に、前記対象指定ジェスチャによって指定された前記対象の映像が前記指定表示位置に前記空中映像として表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項３又は４に記載の映像表示システム。
　対象を撮影して前記対象の映像データを出力するカメラを更に有し、
　前記制御部は、前記ジェスチャが前記指定表示位置に表示させる前記対象を指定する対象指定ジェスチャであると判別された場合に、前記対象指定ジェスチャによって指定された前記対象の映像が前記指定表示位置に前記空中映像として表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項３又は４に記載の映像表示システム。
　前記制御部は、前記ジェスチャが前記指定表示位置に表示させる対象を指定する対象指定ジェスチャであると判別された場合に、前記空中映像として表示させる対象を予め撮影した映像データを格納するデータベースから前記対象の映像情報を用いて、前記対象指定ジェスチャによって指定された前記対象の映像が前記指定表示位置に前記空中映像として表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項３又は４に記載の映像表示システム。
　前記対象指定ジェスチャは、前記ユーザが指で前記対象を指し示す動作である
　ことを特徴とする請求項１１から１５のいずれか１項に記載の映像表示システム。
　前記制御部は、前記指が指し示す方向のベクトルと交差する物を前記対象であると判断する
　ことを特徴とする請求項１６に記載の映像表示システム。
　前記空中映像表示部は、第１の映像を表示する第１の表示部と、第２の映像を表示する第２の表示部と、前記第１の映像又は前記第２の映像を前記実像である前記空中映像として表示する実像光学系とを有し、
　前記第１の表示部から前記実像光学系までの距離は、前記第２の表示部から前記実像光学系までの距離より長く、
　前記制御部は、前記検出情報に基づいて前記ユーザの前記身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、前記ジェスチャが前記表示可能領域の奥行き方向の位置を指定する予め定められた奥行き指定ジェスチャである場合に、前記奥行き指定ジェスチャによって前記奥行き方向の位置が指定された前記表示可能領域内に前記空中映像が表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項３、４、及び８から１６のいずれか１項に記載の映像表示システム。
　前記制御部は、前記ジェスチャが前記表示可能領域内における前記空中映像のサイズを拡大縮小する予め定められたサイズ指定ジェスチャである場合に、前記サイズ指定ジェスチャによって指定された前記サイズで前記空中映像が表示されるように前記空中映像表示部を制御する
　ことを特徴とする請求項３、４、及び８から１６のいずれか１項に記載の映像表示システム。
　前記サイズ指定ジェスチャは、前記ユーザが２本の指の間隔を広げる又は狭める動作である
　ことを特徴とする請求項１９に記載の映像表示システム。
　前記サイズ指定ジェスチャは、前記ユーザが指を前記表示可能領域に近づける又は遠ざける動作である
　ことを特徴とする請求項１９に記載の映像表示システム。
　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、
　前記表示可能領域の近傍のユーザを検出して検出情報を出力し、対象を撮影して映像データを出力するセンサ部と、
　前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別し、前記ジェスチャが前記対象を指定する対象指定ジェスチャであると判別された場合に、前記対象指定ジェスチャによって指定された前記対象の映像が前記空中映像として表示されるように前記空中映像表示部を制御する制御部と、
　を有することを特徴とする映像表示システム。
　前記センサ部は、前記表示可能領域の近傍のユーザを検出して検出情報を出力し、対象を撮影して映像データを出力するカメラ、又は、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ及び対象を撮影して映像データを出力するカメラ、又は、前記表示可能領域の近傍のユーザを検出して検出情報を出力する第１のカメラ及び対象を撮影して映像データを出力する第２のカメラ、を有することを特徴とする請求項２２に記載の映像表示システム。
　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、を有する映像表示システムによって実施される映像制御方法であって、
　前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別するステップと、
　前記ジェスチャが前記表示可能領域内における前記空中映像の表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御するステップと、
　を有することを特徴とする映像制御方法。
　三次元空間上の予め定められた表示可能領域内に実像である空中映像を表示する空中映像表示部と、前記表示可能領域の近傍のユーザを検出して検出情報を出力するセンサ部と、を有する映像表示システムを制御するコンピュータに、
　前記検出情報に基づいて前記ユーザの身体部位の動き及び姿勢の少なくともいずれかを含むジェスチャを判別するステップと、
　前記ジェスチャが前記表示可能領域内における前記空中映像の表示位置を指定する予め定められた位置指定ジェスチャである場合に、前記位置指定ジェスチャによって指定された前記表示位置である指定表示位置に前記空中映像が表示されるように前記空中映像表示部を制御するステップと、
　を実行させることを特徴とする映像制御プログラム。