JP2016032227A - 映像表示システム、三次元映像ポインティング装置、および映像表示装置 - Google Patents

Abstract

【課題】立体映像中においてより好適に位置を指し示すことができる映像表示システムを提供する。
【解決手段】立体映像として視聴可能な映像を面上に表示する表示装置と、非可視光線または可視光線を面上に投射した散乱光により一点を指し示すことが可能な光線照射装置と、を備え、表示装置は、散乱光を撮像可能なカメラと、表示映像にポインタ画像を重畳する重畳部とを備え、重畳部は、カメラが撮像した散乱光の位置に応じてポインタ画像を表示映像に重畳する。
【選択図】図１

Description

本発明は、三次元映像上で位置を指し示す技術に関する。

プロジェクタ等によりスクリーンに表示された映像上の任意の場所を指示する方法としてはレーザー光を用いたレーザーポインタなどが広く用いられている。

一方、液晶ディスプレイやプロジェクタでは、左右の目に異なる映像を見せることにより、立体的な映像、いわゆる3D映像を表示する製品が発売されている。これらの装置では、ディスプレイやプロジェクタのスクリーンなどに左右の目に見せるための映像を重ねて表示し、偏光眼鏡やシャッター眼鏡を用いて映像分離を行うことにより、左右の目に対応した映像のみをそれぞれの目に見せるようにすることで、3D表示を実現している。この場合、表示対象の物体は左右の目に見せる映像上では異なる位置に表示されることになり、これによって生じる左右の目の視差によって奥行き感が表現されることになる。

しかし、重ねて表示された左右の映像に対して通常のレーザーポインタを用いてポインティング操作を行うと、左右の映像上の同じ座標がポイントされることになる。前述のように、表示対象の物体は左右の映像では異なる位置に表示されているため、レーザーポインタは左目の映像と右目の映像では異なる物体をポイントしてしまうことになり、立体表示された物体を正しくポイント出来ないという問題が発生する。

これを解決するため、特開２００５−２７５３４６号公報には、二個のレーザー光源を搭載したポインタを用いて、左右の映像に対して異なる位置にスポット光を照射する方法が記載されている。

特開２００５−２７５３４６号公報

しかし、特開２００５−２７５３４６号公報の方法では、複数のレーザー光源を搭載するため、レーザーポインタが大きくなってしまう上、それぞれの光軸の調整に高い精度が要求されるため、コスト面で課題がある。その上、レーザーポインタの持ち方が不適切だと、二本のスポット光の位置関係が適切に維持することが困難になり、対象とする物体を正しくポイント出来ない可能性がある。

そこで、本発明の目的は、立体映像中においてより好適に位置を指し示すことができる映像表示システム、三次元映像ポインティング装置、および映像表示装置を提供することにある。

この課題を解決するために、例えば、立体映像として視聴可能な映像を面上に表示する表示装置と、非可視光線または可視光線を前記面上に投射した散乱光により一点を指し示すことが可能な光線照射装置とを備え、前記表示装置は、前記散乱光を撮像可能なカメラと、表示映像にポインタ画像を重畳する重畳部と、を有し、前記重畳部は、前記カメラが撮像した散乱光の位置に応じて前記ポインタ画像を前記表示映像に重畳する。

本発明の手法を用いると、立体映像中においてより好適に位置を指し示すことができる。

第一の実施例におけるシステム構成である。 3D映像における対象物の見え方を表示した図である。 レーザーポインタの照射位置の一例を示した図である。 レーザーポインタの照射位置の一例を示した図である。 ポインタ像を重畳する位置を示した図である。 特徴点抽出とポインタ重畳座標算出を説明するための図である。 第一の実施例におけるプロジェクタの内部構成図である。 第一の実施例における処理フローである。 第二の実施例におけるシステム構成である。 第二の実施例におけるプロジェクタの内部構成図である。 第三の実施例におけるシステム構成である。 第四の実施例におけるシステム構成である。 第四の実施例における液晶ディスプレイの内部構成図である。

（実施例１）
以下、本発明の第一の実施例におけるシステム構成を図１に基づいて説明する。

図１において、１００は映像を投影するためのスクリーンであり、１０ａと１０ｂはそれぞれ左右の目に対応した映像をスクリーン１００に投影するためのプロジェクタである。本実施例では、プロジェクタ１０ａと１０ｂは同一の構造のものを想定しており、これらを総称する場合には１０という記号を用いることとする。

視聴者９７はスクリーン１００に投影された映像を見る人である。図１の中には視聴者は１名しか記載されていないが、実際には複数の視聴者がいるケースの方が一般的であり、本発明の効果は視聴者の人数によって制限されるものではない。

９０、９１はそれぞれ視聴者９７の左目と右目を表わしており、視聴者９７が掛けている偏光眼鏡３０を通してスクリーン１００に投影された映像を見るようになっている。偏光眼鏡３０は、左目は上下方向の偏光、右目は左右方向の偏光といった様に左右の目に偏光方向の異なるフィルタが貼り付けられている。

なお、偏光方向はこのような直線偏光でなく円偏光等の他の変更方法であっても構わない。左右の目に対応したプロジェクタ１０ａと１０ｂの前面には偏光フィルタ１１と偏光フィルタ１２が取り付けてあり、それぞれの偏光方向を偏光眼鏡３０の左右の目と揃えておくことで、左目用プロジェクタ１０ａから投影した映像は左目９０でのみ見えるようになり、右目用プロジェクタ１０ｂから投影した映像は右目９１のみで見えるようになる。なお、ここでは説明を容易にするため、偏光フィルタ１１と１２はプロジェクタ１０ａ、１０ｂの前面に取り付ける構造としているが、これらのフィルタはプロジェクタ１０ａ、１０ｂの内部に取り付けることも可能である。

４５はスクリーンを撮影するためのカメラであり、本実施例では、可視光と赤外光の双方を撮影可能なカメラを想定している。なお、カメラ４５はプロジェクタ１０に内蔵させてもよい。プロジェクタ１０に内蔵されたカメラを使用する場合は外部のカメラ４５は不要である。

映像ソース９５は左右の目に対応した表示映像を生成する装置であり、3D表示に対応したBDプレーヤーやパソコン、ゲーム機などがこれに相当する。なお、本実施例では、映像ソース９５がプロジェクタ１０の外部にある場合について記載しているが、映像ソース９５は、プロジェクタ１０に内蔵させることも可能である。

システムバス９６は、これらの装置間を接続する情報伝達用のバスであり、映像を伝送するためのHDMI（登録商標）やデータを伝送するためのイーサネット（登録商標）などで構成されている。なお、システムバス９６上のデータ転送の一部または全てを無線LAN等の無線通信に置き換えることも可能である。

４０はレーザー光を用いてプロジェクタ１０によって投影されている物体に対してポインティング操作を行うためのレーザーポインタである。本実施例ではレーザーポインタ４０は赤外光を照射するものとしているが、3D以外の映像での使用を考慮して、スイッチ等で赤外光と可視光を切換えるような機構を持ったレーザーポインタであっても構わない。

４２はレーザーポインタ４０によってスクリーン１００上に表示されたスポット光を表わしている。本実施例では、スポット光は赤外線のため人間の目には見えないが、カメラ４５は赤外線撮影にも対応しているため、撮影することが可能である。

次に、図２を用いて3D表示を行う際に、表示対象である物体と左右の映像の関係を説明する。

図２において９０、９１は映像の視聴者９７の左目と右目であり、１００は実際の設置場所に置かれたスクリーンである。

今回想定している映像には対象物Ａと対象物Ｂの二つの物体が映っているものとする。図２において、９００は三次元表示空間において対象物Ａが置かれている位置、９１０は対象物Ｂが置かれている位置である。図２に示されているように、対象物Ａは視聴者９７から見て、対象物Ｂよりも遠くに存在し、対象物Ａ、Ｂともに実際にスクリーンが置かれる位置１００よりも遠くである場合を想定している。なお、本実施例はこれに限定されるものではなく、対象物がスクリーン１００よりも近くにある場合でも対応可能である。

この例では、図２（１）に示すように、左目９０の位置から見る場合を想定すると、対象物Ａはスクリーン上では９０１の位置に表示することになり、対象物Ｂは９１１の位置に表示することになる。一方、右目９１の位置から見る場合を想定すると、図２（２）に示すように、対象物Ａはスクリーン上では９０２の位置に表示することになり、対象物Ｂは９１２の位置に表示することになる。すなわち、左目用映像１０１と右目用映像１０２は、図２（３）、図２（４）のようになる。

これらの映像がプロジェクタ１０ａ、１０ｂによって、偏光フィルタ１１と１２を通してスクリーン１００に投影されることになるため、偏光眼鏡を掛けずに投影された映像を見ると図２（５）のように左右の映像が重なって二重像のように見えることになる（左右合成映像１０３）。ここで左右の映像の間のずれが左右の視差に相当し、この例では遠くにある対象物Ａの方が近くにある対象物Ｂよりも大きな視差を持っている。

この左右合成映像１０３を、偏光眼鏡３０を掛けてみることで、左目９０には左目用映像１０１が、右目９１には右目用映像１０２が見えることになり、対象物の持つ視差を脳が認識することで対象物Ａ、Ｂはそれぞれ９００，９１０の位置に存在しているように感じられ、立体的な映像として認識されることになる。

次に、レーザーポインタ４０を用いて、3D映像中の対象物をポイントする場合の問題点を図３および図４の例を用いて説明する。ここでは、対象物Ａの右端、すなわち車のボンネット部分を着目点としてポイントする場合を考える。

3D映像中の対象物をポイントする場合、厳密には、図４（１）のようにレーザーポインタ４０と対象物Ａの実際の位置９００における着目点３６を結んだ直線とスクリーン１００が交差する点３５をレーザーポインタ４０でポイントするのが最適である。しかし、本実施例では、これを簡単な構成で実現するため、図４（２）に示すスクリーン１００上の左目映像１０１における対象物Ａの像９０１における着目点４２をレーザーポインタ４０によってポイントするようにしている。

これは、人間がレーザーポインタを使用する場合には、射撃のように厳密に着目点を狙ってポイントするのではなく、無意識のうちに既に表示されているポインタ像と着目点の位置の相対誤差が無くなるようにポインタを操作していることを利用して処理を簡略化するものである。このように現在のポインタ像との相対位置に基づくポインティング操作では、相対的な位置関係がある程度正しければ絶対的な位置を厳密に合わせる必要はない。なお、本実施例では、図３に示す左目映像１０１中の像９０１のボンネット上の点４２に合わせているが、図３に示す右目映像１０２中の像９０２のボンネット上の点３７に合わせても良いし、点４２と点３７の中間点に合わせるといったことも可能である。

このように左目映像１０１を基準にレーザーポインタ４０でポインティングすると、対象物に視差がある場合は、右目映像１０２上では異なる位置がポイントされてしまう。今回の例では、図３に示すように、左右合成映像１０３において、レーザーポインタ４０によって４２の場所をポイントすると、左目映像１０１では目的としている車のボンネット部分の点４２がポイントされるが、右目映像１０２では車の中央部分の点３９がポイントされてしまう（左目映像における点４２に相当する座標）。このように左右の映像におけるポイントされる物体の位置が異なると、レーザーポインタ４０が可視光を照射していた場合には、人間の脳は立体的にポインタの位置を正しく解釈できないことになる。

ここで、立体映像上の車のボンネット部分に正しくポインタ像を表示するためのポインタ像の重畳について、図５を用いて説明する。本実施例の方法では、レーザーポインタ４０は人間の目に見えない赤外光を点４２へ照射し、ポインタ像をカメラ４５で撮影することでポイントしている点４２の位置を検出する方法を採っている。カメラ４５では赤外光と同時に可視光も撮影しているので、可視光によってスクリーン１００の外枠の位置を取得し、赤外光で取得したポイント位置と合わせることで、点４２の位置を左目映像１０１中の座標データとして求めることが可能である。

また、図１には記載していないが、カメラ４５の前面に偏光フィルタを取り付けることで、右目映像１０２がカメラ４５に撮影されないようにして、カメラ４５によって左目映像１０１とポインタ位置４２を取得することも可能であり、両者のマッチング処理によって、ポイント位置を左目映像１０１中の座標データとして求めることも可能である。この方法では、スクリーンの外枠と左目映像１０１がずれていても、正しいポイント位置の座標を得ることが可能である。

以上の方法によって、左目映像１０１中のポインタ像４２の座標データを得られるので、図５（１）に示すように左目映像１０１にポインタ画像４３を重畳する。さらに、左目映像１０１中のポインタ像の座標データを用いて、右目映像１０２中のポインタ像の座標データを算出し、図５（２）のように、右目映像１０２にポインタ画像４４を重畳する。この二つの画像を、図１に示すシステムで投影し、偏光眼鏡３０を介してみることで、立体映像上の車のボンネット部分に正しくポインタ像を表示することが可能となる。

ここで上記の一連の処理の中で実行している「左目映像１０１中のポインタ像の座標データを用いて、右目映像１０２中のポインタ像の座標データを算出する処理」の実現方法を図６を用いて説明する。この処理では、左目映像１０１の中から物体の境界や角のような映像に特徴のある点を特徴点として抽出する。図６（１）では、着目点４３の近くにあるａ、ｂ、ｃ、ｄの四点を特徴点として抽出している。この４つの点で座標系を定義することで、その座標系における着目点４３の座標が定まる。なお、この例では、ａ、ｂ、ｃ、ｄを頂点とする四角形は正方形に近い形状となっているが、これは任意の四角形であって構わない。

このａ、ｂ、ｃ、ｄに対応する点を、画素の色や輝度の変化などを用いて、図６（２）に示す右目映像１０２から探索すると、ａ’、ｂ’、ｃ’、ｄ’の四点が対応する特徴点として抽出できる。この４つの点で定義される座標空間とａ、ｂ、ｃ、ｄの四点で定義される座標空間は透視変換によって変換できるため、着目点４３がａ’、ｂ’、ｃ’、ｄ’の四点で定義される座標空間のどこに対応するかを求めることができる。このため、座標空間ａｂｃｄ中の任意の点Ｔが、座標空間ａ’ｂ’ｃ’ｄ’における対応点Ｔ’を求めることが可能である。

これを、図６（２）の右目映像に反映させることで、右目映像１０２中のポインタ像の表示位置４４が得られる。

なお、上述の例では左右の目の映像のそれぞれにポインタ画像を重畳したが、一方の目の映像のみのポインタ画像を重畳するだけでも適切な位置を指し示すという効果は得られる。この場合は、上述の特徴点をもちいた処理および他方の目の映像についてのポインタ画像の重畳処理は省略できる。

これらの演算処理およびポインタ画像の重畳は、カメラ４５からの情報を受信可能であり、少なくとも一方の目の映像を処理可能な部分であればどこで行っても良い。例えば、左目用プロジェクタ１０aまたは右目用プロジェクタ１０ｂのいずれかで行っても良い。またはこれら両者が共働して行ってもよい。または、映像ソース９５で行っても良い。

次にプロジェクタ１０の内部構造の例を図７を用いて説明する。

図７において、５１はカメラ・インターフェースであり、本実施例ではカメラ４５からの映像を受け取る回路である。

カメラ５０は、プロジェクタ１０に内蔵されたカメラであり、本実施例では使用していないが、カメラ４５の代わりにこのカメラ５０を使用することも可能である。

５２は通信インターフェースであり、プロジェクタ間の通信等に利用する。５３は映像インターフェースであり、プロジェクタ１０が表示する映像を入力するための回路である。

５４はプロジェクタ全体を制御するコントローラであり、図が煩雑になるのを避けるため図７の中では結線表示が省略されているが、プロジェクタ１０内の各モジュールと接続されている。

５６は特徴点抽出回路であり、入力された映像の中から図６で説明した特徴点を抽出する回路である。各プロジェクタの特徴点抽出回路は通信インターフェース５２を介して通信を行い、互いの特徴点の対応付けも行う。

５５はポインタ座標算出回路であり、本実施例では、左目用プロジェクタ１０ａと右目用プロジェクタ１０ｂでは動作が少し異なる動作をする。

左目用プロジェクタ１０ａに搭載されたポインタ座標算出回路５５は、カメラ・インターフェース５１から得られたポインタの位置が左目用映像１０１のどこに対応するかを算出し、左目用映像１０１におけるポインタ座標（図５の４３に相当）を算出する。

右目用プロジェクタ１０ｂに搭載されたポインタ座標算出回路５５は、通信インターフェース経由５２で取得した左目用映像１０１におけるポインタ位置と特徴点抽出回路５６によって得られた特徴点の座標から右目用映像１０２におけるポインタ座標（図５の４４に相当）を算出する。

このようにして得られたポインタ座標を用いて、ポインタ重畳回路５７では映像インターフェース５３から入力された映像にポインタの映像を重ね合わせる。

重ね合わせた映像は、映像投影制御回路５８とランプ、液晶パネル、ミラー、レンズなどから構成される表示／光学ユニット５９によって表示映像として出力される。出力された映像はレンズ６１、偏光フィルタ１１を介してスクリーン１００へ投影される。

この一連の処理の流れをフローチャートで現わしたものが図８である。

処理が開始されると（７０１）、最初に、カメラ４５でスクリーン１００を撮影した映像を取得する（７０２）。取得された映像はシステムバス９６を経由して左目用プロジェクタ１０ａへ送られる。左目用プロジェクタ１０ａでは送られた映像を元に左目映像１０１に重畳するポインタ画像の表示位置を算出し（７０３）、左目映像１０１にポインタ画像を重畳する（７０４）。

次に、左目用プロジェクタ１０ａからシステムバス９６を介して、特徴点の情報と左目用ポインタの表示位置が右目用プロジェクタ１０ｂへ送られる。

右目用プロジェクタ１０ｂでは、左右の映像の特徴点の対応付けを行い（７０５）、右目映像１０２に重畳するポインタ画像の表示位置を算出し（７０６）、右目映像１０２にポインタ画像を重畳する（７０７）。

これを周期的に行うことで、三次元映像表示に使用される左右の映像の適切な位置にポインタ画像を重畳できるため、立体映像に対してレーザーポインタによるポインティング操作が実現可能となる。

なお、ポインタ画像の重畳は一方の目の映像のみに重畳してもよい。

（実施例２）
本発明の第二の実施例におけるシステム構成を図９に基づいて説明する。実施例１では偏光眼鏡方式により3D映像を表示していたが、本実施例ではアクティブシャッター眼鏡によって3D映像を表示する。アクティブシャッター眼鏡による3D表示では、左目用映像１０１と右目用映像１０２を時間軸方向で交互にプロジェクタ１５から投影する。

この例では、偶数番目の表示フレームでは左目用映像１０１をプロジェクタ１５から投影し、奇数番目の表示フレームでは右目用映像１０２を投影する。シャッター眼鏡３１は左右の目に異なるタイミングで動作する液晶シャッターが搭載されている。

本実施例では、左目用映像１０１が投影されている時間には、左目に対応した液晶シャッターを開き（光が通過できる）、右目に対応した液晶シャッターを閉じる（光が通過できない）ように制御する。逆に、右目用映像１０２が投影されている時間には、右目に対応した液晶シャッターを開き、左目に対応した液晶シャッターを閉じるように制御する。

プロジェクタ１５には無線通信ユニットが搭載されており、シャッター眼鏡３１に搭載された無線通信ユニットと通信することで、プロジェクタの映像表示タイミングに同期して、上記のようにシャッター眼鏡３１を制御することが可能となっている。

本実施例では、レーザーポインタ４１にも無線通信ユニットを備え、プロジェクタ１５に内蔵された無線通信ユニットと通信することで、映像の表示タイミングに合わせてレーザー光を点滅させる機構を備えている。すなわち、プロジェクタ１５から左目用映像１０１が表示されている期間だけ、レーザー光を点灯させるようになっている。

このようにすることで、視聴者９７にとっては、レーザーポインタ４１の光は、左目映像１０１だけに照射されているように見えることになる。この左目映像１０１を表示しているタイミングでカメラ４５を用いてスクリーン１００を撮影することで、左目映像１０１におけるポインタの位置を取得できるため、実施例１と同様の方法で、右目映像１０２に右目用ポインタ像を重畳することで、3D空間中にポインタ像を表示することが可能となる。

本方式では、一台のプロジェクタで立体視を実現できるため、実施例１の方式に比べてプロジェクタの数を減らせるというメリットがある。また、本実施例では、可視光のレーザーポインタを用いて、レーザーポインタからの照射光をそのまま、左目映像用のポインタ像として使用しているが、アクティブシャッター眼鏡方式で3D映像を表示する場合にも、実施例１と同様に赤外光のレーザーポインタを用いて、左右の映像にポインタ像を重畳する方式を採用することも可能である。

次に、本実施例におけるプロジェクタ１５の構成を図１０を用いて説明する。基本的な構成は実施例１の図７と同じであるが、２台のプロジェクタ間の通信が不要となるため、通信インターフェースユニット５２が削除されており、代わりに無線通信ユニット６２を追加している。本ユニットはコントローラ５４と接続されており、各フレームの表示タイミングをシャッター眼鏡３１やレーザーポインタ４１に通知する目的で使用されている。

（実施例３）
本発明の方式は、眼鏡式の3Dだけでなく裸眼式の3Dにも適用することが可能である。これを図１１のシステム構成に基づいて説明する。

裸眼式3Dでは、いろいろな視点から見た映像を用意しておき、視聴者がスクリーンを見たときに、その視線の方向に対応する映像が見えるようにすることで立体視を実現するものである。図１１では、図が煩雑になるのを防ぐために５台のプロジェクタを使用した場合を想定しているが、本発明の方式はプロジェクタの台数に制限は無い。

このような裸眼立体視のスクリーンはレンチキュラーレンズを用いた構成等の様々な方式が提案されている。また。投影方式としても実施例１のようにスクリーンの前面から投影する方法だけでなく、背面から投影するリアプロジェクション方式があり、現時点ではリアプロジェクション方式の方が広く用いられている。そこで、本実施例でも、スクリーンの背面からプロジェクタで投影するリアプロジェクション方式を想定している。

本発明をこのような裸眼式の3D表示に適用した場合の基本的な構成は実施例１の方式と類似している。すなわち、本実施例では、レーザーポインタ４６は赤外光を照射し、これを赤外光と可視光を撮影可能なカメラで撮影することでポインタの位置を取得する構成をとっている。実施例１の方式ではカメラの設置位置はそれほど重要ではなかったが、本実施例では、カメラの設置位置も重要なパラメータとなる。これは、カメラの設置位置によって、どの視線に対応したプロジェクタから投影された映像がカメラによって撮影されるかが変化するためである。

本実施例では、プロジェクタ１６ａから投影された映像が、カメラ４５で撮影されるようにカメラ４５の設置位置を決定している。この場合、プロジェクタ１６ａを、実施例１のプロジェクタ１０ａ、その他のプロジェクタを実施例１のプロジェクタ１０ｂと読み替えることで、実施例１の方式を用いて裸眼式の3D映像上でのポインティング操作を行うことが可能となる。

すなわち、レーザーポインタ４６から照射されたレーザー光によるスポット４２をカメラ４５で撮影し、プロジェクタ１６ａから投影された映像におけるポイント座標を算出し、ポインタ画像をプロジェクタ１６ａの表示映像に重畳する。さらに、この座標情報と特徴点マッチングの結果を用いてプロジェクタ１６ｂ〜ｅに対して、それぞれのポインタ重畳座標を算出し、それぞれの表示映像にポインタ画像を重畳する。

（実施例４）
ここまでの実施例では、表示デバイスとしてプロジェクタを想定してきたが、本発明の表示デバイスはプロジェクタに限定されるものではない。本実施例では、表示デバイスとして液晶ディスプレイを用いた例を示す。これを図１２のシステム構成に基づいて説明する。

図１２において、７０は立体視対応の液晶ディスプレイである。ここでは偏光フィルタを前面に貼り付けた液晶ディスプレイを想定している。偏光フィルタは液晶パネルの水平画素ライン位置毎に偏光の方向を交互に変えた構造となっている。すなわち、液晶パネルの最初の画素ラインでは、右回りの円偏光、次の画素ラインでは左回りの円偏光、３番目の画素ラインでは右回りの円偏光というように交互に偏光方向が入れ替わる。

ここで表示映像の奇数ラインに左目の映像を、偶数ラインに右目の映像を表示し、これを左右の目に異なる方向の円偏光フィルタを貼り付けた偏光眼鏡３２を通してみると左目用の映像が左目に、右目用の映像が右目に見える事になり、人間の脳には3D像として認識される。

本実施例では、液晶ディスプレイ７０の表示面に対して、レーザーポインタ４０によって赤外光を照射し、液晶ディスプレイの表示面に出現する赤外光のスポットをカメラ４５で撮影し、撮影結果からポインタの指している位置を算出し、左右の映像に重畳する。すなわち、基本的な考え方は実施例１に近いが、実現方法には差異がある。これを図１３の液晶ディスプレイの内部構造を用いて説明する。

本実施例では、映像ソース９５は液晶ディスプレイ７０の外部に存在するが、テレビチューナを内蔵した液晶テレビのように液晶ディスプレイ７０の筐体内部に映像を生成するモジュールがあっても構わない。

映像ソース９５から入力された映像は映像インターフェース７２で受け取られる。この時点では、上記のように左右の映像が１ライン毎にインターリーブされた状態となっている。これを左右分離回路７７で１ライン置きに取り出すことで、左右の映像を得ることが可能となる。

ここで得られた左右の映像に対して、実施例１と同じ方法で特徴点抽出回路７６およびポインタ座標算出回路７４を用いてポインタ座標を算出し、ポインタ重畳回路７８、７９によって左右の映像に対して、ポインタ画像を重畳する。次に、左右合成・表示制御回路８０によってポインタ重畳後の左右の映像を１ライン置きに混ぜ合わせることで左右の映像を合成した画像を生成する。左右合成・表示制御回路８０には液晶パネル固有の表示タイミングの生成やガンマ調整回路などが含まれる。

このようにして生成した画像を、液晶パネル・光学系８１によって表示する。液晶パネルの前面には上で述べた偏光フィルム８５が貼り付けてあるため、左右の映像が偏光方向を変えた状態で混合されて表示されることになる。

これを実施例１のように左目用の映像は左目のみで、右目の映像は右目のみで見られるように偏光の方向を調整した、偏光眼鏡３２を通してみることで、ポインタ画像が重畳された三次元映像を視聴することが可能となる。

１０:プロジェクタ、１１、１２：偏光フィルタ、１５：両目用プロジェクタ、１６ａ〜ｅ：プロジェクタ、３０：偏光眼鏡、３１：シャッター眼鏡、４０：レーザーポインタ、４１：レーザーポインタ、４２：ポインタ照射点、４３：重畳したポインタ（左目用）、４４：重畳したポインタ（右目用）、４５：カメラ、４６：レーザーポインタ（裸眼立体視対応）、４８：偏光フィルタ、５０：カメラ、５１：カメラＩ／Ｆ、５２：通信Ｉ／Ｆ、５３：映像Ｉ／Ｆ、５４：コントローラ、５５：ポインタ座標検出回路、５６：特徴点抽出回路、５７：ポインタ重畳回路、５８：映像投影制御回路、５９：表示／光学ユニット、６０：操作スイッチ、６１：レンズ、６２：無線通信ユニット、７０：立体視対応テレビ、７１：カメラＩ／Ｆ、７２：映像Ｉ／Ｆ、７３：コントローラ、７４：ポインタ座標検出回路、７６：特徴点抽出回路、７７：左右映像分離回路、７８：ポインタ重畳回路（左目用）、７９：ポインタ重畳回路（右目用）、８０：左右合成・表示制御回路、８１：液晶パネルおよび光学系、８２：操作スイッチ、８５：偏光フィルム、９０：左目、９１：右目、９５：映像ソース、９６：システムバス、９７：視聴者、１００：スクリーン、１０１：左目用映像、１０２：右目用映像、１０３：左右合成映像、１０５：裸眼立体視用スクリーン、９００：対象物Ａ、９０１：対象物Ａのスクリーン上の像（左目用）、９０２：対象物Ａのスクリーン上の像（右目用）、９１０：対象物Ｂ、９１１：対象物Ｂのスクリーン上の像（左目用）、９１２：対象物Ｂのスクリーン上の像（右目用）。

Claims (9)

1. 立体映像として視聴可能な映像を面上に表示する表示装置と、
   非可視光線または可視光線を前記面上に投射した散乱光により一点を指し示すことが可能な光線照射装置と、
   を備え、
   前記表示装置は、前記散乱光を撮像可能なカメラと、表示映像にポインタ画像を重畳する重畳部と、を有し、
   前記重畳部は、前記カメラが撮像した散乱光の位置に応じて前記ポインタ画像を前記表示映像に重畳することを特徴とする映像表示システム。
2. 映像を見る人間の左目位置からの視点に対応した第一の映像と右目位置からの視点に対応した第二の映像とを入力する映像入力手段と、前記映像入力手段から入力された各映像に対して加工を行う映像加工手段と、前記映像加工手段によって加工された各映像をオーバーラップした表示領域に重ね合わせて第三の映像として表示する映像表示手段とからなる三次元映像表示手段と、
   前記映像の表示領域と前記映像を見る人間の間に配置され、前記第三の映像から前記第一の映像と前記第二の映像を分離し、左目には前記第一の映像を供給し、右目には前記第二の映像を供給する左右映像分離手段と、
   非可視光を照射することによって、前記表示領域中に第一の位置を指定するための光照射領域を生成するポインティング手段と、
   前記表示領域を撮影する撮影手段と、
   前記撮影手段によって撮影された撮影映像を解析する撮影映像解析手段と、
   を備え、
   前記撮影映像解析手段は、前記撮影手段によって撮影された映像から、前記表示領域における第一の位置を求め、これを元に前記表示領域中の第一の位置に対応した第一の映像内の座標である第一の座標と前記表示領域中の第一の位置に対応した第二の映像内の座標である第二の座標とを算出し、
   前記映像加工手段は、前記第一の映像内の前記第一の座標、および前記第二の映像内の前記第二の座標にポインティングされた位置であることを示すパターンを重畳し、
   前記表示手段は、前記映像加工手段によって前記パターンが重畳された映像を表示し、前記第一の映像と前記第二の映像によって構築される三次元映像空間上に前記ポインティング手段によって指定された前記第一の位置をポインティングすることを特徴とする三次元映像ポインティング装置。
3. 映像を見る人間の左目位置からの視点に対応した第一の映像と右目位置からの視点に対応した第二の映像とを入力する映像入力手段と、前記映像入力手段から入力された各映像に対して加工を行う映像加工手段と、前記映像加工手段によって加工された各映像をオーバーラップした表示領域に重ね合わせて第三の映像として表示する映像表示手段とからなる三次元映像表示手段と、
   前記映像の表示領域と前記映像を見る人間の間に配置され、前記第三の映像から前記第一の映像と前記第二の映像を分離し、左目には前記第一の映像を供給し、右目には前記第二の映像を供給する左右映像分離手段と、
   可視光を照射することによって、前記表示領域中に第一の位置を指定するための光照射領域を生成するポインティング手段と、
   前記表示領域を撮影する撮影手段と、
   前記撮影手段によって撮影された撮影映像を解析する撮影映像解析手段と、
   を備え、
   前記撮影映像解析手段は、前記撮影手段によって撮影された映像から、前記表示領域における第一の位置を求め、これを元に前記表示領域中の前記第一の位置をそのまま前記第一の映像内の座標である第一の座標として利用し、前記表示領域中の前記第一の位置に対応した前記第二の映像内の座標である第二の座標を算出し、
   前記映像加工手段は、前記第一の映像内の前記第一の座標、および前記第二の映像内の前記第二の座標にポインティングされた位置であることを示すパターンを重畳し、
   前記表示手段は、前記映像加工手段によって前記パターンが重畳された映像を表示し、前記第一の映像と前記第二の映像によって構築される三次元映像空間上に前記ポインティング手段によって指定された前記第一の位置をポインティングすることを特徴とする三次元映像ポインティング装置。
4. 請求項３に記載の三次元映像ポインティング装置において、
   前記第二の映像内の前記第二の座標に重畳するパターンを、前記ポインティング手段が生成する光照射領域のパターンと類似した色および形状とすることで、前記第一の映像に対するパターン重畳を行わないことを特徴とする三次元映像ポインティング装置。
5. 請求項２〜４のいずれか１項に記載の三次元映像ポインティング装置において、
   前記左右映像分離手段は、左右の目に異なる偏光方向を持った光透過手段を備えた偏光眼鏡であることを特徴とする三次元映像ポインティング装置。
6. 請求項２〜４のいずれか１項に記載の三次元映像ポインティング装置において、
   前記左右映像分離手段は、左右の目に異なるタイミングで開閉を行うシャッター構造を備えたシャッター眼鏡であることを特徴とする三次元映像ポインティング装置。
7. 請求項２〜６のいずれか１項に記載の三次元映像ポインティング装置において、
   前記映像表示手段はプロジェクタであることを特徴とする三次元映像ポインティング装置。
8. 請求項２〜６のいずれか１項に記載の三次元映像ポインティング装置において、
   前記映像表示手段は、フラットパネルディスプレイであることを特徴とする三次元映像ポインティング装置。
9. 立体映像として視聴可能な映像を面上に表示する表示装置であって、
   非可視光線または可視光線を前記面上に投射した散乱光により一点を指し示す光線照射装置により生じた前記散乱光を撮像するカメラと、
   表示映像にポインタ画像を重畳する重畳部と、
   を備え、
   前記重畳部は、前記カメラが撮像した散乱光の位置に応じて前記ポインタ画像を前記表示映像に重畳することを特徴とする映像表示装置。

Images