JP2013076924A - 表示装置、表示制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザの負担を軽減し、ユーザが複数の場合もより見易い表示状態を実現する。
【解決手段】画像信号を入力する入力系(11〜13)と、入力した画像信号に基づく画像を表示対象上に表示する表示系(14〜18)と、表示対象に対向する観察者の人数及び位置を取得する撮像系(19〜22)と、取得した観察者の人数及び位置に基づき、表示する画像の向きを含む表示態様を決定し、決定した表示態様で表示系(14〜18)により画像を表示対象上に表示させるＣＰＵ25とを備える。
【選択図】図２

Description

本発明は、例えば会議室等に設置する天吊り型のプロジェクタ装置等に好適な表示装置、表示制御方法及びプログラムに関する。

天井に吊り下げて設置するプロジェクタ装置において、投影画像上のユーザ操作を検出可能とするべく、投影画面内に入り込むユーザの手の動きなどを検出してその動きに応じた操作を実行するようにした技術が考えられている。（例えば、特許文献１）

特開２００９−０６４１０９号公報

上記特許文献に記載された技術は、プロジェクタが投影する、方向等を指示するための設定用画像内でのユーザの手指の動きを操作信号として検出し、対応する表示位置または表示方向等を決定するようにしている。そのため、本来の画像の投影を中断するか、あるいは投影動作の事前に設定を行なう必要があり、またユーザの位置など環境が変わった場合にはその都度ユーザ自らが設定を変えなければならず、使い勝手が煩雑なものとなるという不具合がある。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、ユーザに無用の負担をかけることなく、且つ複数のユーザが存在する場合も考慮し、より見やすい表示状態を実現することが可能な表示装置、表示制御方法及びプログラムを提供することにある。

本発明の一態様は、画像信号を入力する入力手段と、上記入力手段で入力した画像信号に基づく画像を表示対象上に表示する表示手段と、上記表示対象に対向する観察者の人数及び位置を取得する取得手段と、上記取得手段で取得した上記観察者の人数及び位置に基づき、上記表示手段で表示する画像の向きを含む表示態様を決定する表示態様決定手段と、上記表示態様決定手段で決定した表示態様で上記表示手段により画像を表示対象上に表示させる表示制御手段とを具備したことを特徴とする。

本発明によれば、ユーザに無用の負担をかけることなく、且つ複数のユーザが存在する場合も考慮し、より見やすい表示状態を実現することが可能となる。

本発明の一実施形態に係るプロジェクタ装置の設置環境を示す図。 同実施形態に係るプロジェクタ装置の電子回路の機能構成を説明するブロック図。 同実施形態に係る投影動作のメインルーチンの処理内容を示すフローチャート。 同実施形態に係る図３の自動設定処理のサブルーチンの処理内容を示すフローチャート。 同実施形態に係る図４の表示態様設定処理のサブルーチンの処理内容を示すフローチャート。 同実施形態に係る図５のその他の形状時表示態様決定処理のサブルーチンの処理内容を示すフローチャート。 同実施形態に係る図５の複数人時表示態様決定処理の第１のサブルーチンの処理内容を示すフローチャート。 同実施形態に係る図５の複数人時表示態様決定処理の第２のサブルーチンの処理内容を示すフローチャート。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。 同実施形態に係るテーブルと観察者の位置関係に対応した画像の表示態様を例示する図。

以下、本発明をＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式を採用した天井据付け型のプロジェクタ装置に適用した場合の一実施形態について図面を参照して説明する。

図１は、本実施形態に係るプロジェクタ装置１０の設置環境を示すものである。同図では、例えば会議室の天井ＲＦに、一般に天吊り金具と呼称される専用の金具を用いてプロジェクタ装置１０が固定的に設置される。このプロジェクタ装置１０は、直下に配置された投影対象物であるテーブルＴＢに向けて投影光を照射することで、テーブルＴＢの面上に画像ＩＭを表示させる。
このテーブルＴＢに向かって、例えば３人の観察者Ｐ１〜Ｐ３が着席し、テーブルＴＢ面上に表示された画像を観察する。

本実施形態に係るプロジェクタ装置１０は、後述する投影レンズ系内にズームレンズを備え、最広角側の投影画角設定時にはテーブルＴＢの全ての面上に画像ＩＭを投影して表示させることが可能であるものとする。

図２は、上記プロジェクタ装置１０内に備えられる主として電子回路の機能構成を説明する図である。同図中、無線ＬＡＮアンテナ１１から無線ＬＡＮインタフェース（Ｉ／Ｆ）１２を介して無線による画像信号が、また入力部１３を介して有線接続された図示しない外部機器からの画像信号がそれぞれ入力される。

無線ＬＡＮインタフェース１２は、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格に則ったＷｉ−Ｆｉ対応のインタフェース回路であり、後述するＣＰＵ２５の制御の下に上記無線ＬＡＮアンテナ１１を介して、外部機器としての例えばパーソナルコンピュータ等と無線によるデータの送受を制御する。

入力部１３は、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、Ｄ−ｓｕｂ１５タイプのＲＧＢ入力端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の画像／音声入力端子、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタを有し、これらのいずれかの端子を介して有線接続される外部機器から、画像信号及び音声信号を入力する。

無線ＬＡＮインタフェース１２または入力部１３から入力された各種規格の画像信号はデジタル化された後、システムバスＳＢを介して投影画像駆動部１４に送られる。この投影画像駆動部１４は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば６０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、マイクロミラー素子１５を表示駆動する。

このマイクロミラー素子１５は、アレイ状に配列された複数、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部１６から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部１６は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部１６が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。この光源部１６からの原色光が、ミラー１７で全反射して上記マイクロミラー素子１５に照射される。

そして、マイクロミラー素子１５での反射光で光像が形成され、形成された光像が投影レンズ部１８を介して外部に投射して表示される。

上記投影レンズ部１８は、内部のレンズ光学系中に、フォーカス位置を移動するためのフォーカスレンズ及びズーム（投影）画角を可変するためのズームレンズを含み、それら各レンズは図示しないレンズモータによりそれぞれ光軸方向に沿った位置が選択的に駆動される。

また、上記投影レンズ部１８と隣接するようにして撮影レンズ部１９を配設する。この撮影レンズ部１９は、フォーカス位置を移動するためのフォーカスレンズを含み、上記投影レンズ部１８の最広角での投影画角より広い範囲をカバーするような撮影画角を有する。撮影レンズ部１９に入光する外部の光像は、固体撮像素子であるＣＭＯＳイメージセンサ２０上に結像される。

ＣＭＯＳイメージセンサ２０での結像により得られる画像信号は、Ａ／Ｄ変換器２１でデジタル化された後、撮影画像処理部２２に送られる。

この撮影画像処理部２２は、上記ＣＭＯＳイメージセンサ２０を走査駆動して連続した撮影動作を実行させ、撮影により得た時系列の画像データそれぞれの輪郭抽出と画像間の動き検出等の画像処理を実施することで、後述するように画像中に移り込んでいる人物の認識、各人物の向きの算出、各人物の動き（ジェスチャ）等を抽出する。

さらに上記投影レンズ部１８及び撮影レンズ部１９と近設し、撮影レンズ部２０と同等の検出範囲となるように、レンズ２３を介して赤外線センサ２４が設けられる。

赤外線センサ２４は、人感センサとして設けられたものであり、投影レンズ部１８の最広角投影範囲内に人体が存在する場合に、その人体から放射される赤外線を検出する。検出結果はデジタル化した上で後述するＣＰＵ２５へ出力する。

上記各回路の動作すべてをＣＰＵ２５が制御する。このＣＰＵ２５は、メインメモリ２６及びプログラムメモリ２７と直接接続される。メインメモリ２６は、例えばＳＲＡＭで構成され、ＣＰＵ２５のワークメモリとして機能する。プログラムメモリ２７は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ２５が実行する動作プログラムや各種定型データ等を記憶する。

プログラムメモリ２７には、図示する如くジェスチャ内容記憶部２７Ａ及び表示態様設定記憶部２７Ｂを含が含まれる。ジェスチャ内容記憶部２７Ａは、予め設定されている、観察者のジェスチャ動作の内容を時系列の動きベクトルで表現したデータを記憶する。表示態様設定記憶部２７Ｂは、詳細については後述するが、画像ＩＭとして表示する画像の各種表示態様設定のデータを記憶する。

ＣＰＵ２５は、上記プログラムメモリ２７に記憶されている動作プログラムや定型データ等を読出し、メインメモリ２６に展開して記憶させた上で当該プログラムを実行することにより、このプロジェクタ装置１０を統括して制御する。

上記ＣＰＵ２５は、操作部２８からの操作信号に応じて各種投影動作を実行する。この操作部２８は、プロジェクタ装置１０の本体に備える赤外線受光部を介してこのプロジェクタ装置１０専用の図示しないリモートコントローラから送られてきたキー操作信号を受信し、そのキー操作内容に応じた信号を上記ＣＰＵ２５へ送出する。操作部２８が受信する図示しないリモートコントローラからの操作信号としては、例えばプロジェクタ装置１０の電源のオン／オフ、後述するユーザの指定情報等を含む。
また、ＣＰＵ２５は、撮影画像処理部２３と協働して、ジェスチャの内容がどのような動作に対応するものかを判断する。

上記ＣＰＵ２９はさらに、上記システムバスＳＢを介して音声処理部２９と接続される。
音声処理部２９は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部３０を駆動して放音させ、あるいは必要によりビープ音等を発生させる。

次に上記実施形態の動作について説明する。
なお以下に示す動作は、上述した如くＣＰＵ２５がプログラムメモリ２７から読出した動作プログラムや定型データ等をメインメモリ２６に展開した上で実行するものである。プログラムメモリ２７に記憶される動作プログラム等は、このプロジェクタ装置１０の工場出荷時にプログラムメモリ２７に記憶されていたもののみならず、ユーザがこのプロジェクタ装置１０を購入後に無線ＬＡＮインタフェース１２及び無線ＬＡＮアンテナ１１を介して図示しないパーソナルコンピュータ等からインターネット経由でダウンロードしたバージョンアップ用のプログラム等をインストールした内容を含む。

図３は、ＣＰＵ２５が実行する基本的な動作のメインルーチンの処理内容を示すフローチャートの一例である。その当初には、操作部２８によりリモートコントローラから電源をオンするキー操作があるのを待機する（ステップＭ１０１）。

電源をオンするキー操作がリモートコントローラでなされた時点でＣＰＵ２５は、上記ステップＭ１０１でそれを判断し、所定の初期設定処理を実行する（ステップＭ１０２）。

次いでＣＰＵ２５は、画像の表示態様設定として、前回の電源オフ時に動作を継続するべく自動的に登録されたステータス情報をプログラムメモリ２７から読出し（ステップＭ１０３）、読出した情報が自動設定を指示するものであるか否かを判断する（ステップＭ１０４）。

ここで自動設定を指示する情報ではないと判断した場合、ＣＰＵ２５は次いで登録済みの設定を指示するものであるか否かを判断する（ステップＭ１０７）。

読出した設定のステータス情報が登録済みの設定を指示するものであると判断した場合にＣＰＵ２５は、指示された登録済みの設定情報をプログラムメモリ２７から読出して設定する（ステップＭ１０８）。

また上記ステップＭ１０７で読出した設定のステータス情報が登録済みの設定を指示するものでもなかったと判断した場合、ＣＰＵ２５はプロジェクタ装置１０の直下に位置するテーブルＴＢの形状や向き、存在する観察者の数や配置などに関係なく、予め用意されるデフォルトの設定情報、例えば所定の向きとサイズ（ズーム画角）を読出して設定する（ステップＭ１０９）。

また上記ステップＭ１０４で読出した情報が自動設定を指示するものであると判断した場合、ＣＰＵ２５はその読出した情報にしたがった自動設定処理を実行する（ステップＭ１０５）。

図４は、上記ステップＭ１０５の自動設定処理の詳細な処理内容を示すサブルーチンのフローチャートの一例である。その当初にＣＰＵ２５は、撮影画像処理部２２を介してＣＭＯＳイメージセンサ２０及びＡ／Ｄ変換器２１を含む撮像系の動作を開始させ（ステップＳ１０１）、テーブルＴＢとその周辺に位置するであろう観察者の画像を撮影させる。

ここで撮影した画像中から、表示する画像の表示対象物であるテーブルＴＢを撮影画像処理部２２での画像処理により検出できたか否かをＣＰＵ２５が判断する（ステップＳ１０２）。

検出することができなかった場合、ＣＰＵ２５は予め選択されているデフォルト設定、例えば、所定の向きとサイズ（ズーム画角）を読出して設定した上で（ステップＳ１０８）、以上でこの図４のサブルーチンを終了して上記図３のメインルーチンに戻る。

また上記ステップＳ１０２で表示対象物であるテーブルＴＢを検出できたと判断した場合、ＣＰＵ２５は検出した表示対象となるテーブルＴＢの形状と向き、（画像内での）大きさ、及び位置を取得した後に（ステップＳ１０３）、とりあえず暫定的にテーブルＴＢの中心位置を、画像を表示させる位置として決定する（ステップＳ１０４）。

次いでＣＰＵ２５は、テーブルＴＢの周囲から観察者の存在を検出できた否かを撮影画像処理部２２での画像処理の結果から判断する（ステップＳ１０５）。
このとき、レンズ２３を介して赤外線センサ２４より得る、赤外線を放射する熱源の情報も併用して観察者の存在の検出に利用するものとしても良い。

ここで観察者Ｐ１〜Ｐ３の存在を検出することができなかったと判断した場合、ＣＰＵ２５は直前のステップＳ１０４で設定した画像の表示位置以外の設定として、予め選択されているデフォルト設定、例えば、所定の向きとサイズ（ズーム画角）をプログラムメモリ２７から読出して設定した上で（ステップＳ１０８）、以上でこの図４のサブルーチンを終了して上記図３のメインルーチンに戻る。

また上記ステップＳ１０５で観察者の存在を検出することができたと判断した場合、ＣＰＵ２５はさらにレンズ２３により表示対象であるテーブルＴＢに対する観察者の人数と位置を画像処理により認識させ、それらの情報を抽出（取得）する（ステップＳ１０６）。

なお、上記ステップＳ１０６では、各観察者の顔の向きまで認識させ、各観察者の視線の向きまで認識させるようにしてもよいが、観察者の位置のみ検出できる軽い認識処理でも、テーブルＴＢに観察者が正対しているものとして、観察者の向きとすることができる。したがって、顔の向きまで認識しなくても観察者の視線の向きを判断することができる。

そして、抽出した観察者の人数と位置、及び視線方向により、画像の表示態様をどのようにするのかを決定する（ステップＳ１０７）。

図５は、上記ステップＳ１０７での表示態様設定処理のより詳細な内容を示すサブルーチンの一例である。

その処理当初にＣＰＵ２５は、テーブルＴＢの形状が最もオーソドックスな形状であると思われる矩形であるか否かを判断する（ステップＳ２０１）。

ここでテーブルＴＢの形状が矩形であると判断した場合、ＣＰＵ２５は次いで観察者の人数が一人であるか否かを判断する（ステップＳ２０３）。

観察者の人数が一人であると判断した場合にＣＰＵ２５は、観察者が表示対象であるテーブルＴＢに正対しているものとして、次いで表示する画像の正視の向き（ベクトル方向）が観察者の向き（ベクトル方向）と一致するように、表示する画像の向き（正視の向き）を決定する（ステップＳ２０５）。

次いでＣＰＵ２５は、決定した画像の向きと観察者の向きとの軸位置がずれているか否かを判断し（ステップＳ２０６）、ずれていると判断した場合、表示する画像の正視の軸と観察者の向きの軸とが一致するように、表示する画像の位置を決定（修正）する（ステップＳ２０７）。

その後にＣＰＵ２５は、その時点で設定されている画像の表示サイズを勘案し、テーブルＴＢから表示する画像の範囲がはみ出すか否かを判断する（ステップＳ２０８）。

ここではみ出すと判断した場合にＣＰＵ２５は、はみ出す場合の処理設定として平行移動を行なうように予め設定されているか否かを判断する（ステップＳ２０９）。

平行移動を行なうように予め設定されていると判断した場合、ＣＰＵ２５はその設定通りに表示する画像がはみ出さないように表示位置を平行移動させるよう変更設定する（ステップＳ２１０）。

また上記ステップＳ２０９で平行移動を行なうような設定はされていないと判断した場合、ＣＰＵ２５は次いで、はみ出す場合の処理設定として回転移動を行なうように予め設定されているか否かを判断する（ステップＳ２１１）。

回転移動を行なうように予め設定されていると判断した場合、ＣＰＵ２５はその設定通りに表示する画像がはみ出さないように表示の向きを回転移動させるべく変更設定する（ステップＳ２１２）。

上記ステップＳ２１１で回転移動を行なうような設定もされていないと判断した場合、ＣＰＵ２５は、表示する画像のサイズを変えないではみ出さないようにすることはできないものとして、表示する画像がはみ出さない範囲内でなるべく大きく表示できるよう、表示する画像のサイズを縮小する設定を行ない（ステップＳ２１５）、以上でこの図５及び上記図４の各サブルーチンを終了して、上記図３のメインルーチンに戻る。

また、上記ステップＳ２０８で画像が表示対象のテーブルＴＢからはみ出すことはないと判断した場合、または上記ステップＳ２１０ではみ出さないように平行移動によって表示位置を変更した場合、または上記ステップＳ２１２ではみ出さないように回転移動によって表示の向きを変更した場合、次いでその時点で表示する画像の拡大を指示する設定が予め登録されているか否かを判断する（ステップＳ２１３）。

ここで設定されていると判断した場合、ＣＰＵ２５は表示対象であるテーブルＴＢからはみ出さない範囲内で表示する画像の範囲を拡大設定し（ステップＳ２１４）、以上でこの図５及び上記図４の各サブルーチンを終了して、上記図３のメインルーチンに戻る。

なお、ここでは、わかりやすいように、平行移動、回転移動のいずれかが設定されている場合について説明したが、２つ同時に設定できるようにしてもよい。

図９（Ａ）は、一人の観察者Ｐ１が、矩形のテーブルＴＢの長辺の中央に正対しており、且つテーブルＴＢの中央に画像ＩＭの正視の方向ＬＦが観察者Ｐ１の向きＧＬと一致するように画像ＩＭが表示されるように表示様態（画像ＩＭの正視の向き）が決定されている状態を示す。

以下、図では、画像ＩＭの内容をアルファベットの「Ｆ」の文字として、画像ＩＭの正視の向きがわかるように示す。

ている状態を示す。

図中、ＴＡ１，ＴＡ２は矩形のテーブルＴＢの長辺及び短辺に沿った中心軸線であり、画像ＩＭの正視の向きＬＦと、観察者Ｐ１の向きＧＬがいずれもテーブルＴＢの短辺に沿った中心軸線ＴＡ２と一致している状態を示す。

したがって、このような表示態様の設定状態においては、両軸ＧＬ．ＬＦにずれがないものとＣＰＵ２５が上記ステップＳ２０６で判断し、さらに画像ＩＭのテーブルＴＢからのはみ出しもないものと判断して、予めの設定により、適宜はみ出さない範囲内での拡大処理を実行した上でこの表示態様の設定処理を終了する。

図９（Ｂ）は、一人の観察者Ｐ１が、矩形のテーブルＴＢの長辺の中央からずれた位置に正対しており、且つテーブルＴＢの中央に正視の向きＬＦが観察者Ｐ１の向きＧＬと平行となるように画像ＩＭが表示されるように表示様態（画像ＩＭの正視の向き）が決定されている状態を示す。この場合、画像ＩＭの正視の向きＬＦと観察者Ｐ１の向きＧＬは平行ではあるが軸位置が明らかにずれているため、ＣＰＵ２５は上記ステップＳ２０６でそれを判断し、画像ＩＭの表示位置を上記軸の位置がずれないように図９（Ｃ）に示す如く変更設定する。

図１０（Ａ）は、一人の観察者Ｐ１が、矩形のテーブルＴＢの短辺の中央に正対しており、且つテーブルＴＢの中央に正視の向きＬＦが観察者Ｐ１の向きＧＬと一致するように画像ＩＭが表示されるように表示様態（画像ＩＭの正視の向き）が決定されている状態を示す。

図中、画像ＩＭの正視の向きＬＦと、観察者Ｐ１の向きＧＬがいずれもテーブルＴＢの長辺の中心軸線ＴＡ１と一致している状態を示す。

したがって、このような表示態様の設定状態においても、両軸ＧＬ．ＬＦにずれがないものとＣＰＵ２５が上記ステップＳ２０６で判断し、さらに画像ＩＭのテーブルＴＢからのはみ出しもないものと判断して、予めの設定により、適宜はみ出さない範囲内での拡大処理を実行した上でこの表示態様の設定処理を終了する。

図１０（Ｂ）は、一人の観察者Ｐ１が、矩形のテーブルＴＢの短辺の中央からややずれた位置に正対しており、且つテーブルＴＢの中央に正視の向きＬＦが観察者Ｐ１の向きＧＬと平行となるように画像ＩＭが表示されるように表示様態（画像ＩＭの正視の向き）が決定されている状態を示す。この場合、画像ＩＭの正視の向きＬＦと観察者Ｐ１の向きＧＬは平行ではあるが軸位置がずれている。
そのためＣＰＵ２５は、上記ステップＳ２０６でそれを判断し、画像ＩＭの表示位置を上記両軸の位置がずれないように図１０（Ｃ）に示す如く変更設定する。

図１１（Ａ）は、一人の観察者Ｐ１が、矩形のテーブルＴＢの長辺の中央に正対しており、且つテーブルＴＢの中央に画像ＩＭの正視の向きＬＦが観察者Ｐ１の向きＧＬと一致するようにほぼテーブルＴＢの全面を使って大きく画像ＩＭが表示されるように表示様態が決定されている状態を示す。

図１１（Ｂ）は、一人の観察者Ｐ１が、矩形のテーブルＴＢの短辺の中央に正対しており、且つテーブルＴＢの中央に正視の向きＬＦが観察者Ｐ１の向きＧＬと一致するようにテーブルＴＢをはみ出して大きく画像ＩＭが表示されるように表示様態が決定されている状態を示す。

この場合にＣＰＵ２５は、上記ステップＳ２０８で表示対象から画像ＩＭがはみ出していることを判断し、次いで上記ステップＳ２０９で予め平行移動を行なう設定がなされておらず、且つ続くステップＳ２１１で回転移動を行なう設定もなされていないと判断した場合、続く上記ステップＳ２１４において、図１１（Ｃ）に示すように、表示対象であるテーブルＴＢをはみ出さない範囲内でサイズを縮小するべく投影レンズ部１８のズームレンズによる投影画角を狭める処理を実行する。

図１２（Ａ）は、一人の観察者Ｐ１が、矩形のテーブルＴＢの長辺の中央から離れた位置に正対しており、且つテーブルＴＢの観察者Ｐ１の正面に、画像ＩＭの正視の向きＬＦが観察者Ｐ１の向きＧＬと一致するように画像ＩＭが表示されるように表示様態が決定されている状態を示す。

したがって、このような表示態様の設定状態で拡大設定がなされている場合にＣＰＵ２５は、上記ステップＳ２１３でそれを判断し、図１２（Ｂ）に示すように、さらにテーブルＴＢからはみ出さない範囲内で画像ＩＭを拡大処理するべく、投影レンズ部１８のズームレンズによる投影画角を広げる処理を実行する（ステップＳ２１４）。

図１３（Ａ）は、一人の観察者Ｐ１が、矩形のテーブルＴＢの長辺の中央から離れた位置に正対しており、且つテーブルＴＢの観察者Ｐ１の正面に、画像ＩＭの正視の向きＬＦが観察者Ｐ１の向きＧＬと一致するようにテーブルＴＢをはみ出して大きく画像ＩＭが表示されるように表示様態が決定されている状態を示す。

この場合にＣＰＵ２５は、上記ステップＳ２０８で表示対象から画像ＩＭがはみ出していることを判断する。ここで予め平行移動を行なう設定がなされていた場合、ＣＰＵ２５は上記ステップＳ２０９でそれを判断し、続くステップＳ２１０において、図１３（Ｂ）に示すように、表示対象であるテーブルＴＢからはみ出さない範囲内で画像ＩＭを平行移動するように表示位置を変更設定する。

また上記図１３（Ａ）の状態で予め回転移動を行なう設定がなされていた場合、ＣＰＵ２５は上記ステップＳ２０９を介して上記ステップＳ２１１でそれを判断し、続く上記ステップＳ２１２において、図１３（Ｃ）に示すように、表示対象であるテーブルＴＢからはみ出さない範囲内で画像ＩＭの向きを回転移動するように表示位置を変更設定する。

さらに上記図１３（Ａ）の状態で予め平行移動及び回転移動を行なう設定がいずれもなされていなかった場合、ＣＰＵ２５は上記ステップＳ２０９，Ｓ２１１でそれを判断し、続く上記ステップＳ２１５において、図１３（Ｄ）に示すように、表示対象であるテーブルＴＢからはみ出さない範囲内で画像ＩＭのサイズを縮小処理するべく、投影レンズ部１８のズームレンズによる投影画角を狭める処理を実行する。

次に、上記図５に戻り、ステップＳ２０１でテーブルＴＢの形状が矩形ではないと判断した場合の処理について以下に説明する。

その場合、ＣＰＵ２５はその他の形状時の表示態様決定処理のサブルーチンを実行する（ステップＳ２０２）。

図６は、上記ステップＳ２０２のサブルーチンであるその他の形状時の表示態様決定処理の詳細な内容を示すフローチャートの一例である。その処理当初にＣＰＵ２５は、観察者毎の視線の向きと画像の正視の向きとの差の角度について、符号を含めてそれらの総和の絶対値が最小となるように表示する画像の向きを決定する（ステップＳ３０１）。

次いでＣＰＵ２５は、予め位置変更を行なう設定がなされているかを判断する（ステップＳ３０２）。

ここで当該設定がなされていると判断した場合、ＣＰＵ２５は、観察者毎の向きと画像の正視の向きとの差の絶対値がそれぞれ小さくなるように平行移動して表示する画像の位置を決定し（ステップＳ３０３）、以上でこの図６、上記図５、及び図４の各サブルーチンを終了して、上記図３のメインルーチンに戻る。

なお、上記図６の処理終了前に、上記図５のステップＳ２０８〜Ｓ２１５で示した如く、表示する画像が表示対象からはみ出す場合を考慮して予め設定した、画像の位置、向き、及びサイズのいずれか少なくとも１つの変更を行なうようにしても良い。

図１４（Ａ）は、二人の観察者Ｐ１，Ｐ２が、円形のテーブルＴＢにそれぞれ正対しており、且つテーブルＴＢの中央に画像ＩＭが表示されている状態を示す。（テーブルＴＢが円形であるためにその形状から明確な中心軸線ＴＡを設定することができないが、ここでは、仮に中心軸線ＴＡを設定し表示している。）上述のアルゴリズム（Ｓ３０１）により、ＣＰＵ２５は、まず、画像ＩＭの正視の向きを仮定し、観察者Ｐ１の向きＧＬ１と画像ＩＭの正視の向きＬＦとの差「θ１」、観察者Ｐ２の視線向きＧＬ２と画像ＩＭの正視の向きＬＦとの差「θ２」とを算出する。

そして、ＣＰＵ２５は次に、その総和「θ１＋θ２」の絶対値が最小となるように画像ＩＭの正視の向きＬＦを設定（決定）する。すると結果的に、観察者Ｐ１の向きＧＬ１と画像ＩＭの正視の向きＬＦとの差「θ１」、及び、観察者Ｐ２の向きＧＬ２と画像ＩＭの正視の向きＬＦとの差「θ２」は、それぞれ、図１４（Ａ）に示すように「＋α」、「−α」となって絶対値は等しくなり、結果的に各差の総和が「−α＋α＝０」となる状態に表示様態（画像ＩＭの正視の向き）が決定される。すなわち、観察者が二人である場合には、それら二人の観察者Ｐ１，Ｐ２と画像ＩＭによって決まる挟角の中央が画像ＩＭの正視の向きＬＦとなるように決定される。

これ以外の場合は、「θ１＋θ２」は０以外の値となり、その絶対値は大きくなる。

さらに上記ステップＳ３０２で位置変更が予め設定されていると判断した場合には、上記ステップＳ３０３で説明した如く、表示対象であるテーブルＴＢを認識して、画像ＩＭがはみ出さない範囲内で、観察者毎の向きと画像の正視の向きとの差の絶対値（上記の例で言えば、α）がそれぞれ小さくなるように位置を変更する処理を実行する。

すると、図１４（Ｂ）に示すように二人の観察者Ｐ１，Ｐ２から離れる方向で画像ＩＭの正視の向きＬＦの軸に沿って画像ＩＭの表示位置が平行移動するように変更設定される。このとき観察者Ｐ１の向きＧＬ１と画像ＩＭの正視の向きＬＦとの差を「−β」、観察者Ｐ２の向きＧＬ２と画像ＩＭの正視の向きＬＦとの差「＋β」とすると、「｜α｜＞｜β｜」となる。

つまり、図１４（Ｂ）では、図１４（Ａ）で示されたテーブルＴＢと二人の観察者Ｐ１，Ｐ２の位置関係は同じであっても、画像ＩＭの表示位置を観察者Ｐ１，Ｐ２から離れた奥にずらすことにより、結果的に、観察者Ｐ１，Ｐ２の視線の向きは、見やすい図１４（Ｂ）のようになるので、画像ＩＭを、より正視の向きとのずれ角度がより小さい状態（「β」の状態）で観察（視認）することができるようになる。

なお、見やすさという観点では、上述のような観察者の向きと画像ＩＭの正視の向きとのずれ角度という要素と、観察者と画像ＩＭとの距離という要素もある。

すなわち、画像ＩＭが観察者に近い方が見やすいという考え方であり、観察者と画像ＩＭとの距離を重視する場合は、ずれ角度は大きくなる。

そして、その両者をバランスよく勘案して表示様態を決定するようにしてもよい。そのためには、例えば、ずれ角度の要素と距離の要素にそれぞれ重みを付けて加える評価関数を設定し、その値が極値をとる条件を探索して、両者の要素をバランスよく決定できるようにするとよい。

なお、画像ＩＭが近い方が見やすいという考え方は、観察者が複数の場合に限らない。

また、図１４（Ｃ）は、二人の観察者Ｐ１，Ｐ２が、８角形のテーブルＴＢにそれぞれ１辺を空ける辺に位置して正対しており、且つテーブルＴＢの中央に画像ＩＭが表示されている状態を示す。

（この場合、テーブルＴＢが８角形であるが、仮に中心軸線ＴＡを設定している。）この場合も、上記と同様の処理を実行することにより、図１４（Ａ）、（Ｂ）のような円形のテーブルの場合と同様に、画像ＩＭの正視の向きを決定することができ、結果として二人の観察者Ｐ１，Ｐ２の中央に位置する辺から見たテーブルＴＢの中心に対応する向きが画像ＩＭの正視の向きＬＦとなるように決定することができる。

図１５（Ａ）は、３人の観察者Ｐ１〜Ｐ３が、円形のテーブルＴＢに等間隔で一方（図中の下方）に集まってそれぞれ正対しており、且つテーブルＴＢの中央に画像ＩＭが表示されている状態を示す。上述のアルゴリズム（Ｓ３０１）により、ＣＰＵ２５は結果として３人の観察者Ｐ１〜Ｐ３のうち、中央に位置する観察者Ｐ２の向きＧＬ２が、画像ＩＭの正視の向きＬＦと一致するように設定することができ、図１５（Ａ）はその状態を示している。

図１５（Ｂ）は、観察者Ｐ１と観察者Ｐ３とが互いに正対し、観察者Ｐ２が上記観察者Ｐ１，Ｐ３と等間隔となるように、３人の観察者Ｐ１〜Ｐ３が円形のテーブルＴＢにそれぞれ９０°ずつの角度で正対しており、且つテーブルＴＢの中央に画像ＩＭが表示されている状態を示す。

この場合も上記と同様の処理を実行することにより、ＣＰＵ２５は図示する如く、結果として３人の観察者Ｐ１〜Ｐ３のうち、中央に位置する観察者Ｐ２の向きＧＬ２が、画像ＩＭの向きＬＦと一致するように設定することができ、図１５（Ｂ）はその状態を示している。

さらに上記図１５（Ｂ）に示した状態から、ステップＳ３０２で位置変更が予め設定されていると判断した場合には、上記ステップＳ３０３で説明した如く、表示対象であるテーブルＴＢを認識して、画像ＩＭがはみ出さない範囲内で、観察者毎の向きと画像の正視の向きとの差の絶対値がそれぞれ小さくなるように位置を変更する処理を実行する。

そのため、図１５（Ｃ）に示すように３人の観察者Ｐ１〜Ｐ３から離れる方向で、中央の観察者Ｐ２の向きＧＬ２と一致する画像ＩＭの正視の向きＬＦの軸に沿って画像ＩＭの表示位置を平行移動するように変更設定される。

なお、この場合も、上述のように、観察者と画像ＩＭとの距離という要素を勘案して、表示位置を決定するようにしてもよい。

このように、図６のステップＳ３０１のアルゴリズムは、角度計算を行なうのでＣＰＵ２５にとってはやや負担の大きい処理ではあるが、人数によらずに一般的に適用可能のものである。

次に、上記図５に戻り、ステップＳ２０１でテーブルＴＢの形状が矩形であると判断した後、続く上記ステップＳ２０３で観察者の人数が一人ではなく複数であると判断した場合の処理について以下に説明する。

その場合、ＣＰＵ２５は、複数人時の表示態様決定処理のサブルーチンを実行する（ステップＳ２０４）。

図７は、上記ステップＳ２０４のサブルーチンである複数人時の表示態様決定処理の第１例の詳細な内容を示すフローチャートの一例である。その処理で、まずＣＰＵ２５は、撮影画像処理部２２によりテーブルＴＢの矩形を構成する４辺の辺毎の観察者の数を認識させる（ステップＳ４０１）。

この認識結果によりＣＰＵ２５は、最も観察者が多く存在する辺の位置を認識する（ステップＳ４０２）。

ＣＰＵ２５は、観察者が最も多い辺に対して、表示する画像の正視の向きと観察者の向きとが一致するように表示する画像の正視の向きを決定する（ステップＳ４０３）。

次いでＣＰＵ２５は、観察者が最も多い辺の観察者の向きの軸の重心に画像の正視の向きの軸が一致するように表示する画像の位置を決定する（ステップＳ４０４）。

こうして表示する画像の向きと位置とを決定した後にＣＰＵ２５は、観察者が最も多い辺と隣接する辺にも観察者が存在するか否かを判断する（ステップＳ４０５）。ここで隣接する辺にも観察者が存在すると判断した場合、ＣＰＵ２５は次いで画像の位置を平行移動する設定が予め登録されていたか否かを判断する（ステップＳ４０６）。

ここで平行移動する設定が予め登録されていると判断した場合に、ＣＰＵ２５は表示する画像の位置を、観察者が存在する、隣接する辺に近づけるように変更設定する（ステップＳ４０７）。

また上記ステップＳ４０６で、平行移動する設定が予め登録されていないと判断した場合に、ＣＰＵ２５は表示する画像の向きを、観察者が存在する、隣接する辺に傾けるように変更設定する（ステップＳ４０８）。

その後にＣＰＵ２５は、その時点で表示する画像の拡大を指示する設定が予め登録されているか否かを判断する（ステップＳ４０９）。

ここで設定されていると判断した場合、ＣＰＵ２５は表示対象であるテーブルＴＢからはみ出さない範囲内で表示する画像の範囲を拡大設定し（ステップＳ４１０）、以上でこの図７及び上記図５、図４の各サブルーチンを終了して、図３のメインルーチンに戻る。

なお、ここでは、わかりやすいように、平行移動、回転移動（傾ける動作）のいずれかが設定されている場合について説明したが、２つ同時に設定できるようにしてもよい。

図１６（Ａ）は、矩形のテーブルＴＢの一長辺に２名の観察者Ｐ２，Ｐ３が存在し、且つその左隣の短辺に一人の観察者Ｐ１が存在した場合の、画像ＩＭの表示態様を示す。上述のアルゴリズム（Ｓ４０１〜Ｓ４０４）により、ＣＰＵ２５は、まず、最も観察者が多い長辺側から見て正視の向きが一致する向きで、画像ＩＭがテーブルＴＢの中心位置に表示されるように決定することができ、図１６（Ａ）はその状態を示している。

ここで、上記ステップＳ４０６で平行移動する設定が予め登録されていると判断した場合、ＣＰＵ２５は、図１６（Ｂ）に示すように表示する画像ＩＭの位置を、隣接する左側の短辺に寄せるように上記ステップＳ４０７の処理で変更設定する（ステップＳ４０７）。

また上記ステップＳ４０６で平行移動する設定が予め登録されていないと判断した場合にＣＰＵ２５は、図１６（Ｃ）に示すように表示する画像の正視の向きＬＦを、観察者Ｐ１が存在する、隣接する左側の短辺に傾けるように上記ステップＳ４０８の処理で変更設定する）。

さらに上記ステップＳ４０９ではみ出さない範囲内での拡大設定が予め登録されていた場合、ＣＰＵ２５は例えば上記図１６（Ｃ）に示した表示態様に代えて、図１６（Ｄ）に示すように画像ＩＭの表示サイズを拡大した上でテーブルＴＢ上に表示させる。

図１７（Ａ）は、矩形のテーブルＴＢの一長辺に２名の観察者Ｐ２，Ｐ３が存在し、且つ相対する長辺にも一人の観察者Ｐ１が存在した場合の、画像ＩＭの表示態様を示す。上述のアルゴリズム（Ｓ４０１〜Ｓ４０４）により、ＣＰＵ２５は、最も観察者が多い長辺側から見る向きを画像ＩＭの正視の向きとし、画像ＩＭがテーブルＴＢの中心位置に表示されるように決定することができ、図１７（Ａ）はその状態を示している。

図１７（Ｂ）は、矩形のテーブルＴＢの一長辺に３名の観察者Ｐ１〜Ｐ３が存在し、且つ相対する長辺にも２名の観察者Ｐ４，Ｐ５が存在した場合の、画像ＩＭの表示態様を示す。ここでも、上述のアルゴリズム（Ｓ４０１〜Ｓ４０４）により、ＣＰＵ２５は、最も観察者が多い長辺側から見る向きを画像ＩＭの正視の向きとし、画像ＩＭがテーブルＴＢの中心位置に表示されるように決定することができ、図１７（Ｂ）はその状態を示している。

図１７（Ｃ）は、矩形のテーブルＴＢの一長辺に４名の観察者Ｐ５〜Ｐ８が存在し、且つその左隣の短辺に一人の観察者Ｐ４が、また相対する長辺にも３名の観察者Ｐ１〜Ｐ３が存在した場合の、画像ＩＭの表示態様を示す。ここでも、上述のアルゴリズム（Ｓ４０１〜Ｓ４０４）により、ＣＰＵ２５は、最も観察者が多い長辺側から見る向きを画像ＩＭの正視の向きとし、画像ＩＭがテーブルＴＢの中心位置に表示されるように決定することができ、図１７（Ｄ）はその状態を示している。

図１７（Ｄ）は矩形のテーブルＴＢの一長辺に２名の観察者Ｐ１，Ｐ２が存在し、且つ相対する長辺にも同数の２名の観察者Ｐ３，Ｐ４が存在した場合の、画像ＩＭの表示態様を示す。ここでは、両長辺の観察者数が同じで、最も観察者が多い辺を判断することができないため、図６のフローチャートで説明したアルゴリズム（Ｓ３０１）により、ＣＰＵ２５は、テーブルＴＢの長辺に沿った中心軸線ＴＡ１と画像ＩＭの正視の向きＬＦが一致するように画像ＩＭを表示の向きを決定している。

この場合、さらに観察者Ｐ１〜Ｐ４が全体で図中のテーブルＴＢの左側に偏って存在していることから、図６のフローチャートで説明したアルゴリズム（Ｓ３０２、Ｓ３０３）により、ＣＰＵ２５は、あえて画像ＩＭを長辺の中心軸線ＴＡ１に沿った図中の右側に移動して表示させることで、各観察者の視線の向きと画像ＩＭの正視の向きＬＦとの差のばらつきがより小さくなるようにしていて、図１７（Ｄ）はその状態を示している。（そして、実際には、図１７（Ｄ）において、各観察者の視線は、決定された画像ＩＭの位置に応じた方向を向くことになる。）
つまり、図７のフローチャートでは、一部省略しているが、上述のように、最も観察者が多い辺を判断することができない場合、適宜、図６で説明した一般的なアルゴリズム（Ｓ３０１）により、画像ＩＭを表示の向きを設定するようにすればよい。

図７で示すアルゴリズムは、角度の和の計算等を行なわないので、図６で示すアルゴリズムよりＣＰＵ２５の負担が小さいという特徴がある。

次に、別の表示態様決定アルゴリズムについて説明する。

図８は、上記図７で説明したサブルーチンの処理に代えて、上記ステップＳ２０４のサブルーチンである複数人時の表示態様決定処理の第２例の詳細な内容の一部を示すフローチャートである。

その処理当初にＣＰＵ２５は、撮影画像処理部２２によりテーブルＴＢの矩形を構成する４辺に存在する観察者の総数が二人であるか否かを判断する（ステップＳ５０１）。

ここで観察者の総数が二人であると判断した場合、ＣＰＵ２５は４つの辺毎に観察者の数を認識する（ステップＳ５０２）。

そして、この認識した辺毎の観察者の数に従い、プログラムメモリ２７の表示態様設定記憶部２７Ｂに予め記憶される着席パターン分類情報を参照する（ステップＳ５０３）。ここでは、着席パターン分類の分類ナンバーｊが「１」〜「１０」の場合について例示しており、それぞれ辺１〜辺４までの観察者数を（辺１，辺２，辺３，辺４）の着席パターン情報として記憶しており、それぞれのパターンに対して画像ＩＭの表示態様が関連づけられているものとする。

ＣＰＵ２５は、対応するパターンがあることを確認した上で（ステップＳ５０４）、その対応するパターンを読出して表示態様を決定し（ステップＳ５０５）、以上でこの図８及び上記図５、図４の各サブルーチンを終了して、図３のメインルーチンに戻る。

また上記ステップＳ５０１で観察者の総数が３名以上であると判断した場合にＣＰＵ２５は、プログラムメモリ２７の表示態様設定記憶部２７Ｂに予め記憶されている３名以上での着席パターン分類の情報を参照することで同様の表示態様決定処理を実行する（ステップＳ５０６）。

このステップＳ５０６での処理については、説明は煩雑なものとなるのでその詳細な内容についての説明は省略するが、予め表示態様設定記憶部２７Ｂに記憶される着席パターン分類の情報に基づいて一義的に画像ＩＭの表示態様を決定するものである。

しかして、画像ＩＭの表示態様の決定処理を実行すると、以上でこの図８及び上記図５、図４の各サブルーチンを終了して、図３のメインルーチンに戻る。

また、上記図８のサブルーチンの処理終了前に、上記図５のステップＳ２０８〜Ｓ２１５で示した如く、表示する画像が表示対象からはみ出す場合を考慮して予め設定した、画像の位置、向き、及びサイズのいずれか少なくとも１つの変更を行なうようにしても良い。

図１８（Ａ）は、二人の観察者Ｐ１，Ｐ２が、矩形のテーブルＴＢの辺１に揃って着席している場合の画像ＩＭの表示態様を示す。上述のアルゴリズム（Ｓ５０１〜Ｓ５０５）により、ＣＰＵ２５は、ここでは、上記ステップＳ５０３で示した着席パターン分類の分類ナンバーｊ＝「１」として、パターン「１」に対応して画像ＩＭの正視の向きＬＦを、観察者Ｐ１，Ｐ２の各向きＧＬ１，ＧＬ２と平行とし、且つ画像ＩＭの水平方向の中心軸をテーブルＴＢの長辺に沿った中心軸線ＴＡ１と一致するようにして、観察者Ｐ１，Ｐ２から等距離となる位置に配した表示態様を決定することができ、図１８（Ａ）はその状態を示している。

図１８（Ｂ）は、二人の観察者Ｐ１，Ｐ２が、矩形のテーブルＴＢの辺３、及び相対する辺１に正対して着席している場合の画像ＩＭの表示態様を示す。上述のアルゴリズム（Ｓ５０１〜Ｓ５０５）により、ＣＰＵ２５は、ここでは、上記ステップＳ５０３で示した着席パターン分類の分類ナンバーｊ＝「６」として、パターン「６」に対応して画像ＩＭの正視の向きＬＦを、テーブルＴＢの長辺に沿った中心軸線ＴＡ１と一致するようにして、テーブルＴＢの中央位置に配した表示態様を決定することができ、図１８（Ｂ）はその状態を示している。

このように決定すると、図１８（Ｃ）に示すように、二人の観察者Ｐ１，Ｐ２の視線の向きは、実際には、見やすい画像ＩＭ側に向くことになる。

図１８（Ｄ）は、二人の観察者Ｐ１，Ｐ２が、矩形のテーブルＴＢの辺４、及び隣接する辺１に隣り合って着席している場合の画像ＩＭの表示態様を示す。上述のアルゴリズム（Ｓ５０１〜Ｓ５０５）により、ＣＰＵ２５は、ここでは、上記ステップＳ５０３で示した着席パターン分類の分類ナンバーｊ＝「７」として、パターン「７」に対応して画像ＩＭの正視の向きＬＦを、二人の観察者の向きＧＬ１，ＧＬ２を考慮した中間となる角度となるように、テーブルＴＢの中央位置から二人の観察者側に寄せた位置に配した表示態様を決定することができ、図１８（Ｃ）はその状態を示している。

以上、観察者の数やテーブルＴＢに対する配置に対応した表示態様の決定処理について詳述したが、当該決定処理を実行した後、上記図３のメインルーチンに戻り、ステップＭ１０５の処理を実行したものとして、さらに、投影レンズ部１８を構成するレンズ光学系に光軸をシフトする機構、所謂「アオリ」を行なう機構が形成されている場合には、光軸を必要な角度だけスイングまたはチルトさせることで変更して、投影レンズ部１８の投影光軸が表示対象であるテーブルＴＢの面と直交していない場合の画像の変形を抑止するような処理、所謂、台形補正等の処理を行なっても良い（ステップＭ１０６）。

その後にＣＰＵ２５は、その時点で設定されている表示態様にしたがった表示対象のテーブルＴＢへの表示制御処理を実行しながら（ステップＭ１１０）、合わせて操作部２８よりユーザによって何らかのキー操作またはジェスチャによる指示がなされたか否かを判断する（ステップＭ１１１）。

この動作状態で、操作部２８からキー操作信号が入力された場合（またはジェスチャ指示が認識された）、ＣＰＵ２５は上記ステップＭ１１１でそれを判断し、まずそのキー操作（またはジェスチャ）が電源のオフを指示するためのものであったか否かを判断する（ステップＭ１１２）。

ここで電源のオフを指示するものであったと判断した場合、ＣＰＵ２５は各種設定状態の記憶から、次の電源オンに備えた一部の回路以外への電源供給の停止までを含む一連の電源オフ処理を実行した上で（ステップＭ１１３）、上記ステップＭ１０１からの処理に戻る。

また上記ステップＭ１１２で電源のオフが指示されたのではないと判断した場合、ＣＰＵ２５は次いで直前の上記ステップＭ１１０で実行した表示態様の設定を変更する指示がなされたか否かを判断する（ステップＭ１１４）。

ここで表示態様の設定変更が指示されたと判断した場合、ＣＰＵ２５は操作されたキー操作信号またはジェスチャ指示にしたがって表示態様の設定変更を実行する処理を行なった後（ステップＭ１１５）、さらにその変更設定した内容を登録（更新）するための指示操作またはジェスチャ指示がなされたか否かを判断する（ステップＭ１１６）。

ここで登録するための指示操作またはジェスチャ指示がなされたと判断した場合、ＣＰＵ２５はその時点での新たな表示態様の設定情報をプログラムメモリ２７の表示態様設定記憶部２７Ｂに登録（更新）する処理を実行した上で（ステップＭ１１７）、再び新たな表示態様の設定状態での表示を行なうべく、上記ステップＭ１１０からの処理に戻る。

また上記ステップＭ１１４で操作またはジェスチャ指示された内容は表示態様の設定を変更する指示ではないと判断した場合、ＣＰＵ２５はそのキー操作またはジェスチャ指示の内容に従ってその他の処理を実行した上で（ステップＭ１１８）、上記ステップＭ１１０からの処理に戻る。

以上詳述した如く本実施形態によれば、観察者を構成するユーザに無用の負担をかけることなく、且つ複数のユーザが存在する場合も考慮して、より見やすい表示状態を実現することが可能となる。

なお上記実施形態の第１の変形例として、上記図８及び図１８の説明でもその一部を例示したように、表示対象となるテーブルの複数の形状と、観察者数の位置情報との組合せに基づいた詳細な表示態様を予めプログラムメモリ２７の表示態様設定記憶部２７Ｂに登録しておき、必要によりそれを読出して適切な表示態様を設定（決定）するものとしてもよく、そうすることで表示態様の決定に要する処理をより簡略化して短時間のうちに実現できる。

また第２の変形例として、表示態様に基づくＣＰＵ２５での表示制御は、基本的には無線ＬＡＮアンテナ１１及び無線ＬＡＮインタフェース１２、または入力部１３から入力した画像信号を電子的に補正することによって行なうが、上記実施形態でも一部説明した如く、投影レンズ部１８のズーム画角を変更することにより拡大／縮小処理、あるいはプロジェクタ装置１０自体が電動雲台のような機構的な装置を併用するものとして、それらの動作を統括的に制御することで実現しても良い。

さらに第３の変形例として、本実施形態では観察者の人数及び位置を取得する手段を、撮像手段を用い、撮影により得た画像に対する画像認識処理を行なう例について説明したが、テーブルあるいはテーブルと対になった椅子に観察者の着席状態を検出する光学的、あるいはマイクロスイッチ等によるセンサを設けるものとしてもよく、さらには着席時に観察者のうちのうちの少なくとも１名が人数及び位置を指定する何らかの入力手段、例えばＰＣやスマートホンにインストールしたアプリケーションプログラムを用いて設定するものとしてもよい。そうすることにより、プロジェクタ装置１０の装置構成をより簡略化できると共に、より確実な動作を実現できる。

また第４の変形例として、本実施形態のようなフロント方向に画像を投影するフロントプロジェクタではなく、テーブルに埋め込んだ背面投射（リアプロジェクション）型のプロジェクタ装置、あるいはプロジェクタではなく、テーブルの天板面に埋設された液晶パネルや有機ＥＬパネルなどの各種フラットパネルディスプレイでもよい。その場合は表示対象の位置情報を取得するための撮像手段は不要となるため、装置の構成をより簡略化できる。

さらに第５の変形例として、本実施形態では表示対象がテーブルであるものとして説明したが、これに限らず、床等に画像を直接投影、あるいは床面をディスプレイ装置で構成して表示する場合についても適用可能となる。そのような場合、表示対象領域は観察者と位置的に範囲が重複しない領域であるものとして同様に適用できる。

なお上記実施形態では、特に観察者が一人である場合に、観察者の向きに向けて画像の正視の向きが略一致するように表示態様を決定するものとしたので、観察者は正面の向きから画像を見ることができる。

また上記実施形態では、観察者が複数名である場合に、各観察者の優先度が等しいものとして、各観察者の向きと画像の正視の向きとの差がより小さくなるように画像の位置及び向きを含む表示態様を決定するものとしたので、複数人での会議等を円滑に進行できる。

また上記実施形態では、各観察者と画像の距離が近づくように画像の位置及び向きを含む表示態様を決定するものとしたので、見やすい状態を実現できる。

さらに上記実施形態では、表示対象となるテーブル等の形状を取得した上でそれに合わせた表示態様を決定するものとしたので、使用環境を選ばず、実際に画像を表示する対象の形状を活かして適切な状態で画像を表示できる。

また特に上記実施形態では、表示対象の形状が最もオーソドックスな形状である矩形である場合について、観察者の向きと人数、各辺毎の配置等を考慮して詳細な表示態様を決定するものとしたので、より多くの具体的な場合に適用可能であり、複数人での会議等を円滑に進行できる。

さらに上記実施形態では、表示対象の範囲を認識した上で表示する画像のサイズを決定し、任意設定により表示対象をはみ出さない範囲内で適宜拡大可能としたので、表示する画像が欠けることなく、適切なサイズの画像が得られると共に、必要に応じて表示対象の面積を有効に活用してより見易く表示できる。

また上記実施形態では、入力された画像信号を電子的に補正して表示態様を変更するものとしたので、装置が機構的な可動部を用いることなしに適切な態様の画像を表示させることができ、より容易、且つ高い自由度で表示態様の変更設定が可能となる。

加えて上記実施形態では、決定した表示態様の設定情報を任意に登録して次回以降も活用可能としたため、過去の設定情報を活用することで、短時間のうちに表示態様を設定（決定）可能として、より使い勝手を向上できる。

また上記実施形態は、表示対象の認識、及び観察者の認識にデジタルカメラと画像認識処理の技術を用いた撮像手段を用いるものとしたので、より容易に必要な情報を取得できる。

さらに上記実施形態では、天吊り式のプロジェクタ等、従来からある投影方式のプロジェクタ装置などに機能を組込むことが可能で、比較的小規模な改良による実現が可能となる。

なお和実施形態は、本発明をＤＬＰ（登録商標）方式を採用した天井据付け型のプロジェクタ装置に適用した場合について説明したものであるが、本発明はプロジェクタ方式や据付け場所、光源の発光素子、各種センサの構成等を限定するものではない。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、画像信号を入力する入力手段と、上記入力手段で入力した画像信号に基づく画像を表示対象上に表示する表示手段と、上記表示対象に対向する観察者の人数及び位置を取得する取得手段と、上記取得手段で取得した上記観察者の人数及び位置に基づき、上記表示手段で表示する画像の向きを含む表示態様を決定する表示態様決定手段と、上記表示態様決定手段で決定した表示態様で上記表示手段により画像を表示対象上に表示させる表示制御手段とを具備したことを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記取得手段は、上記表示対象に対向する観察者の向きをさらに取得し、上記表示態様決定手段は、上記取得手段により取得された上記観察者の向きに略一致するように上記表示手段で表示する画像の向きを決定することを特徴とする。

請求項３記載の発明は、上記請求項２記載の発明において、上記表示態様決定手段は、上記観察者の向きの軸位置と表示する画像の向きの軸位置がより近づくように上記表示手段で表示する画像の位置を決定することを特徴とする。

請求項４記載の発明は、上記請求項１記載の発明において、上記取得手段は、上記表示対象に対向する観察者の向きをさらに取得し、上記表示態様決定手段は、上記取得手段で取得した上記観察者が複数名であった場合に、上記取得手段により取得された上記観察者毎の向きと表示する画像の向きの差の和の絶対値が最小となるように上記表示手段で表示する画像の向きを決定することを特徴とする。

請求項５記載の発明は、上記請求項４記載の発明において、上記表示態様決定手段は、上記観察者の向きと表示する画像の向きの差の絶対値が小さくなるように上記表示手段で表示する画像の位置を、上記画像の向きに沿った位置を決定することを特徴とする。

請求項６記載の発明は、上記請求項１乃至４何れか記載の発明において、上記表示態様決定手段は、上記観察者に近づくように上記表示手段で表示する画像の位置を決定することを特徴とする。

請求項７記載の発明は、上記請求項１乃至６何れか記載の発明において、上記表示対象のサイズ、向きを含んだ形状、及び位置の各情報を含む表示対象情報を取得する表示対象取得手段をさらに具備し、上記表示態様決定手段は、上記表示対象取得手段で取得した表示対象情報を勘案して上記表示手段で表示する画像の向きを含む表示態様を決定する
ことを特徴とする。

請求項８記載の発明は、上記請求項７記載の発明において、上記表示態様決定手段は、上記表示対象取得手段で取得した表示対象情報から上記表示対象の形状が矩形であり、且つ上記取得手段で取得した上記観察者が複数名であった場合に、観察者が最も多く存在する矩形の辺に向かって位置する観察者の向きと、画像の向き略一致するように上記表示手段で表示する画像の向きを決定することを特徴とする。

請求項９記載の発明は、上記請求項８記載の発明において、上記表示態様決定手段は、上記取得手段により観察者が最も多く存在する矩形の辺と隣接する辺に向かって位置する他の観察者の存在を取得した場合に、上記隣接する辺に向かって位置する他の観察者の向きに、画像の向きが近づくように上記表示手段で表示する画像の向きを決定することを特徴とする。

請求項１０記載の発明は、上記請求項７乃至９何れか記載の発明において、上記表示態様決定手段は、上記表示対象取得手段により取得した上記表示対象情報に基づき、上記画像が上記表示対象からはみ出さないように表示の位置、向き、及びサイズの少なくとも１つを調整して上記表示手段で表示する画像の表示態様を決定することを特徴とする。

請求項１１記載の発明は、上記請求項１０記載の発明において、上記表示態様決定手段は、上記表示対象取得手段により取得した上記表示対象情報に基づき、上記画像が上記表示対象からはみ出さない範囲で上記表示手段により表示する画像のサイズを拡大するように表示態様を決定することを特徴とする。

請求項１２記載の発明は、上記請求項１乃至１１何れか記載の発明において、上記表示制御手段は、上記入力手段で入力した画像信号を補正することで、上記表示態様決定手段で決定した表示態様で上記表示手段により画像を表示させることを特徴とする。

請求項１３記載の発明は、上記請求項１乃至１２何れか記載の発明において、上記取得手段で取得する上記観察者の人数及び位置に応じた表示態様を登録する登録手段をさらに具備し、上記表示態様決定手段は、上記登録手段から観察者の人数及び位置に応じた表示態様を読出すことにより表示態様を決定することを特徴とする。

請求項１４記載の発明は、上記請求項１乃至１３何れか記載の発明において、上記表示対象及び観察者が位置すると思われる範囲を撮像する撮像手段をさらに具備し、上記取得手段は、上記撮像手段で得た画像から上記表示対象に対向する観察者の人数及び位置を取得することを特徴とする。

請求項１５記載の発明は、上記請求項１乃至１３何れか記載の発明において、上記表示対象に対する観察者の着席状態を検出する着席検出手段をさらに具備し、上記取得手段は、上記着席検出手段で得た着席状態から上記表示対象に対向する観察者の人数及び位置を取得することを特徴とする。

請求項１６記載の発明は、上記請求項１乃至１３何れか記載の発明において、上記表示対象に対する観察者の人数及び位置を指定する指定手段をさらに具備し、上記取得手段は、上記指定手段で指定された内容から観察者の人数及び位置を取得することを特徴とする。

請求項１７記載の発明は、上記請求項１乃至１６何れか記載の発明において、上記表示手段は、上記表示対象の上方から下方に向けて画像を投影する投影手段を含むことを特徴とする。

請求項１８記載の発明は、上記請求項１乃至１６何れか記載の発明において、上記表示手段は、上記表示対象の内部から外方に向けて画像を表示する内蔵表示手段を含むことを特徴とする。

請求項１９記載の発明は、画像信号を入力する入力部、及び上記入力部で入力した画像信号に基づく画像を表示対象上に表示する表示部を備えた装置での表示制御方法であって、上記表示対象に対向する観察者の人数及び位置を取得する取得工程と、上記取得工程で取得した上記観察者の人数及び位置に基づき、上記表示部で表示する画像の向きを含む表示態様を決定する表示態様決定工程と、上記表示態様決定工程で決定した表示態様で上記表示部により画像を表示対象上に表示させる表示制御工程とを有したことを特徴とする。

請求項２０記載の発明は、画像信号を入力する入力部、及び上記入力部で入力した画像信号に基づく画像を表示対象上に表示する表示部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、上記表示対象に対向する観察者の人数及び位置を取得する取得手段、上記取得手段で取得した上記観察者の人数及び位置に基づき、上記表示部で表示する画像の向きを含む表示態様を決定する表示態様決定手段、及び上記表示態様決定手段で決定した表示態様で上記表示部により画像を表示対象上に表示させる表示制御手段として機能させることを特徴とする。

１０…プロジェクタ装置、１１…無線ＬＡＮアンテナ、１２…無線ＬＡＮインタフェース（Ｉ／Ｆ）、１３…入力部、１４…投影画像駆動部、１５…マイクロミラー素子、１６…光源部、１７…ミラー、１８…投影レンズ部、１９…撮影レンズ部、２０…ＣＭＯＳイメージセンサ、２１…Ａ／Ｄ変換器、２２…撮影画像処理部、２３…レンズ、２４…赤外線センサ、２５…ＣＰＵ、２６…メインメモリ、２７…プログラムメモリ、２８…操作部、２９…音声処理部、３０…スピーカ部、ＩＭ…画像、Ｐ１〜Ｐ８…観察者、ＲＦ…天井、ＳＢ…システムバス、ＴＢ…テーブル。

Claims (20)

1. 画像信号を入力する入力手段と、
   上記入力手段で入力した画像信号に基づく画像を表示対象上に表示する表示手段と、
   上記表示対象に対向する観察者の人数及び位置を取得する取得手段と、
   上記取得手段で取得した上記観察者の人数及び位置に基づき、上記表示手段で表示する画像の向きを含む表示態様を決定する表示態様決定手段と、
   上記表示態様決定手段で決定した表示態様で上記表示手段により画像を表示対象上に表示させる表示制御手段と
   を具備したことを特徴とする表示装置。
2. 上記取得手段は、上記表示対象に対向する観察者の向きをさらに取得し、
   上記表示態様決定手段は、上記取得手段により取得された上記観察者の向きに略一致するように上記表示手段で表示する画像の向きを決定する
   ことを特徴とする請求項１記載の表示装置。
3. 上記表示態様決定手段は、上記観察者の向きの軸位置と表示する画像の向きの軸位置がより近づくように上記表示手段で表示する画像の位置を決定することを特徴とする請求項２記載の表示装置。
4. 上記取得手段は、上記表示対象に対向する観察者の向きをさらに取得し、
   上記表示態様決定手段は、上記取得手段で取得した上記観察者が複数名であった場合に、上記取得手段により取得された上記観察者毎の向きと表示する画像の向きの差の和の絶対値が最小となるように上記表示手段で表示する画像の向きを決定する
   ことを特徴とする請求項１記載の表示装置。
5. 上記表示態様決定手段は、上記観察者の向きと表示する画像の向きの差の絶対値が小さくなるように上記表示手段で表示する画像の位置を、上記画像の向きに沿った位置を決定することを特徴とする請求項４記載の表示装置。
6. 上記表示態様決定手段は、上記観察者に近づくように上記表示手段で表示する画像の位置を決定することを特徴とする請求項１乃至４何れか記載の表示装置。
7. 上記表示対象のサイズ、向きを含んだ形状、及び位置の各情報を含む表示対象情報を取得する表示対象取得手段をさらに具備し、
   上記表示態様決定手段は、上記表示対象取得手段で取得した表示対象情報を勘案して上記表示手段で表示する画像の向きを含む表示態様を決定する
   ことを特徴とする請求項１乃至６何れか記載の表示装置。
8. 上記表示態様決定手段は、上記表示対象取得手段で取得した表示対象情報から上記表示対象の形状が矩形であり、且つ上記取得手段で取得した上記観察者が複数名であった場合に、観察者が最も多く存在する矩形の辺に向かって位置する観察者の向きと、画像の向き略一致するように上記表示手段で表示する画像の向きを決定することを特徴とする請求項７記載の表示装置。
9. 上記表示態様決定手段は、上記取得手段により観察者が最も多く存在する矩形の辺と隣接する辺に向かって位置する他の観察者の存在を取得した場合に、上記隣接する辺に向かって位置する他の観察者の向きに、画像の向きが近づくように上記表示手段で表示する画像の向きを決定することを特徴とする請求項８記載の表示装置。
10. 上記表示態様決定手段は、上記表示対象取得手段により取得した上記表示対象情報に基づき、上記画像が上記表示対象からはみ出さないように表示の位置、向き、及びサイズの少なくとも１つを調整して上記表示手段で表示する画像の表示態様を決定することを特徴とする請求項７乃至９何れか記載の表示装置。
11. 上記表示態様決定手段は、上記表示対象取得手段により取得した上記表示対象情報に基づき、上記画像が上記表示対象からはみ出さない範囲で上記表示手段により表示する画像のサイズを拡大するように表示態様を決定することを特徴とする請求項１０記載の表示装置。
12. 上記表示制御手段は、上記入力手段で入力した画像信号を補正することで、上記表示態様決定手段で決定した表示態様で上記表示手段により画像を表示させることを特徴とする請求項１乃至１１何れか記載の表示装置。
13. 上記取得手段で取得する上記観察者の人数及び位置に応じた表示態様を登録する登録手段をさらに具備し、
    上記表示態様決定手段は、上記登録手段から観察者の人数及び位置に応じた表示態様を読出すことにより表示態様を決定する
    ことを特徴とする請求項１乃至１２何れか記載の表示装置。
14. 上記表示対象及び観察者が位置すると思われる範囲を撮像する撮像手段をさらに具備し、
    上記取得手段は、上記撮像手段で得た画像から上記表示対象に対向する観察者の人数及び位置を取得する
    ことを特徴とする請求項１乃至１３何れか記載の表示装置。
15. 上記表示対象に対する観察者の着席状態を検出する着席検出手段をさらに具備し、
    上記取得手段は、上記着席検出手段で得た着席状態から上記表示対象に対向する観察者の人数及び位置を取得する
    ことを特徴とする請求項１乃至１３何れか記載の表示装置。
16. 上記表示対象に対する観察者の人数及び位置を指定する指定手段をさらに具備し、
    上記取得手段は、上記指定手段で指定された内容から観察者の人数及び位置を取得する
    ことを特徴とする請求項１乃至１３何れか記載の表示装置。
17. 上記表示手段は、上記表示対象の上方から下方に向けて画像を投影する投影手段を含むことを特徴とする請求項１乃至１６何れか記載の表示装置。
18. 上記表示手段は、上記表示対象の内部から外方に向けて画像を表示する内蔵表示手段を含むことを特徴とする請求項１乃至１６何れか記載の表示装置。
19. 画像信号を入力する入力部、及び上記入力部で入力した画像信号に基づく画像を表示対象上に表示する表示部を備えた装置での表示制御方法であって、
    上記表示対象に対向する観察者の人数及び位置を取得する取得工程と、
    上記取得工程で取得した上記観察者の人数及び位置に基づき、上記表示部で表示する画像の向きを含む表示態様を決定する表示態様決定工程と、
    上記表示態様決定工程で決定した表示態様で上記表示部により画像を表示対象上に表示させる表示制御工程と
    を有したことを特徴とする表示制御方法。
20. 画像信号を入力する入力部、及び上記入力部で入力した画像信号に基づく画像を表示対象上に表示する表示部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
    上記コンピュータを、
    上記表示対象に対向する観察者の人数及び位置を取得する取得手段、
    上記取得手段で取得した上記観察者の人数及び位置に基づき、上記表示部で表示する画像の向きを含む表示態様を決定する表示態様決定手段、及び
    上記表示態様決定手段で決定した表示態様で上記表示部により画像を表示対象上に表示させる表示制御手段
    として機能させることを特徴とするプログラム。

Images