JP2018121201A

JP2018121201A - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP2018121201A
Application number: JP2017011274A
Authority: JP
Inventors: 森　真起子; Makiko Mori; 真起子森
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-01-25
Filing date: 2017-01-25
Publication date: 2018-08-02

Abstract

【課題】補正後の投影映像をスクリーン内にできるだけ大きく投影可能にすることを課題とする。【解決手段】ＣＰＵ（１１０）は、スクリーン方向を撮像した撮像画像を基に、入力画像を配置する対象領域域を決定する。レイアウト処理部（３２０）は、画像のアスペクト比を保ったまま、入力画像を対象領域に配置する。変形処理部（３３０）は、対象領域への配置がなされた画像に対して変形処理を施す。また、ＣＰＵ（１１０）は、撮像画像からスクリーンの領域と映像投影がなされる投影領域との重なり領域を求め、重なり領域の内で採り得る長方形のアスペクト比に基づいて、対象領域を決定する。そして、変形処理部（３３０）では、対象領域が重なり領域の中に投影されるように、入力画像に対する変形処理が行われる。【選択図】図５

Description

本発明は、映像投影される画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。

近年、液晶プロジェクタなどの投影型表示装置は、プレゼンテーションや会議などの業務用途からホームシアターなどの家庭用途にまで幅広く普及し、それに伴い小型化・軽量化が進んできている。また、プロジェクタが設置される場所も様々であり、場所の制約などから、スクリーンの正面にプロジェクタを配置できないことも多い。一般的な配置例として、プロジェクタは、やや上方のスクリーンに向かって傾斜した状態で、机上等に設置されることが多い。したがってこの場合のスクリーンには、やや斜め下方向から映像が投影されることになる。

しかしこの場合、プロジェクタ本体とスクリーンとの間の相対的な傾きに起因して、スクリーン上の投影映像には、台形歪みと呼ばれる幾何学歪みが発生してしまう。これを解消するために、一般的なプロジェクタは、台形歪みを信号処理で補正する台形補正機能（キーストーン補正機能）を有するものが多い。つまり、このプロジェクタは、キーストーン補正により変形させた画像を投影用のパネル面に形成し、そのパネル面に形成された画像をスクリーンに投影することで、スクリーン上に矩形の映像を投影させる。

また例えば、特許文献１には、撮像装置で撮像した画像を基にスクリーンのアスペクト比を算出し、入力画像信号のアスペクト比を保ったまま、スクリーンに合わせた台形補正を行う手法が記載されている。同文献に記載の手法では、キャリブレーション画像をスクリーンに投影した状態で、撮像装置によりそのスクリーンが撮像され、その撮影画像からスクリーンのアスペクト比と画像の歪とが算出されて、それらを基に台形補正処理が行われる。

特開２００８−２５１０２６号公報

特許文献１に記載された手法では、投影映像がスクリーン内に収まるように変形処理するような台形補正処理が行われる。そのため、プロジェクタが備えている投影用のパネルのアスペクト比と、スクリーンのアスペクト比とが異なる場合、入力画像信号のアスペクト比によっては、台形補正後の投影映像が、スクリーンに対して過剰に小さくなってしまう場合がある。

そこで、本発明は、変形処理後の投影映像をスクリーン内にできるだけ大きく投影可能にすることを目的とする。

本発明は、スクリーンに映像投影される画像を処理する画像処理装置であって、スクリーン方向を撮像した撮像画像を基に、入力画像を配置する対象領域を決定する決定手段と、前記入力画像のアスペクト比を保ったまま、前記入力画像を前記対象領域に配置する配置手段と、前記対象領域への配置がなされた画像に対して所定の変形処理を施す変形手段と、を有し、前記決定手段は、前記撮像画像から前記スクリーンの領域と映像投影がなされる投影領域との重なり領域を求め、前記重なり領域の内で採り得る長方形のアスペクト比に基づいて、前記対象領域を決定し、前記変形手段は、前記対象領域が前記重なり領域の中に投影されるように前記入力画像に対する前記変形処理を行うことを特徴とする。

本発明によれば、変形処理後の投影映像をスクリーン内にできるだけ大きく投影可能となる。

液晶プロジェクタの全体の構成を示す図である。液晶プロジェクタの基本動作の流れを示すフローチャートである。キーストーン補正形状の求め方の説明図である。スクリーンの一部が投影映像から外れている例の説明図である。画像処理部の内部構成を示す図である。射影変換の説明図である。投影映像の台形歪みを補正する処理の流れを示すフローチャートである。投影映像の歪みとその歪みを補正する画像処理の説明図である。投影アスペクト設定の説明図である。補正前後の投影形状と液晶パネル上の配置の説明図である。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
本実施形態では、画像処理装置の一適用例としての投影型表示装置、例えば、透過型液晶パネルを用いたプロジェクタを挙げる。なお、本実施形態の画像処理装置は、透過型液晶パネルを用いたプロジェクタに限らず、ＤＬＰ（登録商標）を用いたプロジェクタ、ＬＣＯＳ（登録商標）のような反射型液晶パネルなど、どのようなものであっても適用可能である。また、液晶プロジェクタには、単板式、３板式などが一般に知られているが、本実施形態のプロジェクタはどちらの方式であってもよい。本実施形態の液晶プロジェクタは、表示するべき画像に応じて、投影用の液晶パネルにおける画素毎の光透過率を制御し、その液晶パネルを透過した光源からの光をスクリーンに投影することで、映像をユーザに提示する。
以下、このような本実施形態の液晶プロジェクタについて説明する。

＜全体構成＞
図１は、本実施形態の画像処理装置の一適用例である液晶プロジェクタ１００の全体構成例を示す図である。
本実施形態の液晶プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。さらに、液晶プロジェクタ１００は、液晶制御部１５０、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、液晶プロジェクタ１００は、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。

ＣＰＵ１１０は、液晶プロジェクタ１００の各ブロックを制御する。ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶する。ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納する。また、ＣＰＵ１１０は、記録再生部１９１を介して記録媒体１９２から静止画データや動画データを読み出し、それらのデータをＲＡＭ１１２に一時的に記憶させる。また、ＣＰＵ１１０は、通信部１９３を介して受信した静止画や動画のデータを、ＲＡＭ１１２に一時的に記憶させる。また、ＣＰＵ１１０は、撮像部１９４により撮像された静止画データや動画データを、ＲＡＭ１１２に一時的に記憶させる。さらに、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムを実行することにより、ＲＡＭ１１２に一時記憶されている静止画データや動画データを記録用のデータに変換し、記録再生部１９１を介して記録媒体１９２に記録させることもできる。またＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムを実行することで、ＲＡＭ１１２に記憶された静止画データや動画データを、画像処理部１４０により表示用のデータに変換させ、表示制御部１９５を介して表示部１９６に表示させることもできる。

操作部１１３は、ユーザからの指示を受け付け、その指示信号をＣＰＵ１１０に送るものである。操作部１１３は、例えばスイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。そして、ＣＰＵ１１０は、それら操作部１１３から入力された指示信号に基づいて、液晶プロジェクタ１００の各ブロックを制御する。また、操作部１１３は、例えばリモートコントローラ（以下、リモコンと表記する。）からの信号（赤外線による信号）を受信する信号受信部（赤外線受信部）であってもよい。この場合の操作部１１３は、リモコンから赤外線によるユーザの指示信号を受信して、その指示信号をＣＰＵ１１０に送る。そして、ＣＰＵ１１０は、その指示信号に基づいて、液晶プロジェクタ１００の各ブロックを制御する。

画像入力部１３０は、図示しない外部装置等から送信されてくる画像信号を受信するためのインターフェース部である。なお、入力される画像信号は、静止画、動画の何れの信号であってもよい。画像入力部１３０は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子、ＵＳＢ端子等の各種の入力端子をも含む。画像入力部１３０は、アナログ画像信号を受信した場合には、そのアナログ画像信号をデジタル画像信号に変換して画像処理部１４０に送り、また、デジタル画像信号を受信した場合には、そのデジタル画像信号を画像処理部１４０に送る。以下、デジタル画像信号を画像データと表記する。ここで、外部装置は、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。

画像処理部１４０は、画像入力部１３０から受け取った画像データに対し、フレーム数の変更処理、画素数の変更処理、画像形状の変更処理などを施して、液晶制御部１５０に送るものである。また、画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換処理、画素解析処理、所定の変形処理、ゲイン処理、オフセット処理、パネル処理といった各処理を行うことも可能である。所定の変形処理は、幾何学補正処理（キーストン補正処理、曲面補正処理等）を含む。また、画像処理部１４０は、記録媒体１９２から読み出された静止画や動画、通信部１９３を介して受信された静止画や動画、撮像部１９４により撮像された静止画や動画などの各画像データに対して、前述の各処理を施すこともできる。画像処理部１４０は、例えば画像処理用のマイクロプロセッサからなる。なお、画像処理部１４０は専用のマイクロプロセッサとして設けられる必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行してもよい。

光源制御部１６０は、光源１６１のオン／オフの制御や光量の制御をするものであり、制御用のマイクロプロセッサにて構成されている。なお、光源制御部１６０は専用のマイクロプロセッサとして設けられる必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＣＰＵ１１０が光源制御部１６０と同様の制御を実行してもよい。光源１６１は、不図示のスクリーンに映像を投影するための光を発生するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであってもよい。色分離部１６２は、光源１６１からの光を、赤、緑、青（以下、Ｒ，Ｇ，Ｂと表記する。）の三原色の光に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、Ｒ，Ｇ，Ｂの各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。光源１６１の光が色分離部１６２により分離されたＲ，Ｇ，Ｂの各色の光は、Ｒ，Ｇ，Ｂの各色に対応して設けられている液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに入射する。

液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂは、液晶制御部１５０から供給される駆動信号に基づいて、パネル面に画像を形成する。パネル面への画像形成は、画素（ドット）毎に入射光の透過量を変化させることにより行われる。これら液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂは、それぞれ対応したＲ，Ｇ，Ｂの各色の入射光に対して画素毎に光変調を行う光変調パネルである。なお、本実施形態では、光変調パネルは透過型のパネルとなされているが、反射型のパネルであってもよい。液晶パネル１５１Ｒは、色分離部１６２によりＲ，Ｇ，Ｂの各色に分離された光のうち、Ｒ光に対応して設けられた液晶パネルである。液晶パネル１５１Ｒは、複数の画素が二次元配列されて構成され、画素毎にＲ光の透過量を調整する。液晶パネル１５１Ｇは、色分離部１６２によりＲ，Ｇ，Ｂの各色に分離された光のうち、Ｇ光に対応して設けられた液晶パネルである。液晶パネル１５１Ｇは、複数の画素が二次元配列されて構成され、画素毎にＧ光の透過量を調整する。液晶パネル１５１Ｂは、色分離部１６２によりＲ，Ｇ，Ｂの各色に分離された光のうち、Ｂ光に対応して設けられた液晶パネルである。液晶パネル１５１Ｂは、複数の画素が二次元配列されて構成され、画素毎にＢ光の透過量を調整する。

液晶制御部１５０は、画像処理部１４０による処理後の各フレームの画像データに基づいて、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの各画素における光透過率を調整するための駆動信号を生成する。具体的には、液晶制御部１５０により生成される駆動信号は、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの各画素の液晶に印加する電圧を制御する信号である。液晶制御部１５０は、画像処理部１４０から送られてきた各フレーム画像のＲ，Ｇ，Ｂの各色成分の画素毎の階調レベルに応じて、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの各画素に印加する電圧を制御することで、各画素の光透過率を調整する。液晶制御部１５０は、例えば制御用のマイクロプロセッサにより構成される。なお、液晶制御部１５０は専用のマイクロプロセッサとして設けられる必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＣＰＵ１１０が液晶制御部１５０と同様の制御を実行してもよい。

光学系制御部１７０は、投影光学系１７１を制御するものであり、例えば制御用のマイクロプロセッサからなる。なお、光学系制御部１７０は専用のマイクロプロセッサとして設けられる必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＣＰＵ１１０が光学系制御部１７０と同様の制御を実行してもよい。色合成部１６３は、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂをそれぞれ透過したＲ，Ｇ，Ｂの各光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。色合成部１６３によりＲ，Ｇ，Ｂの光が合成された光は、投影光学系１７１に入射する。投影光学系１７１は、色合成部１６３にて合成された光による投影像をスクリーン上に形成するための光学系である。投影光学系１７１は、複数のレンズ、レンズ駆動用のアクチュエータを含み、レンズをアクチュエータにより駆動することで、投影映像の拡大、縮小、焦点調整、レンズシフトなどを行うことができる。本実施形態では、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０からの画像データに基づいて液晶制御部１５０により各画素の透過率が調整される。そして、色合成部１６３は、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを介したＲ，Ｇ，Ｂの各光を合成し、その合成された光が投影光学系１７１によりスクリーンに投影される。このため、スクリーン上には、画像処理部１４０からの画像データに対応した映像が投影されて表示されることになる。

記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生する。また、記録再生部１９１は、撮像部１９４により得られた静止画データや動画データを記録媒体１９２に記録する。記録再生部１９１は、通信部１９３より受信された静止画データや動画データを、記録媒体１９２に記録することもできる。記録再生部１９１は、例えば、記録媒体１９２に対して画像データの記録や再生等を行うためのインターフェースやマイクロプロセッサからなる。なお、記録再生部１９１は専用のマイクロプロセッサを有していなくてもよく、例えば、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行してもよい。記録媒体１９２は、静止画データや動画データをはじめ、本実施形態の液晶プロジェクタにおいて必要な制御データなどをも記録することができる。記録媒体１９２は、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。

通信部１９３は、外部機器からの制御信号、静止画データや動画データなどを受信する。通信部１９３は、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などに準拠したものであってもよく、特定の通信方式に限定されるものではない。また、画像入力部１３０の端子が例えばＨＤＭＩ（登録商標）端子である場合には、通信部１９３は、その端子を介してＣＥＣ通信を行うものであってもよい。なお、外部装置は、液晶プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

撮像部１９４は、本実施形態の液晶プロジェクタ１００の周辺を撮像して画像を取得するものであり、投影光学系１７１を介してスクリーンに投影された映像及びスクリーンの周辺を含む撮像範囲を、撮影可能（スクリーン方向を撮影可能）となされている。撮像部１９４は、被写体の光学像を撮像素子の撮像面上に形成するレンズ（撮像光学系）、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、撮像面上に形成された光学像を画像信号に変換する撮像素子を含む。撮像部１９４はまた、撮像素子により得られたアナログ画像信号をデジタル画像データに変換するＡＤ変換部なども有する。撮像部１９４は、撮像した画像データをＣＰＵ１１０に送り、ＣＰＵ１１０は、撮像部１９４からの画像データを一時的にＲＡＭ１１２に記憶させる。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムを実行することにより、ＲＡＭ１１２に一時記憶した画像データを、液晶プロジェクタ１００で扱われるデータに変換する。なお、撮像部１９４は、スクリーン方向を撮影するだけでなく、例えばスクリーンと逆方向の視聴者側を撮影可能となされていてもよい。

表示制御部１９５は、表示部１９６に、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコン等の映像を表示させるための制御を行うものであり、表示制御を行うマイクロプロセッサなどからなる。なお、表示制御部１９５は専用のマイクロプロセッサとして設けられる必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行してもよい。表示部１９６は、表示制御部１９５による制御の下、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示する。表示部１９６は、映像を表示できればどのようなものであってもよい。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであってよい。また、表示部１９６は、例えば、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

なお、本実施形態の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあってもよい。または、例えば、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＣＰＵ１１０が各ブロックと同様の処理を実行してもよい。

＜基本動作＞
図２は、本実施形態の液晶プロジェクタ１００の基本動作を説明するためのフローチャートである。図２に示すフローチャートの動作は、基本的には、ＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各ブロックを制御することにより実行される。図２のフローチャートの処理は、操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示した時点で開始される。なお、以下の説明では、図２のフローチャートのステップＳ２０１〜Ｓ２１０をＳ２０１〜Ｓ２１０と略記し、このことは後述する他のフローチャートにおいても同様とする。

操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部の電源回路から、液晶プロジェクタ１００の各部に電源を供給させる。また、ＣＰＵ１１０は、Ｓ２０１の処理として投影開始処理を実行する。具体的には、ＣＰＵ１１０は、Ｓ２０１の投影開始処理として、光源制御部１６０への指示を介した光源１６１の点灯制御、液晶制御部１５０への指示を介した液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの駆動制御、画像処理部１４０の動作設定などを行う。なお、以下の説明では、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂをそれぞれ区別せずに液晶パネル１５１と表記する。

次に、ＣＰＵ１１０は、Ｓ２０２において、画像入力部１３０からの入力信号に変化があったか否かを判定する。ＣＰＵ１１０は、Ｓ２０２において、入力信号変化が無かったと判定（Ｎｏ）した場合にはＳ２０４に処理を進め、一方、入力信号変化があったと判定（Ｙｅｓ）した場合にはＳ２０３に処理を進める。

Ｓ２０３に進むと、ＣＰＵ１１０は、画像入力部１３０から入力された画像信号を画像処理部１４０に送り、画像処理部１４０を制御して入力切替処理を行わせる。このときの画像処理部１４０は、入力された画像信号の解像度、フレームレートなどを検知して、それに適したタイミングで入力画像をサンプリングし、必要な画像処理を行った上で、液晶制御部１５０に出力する。これにより、画像入力部１３０から入力された画像信号を基に生成された画像が、液晶パネル１５１のパネル面上に形成されて、映像投影が行われることになる。Ｓ２０３の後、ＣＰＵ１１０は、Ｓ２０４に処理を進める。

Ｓ２０４に進むと、ＣＰＵ１１０は、操作部１１３を介してユーザ操作が入力されたか否かを判定する。ＣＰＵ１１０は、Ｓ２０４において、ユーザ操作が入力されていないと判定（Ｎｏ）した場合にはＳ２０８に処理を進め、一方、ユーザ操作が入力されたと判定（Ｙｅｓ）した場合にはＳ２０５に処理を進める。

Ｓ２０５に進むと、ＣＰＵ１１０は、操作部１１３を介して入力されたユーザ操作は終了操作か否かを判定する。ＣＰＵ１１０は、Ｓ２０５において、ユーザ操作が終了操作であると判定（Ｙｅｓ）した場合にはＳ２０６に処理を進め、投影終了処理を実行する。具体的には、ＣＰＵ１１０は、投影終了処理として、光源制御部１６０への指示を介した光源１６１の消灯制御、液晶制御部１５０への指示を介した液晶パネル１５１の駆動停止制御、必要な設定のＲＯＭ１１１への保存などを行う。Ｓ２０６の投影終了処理の実行後、ＣＰＵ１１０は、図２の基本動作のフローチャートの処理を終了する。一方、Ｓ２０５において、ユーザ操作が終了操作ではないと判定（Ｎｏ）した場合、ＣＰＵ１１０は、Ｓ２０７に処理を進める。

Ｓ２０７に進むと、ＣＰＵ１１０は、操作部１１３を介して入力されたユーザ操作の内容に対応したユーザ処理を実行する。例えば、ＣＰＵ１１０は、ユーザ処理として、設置設定の変更、入力信号の変更、画像処理の変更、情報の表示制御などを行う。Ｓ２０７の後、ＣＰＵ１１０は、Ｓ２０８に処理を進める。

Ｓ２０８に進むと、ＣＰＵ１１０は、通信部１９３がコマンドを受信したか否かを判定する。ＣＰＵ１１０は、Ｓ２０８において、コマンドが受信されていないと判定（Ｎｏ）した場合にはＳ２０２に処理を戻す。一方、Ｓ２０８において、コマンドが受信されたと判定（Ｙｅｓ）した場合、ＣＰＵ１１０は、Ｓ２０９に処理を進める。

Ｓ２０９に進むと、ＣＰＵ１１０は、通信部１９３にて受信されたコマンドが終了コマンドか否かを判定する。ＣＰＵ１１０は、Ｓ２０９において、終了コマンドであると判定（Ｙｅｓ）した場合にはＳ２０６に処理を進め、前述した投影終了処理を実行する。一方、Ｓ２０９において、終了コマンドではないと判定（Ｎｏ）した場合、ＣＰＵ１１０は、Ｓ２１０に処理を進める。

Ｓ２１０に進むと、ＣＰＵ１１０は、受信したコマンドの内容に対応したコマンド処理を実行する。例えば、ＣＰＵ１１０は、コマンド処理として、設置設定、入力信号設定、画像処理設定、状態取得などを行う。Ｓ２１０の後、ＣＰＵ１１０は、Ｓ２０２に処理を戻す。

なお、本実施形態の液晶プロジェクタ１００では、画像入力部１３０より入力された映像のほか、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データの映像を表示することもできる。また、液晶プロジェクタ１００は、通信部１９３から受信した静止画データや動画データの映像を表示することもできる。

＜キーストーン補正による台形補正の概要説明＞
以下、本実施形態の液晶プロジェクタ１００で行われる後述する補正処理に対する比較例として、図３（ａ）〜図３（ｃ）及び図４を用い、前述した特許文献１等に記載された既存の台形補正処理とその問題点を説明する。
図３（ａ）は、アスペクト比が例えば４：３のスクリーン９１０に対し、キーストーン補正処理が行われていない未補正の映像を斜め下方向から投影した状態を表した図である。図３（ａ）の例の場合、投影映像９２０は、キーストーン補正処理されていないため、斜めに歪んだ映像となっている。

ここで、図３（ａ）に例示したスクリーン９１０のアスペクト比は４：３であるが、一方、プロジェクタの投影用の液晶パネルのアスペクト比は例えば１６：１０であるとする。図３（ｂ）は、特許文献１等に記載の手法を用いて、スクリーン９１０のアスペクト比に合わせる補正処理を行った後の映像（以下、補正済映像９３０とする。）が投影された状態を示した図である。なお、図３（ｂ）には、比較のため、補正処理が行われていない投影映像９２０（以下、未補正映像９２０とする。）も示されている。この図３（ｂ）に示すように、補正済映像９３０は、スクリーン９１０内に入るように補正処理が施されている。この図３（ｂ）の例の場合、スクリーン９１０のアスペクト比（４：３）と投影用の液晶パネルのアスペクト比（１６：１０）とは異なっている。このため、アスペクト比を保った補正処理を実現する場合には、未補正映像９２０の図中黒丸Ｂ１〜Ｂ４で示される四つの頂点を、補正済映像９３０ではそれぞれ対応した図中白丸Ｗ１〜Ｗ４で示される四つの頂点に移動するようなキーストーン補正が行われる。その結果、図３（ｂ）に示すように、スクリーン９１０の上下には、補正済映像９３０が投影されない領域が生ずることになる。なお、スクリーン９１０のアスペクト比と投影用の液晶パネルのアスペクト比との組み合わせによっては、スクリーン９１０の左右に映像が投影されない領域ができる場合もある。

図３（ｃ）は、投影用の液晶パネルのアスペクト比が１６：１０で、スクリーン９１０のアスペクト比が４：３である場合において、アスペクト比が４：３の入力画像信号にキーストーン補正処理を行った後の映像を投影した状態を表した図である。この例の場合、入力画像信号のアスペクト比が４：３であるため、その画像信号にキーストーン補正を行った後の補正済映像９４０は、スクリーン９１０上では図３（ｃ）中の斜線で示すような大きさの映像として投影されることになる。すなわち、特許文献１等の手法を用いた場合、スクリーン９１０のアスペクト比と入力画像信号のアスペクト比とが共に等しい（４：３）にも関わらず、補正済映像９４０はスクリーン９１０に対して過剰に小さくなされて投影されてしまう。

また、投影用の液晶パネルではパネル面全面を使って映像が投写されるため、補正済映像９３０は、必ず未補正映像９２０が投影されていた投影領域内に包含される投影映像となる。一方、液晶プロジェクタ１００の設置の仕方によっては、例えば図４に示すように、スクリーン９１０の一部に、投影映像（この例では未補正映像９２０を示している。）が投影されない部分が生ずる場合もある。この場合、特許文献１に記載の手法のように、スクリーン９１０のアスペクト比に合わせた補正処理を行ったとしても、スクリーン９１０上で未補正映像９２０が投影されなかった部分にはやはり映像が投影されず、スクリーン９１０を有効に利用できない。

＜第１の実施形態の画像処理部の構成及び動作説明＞
このため、本実施形態の液晶プロジェクタ１００は、図５に示す画像処理部１４０を有し、以下に説明する処理を行うことで、入力画像信号のアスペクト比を保持したまま、補正済みの映像をスクリーンに対してできる限り大きく投影すること可能としている。
図５は、本実施形態の液晶プロジェクタ１００の画像処理部１４０の詳細な構成を示したブロック図である。本実施形態の画像処理部１４０は、各種画像処理部３１０、レイアウト処理部３２０、変形処理部３３０を有している。なお、図５にはＣＰＵ１１０、液晶制御部１５０、フレームメモリ３４０も示されている。フレームメモリ３４０は、変形処理部３３０がキーストーン補正前若しくは補正後の画像を格納するためのメモリであり、例えばＲＡＭ１１２に含まれる。

図５において、元画像信号３０１０は、前述した画像入力部１３０、記録再生部１９１、通信部１９３などから入力される画像信号である。タイミング信号３０２０は、元画像信号３０１０に同期した垂直同期信号、水平同期信号、クロックなどのタイミング信号であって、元画像信号３０１０の供給元から供給される。画像処理部１４０内の各ブロックはタイミング信号３０２０に基づいて動作する。なお、画像処理部１４０は、タイミング信号３０２０から、それぞれ各ブロックに必要なタイミング信号を作り直すようになされていてもよい。

各種画像処理部３１０は、ＣＰＵ１１０と連携して、元画像信号３０１０に対して統計処理を行い、ヒストグラムやＡＰＬ（Ａｖｅｒａｇｅ＿Ｐｉｃｔｕｒｅ＿Ｌｅｖｅｌ）をはじめとする統計情報を取得する。また、各種画像処理部３１０は、元画像信号３０１０に対して各種画像処理を施す。各種画像処理部３１０は、各種画像処理後の画像信号である画処理後信号３０３０を、レイアウト処理部３２０に出力する。なお、各種画像処理の種類としては、ＩＰ変換、フレームレート変換、解像度変換、γ変換、色域変換、ゲイン処理、色補正、エッジ強調などを挙げることができ、これらの各種画像処理は公知であるのでその説明は省略する。統計情報は、ゲイン処理等に用いられるがその説明についても省略する。

レイアウト処理部３２０は、ＣＰＵ１１０からの指示に基づいて、画処理後信号３０３０に対する液晶パネル１５１上の配置を決定するレイアウト処理を行う。詳細については後述するが、ＣＰＵ１１０は、投影対象領域とそのアスペクト比を求め、それら投影対象領域とアスペクト比を基に、レイアウト処理部３２０におけるレイアウト処理を制御する。レイアウト処理部３２０は、ＣＰＵ１１０からの指示を基に画処理後信号３０３０をレイアウト処理したレイアウト後信号３０４０を、変形処理部３３０に出力する。また、レイアウト処理部３２０は、いわゆるＯＳＤ（オンスクリーンディスプレイ）合成などの処理を行うこともできる。ＯＳＤの具体例は後述する。
なお、各種画像処理部３１０とレイアウト処理部３２０の順序は、図５の例に限ったものではなく、レイアウト処理後に各種画像処理を行うような構成であってもよい。

変形処理部３３０は、レイアウト後信号３０４０の画像に対し、以下の式（１）、式（２）に基づく所定の変形処理、つまりキーストーン補正処理を施す。そして、変形処理部３３０は、その変形処理後の画像信号（以下、変形後画像信号３０５０とする。）を、液晶制御部１５０へ出力する。
ここで、キーストーン補正は射影変換により実現でき、補正処理前の元画像の任意の画素の座標を（ｘｓ，ｙｓ）とすると、その画素に対応した、変形処理後の座標（ｘｄ，ｙｄ）は式（１）で表わされる。

式（１）のＭは、３×３行列で、元画像から変形処理後の画像への射影変換行列である。（ｘｓｏ，ｙｓｏ）は、図６中の実線で示す元画像８００の一つの頂点の座標であり、（ｘｄｏ，ｙｄｏ）は、図６中の一点鎖線で示す変形処理後の画像８１０の各頂点のうち、元画像８００の頂点（ｘｓｏ，ｙｓｏ）に対応した頂点の座標値である。

また、変形処理部３３０は、ＣＰＵ１１０から式（１）の行列Ｍの逆行列Ｍ^-1と、オフセット情報とが入力され、式（２）に従って変形処理後の画像８１０の座標値（ｘｄ，ｙｄ）に対応する元画像の座標（ｘｓ，ｙｓ）を求める。オフセット情報は、元画像８００の各頂点における（ｘｓｏ，ｙｓｏ）の座標値、及び、変形処理後の画像８１０の各頂点における（ｘｄｏ，ｙｄｏ）の座標値である。

ここで、式（２）から求められた元画像の座標が整数になれば、その元画像の座標（ｘｓ，ｙｓ）の画素値を、そのまま変形処理後の画像８１０の座標（ｘｄ，ｙｄ）の画素値としてもよい。しかし、式（２）により求められた元画像の座標は整数になるとは限らないので、式（２）で求めた元画像の座標が整数にならない場合、変形処理部３３０は、周辺画素の値を用いた補間処理により、変形処理後の画像８１０の座標（ｘｄ，ｙｄ）の画素値を求める。補間の方法は、バイリニア、バイキュービック、その他の任意の補間方法を用いればよい。また、式（２）から求められた元画像の座標が、元画像８００の領域の範囲外である場合、変形処理部３３０は、その画素値を黒またはユーザが設定した背景色の値とする。

変形処理部３３０は、前述のようにして変形処理後の全ての座標の画素値を求めて、変形後画像を生成し、その変形後画像信号３０５０を液晶制御部１５０に出力する。これにより液晶パネル１５１のパネル面上には変形処理後の画像が表示される。
なお、上述の説明では、画像処理部１４０には、ＣＰＵ１１０から行列Ｍの逆行列Ｍ^-1の情報が入力されるとしたが、行列Ｍの情報のみが入力され、画像処理部１４０の内部で逆行列Ｍ^-1を求めてもよい。

以下、本実施形態の液晶プロジェクタ１００において、前述したような変形処理後の画像を液晶パネル１５１上に形成する場合に、映像をスクリーンにできるだけ大きく投影する手法について、図７〜図９を参照しながら説明する。
図７は、ＣＰＵ１１０が、ＲＯＭ１１１に記憶されている本実施形態に係るプログラムに基づいて各ブロックを制御することにより実行される処理の流れを示すフローチャートである。図７のフローチャートの処理は、操作部１１３や不図示のリモコンによりユーザがキーストーンの自動補正処理の実行開始を選択した場合にスタートする。なお、図７のフローチャートの処理は、液晶プロジェクタ１００本体の設置場所が移動されたことや傾きがが変えられたこと等を、不図示の振動センサにより検出したことでキーストーンの自動補正機能が起動される場合にスタートしてもよい。

ＣＰＵ１１０は、キーストーンの自動補正処理を開始すると、先ず、Ｓ４０１において、液晶制御部１５０を制御して液晶パネル１５１上に黒画像を形成させる。これにより、投影光学系１７１からは、スクリーン方向に黒画像が投写されることになる。

次に、ＣＰＵ１１０は、Ｓ４０２において、撮像部１９４を制御してスクリーン方向を撮像させる。なお、撮像部１９４の撮像範囲は、スクリーンの全面だけでなくその周辺をも含む範囲となされている。したがって、撮像部１９４は、スクリーン及びその周辺を撮像する。そして、撮像部１９４により取得された撮像画像のデータは、ＣＰＵ１１０による制御の下、ＲＡＭ１１２に記憶される。このように、スクリーン方向に黒画像を投写し、スクリーン及びその周辺の撮像を行うのは、投影映像の影響を少なくし、後述するＳ４０３で行われるスクリーン領域検知処理を行い易くするためである。なお、本実施形態では、黒画像を投写するとしたが、光源１６１の光量を少なくする制御を行うことで、投影映像の影響を少なくしてもよい。

ここで、図８（ｂ）は、液晶プロジェクタ１００がスクリーン５３０に対して正対せずに斜めに設置されている場合の、液晶プロジェクタ１００の撮像部１９４とスクリーン５３０との間の相対的な位置関係を示した図である。なお、図８（ｂ）中の四角形の領域５４０は、撮像部１９４が備えている撮像素子の撮像面（以下、撮像面５４０とする。）を模式的に表現したものである。撮像面５４０は、撮像部１９４の撮像光学系の光軸ｚに対して垂直な面となされている。なお、撮像部１９４の光軸ｚは、投影光学系１７１の光軸と平行な軸となされている。一方、図８（ｂ）の例の場合、液晶プロジェクタ１００はスクリーン５３０に対して正対せずに斜めに設置されているため、スクリーン５３０は光軸ｚに対して斜めになっている。

図８（ａ）は、図８（ｂ）に示した位置関係の例において、未補正の黒画像が投写された状態のスクリーン方向を、撮像部１９４により撮像して得られた撮像画像５１０の一例を示した図である。図８（ａ）の撮像画像５１０には、図８（ｂ）の撮像部１９４により撮像されたスクリーン５３０の画像領域（以下、スクリーン領域５２０とする。）が含まれている。すなわち、図８（ｂ）のように液晶プロジェクタ１００がスクリーン５３０に対して斜めに設置されている場合、実際には長方形であるスクリーン５３０が、図８（ａ）の撮像画像５１０のスクリーン領域５２０のように歪んだ四辺形の画像として撮像される。

前述のようにしてＳ４０２で撮像画像が取得されると、次に、ＣＰＵ１１０は、Ｓ４０３において、Ｓ４０２で撮像されてＲＡＭ１１２に記憶された撮像画像５１０から、スクリーン領域５２０を検知する。図８（ｂ）のように液晶プロジェクタ１００がスクリーン５３０に対して斜めに設置されている場合、Ｓ４０３において、ＣＰＵ１１０は、図８（ａ）の撮像画像５１０から、歪んだ四辺形のスクリーン領域５２０を検知することになる。本実施形態の場合、ＣＰＵ１１０は、撮像画像５１０から、スクリーン画像の４辺或いは４頂点を求めることにより、スクリーン領域５２０を検出する。より具体的には、ＣＰＵ１１０は、撮像画像５１０を２値画像に変換し、その変換後の２値画像の各画素点に対してハフ変換を行って線分を検出する方法などを用いることにより、スクリーン領域５２０の４辺を検出する。また、ＣＰＵ１１０は、スクリーン領域５２０の各辺が交わる点を４頂点として検出可能である。

次に、ＣＰＵ１１０は、Ｓ４０４において、液晶プロジェクタ１００（具体的には撮像部１９４）を基準座標ＲＣとして、スクリーン５３０の三次元座標を算出する。ここで、液晶プロジェクタ１００の撮像部１９４は、スクリーン５３０及びその周辺を撮像しているため、図８（ｂ）に示したように、撮像部１９４の撮像面５４０上には、スクリーン５３０の写像（以下、スクリーン写像５４１とする。）が形成される。このため、撮像面５４０上のスクリーン写像５４１の各頂点Ｐ１'〜Ｐ４'は、スクリーン５３０の各頂点Ｐ１〜Ｐ４に対応し、さらに、図８（ａ）の撮像画像５１０内のスクリーン領域５２０の各頂点Ｐ１'〜Ｐ４'とも対応している。つまり、Ｓ４０３にて検知されたスクリーン領域５２０の４頂点Ｐ１'〜Ｐ４'のｘｙ座標は、撮像部１９４の撮像面５４０上のスクリーン写像５４１の各頂点Ｐ１'〜Ｐ４'のｘｙ座標にそれぞれ対応している。また、スクリーン５３０の各頂点Ｐ１〜Ｐ４の三次元座標は、基準座標ＲＣからスクリーン写像５４１の各頂点Ｐ１'〜Ｐ４'をそれぞれ通る直線の延長線上の座標である。そして、撮像部１９４の撮像面５４０上の各画素の座標は既知であるため、スクリーン写像５４１の各頂点Ｐ１'〜Ｐ４'のｘｙ座標についてもそれぞれ既知である。したがって、基準座標ＲＣからスクリーン写像５４１の各頂点Ｐ１'〜Ｐ４'を通る各直線の延長線上において、基準座標ＲＣからスクリーン５３０の各頂点Ｐ１〜Ｐ４までの各距離ｚ１〜ｚ４が判れば、それら各頂点Ｐ１〜Ｐ４の各三次元座標を算出できる。

また、本実施形態において、スクリーン５３０の実際の形状は長方形であるため、それぞれ向かい合う辺の長さは等しく、また対角線の長さも等しい。つまり、スクリーン５３０の各頂点間の距離は下記式（３）〜式（５）に示す関係を有している。
（Ｐ１とＰ２との間の距離）＝（Ｐ３とＰ４との間の距離）式（３）
（Ｐ１とＰ４との間の距離）＝（Ｐ２とＰ３との間の距離）式（４）
（Ｐ１とＰ３との間の距離）＝（Ｐ２とＰ４との間の距離）式（５）
ここで、スクリーン５３０の三次元座標を算出する場合において、これら式（３）〜式（５）と四つの未知数（各距離ｚ１〜ｚ４）のうち、各距離ｚ１〜ｚ４については実際の距離の値が必要なのではなく、それぞれ相対値が判ればよい。このため、各距離ｚ１〜ｚ４のうち一つの距離の値を任意の値に仮定すれば、式（３）〜式（５）を基に、スクリーン５３０の各頂点Ｐ１〜Ｐ４の各三次元座標を算出することが可能となる。ＣＰＵ１１０は、Ｓ４０４において、このようにしてスクリーン５３０の三次元座標を算出する。

次に、ＣＰＵ１１０は、Ｓ４０５において、液晶制御部１５０を制御して液晶パネル１５１に、キーストーン補正されていない白画像を形成させる。これにより、投影光学系１７１からは、スクリーン方向に白画像が投写されることになる。さらに、ＣＰＵ１１０は、Ｓ４０６において、撮像部１９４を制御してスクリーン方向の画像を撮像させる。撮像部１９４により取得された撮像画像のデータは、ＣＰＵ１１０による制御の下、ＲＡＭ１１２に記憶される。

次に、Ｓ４０７において、ＣＰＵ１１０は、Ｓ４０６での白投影時の撮像画像と、Ｓ４０２での黒投影時の撮像画像とを比較解析することで、キーストーン補正されていない未補正映像が投影された投影映像領域とスクリーン５３０との重なり領域の検出を行う。
図８（ｃ）は、Ｓ４０６で取得された撮像画像５１１を示しており、未補正映像（この場合は未補正の白画像）の投影映像領域５５０とスクリーン領域５２０との重なり具合の一例を示した図である。なお、図８（ｃ）では、未補正映像の投影映像領域５５０を便宜的に長方形の領域として示しているが、これはスクリーン５３０の外側がスクリーンと略々同一平面の壁などである場合に限られる。スクリーン５３０からはみ出す領域については、周辺環境に依存するためこの限りではない。

ここで、黒投影時にＳ４０２で取得した図８（ａ）の撮像画像５１０と比べると、白投影時にＳ４０６で取得した図８（ｃ）の撮像画像５１１は、未補正映像の投影映像領域５５０、つまり白画像が投影されている領域の画素値が著しく大きくなる。そこで、ＣＰＵ１１０は、スクリーン領域５２０の辺上において、画素値が大きく変わる点（画素値の変化量が大きい点、以下変化点とする。）の、撮像部１９４の撮像面上でのｘｙ座標を求める。図８（ｃ）の例において、スクリーン領域５２０の辺上で、頂点Ｐ１'の画素から点Ｑ１'の一つ手前の画素まで、及び、頂点Ｐ１'の画素から点Ｑ２'の一つ手前の画素までは、それぞれ画素値が低く、また画素値の変化も殆どないとする。一方、スクリーン領域５２０の辺上で、頂点Ｐ２'の画素から点Ｑ１'の画素まで、及び、頂点Ｐ４'の画素から点Ｑ２'の画素までは、それぞれ画素値が高く、また画素値の変化も殆どないとする。この場合、点Ｑ１'の画素は、その点Ｑ１'から頂点Ｐ１'側の一つ手前の画素に対して画素値の変化量が大きい画素である。したがってＣＰＵ１１０は、スクリーン領域５２０の辺上の点Ｑ１'を変化点Ｑ１'として検出し、この変化点Ｑ１'の画素のｘｙ座標を求める。同様に、点Ｑ２'の画素は、その点Ｑ２'から頂点Ｐ１'側の一つ手前の画素に対して画素値の変化量が大きい画素である。したがってＣＰＵ１１０は、スクリーン領域５２０の辺上の点Ｑ２'を変化点Ｑ２'として検出し、この変化点Ｑ２'の画素のｘｙ座標を求める。

また、変化点Ｑ１'が対応する、スクリーン５３０上の点（点Ｑ１とする。）の三次元座標は、撮像部１９４の基準座標ＲＣと撮像面上の変化点Ｑ１'とを結ぶ直線の延長線と、スクリーン５３０の頂点Ｐ１〜Ｐ２を結ぶ線分Ｐ１−Ｐ２との交点の座標である。同様に、変化点Ｑ２'が対応する、スクリーン５３０上の点（点Ｑ２とする。）の三次元座標は、撮像部１９４の基準座標ＲＣと撮像面上の変化点Ｑ２'とを結ぶ直線の延長線と、スクリーン５３０の頂点Ｐ１〜Ｐ４を結ぶ線分Ｐ１−Ｐ４との交点の座標である。図８（ｄ）は、スクリーン５３０の平面上に点Ｑ１と点Ｑ２を表した図であり、この例では各点Ｑ１，Ｐ２，Ｐ３，Ｐ４，Ｑ２を頂点とする五角形の領域が、スクリーン５３０と未補正映像の投影映像領域５５０との重なり領域５６０である。ＣＰＵ１１０は、Ｓ４０７において、上述のようにして重なり領域５６０を検出する。

なお、図８（ｃ）では、スクリーン領域５２０の一部が未補正映像の投影映像領域５５０内から外れている例を挙げたため、重なり領域５６０は図８（ｄ）に示した各点Ｑ１，Ｐ２，Ｐ３，Ｐ４，Ｑ２を頂点とする五角形の領域として検出される。これに対し、図示は省略するが、例えば、未補正映像の投影映像領域内にスクリーン領域の全てが収まっている場合、ＣＰＵ１１０は、スクリーン領域５２０を重なり領域として検出することになる。

次に、Ｓ４０８において、ＣＰＵ１１０は、投影対象領域のアスペクト比を算出する。
ここで、ＣＰＵ１１０は、以下のようにして投影対象領域を決定する。ＣＰＵ１１０は、先ず、重なり領域を基に長方形の領域を求める。
図８（ｄ）の例の場合、ＣＰＵ１１０は、重なり領域５６０内で採り得る長方形の領域として、各点Ｑ１，Ｐ２，Ｐ３を頂点として含む長方形の領域と、各点Ｑ２，Ｐ４，Ｐ３を頂点として含む長方形の領域とを求める。そして、ＣＰＵ１１０は、これら重なり領域５６０内で採り得る各長方形の領域のうち、面積が最も大きい長方形の領域を、投影対象領域として採用し、その投影対象領域のアスペクト比を算出する。例えば、図８（ｄ）の場合は、各点Ｑ１，Ｐ２，Ｐ３を頂点として含む長方形が投影対象領域として採用されることになる。そして、ＣＰＵ１１０は、Ｓ４０４で求めた各頂点Ｐ１〜Ｐ４の三次元座標と、Ｓ４０７で求めた点Ｑ１の三次元座標とから、線分Ｐ２−Ｐ３の長さと線分Ｑ１−Ｐ２の長さを求める。さらに、ＣＰＵ１１０は、それら線分Ｐ２−Ｐ３の長さと線分Ｑ１−Ｐ２の長さとの比を、投影対象領域のアスペクト比として算出する。

なお、未補正映像の投影映像領域内にスクリーン領域の全てが収まっているため、スクリーン領域５２０が重なり領域として検出された場合、ＣＰＵ１１０は、スクリーン５３０の頂点Ｐ１〜Ｐ４の三次元座標に基づく長方形の領域を投影対象領域する。そして、ＣＰＵ１１０は、その投影対象領域のアスペクト比、つまりスクリーン５３０のアスペクト比を算出することになる。

次に、Ｓ４０９において、ＣＰＵ１１０は、Ｓ４０８で算出した投影対象領域のアスペクト比と、例えばＧＵＩ（グラフィカルユーザインターフェイス）メニュー等を介してユーザにより設定されている投影アスペクト比とを比較する。投影アスペクト比は、液晶パネル１５１のパネル面上において画像をレイアウト可能な領域のアスペクト比であり、本実施形態の場合、図５の画処理後信号３０３０の画像がレイアウトされる領域のアスペクト比である。投影アスペクト比の具体例については図９（ａ）〜図９（ｃ）等を用いて説明する。そして、ＣＰＵ１１０は、その投影対象領域のアスペクト比と投影アスペクト比との比較結果を基に、各種画像処理部３１０における解像度変換を制御し、また、レイアウト処理部３２０におけるレイアウト処理を制御する。詳細は図１０（ａ）〜図１０（ｆ）で説明するが、ＣＰＵ１１０は、各種画像処理部３１０とレイアウト処理部３２０に対し、元画像信号３０１０を投影アスペクト比と液晶パネル１５１の解像度とに合わせて解像度変換及びレイアウトする処理を行わせる。

図９（ａ）〜図９（ｃ）は、それぞれ液晶パネル１５１のパネル面、つまり画像が形成される領域である表示領域６１０を示した図であり、表示領域６１０のアスペクト比は１６：１０であるとする。投影アスペクト比が１６：１０に設定されている場合、液晶パネル１５１の表示領域６１０のアスペクト比と等しいので、図９（ａ）に示すように、画像をレイアウト可能な領域６２０は液晶パネル１５１の表示領域６１０と一致する。一方、投影アスペクト比が１６：１０よりも横長に設定されている場合、図９（ｂ）に示すように、画像をレイアウト可能な領域６３０は、表示領域６１０の上下にそれぞれ斜線で示した領域を除いた領域となされる。表示領域６１０の上下の斜線で示した領域は、有効領域外となされ、例えば黒画像が形成（表示）される。また、投影アスペクト比が１６：１０よりも縦長に設定されている場合、図９（ｃ）に示すように、画像をレイアウト可能な領域６４０は、表示領域６１０の左右にそれぞれ斜線で示した領域を除いた領域となされる。表示領域６１０の左右の斜線で示した領域は、有効領域外となされ、例えば黒画像が形成（表示）される。

Ｓ４０９において、ＣＰＵ１１０は、比較した二つのアスペクト比が等しいと判定（Ｙｅｓ）した場合にはＳ４１０に処理を進める。Ｓ４１０に進むと、ＣＰＵ１１０は、適切な投影アスペクト比の設定がなされているので、画像処理部１４０を制御して、変形処理部３３０による変形処理を実行させる。Ｓ４１０における変形処理の詳細は後述する。このＳ４１０の後、ＣＰＵ１１０は、図７のフローチャートの処理を終了する。

一方、Ｓ４０９において、ＣＰＵ１１０は、比較した二つのアスペクト比が等しくないと判定（Ｎｏ）した場合にはＳ４１１に処理を進める。Ｓ４１１に進むと、ＣＰＵ１１０は、画像処理部１４０のレイアウト処理部３２０を制御してＯＳＤ画像を生成させ、液晶制御部１５０を介して液晶パネル１５１に送ることによりＯＳＤ表示を行わせる。このときのＯＳＤ表示では、例えば投影アスペクト比の設定変更ダイアログの表示等が行われる。例えば、Ｓ４０８で得られた投影対象領域のアスペクト比がＭ：Ｎであったのに、投影アスペクト比がＭ：Ｎ以外であった場合、ＣＰＵ１１０は、「投影アスペクトはＭ：Ｎが最適です。変更しますか？」などのメッセージのＯＳＤ表示を行わせる。なお、Ｓ４０８で得られた投影対象領域のアスペクト比は、一般的なアスペクト比（１６：９、４：３、１６：１０など）とならない可能性が高いが、それは問題ない。

次に、Ｓ４１２において、ＣＰＵ１１０は、ユーザが操作部１１３や不図示のリモコンなどを用いて入力した操作の内容を判定する。例えば、ユーザ操作がキャンセル操作であった場合、ＣＰＵ１１０は、投影アスペクト比の設定は行わず、Ｓ４１０に処理を進める。一方、ユーザ操作が例えば投影アスペクト比の設定操作であった場合、ＣＰＵ１１０は、Ｓ４１３に処理を進める。

Ｓ４１３に進むと、ＣＰＵ１１０は、ユーザが操作部１１３等を用いて入力した投影アスペクト比の設定を行う。具体的には、ＣＰＵ１１０は、図５のレイアウト処理部３２０に対し、画像をレイアウト可能な領域のアスペクト比、つまり投影アスペクト比を変更する。また、それに伴い、ＣＰＵ１１０は、各種画像処理部３１０に対し、その投影アスペクト比に対して適切な解像度変換を行うような設定を行わせる。Ｓ４１３の後、ＣＰＵ１１０は、Ｓ４１０に処理を進める。

Ｓ４１０の変形処理に進むと、ＣＰＵ１１０は、表示するべき元画像の４頂点の座標を、投影アスペクト比の設定に基づいて設定する。具体的には、ＣＰＵ１１０は、元画像の４頂点の座標を、投影アスペクト比の設定に応じて、図９（ａ）〜図９（ｃ）に示した領域６２０〜６４０の何れか決定された領域の４頂点の座標に設定する。また、ＣＰＵ１１０は、キーストーン補正の変形処理後の画像の４頂点の座標を、Ｓ４０８で決定した投影対象領域に基づいて設定する。なお例えば、撮像光学系と投影光学系１７１が同じである場合、つまり撮像部１９４が投影光学系１７１を撮像光学系として使用する構成となされている場合、ＣＰＵ１１０は、図８（ｃ）の各点Ｑ１'，Ｐ２'，Ｐ３'の座標から三つの頂点座標を求める。残りの１点の頂点座標は、補正後の投影映像がスクリーン５３０上で長方形になり、三次元座標は一意に定まるため、撮像面５４０上に写像される座標から求める。一方、投影光学系１７１と撮像光学系がそれぞれ別に用意されている場合には、それら光学系の光軸間の距離に応じて座標変換を行うことで、変形処理後の画像の４頂点の座標を求めてもよい。或いは、一旦、各点Ｑ１'，Ｐ２'，Ｐ３'の座標に基づいて変形及び投影を行い、再度、撮像部１９４を用いて撮像することによって誤差を検出し、その誤差を補正することにより、４頂点の座標を求めるようにしてもよい。また、撮像画像を用いず、ＧＵＩメニューなどから設定されるキーストーン補正設定値や、ズームレンズ、シフトレンズのポジションに基づいて、変形処理後の画像の４頂点の座標を計算してもよい。

図１０（ａ）〜図１０（ｆ）は、液晶パネル１５１の表示領域に対する画像の配置と、投影映像の投影状態との関係を説明する図である。
図１０（ａ）は、アスペクト比が４：３のスクリーン５３０に対し、液晶プロジェクタ１００が斜めに設置され、未補正映像の投影が行われた場合の投影状態例を示した図である。図１０（ａ）の投影状態例の場合、未補正映像の投影映像７１０は、スクリーン５３０から一部が外れ、且つその形状も歪んでいる。

図１０（ｂ）は、液晶パネル１５１上の表示領域６１０のアスペクト比が１６：１０であり、Ｓ４１３における投影アスペクト比の設定を、投影対象領域と同じＭ：Ｎに変更した場合の投影状態例を示した図である。図１０（ｂ）の投影状態例の場合、液晶パネル１５１上で画像をレイアウト可能な領域６４０のアスペクト比がＭ：Ｎとなされている。したがって、図１０（ｂ）の図中斜線で示す領域は前述したように有効領域外となされ、例えば黒画像が形成（表示）される。以下の図１０（ｃ）〜図１０（ｆ）の例についても、有効領域外には黒画像が形成（表示）されるとする。

図１０（ｃ）は、Ｓ４１０において変形処理が行われ、投影アスペクト比の設定で定められる未補正映像の投影映像７２０の４頂点（図中黒丸Ｂ１〜Ｂ４）を、投影対象領域のそれぞれ対応した４頂点（図中白丸Ｗ１〜Ｗ４）に合致させた状態を示す図である。

図１０（ｄ）は、図１０（ｃ）の場合において液晶パネル１５１上に変形処理後の画像を形成したときの画像形状（変形後形状７３０とする）を示す図である。図１０（ｄ）中の黒丸Ｂ１〜Ｂ４と白丸Ｗ１〜Ｗ４は、図１０（ｃ）の黒丸Ｂ１〜Ｂ４と白丸Ｗ１〜Ｗ４に対応する位置を表している。変形後形状７３０は、液晶パネル１５１上で画像をレイアウト可能な領域６４０よりも大きくなる場合もある。これにより、アスペクト比がＭ：Ｎの画像を入力した場合には、投影対象領域いっぱいに映像が投影されることになる。他のアスペクト比の画像が入力された場合には、投影対象領域の縦幅又は横幅のどちらかが、液晶パネル１５１上で画像をレイアウト可能な領域６４０内でいっぱいとなるように画像が配置される。

図１０（ｅ）は、表示するべき画像としてアスペクト比がＭ：Ｎよりも横長の画像が入力された場合の、液晶パネル１５１上における変形処理後の画像（変形後形状７３０）のレイアウト例を示す図である。この図１０（ｅ）の場合、レイアウトの候補としては、画像を上側に配置して下側に黒帯を表示するレイアウト、画像を下側に配置して上側に黒帯を表示するレイアウト、画像を中央に配置して上下側に黒帯を表示するレイアウトがある。図１０（ｅ）の例では、変形後形状７３０の上辺と下辺のうち長い方に寄せる（この例では長い方の下辺に近い位置に配置する）レイアウトが選択され、上辺側には黒帯７４０が配置される。

図１０（ｆ）は、表示するべき画像としてアスペクト比がＭ：Ｎよりも縦長の画像が入力された場合の、液晶パネル１５１上における変形処理後の画像（変形後形状７３０）のレイアウト例を示す図である。この図１０（ｆ）の場合、レイアウトの候補としては、画像を左側に配置して右側に黒帯を表示するレイアウト、画像を右側に配置して左側に黒帯を表示するレイアウト、画像を中央に配置して左右側に黒帯を表示するレイアウトがある。図１０（ｆ）の例では、変形後形状７３０の左辺と右辺の長い方に寄せる（この例では長い方の左辺に近い位置に配置する）レイアウトが選択され、右辺側には黒帯７５０が配置される。

本実施形態の液晶プロジェクタ１００によれば、これら図１０（ａ）〜図１０（ｆ）に示すように、液晶パネル１５１上の画素を出来る限り多く使って画像を表示することができるので、高画質な表示が可能となる。

以上説明したように、本実施形態によれば、入力画像信号は、投影アスペクト比の設定に応じて解像度変換及びレイアウト処理され、投影アスペクト設定に応じた領域が、前述した重なり領域内で採り得る長方形に合致するように変形される。これにより、キーストーン補正による変形処理後の画像は、入力画像信号のアスペクト比を保ったまま、スクリーンに表示できる最大サイズで投影される。
なお、本実施形態では、スクリーンのアスペクト比と投影アスペクト比とが異なるときに設定変更ダイアログを表示してユーザの入力を反映したが、ユーザの入力無しに自動で投影アスペクト設定が行われてもよい。

＜第２の実施形態の説明＞
以下、第２の実施形態について説明する。第２の実施形態の液晶プロジェクタ１００の全体構成及び基本動作は前述した第１の実施形態と同様であるためその説明は省略する。第１の実施形態では、投影対象領域を決定するときに、面積の大きい方の長方形を採用していたが、第２の実施形態では、画像入力部１３０が有する各種の入力端子のなかで、選択されている（入力画像信号が入力される）入力端子に応じて投影対象領域を決定する。

前述したように、画像入力部１３０は、パーソナルコンピュータ（ＰＣ）からのＰＣ信号や音声・映像信号（ＡＶ信号）が入力される各種の入力端子を含んでいる。これら入力端子のうち、例えばアナログＲＧＢ端子、コンポーネント端子、ＨＤＭＩ端子、ＤＶＩ端子などでは、アスペクト比が１６：９や４：３のような横長の画像信号が入力されることが多い。したがって、ＣＰＵ１１０は、画像入力部１３０において選択されている（接続されている）入力端子が、それらアナログＲＧＢ端子、コンポーネント端子、ＨＤＭＩ端子、ＤＶＩ端子などである場合には、投影対象領域として横長の長方形を採用する。また、ＵＳＢ端子など、写真等の画像データ等が入力される端子が選択（接続）されている場合、写真画像は縦長の画像である場合も多いため、ＣＰＵ１１０は、第１の実施形態の場合と同様に面積の大きい方を投影対象領域として採用する。

このように、第２の実施形態においては、選択（接続）されている入力端子により、適切な投影対象領域を選ぶことができ、これによりできるだけ大きいサイズでスクリーンへの投影表示を行うことができる。

＜第３の実施形態の説明＞
以下、第３の実施形態について説明する。第３の実施形態の液晶プロジェクタ１００の全体構成及び基本動作は前述した第１の実施形態と同様であるためその説明は省略する。第１の実施形態では、投影対象領域とは異なるアスペクト比の画像信号が入力された場合、液晶パネル１５１の画素を出来る限り多く使えるようなレイアウトを決定したが、第３の実施形態では、投影光学系１７１の光軸に近い方に画像を配置するレイアウトとする。

すなわち、ＣＰＵ１１０は、光学系制御部１７０を介して投影光学系１７１の光軸に対応した画素位置を把握しているため、投影対象領域とは異なるアスペクト比の画像信号が入力された場合には、その光軸に近い方に画像を配置するレイアウトを決定する。
投影光学系１７１の光学特性は、周辺部よりも中央部の方が良いことが多いため、第３の実施形態のように、光軸に近い方に画像を配置することで、光学歪、色収差などの少ない高画質な映像投影が可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００液晶プロジェクタ、１１０ＣＰＵ、１４０画像処理部、１５０液晶制御部、１５１Ｒ、１５１Ｇ、１５１Ｂ液晶パネル、１７１投影光学系、１９４撮像部、３１０各種画像処理部、３２０レイアウト処理部、３３０変形処理部、３４０フレームメモリ

Claims

スクリーンに映像投影される画像を処理する画像処理装置であって、
スクリーン方向を撮像した撮像画像を基に、入力画像を配置する対象領域を決定する決定手段と、
前記入力画像のアスペクト比を保ったまま、前記入力画像を前記対象領域に配置する配置手段と、
前記対象領域への配置がなされた画像に対して所定の変形処理を施す変形手段と、を有し、
前記決定手段は、前記撮像画像から、前記スクリーンの領域と映像投影がなされる投影領域との重なり領域を求め、前記重なり領域の内で採り得る長方形のアスペクト比に基づいて、前記対象領域を決定し、
前記変形手段は、前記対象領域が前記重なり領域の中に投影されるように前記入力画像に対する前記変形処理を行うことを特徴とする画像処理装置。
前記配置手段は、前記入力画像のアスペクト比と前記対象領域のアスペクト比とが異なる場合には、前記入力画像を配置する複数の候補の中から、前記スクリーン領域の形状に応じた候補を選択することを特徴とする請求項１に記載の画像処理装置。
前記配置手段は、前記入力画像のアスペクト比が、前記対象領域のアスペクト比よりも横長のアスペクト比である場合には、前記スクリーン領域の形状の上辺と下辺を比較して長い方の辺に近い位置に前記入力画像を配置することを特徴とする請求項２に記載の画像処理装置。
前記配置手段は、前記入力画像のアスペクト比が、前記対象領域のアスペクト比よりも縦長のアスペクト比である場合には、前記スクリーン領域の形状の左辺と右辺を比較して長い方の辺に近い位置に前記入力画像を配置することを特徴とする請求項２に記載の画像処理装置。
前記配置手段は、更に、ユーザにより設定されたアスペクト比に合わせるようにして前記入力画像を前記対象領域に配置することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
前記決定手段は、黒画像が投写された前記スクリーン方向の撮像画像と、白画像が投写された前記スクリーン方向の撮像画像とを基に、前記重なり領域を求めることを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
前記決定手段は、前記重なり領域の内で採り得る長方形が複数ある場合、前記長方形の面積の大きさに基づいて、前記対象領域を決定することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
前記決定手段は、前記面積が最も大きい前記長方形の領域を、前記対象領域として決定することを特徴とする請求項７に記載の画像処理装置。
前記決定手段は、前記重なり領域の内で採り得る前記長方形を、前記入力画像の信号が入力される入力端子に応じて決定することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
前記配置手段は、前記入力画像のアスペクト比と前記対象領域のアスペクト比が異なる場合には、前記入力画像の対角線の交点が、前記スクリーンに映像を投影する光学系の光軸に近い位置になるように前記入力画像を配置することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
スクリーンに映像投影される画像を処理する画像処理装置の画像処理方法であって、
スクリーン方向を撮像した撮像画像を基に、入力画像を配置する対象領域を決定する決定工程と、
前記入力画像のアスペクト比を保ったまま、前記入力画像を前記対象領域に配置する配置工程と、
前記対象領域への配置がなされた画像に対して所定の変形処理を施す変形工程と、を有し、
前記決定工程では、前記撮像画像から前記スクリーンの領域と映像投影がなされる投影領域との重なり領域を求め、前記重なり領域の内で採り得る長方形のアスペクト比に基づいて、前記対象領域を決定し、
前記変形工程では、前記対象領域が前記重なり領域の中に投影されるように前記入力画像に対する前記変形処理を行うことを特徴とする画像処理方法。
コンピュータを、請求項１から１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。