JP2017201748A - 画像生成装置、画像生成方法、及びそのプログラム - Google Patents

Abstract

【課題】奥行き方向に変化のある投影対象に対して、専用のレンズを設計することなく、高精細な画像の投影を実現する。【解決手段】入力画像を複数の投影手段で投影対象上に投影するための投影画像を生成する画像生成装置であって、複数の投影手段の各々に関して、投影距離情報を導出する導出手段と、投影距離情報に基づいて、複数の投影手段の各々に関して、ボケ量の分布を算出する算出手段と、入力画像を取得する入力画像取得手段と、入力画像と複数の投影手段の各々における投影画像との対応情報を取得する対応情報取得手段と、対応情報に基づいて、複数の投影手段からの投影が重畳する重畳領域を特定する特定手段と、ボケ量の分布と、入力画像と、対応情報と、重畳領域とに基づいて、複数の投影手段の各々における投影画像を生成する生成手段とを備えることを特徴とする。【選択図】図３

Description

本発明は、投影画像を生成する画像生成装置、画像生成方法、及びそのプログラムに関する。

従来より、ドーム型や円筒型のスクリーンに対して高精細な画像を投影する技術が知られている。ドーム型や円筒型のスクリーンでは、平面型のスクリーンとは異なり、プロジェクタとスクリーンを正対させることができない。そのため、スクリーンの形状に合わせた投影が必要となる。この点、特許文献１には、ドーム型のスクリーンに複数のプロジェクタで重畳させて投影し、プロジェクタとスクリーンが正対していないことにより発生する歪みや重畳領域の輝度を補正することで、高精細な画像の投影を実現する手法が開示されている。また、特許文献２には、ドーム型のスクリーンに対して最適な魚眼レンズを用いて投影することにより、投影された画像の全ての領域でボケのない投影、即ち、高精細な画像の投影を実現する手法が開示されている。

特開２００５−３５４６８０号公報 特開２００７−１８７６９５号公報

しかしながら、特許文献１に記載の画像投影システムでは、ドーム型のスクリーンを用いるため、プロジェクタからスクリーンまでの距離が複数のプロジェクタで一定とならず、一部のプロジェクタに関して、被写界深度外の位置に投影することがある。このような状況において、全てのプロジェクタから画像を投影すると、一部のプロジェクタは被写界深度外の位置に投影することになるため、デフォーカスにより投影後の画像がボケてしまい、投影された画像全体として高精細な画像とすることができない。また、特許文献２に記載されたデジタル式プラネタリウム装置では、設計時に指定したスクリーンの形状、プロジェクタの位置姿勢に準拠した専用の魚眼レンズを使用しなければならず、それ以外の環境では高精細な画像の投影を実現することができない。

本発明に係る画像生成装置は、入力画像を、投影対象上に複数の投影手段で投影するための投影画像を生成する画像生成装置であって、前記複数の投影手段の各々に関して、投影距離情報を導出する導出手段と、前記投影距離情報に基づいて、前記複数の投影手段の各々に関して、ボケ量の分布を算出する算出手段と、前記入力画像を取得する入力画像取得手段と、前記入力画像と前記複数の投影手段の各々における投影画像との対応情報を取得する対応情報取得手段と、前記対応情報に基づいて、前記複数の投影手段からの投影が重畳する重畳領域を特定する特定手段と、前記ボケ量の分布と、前記入力画像と、前記対応情報と、前記重畳領域とに基づいて、前記複数の投影手段の各々における投影画像を生成する生成手段とを備えることを特徴とする。

本発明によれば、奥行き方向に変化のある投影対象に対して、専用のレンズを用いることなく、高精細な画像の投影を実現することができる。

実施例１に係る画像投影システムの構成例を示す図である。 実施例１に係る画像生成装置のハードウェア構成図である。 実施例１に係る画像生成装置の画像処理部の内部構成を示す機能ブロック図である。 投影部と半円筒型スクリーンの位置関係をワールド座標系で示した図である。 各投影部のピント距離とボケ量の関係を示した図である。 実施例１に係る画像生成装置の処理の流れを示すフローチャートである。 実施例１の投影結果を示した図である。 実施例２に係る画像生成装置の画像処理部の内部構成を示す機能ブロック図である。 実施例２に係る画像生成装置の画像処理部の投影画像生成部の内部構成を示す機能ブロック図である。 各投影部の被写界深度を示した図である。 各投影部の投影対象上における被写界深度内領域を示した図である。 各投影部の投影画像における被写界深度内領域と被写界深度外領域を示した図である。 実施例２の投影結果を示した図である。

以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

（実施例１）
図１は、本実施例に係る画像投影システムの構成例を示す図である。図１に示すように、画像投影システムは、画像生成装置１００、３つの投影部１０７〜１０９、これら投影部１０７〜１０９の投影対象であるスクリーン２０１とで構成される。

画像生成装置１００は、投影時においてデフォーカスにより発生するボケの影響を低減するように、各投影部１０７〜１０９の投影画像を生成する。なお、投影画像とは（スクリーン２０１に投影する）投影用の画像のことで、投影部１０７〜１０９毎に生成される。また、生成された投影画像は、例えば、ＬＡＮ（Local Area Network）ケーブル等の有線、又は無線ＬＡＮ等の無線の通信手段により、各投影部１０７〜１０９に転送される。

投影部１０７〜１０９は、画像生成装置１００により生成された画像を投影対象であるスクリーン２０１に投影するための機器であり、複数の位置からそれぞれ画像を投影することで、マルチプロジェクションを実現する。なお、本実施例では、３つの投影部１０７〜１０９を図１のように配置しているが、投影部の数、配置はこれに限定されることはない。即ち、投影部の数は複数であればよく、投影部の配置は図１と異なる配置とすることができる。また、図１において、各投影部１０７〜１０９からスクリーン２０１までの実線は、各投影部１０７〜１０９の投影画角を示している。

スクリーン２０１として、図１では半円筒型のスクリーンを示しているが、本実施例のスクリーンとしては奥行き方向に変化があればよく、例えば円筒型スクリーンやドーム型スクリーンの他、さらに複雑な形状を有するスクリーンを用いることもできる。

図２は、本実施例に係る画像生成装置１００のハードウェア構成図である。図２において、画像生成装置は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、操作部１０４、表示画像制御部１０５、表示部１０６、デジタル信号処理部１１０、画像処理部１１１、バス１１２を備える。

ＣＰＵ（Central Processing Unit）１０１は、画像生成装置１００を構成する各部を統括的に制御する。ＲＡＭ（Random Access Memory）１０２は、ＣＰＵ１０１の主メモリとして機能し、撮像画像データや投影画像データ等を一時的に格納する。ＲＯＭ（Read Only Memory）１０３は、ＣＰＵ１０１で実行される制御プログラム等を格納する。操作部１０４は、ユーザが入力操作を行うためのユーザインタフェースであり、例えば、操作ボタン等が含まれる。投影制御部１０５は、投影部１０７〜１０９に表示する投影画像の表示制御を行う。デジタル信号処理部１１０は、バス１１２を介して受け取ったデジタルデータに対し、ガンマ処理、ノイズ低減処理などの各種処理を行う。画像処理部１１１は、ＲＡＭ１０２から取得された入力画像データ、或いは、デジタル信号処理部１１０から出力されるデジタル画像データに対し所定の画像処理を行って投影画像データを生成する。

（画像処理部１１１における投影画像データの生成）
図３は、本実施例に係る画像生成装置１００の画像処理部１１１の内部構成を示す機能ブロック図である。画像処理部１１１は、図３に示すように、較正情報取得部３０１、投影距離情報導出部３０２、ボケ量分布算出部３０３、入力画像取得部３０４、対応情報取得部３０５、重畳領域特定部３０６、投影画像生成部３０７を備える。

以下、画像処理部１１１を構成する各部について詳細に説明する。較正情報取得部３０１は、ＲＡＭ１０２から較正情報を取得する。較正情報とは、投影画像生成の前に実施する、投影対象と投影部の較正（キャリブレーション）により求められる投影対象の形状や、投影部の位置姿勢等を表すパラメータ群のことである。

較正情報取得部３０１は、投影対象の形状に関する較正情報として、半円筒型スクリーン２０１の半径ｒを取得する。また、較正情報取得部３０１は、各投影部１０７〜１０９の位置姿勢に関する較正情報として、半円筒型スクリーン２０１の断面中心を原点とした３次元座標系における各投影部１０７〜１０９の位置、姿勢、焦点距離、投影中心、絞り、ピント距離を取得する。この場合において、各投影部１０７〜１０９の位置（ｔｘ１，ｔｙ１，ｔｚ１）、（ｔｘ２，ｔｙ２，ｔｚ２）、（ｔｘ３，ｔｙ３，ｔｚ３）、及び姿勢（θ１,φ１,ψ１）、（θ２,φ２,ψ２）、（θ３,φ３,ψ３）は、半円筒型スクリーンの原点からの距離を実測することで取得される。各投影部１０７〜１０９の焦点距離ｆ１、ｆ２、ｆ３、及び投影中心（ｃｘ１，ｃｙ１）、（ｃｘ２，ｃｙ２）、（ｃｘ３，ｃｙ３）は設計値から取得される。各投影部１０７〜１０９の絞りとピント距離（Ｆ１，ａ１）、（Ｆ２，ａ２）、（Ｆ３，ａ３）は投影部の状態から取得される。

なお、本実施例では、図１に示すように、投影対象であるスクリーン２０１の形状を半円筒型としていることから、投影対象の形状情報（較正情報）として半径rのみを取得しているが、投影対象の形状によって、取得する形状情報は異なる。したがって、例えば、レンジセンサで投影対象をスキャンして取得した点群情報を、投影対象の形状情報とすることもできる。また、本実施例では、上記のように較正情報を求めたが、各投影部１０７〜１０９によって投影対象に投影されたパターンを撮像装置で撮像し、その撮像画像とパターン画像との対応関係から、各投影部の位置姿勢、焦点距離、投影中心を推定することもできる。

較正情報取得部３０１は、取得した較正情報を投影距離情報導出部３０２に出力する。

投影距離情報導出部３０２は、較正情報取得部３０１から入力された較正情報に基づいて、各投影部１０７〜１０９の投影画像の各画素における投影距離を導出する。ここで、投影距離とは投影部の位置から投影対象までのベクトルを光軸方向に射影したベクトルの長さとして定義されるものである。この投影距離の定義は、デフォーカスによって発生するボケが光軸方向における距離によって変化することを考慮したものである。

以下、投影部１０７のための投影画像の画素（ｕ、ｖ）における投影距離の導出を例に説明する。投影距離情報導出部３０２は先ず、投影部１０７のための投影画像の画素（ｕ、ｖ）がスクリーン２０１上で投影される位置（ｘ、ｙ、ｚ）を導出する。位置（ｘ、ｙ、ｚ）は、投影画像の画素（ｕ、ｖ）を、投影部１０７の位置姿勢と焦点距離、投影中心に関するパラメータを用いて、スクリーン２０１の断面中心を原点としたワールド座標系に射影することで得られる。この場合の画素位置（ｘ、ｙ、ｚ）は、以下の式（１）で表される。

なお、上記式（１）において、λはスクリーン２０１の大きさ（スケール）を表す。また、焦点距離ｆ１´は、焦点距離ｆ１ (mm)と投影部１０７のパネル上における投影画像の１画素のサイズに基づいて、ピクセル単位に換算した値である。次に、画素位置（ｘ、ｙ、ｚ）を導出することを前提に、ワールド座標系を用いて、投影対象であるスクリーン２０１の形状から、上記式（１）において未知数であるλを求めることを考える。

図４は、投影部１０７〜１０９とスクリーン２０１の位置関係をワールド座標系で示した図である。図４において、黒丸で示す点４０１はスクリーン２０１の断面中心であり、ワールド座標系の原点である。矢印４０２、４０３は、各々、ワールド座標系のx軸、y軸を示している。ここで、図４に示すスクリーン２０１の形状は、ワールド座標系を用いて、以下の式（２）のように示すことができる。

そうすると、上記式（２）と前述の式（１）により、x、yについて、２つの式が得られることからスケールλを求めることができる。そして、この求めたλを前述の式（１）に代入することで、投影時において、投影部１０７の投影画像の画素（ｕ，ｖ）が投影対象上で投影される位置（ｘ，ｙ，ｚ）を求めることができる。

投影距離情報算出部３０２は、さらに、以下の式（３）により、投影部１０７の位置からスクリーン２０１上で投影される画素の位置（ｘ，ｙ，ｚ）までのベクトルD（ｕ，ｖ）を算出する。

最後に、投影部１０７の光軸ベクトルOを以下の式（４）により求め、さらに以下の式（５）によってベクトルD（ｕ，ｖ）を光軸方向に射影したベクトルの長さ（即ち、投影距離）を求める。

以上のようにして、投影部１０７のための投影画像の画素（ｕ，ｖ）における、投影距離が導出される。そして、投影距離情報導出部３０２は、全投影部のための各投影画像における全画素について、上述のような手法で投影距離を導出する。投影距離情報導出部３０２は、導出した投影距離を投影距離情報としてボケ量分布算出部３０３に出力する。

ボケ量分布算出部３０３は、投影距離情報導出部３０２から入力された投影距離情報に基づいて、各投影部１０７〜１０９に関して、投影画像の各画素における、デフォーカスによって発生するボケ量を算出する。以下、投影部１０７のための投影画像の画素（ｕ，ｖ）におけるボケ量の算出を例に説明する。画素（ｕ，ｖ）についてのボケ量εは以下の式（６）によって表される。投影距離情報導出部３０２は、画素（ｕ，ｖ）について導出した距離d（ｕ，ｖ）と較正情報取得部３０１が取得した較正情報に基づき、以下の式（６）によって算出する。

このようにして、全投影部１０７〜１０９のための各投影画像の各画素におけるボケ量ε（ｕ，ｖ）が算出される。算出されたボケ量分布の情報は投影画像生成部３０７に出力される。

入力画像取得部３０４は、スクリーン２０１に投影する際の元となる入力画像データを取得する。取得した入力画像データは投影画像生成部３０７に出力される。

対応情報取得部３０５は、入力画像と各投影部１０７〜１０９が投影する投影画像との対応情報を取得する。ここで、対応情報とは、各投影部１０７〜１０９に関して、各々が入力画像のどの領域を投影するかを示した情報である。本実施例では、投影部１０７〜１０９の投影画像の全ての画素について、入力画像における対応する座標値を格納した対応テーブルを対応情報としている。この対応テーブルは、各投影部１０７〜１０９がスクリーン２０１に投影した所定のパターン画像を撮像装置（カメラ）で撮像し、その撮像画像とパターン画像とのマッチングをとり、さらにその撮像画像において入力画像の投影位置を設定することで得られる。取得した対応情報は、重畳領域特定部３０６に出力される。

重畳領域特定部３０６は、対応情報取得部３０５から入力された対応情報に基づいて、各投影部１０７〜１０９からの投影画像がスクリーン２０１上において重畳する領域を特定し、重畳領域情報を生成する。本実施例では、各投影部１０７〜１０９の投影画像と入力画像の対応テーブルから、入力画像のうち複数の投影部によって投影されることになる領域を求めることで、重畳領域を特定する。そして、他の投影部による投影画像と重畳する領域であると特定された場合は、当該領域に対応する投影画像の各画素について、当該投影画像を投影する投影部を識別可能な情報（例えば各投影部に割り当てられた識別番号など）を付与する。こうして得られた重畳領域情報は、上記対応情報と共に投影画像生成部３０７に出力される。

投影画像生成部３０７は、ボケ量分布算出部３０３から入力されたボケ量分布と、入力画像取得部３０４から入力された入力画像と、重畳領域特定部３０６から入力された対応情報と重畳領域情報とに基づいて、各投影部１０７〜１０９の投影画像を生成する。投影画像生成部３０７は先ず、入力画像、対応情報及び重畳領域情報に基づいて、各投影部１０７〜１０９に関する、重畳領域以外の領域の投影画像を生成する。重畳領域以外の領域の投影画像は、各投影部１０７〜１０９の投影画像の重畳領域以外の領域に属する全ての画素について、入力画像の対応する座標値の画素値を、対応テーブルを用いて取得することで生成される。投影画像生成部３０７は次に、入力画像、対応情報、重畳領域情報及びボケ量分布に基づいて、各投影部１０７〜１０９に関する、重畳領域の投影画像を生成する。

具体的には、重畳領域情報で特定される複数の投影部の投影画像のうち、最もボケ量の小さい投影画像の画素について、入力画像の対応する座標値の画素値を、対応テーブルを用いて取得する。そして、それ以外の投影部から投影される投影画像の画素については、無効化する。このようにして、重畳領域の投影画像は生成される。この結果、最もボケ量の小さい投影画像を投影する投影部のための当該投影画像の画素値は入力画像から取得した画素値となり、それ以外の投影部から投影される投影画像の画素値は、例えば、黒（ＲＧＢ表示であれば、［０，０，０］）等に変更されることになる。このように、各投影部が担当する投影画像におけるボケ量を比較した上で、投影画像が生成される。これにより、デフォーカスによって発生するボケの影響を低減している。

図５は、本実施例における各投影部１０７〜１０９のピント距離とボケ量の関係を示した図である。図５において、両矢印５０１は投影部１０７のピント距離ａ１を、両矢印５０２は投影部１０８のピント距離ａ２を、両矢印５０３は投影部１０９のピント距離ａ３を示している。各投影部１０７〜１０９のボケ量分布は、各投影部１０７〜１０９に関して、ピント距離周辺の投影領域ではボケ量が小さく、ピント距離から離れた投影領域ほどボケ量が大きくなる。

以下、半円筒型のスクリーン２０１上の黒四角で示す点５０４及び点５０５に投影した場合を例に、重畳領域への投影について説明する。図５において、点５０４は、３つの投影部１０７〜１０９からの投影が可能な領域に位置している。そのため、投影画像生成部３０７は、入力画像と対応情報に基づいて、３つの投影部１０７〜１０９の全てに関して、投影画像を生成することもできる。しかしながら、本実施例では、デフォーカスによって発生するボケの影響を低減するために、３つの投影部１０７〜１０９のうち、最もボケ量の小さい投影画像を投影する投影部以外の投影画像を無効にする。即ち、図５に示す例では、ピント距離と点５０４への投影距離の差が最も小さい、投影部１０８からの投影画像のみを有効にし、それ以外の投影部１０７及び投影部１０９からの投影画像については無効にする。これにより、投影部１０７と投影部１０９から重畳して投影される場合よりもボケ量の低減された投影が実現できる。

また、同様に、投影部１０７と投影部１０８からの投影が可能な領域に位置している点５０５についても、ピント距離と点５０５への投影距離の差の小さい投影部１０７からの投影画像のみを有効にし、投影部１０８からの投影画像は無効にする。これにより、点５０５において、デフォーカスによるボケ量を低減することができる。このように、投影画像生成部３０７は、全ての重畳領域に関して上記のような処理を行って、各投影部１０７〜１０９の投影画像を生成する。

なお、投影画像の生成方法は上述の例に限られない。例えば、投影が重畳する投影画像のボケ量に基づいて重みを決定し、その重みに基づいて各投影部１０７〜１０９の投影画像を生成してもよい。このようにして生成された投影画像のデータは、投影制御部１０５に出力される。

（投影画像生成処理の流れ）
続いて、本実施例に係る投影画像生成処理の内容を時系列に説明する。図６は、本実施例に係る、投影画像生成処理の流れを示すフローチャートである。

ステップＳ６０１において、較正情報取得部３０１は、投影対象の形状や投影部の位置姿勢等に関する較正情報をＲＡＭ１０２から取得する。取得した較正情報は、投影距離情報導出部３０２に送られる。続くステップＳ６０２において、投影距離情報導出部３０２は、各投影部１０７〜１０９のための投影画像の全画素について投影距離を導出する。導出した投影距離の情報は、ボケ量分布算出部３０３に送られる。そして、ステップＳ６０３において、ボケ量分布算出部３０３は、受け取った投影距離情報に基づいて各投影部１０７〜１０９の投影画像の全画素についてデフォーカスによって発生するボケ量を算出する。算出したボケ量の情報（ボケ量分布）は、投影画像生成部３０７に送られる。

ステップＳ６０４において、入力画像取得部３０４は、入力画像データをＲＡＭ１０２から取得する。取得した入力画像データは、投影画像生成部３０７に送られる。続くステップＳ６０５において、対応情報取得部３０５は、入力画像と各投影部１０７〜１０９の投影画像との対応情報をＲＡＭ１０２から取得する。取得した対応情報は、重畳領域特定部３０６に送られる。そして、ステップＳ６０６において、重畳領域特定部３０６は、投影対象であるスクリーン２０１上で各投影部１０７〜１０９の投影が重畳する領域を特定し、前述の重畳領域情報を生成する。生成した重畳領域情報は対応情報と共に投影画像生成部３０７に送られる。最後に、ステップＳ６０７において、投影画像生成部３０７が、前述の方法によって各投影部１０７〜１０９の投影画像を生成する。生成した投影画像データは投影制御部１０５に送られ、投影制御部１０５によって各投影部１０７〜１０９へ転送される。

なお、図６のフローは一例であって、各処理の順序はこれに限定されない。例えば、入力画像データの取得処理（Ｓ６０４）を、ステップＳ６０１からステップＳ６０３までの処理に先行して実行してもよい。また、入力画像データの取得処理（Ｓ６０４）と、ステップＳ６０１からステップＳ６０３までの処理とを並列に実行してもよい。

図７は、本実施例の投影結果を示した図である。図７（ａ）は、半円筒型のスクリーン２０１に表示する入力画像である。図７(ｂ)は、ボケ量に関わらず生成した各投影画像を各投影部１０７〜１０９の全投影部より同時に投影したときの投影画像である。即ち、重畳領域において、本実施例を適用しなかった場合の投影画像の投影結果である。

図７（ｂ）では、破線７０１の領域内にある縦縞のエッジが、その他の領域にある縦縞に比べてボケが大きいことがわかる。これは、投影部１０８以外の投影部（すなわち、投影部１０７及び投影部１０９）からも投影画像を投影したことに起因するものである。より詳細には、破線７０１の領域は、投影部１０８にとってはピント距離に近いボケ量の小さい投影領域であるが、投影部１０７と投影部１０９にとってはピント距離から遠くボケ量の大きい投影領域である。そのため、投影部１０８によるボケの小さい投影画像と、投影部１０７と投影部１０９とによるボケの大きい投影画像とが重畳して投影されると、投影結果にボケが生じることとなる。

図７（ｃ）は、本実施例を適用した結果である。図７（ｃ）においては、破線７０２の領域（図７（ｂ）の破線７０１の領域に対応）にある縦縞のボケ量が少なく、図７（ｂ）の場合と比較してボケが低減されていることがわかる。これは、投影部１０７と投影部１０９からの投影画像が無効にされ、投影部１０８からの投影画像のみが有効にされているためである。

以上のとおり本実施例によれば、奥行き方向に変化のある投影対象に複数の投影部を用いて投影画像を投影する場合において、デフォーカスによって発生するボケ量を低減することができる。

（実施例２）
実施例１では、複数の投影部１０７〜１０９からの投影が重畳する重畳領域については、最もボケ量の小さい投影画像のみを有効にし、他の投影画像については無効にする態様であった。この実施例１の場合、例えばある重畳領域において、全ての投影部からの投影画像におけるボケ量が相対的に小さくても、最もボケ量の小さい投影画像のみが有効にされ、他の投影画像は無効にされてしまう。こうなると、デフォーカスによって発生するボケ量の低減というメリットよりも、有効な投影画像の数が少ないことによる輝度や階調の低下というデメリットが顕在化してしまう恐れがある。

そこで、許容ボケ量情報に基づいて各投影部の被写界深度を求め、当該被写界深度に基づいて各投影部の投影画像を生成することで、投影対象上の重畳領域に対してできるだけ複数の投影部からの投影を実現する態様について、実施例２として説明する。なお、実施例１と共通する内容については説明を省略ないしは簡略化し、以下では差異点を中心に説明を行うものとする。

図８は、本実施例に係る画像処理部１１１’の内部構成を示す機能ブロック図である。図８において、実施例１の画像処理部１１１と同じ構成については、図３の機能ブロック図における符号と同じ符号を付している。

実施例１の画像処理部１１１との差異は、新たに許容錯乱円取得部８０１が設けられ、これを介して許容ボケ量情報としての許容錯乱円情報が、投影画像生成部８０２に対して入力される点である。即ち、本実施例の投影画像生成部８０２は、ボケ量分布、入力画像データ、対応情報、重畳領域情報に加え、さらに許容錯乱円情報も用いて、各投影部１０７〜１０９の投影画像を生成する。

許容錯乱円情報取得部８０１は、許容錯乱円情報をＲＡＭ１０２から取得する。ここで、許容錯乱円とは、像のボケが許容される大きさの錯乱円、つまり点を投影したときに合焦しているとみなされる最大の円のことである。本実施例では、許容錯乱円の直径κの情報が、許容錯乱円情報として取得されることになる。なお、許容ボケ量情報は、許容錯乱円の直径に限定されるものではなく、合焦しているかどうかの基準となる値であればよい。許容錯乱円情報取得部８０１が取得した許容錯乱円情報は、投影画像生成部８０２に出力される。

次に、図９を用いて、投影画像生成部８０７の処理について、詳細に説明する。図９は、本実施例に係る投影画像生成部８０２の内部構成を示す機能ブロック図である。投影画像生成部８０２は、深度内領域特定部９０１と画像生成部９０２とで構成される。

深度内領域特定部９０１は、ボケ量分布算出部３０３から入力されたボケ量分布と、許容錯乱円情報取得部８０１から入力された許容錯乱円情報とに基づいて、各投影部１０７〜１０９の投影画像の全画素について被写界深度の内か外かを判定する。判定の結果、被写界深度内と判定された画素で構成される領域が、深度内領域として特定される。以下の式（７）は、投影画像の各画素が、被写界深度の内か外かを判定する式の一例である。

上記式（７）において、ε（ｕ，ｖ）はボケ量分布算出部３０３で算出した各画素のボケ量であり、κは許容錯乱円の直径である。上記式（７）は、ボケ量ε（ｕ，ｖ）が許容錯乱円の直径κより小さければ投影画像の画素（ｕ，ｖ）は被写界深度の内側に投影され、大きければ被写界深度の外側に投影されることを示している。深度内領域特定部９０１は、各投影部１０７〜１０９の全ての画素について被写界深度の内か外かを判定して、各投影画像における深度内領域を特定する。特定した深度内領域の情報は、画像生成部９０２に出力される。

画像生成部９０２は、入力画像取得部８０４から入力された入力画像と、重畳領域特定部３０６から入力された対応情報及び重畳領域情報と、深度内領域特定部９０１で特定された深度内領域とに基づいて、各投影部１０７〜１０９の投影画像を生成する。画像生成部９０２は先ず、入力画像、対応情報及び重畳領域情報に基づいて、各投影部１０７〜１０９に関する、重畳領域以外の領域の投影画像を生成する。重畳領域以外の領域の投影画像の生成については実施例１で述べたとおりである。さらに、画像生成部９０３は、入力画像、対応情報、重畳領域情報及び深度内領域情報に基づいて、各投影部１０７〜１０９に関する、重畳領域の投影画像を生成する。

本実施例の場合、投影画像の重畳領域における画素に関し、投影対象上で深度内領域に属する画素であれば、入力画像の対応する座標値の画素値を、対応テーブルを参照して取得する。他方、投影画像の重畳領域における画素が、投影対象上で深度内領域に属する画素でない場合（深度外領域の画素である場合）は、当該画素を無効化する。即ち、深度内領域の画素値は入力画像から取得した画素値となり、深度外領域の画素値は、例えば、黒（ＲＧＢ表示であれば、［０，０，０］）等に変更される。なお、本実施例では、重畳している複数の投影画像が深度内であった場合は、投影対象上で投影が重畳した状態で、入力画像の輝度と一致するように、各投影部１０７〜１０９の投影画像の輝度を補正している。このようにして生成された各投影部１０７〜１０９についての投影画像は、投影制御部１０５に出力される。

以下、投影画像生成部８０２で生成される投影画像について具体例を示して説明する。図１０は、各投影部１０７〜１０９の被写界深度を示した図である。図１０において、両矢印１００１は投影部のピント距離を示している。また、矩形領域１００２及び１００３はいずれも許容錯乱円の直径κにより求めた被写界深度を示し、矩形領域１００２はピント距離より後側の被写界深度、矩形領域１００３はピント距離より手前側の被写界深度である。

図１１は、スクリーン２０１上における各投影部１０７〜１０９の被写界深度内領域を示した図である。図１１において、半円筒型のスクリーン２０１上の太線１１０１が各投影部１０７〜１０９の被写界深度内領域を示し、細線１１０２が各投影部１０７〜１０９の被写界深度外領域を示している。

図１２は、各投影部１０７〜１０９の各投影画像における被写界深度内領域を示した図である。図１２において、ドット領域１２０１が各投影画像における被写界深度内領域を示し、斜線領域１２０２が被写界深度外領域を示している。本実施例では、許容錯乱円の直径κよりボケの小さい領域を投影領域とし、大きい領域を非投影領域として、投影画像を生成する。そのため、ドット領域１２０１には入力画像の対応する座標値の画素値が格納され、斜線領域１２０２には例えば黒を表す画素値が格納される。なお、投影画像の生成方法は上述の例に限定されない。例えば、重畳する投影画像のボケ量と深度内領域の境界までの距離とに基づいて重みを決定し、当該重みに基づいて各投影部１０７〜１０９の投影画像を生成してもよい。

図１３は、本実施例の投影結果を示した図である。図１３（ａ）は、半円筒型のスクリーン２０１に表示する入力画像である。図１３（ｂ）は、前述の図７（ｂ）と同じ、重畳領域において、本実施例を適用しなかった場合の投影画像の投影結果である。図１３（ｂ）では、破線１３０１〜１３０３の領域内にある縦縞のエッジが、その他の領域にある縦縞に比べてボケが大きいことがわかる。これは、被写界深度外の領域についても有効な画素値を有する投影画像が、複数の投影部１０７〜１０９によって投影されたことに起因するものである。より詳細には、破線１３０１の領域は、投影部１０８にとっては被写界深度内であるが、投影部１０７と投影部１０９にとっては被写界深度外の領域である。そのため、許容錯乱円の直径κより小さいボケである投影部１０８による投影画像と、許容錯乱円の直径κより大きなボケである投影部１０７と投影部１０９との投影画像が重畳して投影されることで、投影結果にボケが生じることとなる。また、破線１３０２の領域と破線１３０３の領域は全ての投影部に対して、投影領域外もしくは被写界深度外である。そのため、被写界深度外の投影部のみから投影されるため、投影結果にボケが生じることとなる。

図１３（ｃ）は、本実施例を適用した結果である。図１３（ｃ）では、破線１３０４の領域（図１３（ｂ）の破線１３０１の領域に対応）にある縦縞のボケ量が少なく、図１３（ｂ）の場合と比較してボケが低減されていることがわかる。これは、当該領域については被写界深度外である投影部１０７と投影部１０９からは投影されず、当該領域が被写界深度内である投影部１０８のみから投影されているためである。

なお、上述の例では、破線１３０５及び破線１３０６で示す両端の領域で発生しているボケは改善できていないが、投影部の配置変更や追加を行った上で本実施例を適用することでボケを改善することが可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像生成装置
１１１ 画像処理部
３０１ 較正情報取得部
３０２ 投影距離情報導出部
３０３ ボケ量分布算出部
３０４ 入力画像取得部
３０５ 対応情報取得部
３０６ 重畳領域特定部
３０７ 投影画像生成部

Claims (13)

1. 入力画像を、投影対象上に複数の投影手段で投影するための投影画像を生成する画像生成装置であって、
   前記複数の投影手段の各々に関して、投影距離情報を導出する導出手段と、
   前記投影距離情報に基づいて、前記複数の投影手段の各々に関して、ボケ量の分布を算出する算出手段と、
   前記入力画像を取得する入力画像取得手段と、
   前記入力画像と前記複数の投影手段の各々における投影画像との対応情報を取得する対応情報取得手段と、
   前記対応情報に基づいて、前記複数の投影手段からの投影が重畳する重畳領域を特定する特定手段と、
   前記ボケ量の分布と、前記入力画像と、前記対応情報と、前記重畳領域とに基づいて、前記複数の投影手段の各々における投影画像を生成する生成手段と
   を備えることを特徴とする画像生成装置。
2. 前記生成手段は、前記複数の投影手段の各々における投影画像の各画素に対応するボケ量に応じて、各投影画像における前記重畳領域の画像を生成することを特徴とする請求項１に記載の画像生成装置。
3. 前記生成手段は、前記複数の投影手段の各々における投影画像の各画素に対応するボケ量を比較した結果に基づいて、各投影画像における前記重畳領域の画像を生成することを特徴とする請求項２に記載の画像生成装置。
4. 前記生成手段は、前記ボケ量を比較した結果に基づいて、前記複数の投影手段のうち、最もボケ量の小さい投影手段から投影される投影画像の画素値を前記入力画像の画素値とすることで、各投影画像における前記重畳領域の画像を生成することを特徴とする請求項３に記載の画像生成装置。
5. 前記生成手段は、前記複数の投影手段の各々における投影画像の各画素に対応するボケ量に応じた重みを決定し、決定した重みに基づいて、各投影画像における前記重畳領域の画像を生成することを特徴とする請求項２に記載の画像生成装置。
6. 前記生成手段は、
   許容ボケ量情報を取得する手段と、
   前記複数の投影手段の各々における投影画像の各画素に対応するボケ量と前記許容ボケ量情報とに基づいて、各投影画像の全画素から深度内領域を特定する手段と
   備え、
   前記特定した深度内領域に基づいて、各投影画像における前記重畳領域の画像を生成することを特徴とする請求項２に記載の画像生成装置。
7. 前記生成手段は、前記重畳領域の画像における画素に関して、前記深度内領域を特定する手段により深度内領域と特定された画素の画素値を前記入力画像の画素値とすることで、各投影画像における前記重畳領域の画像を生成することを特徴とする請求項６に記載の画像生成装置。
8. 前記生成手段は、前記複数の投影手段の各々における投影画像の各画素に対応するボケ量と前記深度内領域の境界までの距離とに応じた重みを決定し、決定した重みに基づいて、各投影画像における前記重畳領域の画像を生成することを特徴とする請求項６に記載の画像生成装置。
9. 前記許容ボケ量情報は、許容錯乱円情報であることを特徴とする請求項６乃至８のいずれか１項に記載の画像生成装置。
10. 前記複数の投影手段と前記投影対象の較正情報を取得する較正情報取得手段をさらに有し、
    前記導出手段は、前記較正情報に基づいて前記投影距離情報を導出し、
    前記較正情報は、前記投影対象の形状、前記複数の投影手段の位置姿勢を示す情報であることを特徴とする請求項１乃至９のいずれか１項に記載の画像生成装置。
11. 前記投影距離情報は、前記投影手段の位置から前記投影対象までのベクトルを光軸方向に射影したベクトルの長さであることを特徴とする請求項１乃至１０のいずれか１項に記載の画像生成装置。
12. 入力画像を、投影対象上に複数の投影手段で投影するための投影画像を生成する画像生成方法であって、
    前記複数の投影手段の各々に関して、投影距離情報を導出する導出ステップと、
    前記投影距離情報に基づいて、前記複数の投影手段の各々に関して、ボケ量の分布を算出する算出ステップと、
    前記入力画像を取得する入力画像取得ステップと、
    前記入力画像と前記複数の投影手段の各々における投影画像との対応情報を取得する対応情報取得ステップと、
    前記対応情報に基づいて、前記複数の投影手段からの投影が重畳する重畳領域を特定する特定ステップと、
    前記ボケ量の分布と、前記入力画像と、前記対応情報と、前記重畳領域とに基づいて、前記複数の投影手段の各々における投影画像を生成する生成ステップと
    を備えることを特徴とする画像生成方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像生成装置として機能させるための、プログラム。