JP7218721B2 - 画像処理装置および方法 - Google Patents

Description

本開示は、画像処理装置および方法に関し、特に、主観画質の低減を抑制することができるようにした画像処理装置および方法に関する。

従来、プロジェクタを複数台用いることで、1台のプロジェクタに比べて、大画面の投影を実現する映像表示系や、投影像の明るさ/解像感等の向上を図る映像表示系がある。このような映像表示系においては、プロジェクタの投影領域において、複数のプロジェクタの映像が重畳されて投影される、いわゆるオーバーラップ領域が存在する。オーバーラップ領域における投影画像には、複数プロジェクタの投影像間の位置合わせずれが原因となり、ボケ（重畳ボケ）が発生する場合があった。

このような重畳ボケを抑制するために、例えば、投影される重畳画像と入力画像をフィードバックループを用いて、両者の差分が最小となるよう補正を調整する方法が考えられた（例えば、特許文献１参照）。

また、１枚の投影画像においてもボケ（個別ボケ）が発生する場合があった。例えば、画像が投影される投影面においてプロジェクタからの光が拡散反射することによるボケや、投影面の奥行変化によるボケ（所謂焦点ボケ）や、プロジェクタのレンズや光源に起因する光学的なボケ等が生じる場合があった。このような個別ボケを抑制するために、例えば、投影時の個別ボケをカメラを用いてPSF推定し、求めたボケ量を用いて逆フィルタを設計、そのフィルタをかけた入力画像を投影する方法が考えられた（例えば、非特許文献１参照）。

特開２００９－８９７４号公報

M. S. Brown, P. Song and T.-J. Cham: "Image preconditioning for out-of-focus projector blur", Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'06), pp. 1956-1963 (2006).

しかしながら、投影画像のオーバラップ領域においては、一般的に、上述の重畳ボケと個別ボケの両方が発生する場合が多い。特許文献１に記載の方法では、フィードバックループ処理が行われるため補正が収束するまでに長時間かかり、ずれた場合などに対応することが困難であった。また結果が真値に収束しない場合もあり得る。例えば処理時間を抑制しようとすると最適解に収束しない可能性が増大するおそれがあった。また、非特許文献１に記載の方法では、重畳ボケを抑制することは困難であった。

本開示は、このような状況に鑑みてなされたものであり、主観画質の低減を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部から投影された前記投影画像同士が重畳するオーバーラップ領域について、入力画像を前記投影画像に変換するフィルタの逆フィルタを生成する逆フィルタ生成部と、前記複数の投影部のそれぞれについて、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像の前記オーバーラップ領域に対応する部分を変換して位相画像を生成する位相画像生成部と、前記複数の投影部を制御し、前記複数の投影部のそれぞれから投影された前記位相画像に対応する投影画像同士が前記オーバーラップ領域を形成するように、前記位相画像を投影させる投影制御部とを備える画像処理装置である。

前記逆フィルタ生成部は、前記入力画像にフィルタをかけた値と、前記入力画像の投影画像との誤差が最小となるように前記フィルタを生成し、生成された前記フィルタを用いて前記逆フィルタを生成することができる。

前記逆フィルタ生成部は、ウィナーフィルタを前記逆フィルタとして生成することができる。

前記逆フィルタ生成部は、前記投影部毎に前記逆フィルタを生成することができる。

前記逆フィルタ生成部は、前記入力画像の代表画素について、前記逆フィルタを生成することができる。

前記逆フィルタ生成部は、前記入力画像の全画素について、前記逆フィルタを生成することができる。

前記オーバーラップ領域は、前記投影画像全体であり、前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像全体を変換し、前記入力画像全体についての前記位相画像を生成することができる。

前記オーバーラップ領域は、前記投影画像の一部分であり、前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像の一部分を変換し、前記入力画像の一部分についての前記位相画像を生成することができる。

前記位相画像生成部は、前記入力画像のその他の部分の変換を省略することができる。

前記位相画像生成部は、前記入力画像のその他の部分に対して、前記個別ボケ量を低減させるように変換を行うことができる。

前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記個別ボケ量を算出する個別ボケ量算出部をさらに備えるようにすることができる。

前記個別ボケ量算出部は、前記複数の投影部のそれぞれからテスト画像を投影し、その投影画像を撮像した撮像画像における前記テスト画像についてPSF（Point Spread Function）を前記個別ボケ量として算出することができる。

前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記重畳ボケ量を算出する重畳ボケ量算出部をさらに備えるようにすることができる。

前記重畳ボケ量算出部は、前記撮像画像より投影画像の各画素の投影座標を求め、複数の投影画像が重畳する部分について、前記投影座標から重畳ボケ量を算出することができる。

前記複数の投影部のそれぞれから投影された各投影画像を撮像する撮像部をさらに備えるようにすることができる。

画像を投影する前記複数の投影部をさらに備えるようにすることができる。

本技術の一側面の画像処理方法は、複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部から投影された前記投影画像同士が重畳するオーバーラップ領域について、入力画像を前記投影画像に変換するフィルタの逆フィルタを生成し、前記複数の投影部のそれぞれについて、生成された前記逆フィルタを用いて前記入力画像の前記オーバーラップ領域に対応する部分を変換して位相画像を生成し、前記複数の投影部を制御し、前記複数の投影部のそれぞれから投影された前記位相画像に対応する投影画像同士が前記オーバーラップ領域を形成するように、前記位相画像を投影させる画像処理方法である。

本技術の一側面の画像処理装置および方法においては、複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、複数の投影部から投影された投影画像同士が重畳するオーバーラップ領域について、入力画像を投影画像に変換するフィルタの逆フィルタが生成され、複数の投影部のそれぞれについて、生成された逆フィルタを用いて入力画像のオーバーラップ領域に対応する部分が変換されて位相画像が生成され、複数の投影部が制御され、その複数の投影部のそれぞれから投影された位相画像に対応する投影画像同士がオーバーラップ領域を形成するように、位相画像が投影される。

本開示によれば、画像を処理することができる。特に、主観画質の低減を抑制することができる。

投影撮像システムの主な構成例を示すブロック図である。 画像処理装置の主な構成例を示すブロック図である。 投影処理の流れの例を説明するフローチャートである。 ボケ量算出処理の流れの例を説明するフローチャートである。 テスト画像の例を説明するための図である。 個別ボケ量算出の様子の例を説明するための図である。 重畳ボケ量算出の様子の例を説明するための図である。 逆フィルタ設計の様子の例を説明するための図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．投影画像に発生するボケとその対策
２．第１の実施の形態（投影撮像システム・投影画像全体重畳）
３．第２の実施の形態（投影撮像システム・投影画像一部重畳）
４．第３の実施の形態（投影撮像システム・投影画像高解像度化）
５．第４の実施の形態（投影撮像システム・他の構成例）
６．その他

＜１．投影画像に発生するボケとその対策＞
＜光学ボケによる投影画像の主観画質の低減＞
従来、プロジェクタが投影した投影画像においては、光学的に画像がぼける現象（はっきりしなくなる現象）である光学ボケが生じる場合があった。

例えば、プロジェクタを複数台用いることで、１台のプロジェクタに比べて、大画面の投影を実現する映像表示系や、投影像の明るさ/解像感等の向上を図る映像表示系がある。このような映像表示系においては、プロジェクタの投影領域において、複数のプロジェクタの映像が重畳されて投影される、いわゆるオーバーラップ領域が存在する。オーバーラップ領域における投影画像には、複数プロジェクタの投影像間の位置合わせずれが原因となる光学ボケ（重畳ボケとも称する）が発生する場合があった。

また、重畳される各投影画像においても光学ボケ（個別ボケとも称する）が発生する場合があった。例えば、画像が投影される投影面においてプロジェクタからの光が拡散反射することによるボケや、投影面の奥行変化によるボケ（所謂焦点ボケ）や、プロジェクタのレンズや光源に起因するボケ等が生じる場合があった。

一般的に、投影画像のオーバラップ領域においては、上述の重畳ボケと各投影画像の個別ボケの両方が発生する場合が多い。投影画像にこのような光学ボケが生じることにより、投影画像の主観画質が低減するおそれがあった。

個別ボケを抑制する方法として、例えば、非特許文献１には、投影時の個別ボケをカメラを用いてPSF（Point Spread Function）を推定し、求めたボケ量を用いて逆フィルタを設計し、そのフィルタをかけた入力画像を投影する方法が記載されている。

しかしながら、この方法では、オーバーラップ領域における光学ボケを抑制することは困難であった。例えば、オーバーラップ領域においては、複数の投影画像が重畳されているため、それぞれの投影画像の個別ボケも重畳されている。各投影画像の個別ボケのぼけ方は互いに独立しており、一般的には、オーバーラップ領域を構成する各投影画像の個別ボケのぼけ方は互いに異なる場合が多い。そのため、個別ボケを抑制するためには、投影画像毎にPSFを推定する必要がある。しかしながら非特許文献１に記載の方法では、投影画像の重畳について考慮されていないため、各投影画像の位置関係（どのように重なっているか）を把握することができない。そのため、非特許文献１に記載の方法では、このような重畳された状態の投影画像の画素のPSFしか観測することができない。したがって、非特許文献１に記載の方法では、各投影画像の個別ボケの様子を正しく求めることができず、結果として、個別ボケを十分に抑制することができなかったり、リンギングやジャギ等といった過補正による他の画質劣化の要因を生じさせたりしてしまうおそれがあった。また、非特許文献１に記載の方法では、各投影画像の位置関係を把握することができないのであるから、当然、重畳ボケも抑制することは困難であった。

重畳ボケや個別ボケを抑制する方法として、例えば、特許文献１には、投影される重畳画像と入力画像をフィードバックループを用いて、両者の差分が最小となるよう補正を調整する方法が記載されている。しかしながら、この方法では、フィードバックループ処理が行われるため補正が収束するまでに長時間かかり、ずれた場合などに対応することが困難であった。また結果が真値に収束しない場合もあり得る。例えば処理時間を抑制しようとすると最適解に収束しない可能性が増大するおそれがあった。

したがって、仮に特許文献１に記載の方法と非特許文献１に記載の方法とを組み合わせたとしてもオーバーラップ領域の光学ボケを十分に抑制することは困難であった。以上のように、これらの方法では、投影画像に光学ボケが残ったり、その他の画質劣化の要因が生じたりする等して、投影画像の主観画質が低減するおそれがあった。

＜個別ボケと重畳ボケの抑制＞
そこで、複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、複数の投影部が投影する入力画像を複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成し、生成された逆フィルタを用いて入力画像を変換して位相画像を生成するようにする。

＜２．第１の実施の形態＞
＜投影撮像システム＞
図１は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１において、投影撮像システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、光学ボケを抑制するための画像処理を行ったりすることができるシステムである。

図１に示されるように、投影撮像システム１００は、画像処理装置１１１、投影装置１１２－１、投影装置１１２－２、および撮像装置１１３を有する。画像処理装置１１１は、投影装置１１２－１、投影装置１１２－２、および撮像装置１１３とそれぞれ通信可能に接続されている。この接続は、有線通信によるものであってもよいし、無線通信によるものであってもよい。つまり、例えばケーブル等を用いて物理的に接続されていてもよいし、物理的には離れていてもよい。なお、投影装置１１２－１と投影装置１１２－２とを互いに区別して説明する必要がない場合、投影装置１１２と称する。

画像処理装置１１１は、投影撮像システム１００に入力される投影対象の入力画像に対する画像処理に関する処理を行う。例えば、画像処理装置１１１は、入力画像に対して、投影画像に生じる光学ボケを抑制するための画像処理を行い、各投影装置１１２用の位相画像を生成し、それらをそれぞれに対応する投影装置１１２に供給する。

投影装置１１２は、画像の投影に関する処理を行う。例えば、投影装置１１２は、画像処理装置１１１から供給される画像をスクリーン１２０に投影する。例えば、投影装置１１２－１および投影装置１１２－２は、ともに、スクリーン１２０の範囲１２１に画像を投影する。

撮像装置１１３は、被写体の撮像に関する処理を行う。例えば、撮像装置１１３は、スクリーン１２０の範囲１２２を撮像する。つまり、撮像装置１１３は、スクリーン１２０に投影された投影画像を撮像する。なお、図１に示されるように、範囲１２２は、範囲１２１を全て含む。つまり、撮像装置１１３は、スクリーン１２０の、複数の投影装置１１２から投影された投影画像同士のオーバーラップ領域全体が投影される範囲を含む範囲を撮像する。撮像装置１１３は、その撮像により得られた撮像画像を画像処理装置１１１に供給する。画像処理装置１１１は、その撮像画像に基づいて、上述の画像処理を行う。

なお、スクリーン１２０は、投影装置１１２が画像を投影する対象の一例であり、画像投影の対象はこのスクリーン１２０に限定されない。つまり、投影装置１１２は任意の対象に対して画像を投影することができ、撮像装置１１３も、その対象に投影された投影画像を撮像することができる。

＜画像処理装置の構成＞
図２は、図１の画像処理装置１１１の主な構成例を示すブロック図である。図２に示されるように、画像処理装置１１１は、テスト画像記憶部１３１、投影制御部１３２、撮像制御部１３３、個別ボケ量算出部１３４、個別ボケ量記憶部１３５、投影座標特定部１３６、投影座標記憶部１３７、重畳ボケ量算出部１３８、逆フィルタ設計部１３９、および位相画像生成部１４０を有する。

テスト画像記憶部１３１は、例えばハードディスクや半導体メモリ等の任意の記録媒体を有し、光学ボケを抑制するために利用される所定の絵柄の画像であるテスト画像をその記録媒体に記憶している。テスト画像記憶部１３１は、任意のタイミングにおいて、または、例えば投影制御部１３２等の外部からの要求に基づいて、そのテスト画像を投影制御部１３２に供給する。

投影制御部１３２は、投影装置１１２の制御に関する処理を行う。例えば、投影制御部１３２は、テスト画像記憶部１３１から供給されるテスト画像や、位相画像生成部１４０から供給される入力画像や位相画像を投影装置１１２－１や投影装置１１２－２に供給する。また、投影制御部１３２は、投影装置１１２－１や投影装置１１２－２を制御し、供給した画像を投影させる。

撮像制御部１３３は、撮像装置１１３の制御に関する処理を行う。例えば、撮像制御部１３３は、撮像装置１１３を制御し、被写体（例えば画像が投影されたスクリーン１２０）を撮像させ、得られた撮像画像を取得する。また、撮像制御部１３３は、その取得した撮像画像を個別ボケ量算出部１３４や投影座標特定部１３６に供給する。

個別ボケ量算出部１３４は、各投影装置１１２から投影される各投影画像において発生する個別ボケの大きさを示す個別ボケ量の算出に関する処理を行う。例えば、個別ボケ量算出部１３４は、撮像制御部１３３から、投影装置１１２－１により投影された投影画像を撮像した撮像画像を取得し、その撮像画像に基づいて、投影装置１１２－１により投影された投影画像の個別ボケ量を算出する。同様に、個別ボケ量算出部１３４は、撮像制御部１３３から、投影装置１１２－２により投影された投影画像を撮像した撮像画像を取得し、その撮像画像に基づいて、投影装置１１２－２により投影された投影画像の個別ボケ量を算出する。個別ボケ量算出部１３４は、算出した個別ボケ量を示す情報を個別ボケ量記憶部１３５に供給する。

個別ボケ量記憶部１３５は、例えばハードディスクや半導体メモリ等の任意の記録媒体を有し、個別ボケ量算出部１３４より供給される個別ボケ量を示す情報を記憶する。また、個別ボケ量記憶部１３５は、所定のタイミングにおいて、または、例えば逆フィルタ設計部１３９等の外部からの要求に応じて、記憶している個別ボケ量を示す情報を逆フィルタ設計部１３９に供給する。

投影座標特定部１３６は、各投影装置１１２から投影された各投影画像の位置（投影座標とも称する）の特定に関する処理を行う。例えば、投影座標特定部１３６は、撮像制御部１３３から、投影装置１１２－１により投影された投影画像を撮像した撮像画像を取得し、その撮像画像に基づいて、投影装置１１２－１により投影された投影画像の投影座標を特定する。同様に、投影座標特定部１３６は、撮像制御部１３３から、投影装置１１２－２により投影された投影画像を撮像した撮像画像を取得し、その撮像画像に基づいて、投影装置１１２－２により投影された投影画像の投影座標を特定する。投影座標特定部１３６は、特定した投影座標を示す情報を、投影座標記憶部１３７に供給する。

投影座標記憶部１３７、例えばハードディスクや半導体メモリ等の任意の記録媒体を有し、投影座標特定部１３６より供給される投影座標を示す情報を記憶する。また、投影座標記憶部１３７は、所定のタイミングにおいて、または、例えば重畳ボケ量算出部１３８等の外部からの要求に応じて、記憶している投影座標を示す情報を重畳ボケ量算出部１３８に供給する。

重畳ボケ量算出部１３８は、複数の投影画像が重畳することにより発生する光学ボケである重畳ボケの大きさを示す重畳ボケ量の算出に関する処理を行う。例えば、重畳ボケ量算出部１３８は、投影座標記憶部１３７から投影座標を示す情報を取得し、その情報に基づいて、重畳ボケ量を算出する。また、重畳ボケ量算出部１３８は、算出した重畳ボケ量を示す情報を逆フィルタ設計部１３９に供給する。

逆フィルタ設計部１３９は、各投影装置１１２が投影する各入力画像を各投影装置１１２からスクリーン１２０投影された投影画像に変換するフィルタの逆フィルタの生成に関する処理を行う。逆フィルタとは、その逆フィルタをかけることにより、その逆フィルタに対応するフィルタをかけることにより行われる変換の逆変換が行われるフィルタである。すなわち、逆フィルタをかけることにより、フィルタによる影響を相殺することができる。例えば、逆フィルタ設計部１３９は、重畳ボケ量算出部１３８より重畳ボケ量を示す情報を取得し、また、個別ボケ量記憶部１３５より個別ボケ量を示す情報を取得し、それらの情報に基づいて、入力画像を投影画像に変換するフィルタを設計して生成し、そのフィルタの逆フィルタを設計して生成する。逆フィルタ設計部１３９は、投影装置１１２毎に逆フィルタを生成する。また、逆フィルタ設計部１３９は、生成した逆フィルタを位相画像生成部１４０に供給する。

位相画像生成部１４０は、位相画像の生成に関する処理を行う。位相画像は、入力画像に逆フィルタ設計部１３９において生成された逆フィルタをかけて得られる画像である。つまり、位相画像は、入力画像と投影画像との差分を低減するように入力画像の画素値が補正された画像である。例えば、位相画像生成部１４０は、逆フィルタ設計部１３９より逆フィルタを取得し、その逆フィルタを用いて入力画像を変換して、位相画像を生成する。位相画像生成部１４０は、生成した位相画像を投影制御部１３２に供給し、投影装置１１２より投影させる。上述のように、位相画像は、入力画像とその投影画像との差分（すなわち、入力画像から投影画像への変化）を相殺するように補正されているので、位相画像の投影画像は、より入力画像に近くなる。つまり、このように入力画像の代わりに位相画像を投影装置１１２に投影させることにより、入力画像と投影画像との差分を低減させることができる。つまり、投影画像における個別ボケや重畳ボケを抑制することができる。位相画像生成部１４０は、投影装置１１２毎に位相画像を生成する。

なお、位相画像生成部１４０は、入力画像を補正せずに、投影制御部１３２に供給し、投影装置１１２より投影させることもできる。

＜投影処理の流れ＞
投影撮像システム１００は、投影処理を実行して画像の投影を行う。この投影処理の流れの例を、図３のフローチャートを参照して説明する。

投影処理が開始されると、画像処理装置１１１は、ステップＳ１０１において、ボケ量算出処理を行い、投影画像に発生する光学ボケのボケ量を算出する。ステップＳ１０２において、画像処理装置１１１の位相画像生成部１４０は、入力画像に対して、その入力画像を投影する投影装置１１２用の逆フィルタをかけて、その入力画像全体に対応する位相画像を生成する。ステップＳ１０３において、投影装置１１２は、ステップＳ１０２において生成された、自身に対応する位相画像を取得し、投影する。

例えば、位相画像生成部１４０は、投影装置１１２－１から投影する入力画像に対して、投影装置１１２－１用の逆フィルタをかけて位相画像に変換し、投影制御部１３２を介して、その位相画像を投影装置１１２－１に供給する。また、位相画像生成部１４０は、投影装置１１２－２から投影する入力画像に対して、投影装置１１２－２用の逆フィルタをかけて位相画像に変換し、投影制御部１３２を介して、その位相画像を投影装置１１２－２に供給する。各投影装置１１２は、投影制御部１３２に制御されて、自身に供給された位相画像を投影する。

なお、各投影装置１１２に対応する入力画像は、投影撮像システム１００に入力される動画像の、互いに同一のフレームの画像であってもよいし、互いに異なるフレームの画像であってもよい。

ステップＳ１０４において、投影制御部１３２は、投影を終了するか否かを判定する。未処理の入力画像が存在し、投影を終了しないと判定された場合、処理はステップＳ１０２に戻り、それ以降の処理を繰り返す。つまり、ステップＳ１０２乃至ステップＳ１０４の各処理が、各入力画像に対して実行される。そして、ステップＳ１０４において、全ての入力画像が処理される等して、投影を終了すると判定された場合、投影処理が終了する。

＜ボケ量算出処理の流れ＞
次に、図４のフローチャートを参照して、図３のステップＳ１０１において実行されるボケ量算出処理の流れの例を説明する。

ボケ量算出処理が開始されると、投影制御部１３２は、ステップＳ１５１において、未処理の投影装置１１２の中から、処理対象とする投影装置１１２（カレント投影装置とも称する）を選択する。ステップＳ１５２において、投影制御部１３２は、テスト画像記憶部１３１に記憶されているテスト画像を読み出し、それをカレント投影装置１１２に供給し、そのカレント投影装置１１２を制御して、供給したテスト画像を投影させる。カレント投影装置１１２は、その制御に従って、供給されたテスト画像をスクリーン１２０に投影する。

図５にテスト画像の例を示す。図５の例の場合、テスト画像２１０には、ドットパタン２１１が所定の間隔で画像全体に描画されている。勿論、テスト画像の内容（絵柄、明るさ、色、模様等）は、個別ボケ量の算出や投影座標の特定等が可能なものであれば、どのようなものであってもよい。

ステップＳ１５３において、撮像制御部１３３は、撮像装置１１３を制御し、スクリーン１２０に投影されたテスト画像の投影画像を撮像させる。撮像装置１１３は、その制御に従ってその投影画像を撮像し、その撮像画像を撮像制御部１３３に供給する。撮像制御部１３３は、供給された撮像画像を個別ボケ量算出部１３４および投影座標特定部１３６に供給する。

ステップＳ１５４において、個別ボケ量算出部１３４は、供給された撮像画像に基づいて、その撮像画像に含まれるテスト画像の投影画像の個別ボケ量ω_個別ボケを算出する。テスト画像の投影画像において個別ボケが発生すると、例えば図６のＡに示されるように、図５のテスト画像２１０のドットパタン２１１は拡散する（所謂ぼける）。個別ボケ量算出部１３４は、そのドットパタン２１１の拡散の様子に基づいて個別ボケ量ω_個別ボケを算出する。

この個別ボケ量ω_個別ボケの算出方法は任意である。また、個別ボケ量ω_個別ボケは、個別ボケの大きさを示すパラメータであれば、どのようなパラメータであってもよい。例えば、個別ボケ量算出部１３４が、撮像画像よりドットパタン２１１の画像（図６のＡ）を抽出し、その画像を解析してPSF（Point Spread Function、点拡がり関数とも称する）を個別ボケ量ω_個別ボケとして算出するようにしてもよい。また、例えば、個別ボケ量算出部１３４が、ドットパタン２１１の拡がりを再現することができるユーザインタフェース（UI）を撮像画像とともにモニタに表示し、ユーザが、その撮像画像上のドットパタン２１１の拡がりの様子を目視で確認しながらユーザインタフェースを操作してそれを再現し、個別ボケ量算出部１３４が、その操作を受け付け、再現された拡がりの様子を示すパラメータを個別ボケ量ω_個別ボケとするようにしてもよい。

個別ボケ量算出部１３４は、算出した個別ボケ量ω_個別ボケを示す情報を個別ボケ量記憶部１３５に供給し、記憶させる。

ステップＳ１５５において、投影座標特定部１３６は、供給された撮像画像に基づいて、その撮像画像含まれるテスト画像の投影画像の各画素の投影座標（つまり、各画素が投影された位置（座標））を特定する。

例えば、投影装置１１２－１より投影された投影画像と、投影装置１１２－２より投影された投影画像とが、図７のＡのように投影されているとする。点線で示される各四角は、例えば投影装置１１２－１より投影された投影画像の画素開口を示す。画素開口は、１画素分の光が投影されている範囲を示す。つまり、図７のＡには、投影装置１１２－１より出力された４画素（２×２画素）分の光が投影される範囲（画素開口２５１－１、画素開口２５１－２、画素開口２５１－３、画素開口２５１－４）が示されている。画素開口２５１－１乃至画素開口２５１－４を互いに区別して説明する必要がない場合、画素開口２５１と称する。これに対して、図７のＡにおいて、一点鎖線で示される各四角は、例えば投影装置１１２－２より投影された投影画像の画素開口を示す。つまり、図７のＡには、投影装置１１２－２より出力された４画素（２×２画素）分の光が投影される範囲（画素開口２６１－１、画素開口２６１－２、画素開口２６１－３、画素開口２６１－４）が示されている。画素開口２６１－１乃至画素開口２６１－４を互いに区別して説明する必要がない場合、画素開口２６１と称する。

なお、図７のＡにおいて、重心２５２－１は、画素開口２５１－１の重心を示し、重心２５２－２は、画素開口２５１－２の重心を示し、重心２５２－３は、画素開口２５１－３の重心を示し、重心２５２－４は、画素開口２５１－４の重心を示す。同様に、重心２６２－１は、画素開口２６１－１の重心を示し、重心２６２－２は、画素開口２６１－２の重心を示し、重心２６２－３は、画素開口２６１－３の重心を示し、重心２６２－４は、画素開口２６１－４の重心を示す。重心２５２－１乃至重心２５２－４を互いに区別して説明する必要がない場合、重心２５２と称する。また、重心２６２－１乃至重心２６２－４を互いに区別して説明する必要がない場合、重心２６２と称する。

投影座標特定部１３６は、このような各画素開口の重心の座標を各画素の投影座標として特定する。投影座標特定部１３６は、特定した各画素の投影座標を示す情報を投影座標記憶部１３７に供給し、記憶させる。

ステップＳ１５６において、投影制御部１３２は、全ての投影装置１１２を処理したか否かを判定する。未処理の投影装置１１２が存在すると判定された場合、処理はステップＳ１５１に戻り、新たな未処理の投影装置１１２がカレント投影装置１１２として選択される。そして、その新たなカレント投影装置１１２に対して、ステップＳ１５２乃至ステップＳ１５６の各処理が実行される。つまり、ステップＳ１５１乃至ステップＳ１５６の各処理が、各投影装置１１２について実行される。そして、ステップＳ１５６において、全ての投影装置１１２が処理されたと判定された場合、処理はステップＳ１５７に進む。

ステップＳ１５７において、重畳ボケ量算出部１３８は、投影座標記憶部１３７に記憶されている投影座標を示す情報を取得し、その投影座標から重畳ボケ量ω_重畳ボケを算出する。上述のように、ステップＳ１５１乃至ステップＳ１５６の各処理が各投影装置１１２について実行されるので、投影座標記憶部１３７には、全ての投影装置１１２から投影された各投影画像の各画素の投影座標が記憶されている。つまり、この情報から、例えば図７のＡに示されるように、互いに重畳する投影画像間の投影座標の位置関係（例えば向きや距離等）が明らかとなる。そこで、重畳ボケ量算出部１３８は、この投影座標の位置関係（画素開口の重心の位置関係）に基づいて、重畳ボケ量ω_重畳ボケを算出する。

この重畳ボケ量ω_重畳ボケの算出方法は任意である。また、重畳ボケ量ω_重畳ボケは、重畳ボケの大きさを示すパラメータであれば、どのようなパラメータであってもよい。例えば、図７のＡの重畳例において、図７のＢに示されるように、投影装置１１２－１より投影された投影画像と投影装置１１２－２より投影された投影画像とが重畳された状態の投影画像の、画素開口２６１－１（画素値x₀₁）の位置の画素値ｚは、以下の式（１）のように表すことができる。

なお、式（１）において、δ₀は、画素開口２６１－１の全体に対する、画素開口２６１－１と画素開口２５１－１（画素値x₁₀）とが重畳する部分の割合を示し、δ₁は、画素開口２６１－１の全体に対する、画素開口２６１－１と画素開口２５１－２（画素値x₁₁）とが重畳する部分の割合を示し、δ₂は、画素開口２６１－１の全体に対する、画素開口２６１－１と画素開口２５１－４（画素値x₁₂）とが重畳する部分の割合を示し、δ₃は、画素開口２６１－１の全体に対する、画素開口２６１－１と画素開口２５１－３（画素x₁₃）とが重畳する部分の割合を示す。

z = (δ₀+δ₁+δ₂+δ₃)x₀₁+δ₀x₁₀+δ₁x₁₁+δ₂x₁₂+δ₃x₁₃ ・・・（１）

δ₀乃至δ₃は、重畳された両投影画像の投影座標に基づいて求めることができる。各投影画像の画素値（個別ボケを含まない画素値）は入力画像から求めることができる。したがって、式（１）に示されるようなモデル式を用いて、重畳された状態の投影画像の画素値z（重畳ボケのみを含む画素値）を求めることができる。例えば、このような画素値zと入力画像の画素値との誤差の大きさを重畳ボケ量ω_重畳ボケとするようにしてもよい。

重畳ボケ量算出部１３８は、算出した重畳ボケ量ω_重畳ボケを示す情報を逆フィルタ設計部１３９に供給する。

ステップＳ１５８において、逆フィルタ設計部１３９は、重畳ボケ量算出部１３８より重畳ボケ量ω_重畳ボケを示す情報を取得する。また、逆フィルタ設計部１３９は、個別ボケ量記憶部１３５に記憶されている個別ボケ量ω_個別ボケを示す情報を取得する。上述のように、ステップＳ１５１乃至ステップＳ１５６の各処理が各投影装置１１２について実行されるので、個別ボケ量記憶部１３５には、全ての投影装置１１２から投影された各投影画像の個別ボケ量ω_個別ボケを示す情報が記憶されている。

そこで、逆フィルタ設計部１３９は、以下の式（２）に示されるように、重畳ボケ量ω_重畳ボケに重畳される各投影画像の個別ボケ量ω_個別ボケを畳み込むことにより、重畳された状態の投影画像のボケ量（最終的なボケ量ω_{最終的なボケ}）を求める。

ω_{最終的なボケ} = ω_個別ボケ*ω_重畳ボケ ・・・（２）

逆フィルタ設計部１３９は、投影画像の重畳している部分の全ての画素について、最終的なボケ量ω_{最終的なボケ}を求め、その値を用いて、入力画像を重畳された状態の投影画像に変換するフィルタを設計する。つまり、逆フィルタ設計部１３９は、投影装置１１２毎にフィルタを生成する。

このフィルタの設計（生成）方法は任意である。例えば、図８のＡのように、入力画像にフィルタをかけた値と、入力画像の投影画像との誤差が最小となるようにフィルタを設計するようにしてもよい。例えば、フィルタの１画素用の係数をw_jとし、投影画像の画素値y_iをボケ量ω_kと係数w_jと入力画像の画素値x_kjとを用いて、以下の式（３）のように表し、その画素値y_iと、各投影装置１１２より投影された投影画像が重畳された状態の投影画像の画素値である教師t_iとの誤差ε_i（式（４））が最小となるように、機械学習によって係数w_jを求めるようにしてもよい。

・・・（３）
ε_i = t_i-y_i ・・・（４）

また、例えば、入力画像と投影画像との画素値の平均二乗誤差を最小とするようにフィルタを設計するようにしてもよい。

以上のようにフィルタを設計すると逆フィルタ設計部１３９は、各フィルタの逆フィルタを設計し、生成する。つまり、逆フィルタ設計部１３９は、投影装置１１２毎に逆フィルタを生成する。この逆フィルタの設計（生成）方法は任意である。例えば、図８のＢのように、ウィナーフィルタ（Wiener Filter）を用いるようにしてもよい。以上のように逆フィルタを生成すると、逆フィルタ設計部１３９は、その逆フィルタを位相画像生成部１４０に供給する。

ステップＳ１５８の処理が終了すると、ボケ量算出処理が終了し、処理は図３に戻る。

以上のように各処理を実行することにより、ボケ量をより正確に求めることができるので、複数の投影画像が重畳された状態の投影画像における個別ボケや重畳ボケをより正確に抑制することができる。つまり、投影画像の主観画質の低減を抑制することができる。また、以上のようにボケ量を算出することにより、より高速にボケ量を算出することができる。

なお、以上においてはフィルタの設計の際に、１画素用の係数ｗを求めるように説明したが、この係数ｗの数は任意であり、単数であってもよいし、複数であってもよい。例えば、任意の数の代表画素を設定し、各代表画素について係数ｗを求めるようにしてもよい。この代表画素は、画像全体に対して設定されるようにしてもよいし、画像の部分領域毎に設定されるようにしてもよい。また、画像の全画素について係数ｗをそれぞれ求めるようにしてもよい。例えば、線形計画法等を用いて各係数ｗを算出するようにしてもよい。

＜３．第２の実施の形態＞
＜画像の一部の重畳＞
なお、各投影装置１１２より投影された各投影画像の投影位置が、互いに異なるようにしてもよい。つまり、複数の投影画像が重畳されるオーバーラップ領域は、図１の例のように投影画像全体でなくてもよい。例えば、図９の例のように投影画像の一部の領域が重畳するようにしてもよい。

図９に示される投影撮像システム３００は、図１の投影撮像システム１００と同様の構成を有し、同様の処理を行うシステムであるが、投影撮像システム３００の場合、投影装置１１２－１が投影した投影画像と、投影装置１１２－２が投影した投影画像とのオーバーラップ領域は、投影画像の一部である。

図９に示されるように、投影装置１１２－１が投影した投影画像は、スクリーン１２０の範囲３１１に投影される。これに対して投影装置１１２－２が投影した投影画像は、スクリーン１２０の範囲３１２に投影される。したがって、オーバーラップ領域は、範囲３１１と範囲３１２とが重畳する部分である範囲３１３となる。つまり、これらの投影装置１１２が投影した投影画像は、その一部の領域のみが重畳している。このようにすることにより、例えば投影画像の画質の低減を抑制しながら、画サイズをより大きくすることができる。

撮像装置１１３は、オーバーラップ領域全体を撮像するようにすればよい。したがって、図９の例のように、撮像装置１１３が範囲３１１および範囲３１２を含む範囲３１４を撮像するようにしてもよい。

このような投影撮像システム３００にも、本技術を適用することができる。つまり、投影撮像システム３００も、第１の実施の形態において説明した場合と同様に、オーバーラップ領域において、個別ボケや重畳ボケをより正確に抑制することができる。つまり、投影画像の主観画質の低減を抑制することができる。また、以上のようにボケ量を算出することにより、より高速にボケ量を算出することができる。

なお、この場合、位相画像生成部１４０は、投影画像のオーバーラップ領域について位相画像を生成する。つまり、第１の実施の形態においては、位相画像生成部１４０は、入力画像全体についての位相画像を生成するように説明したが、この場合の位相画像生成部１４０は、逆フィルタ生成部１３９により生成された逆フィルタを用いて、入力画像の一部分を変換し、入力画像の一部分についての位相画像を生成する。

その際、投影画像のオーバーラップ領域以外の領域については、位相画像生成部１４０が位相画像の生成を省略するようにしてもよい。つまり、投影画像のオーバーラップ領域以外の領域については、入力画像を投影するようにしてもよい。また、投影画像のオーバーラップ領域以外の領域については、位相画像生成部１４０が、個別ボケのみを抑制するように画像処理を行うようにしてもよい。このようにすることにより、画像処理の処理量を低減させることができ、負荷やコストの増大を抑制することができる。また、例えば、この領域について、逆フィルタ設計部１３９が個別ボケ量のみを用いてフィルタを設計してその逆フィルタを生成し、位相画像生成部１４０が、その逆フィルタを用いて、投影画像のオーバーラップ領域以外の領域の位相画像を生成するようにしてもよい。このようにすることにより、このオーバーラップ領域以外の領域についても主観画質の低減を抑制することができる。

＜４．第３の実施の形態＞
なお、各投影装置１１２より投影された各投影画像の各画素の投影位置がずれていていもよい。例えば各投影画像の投影位置を半画素分ずらすことにより、複数の投影画像が重畳された状態の投影画像を高解像度化することができる。このように、各投影画像が正しい位置に投影された状態において、オーバーラップ領域の各画素の投影座標が、それらの投影画像間において互いに一致しない場合にも本技術を適用することができる。

例えば、図１０に示される投影撮像システム４００は、投影撮像システム１００と同様のシステムであるが、画像処理装置１１１、投影装置４１２－１乃至投影装置４１２－４、並びに、撮像装置１１３を有する。以下において、投影装置４１２－１乃至投影装置４１２－４を互いに区別して説明する必要がない場合、投影装置４１２と称する。画像処理装置１１１に入力される入力画像の解像度は、所謂８Ｋ（7680画素×4320画素）である。投影装置４１２は、投影装置１１２と同様の構成を有し、同様の処理を行う装置である。投影装置４１２は、所謂４Ｋ（3840画素×2160画素）の解像度の画像を投影することができる。したがって、画像処理装置１１１は、解像度８Ｋの入力画像から解像度４Ｋの位相画像を生成し、それを投影装置４１２に供給する。

４台の投影装置４１２は、スクリーン１２０の範囲４２１に解像度４Ｋの画像を投影する。その際、各投影装置４１２は、スクリーン１２０の、垂直方向または水平方向に互いに半画素ずつずらした位置に画像を投影する。これにより、スクリーン１２０の範囲４２１の位置に解像度８Ｋの投影画像が投影される。

撮像装置１１３は、オーバーラップ領域全体を撮像するようにすればよい。したがって、撮像装置１１３は、範囲４２１を含む範囲４２２を撮像する。

このように画像を投影することにより、投影撮像システム４００は、解像度４Ｋの画像を投影する投影装置４１２を用いて、画サイズを略変えずに解像度８Ｋの画像を投影することができる。つまり、投影撮像システム４００は、入力画像よりも低解像度の画像を投影する投影装置を複数用いて、その入力画像に対して投影画像の解像度を低減させずに画像投影を行うことができる。換言するに、投影撮像システム４００は、複数の投影装置を用いることにより、投影画像の解像度が、投影装置が投影することができる解像度よりも高解像度となるように、画像投影を行うことができる。つまり、より低性能の投影装置を用いることができるので、コストの増大を抑制することができる（より安価かつ消費電力の増大を抑制することができる）。

このような投影撮像システム４００にも、本技術を適用することができる。つまり、投影撮像システム４００も、第１の実施の形態において説明した場合と同様に、オーバーラップ領域において、個別ボケや重畳ボケをより正確に抑制することができる。つまり、投影画像の主観画質の低減を抑制することができる。また、以上のようにボケ量を算出することにより、より高速にボケ量を算出することができる。

＜５．第４の実施の形態＞
＜その他の構成＞
なお、本技術を適用した投影撮像システム１００の構成は、上述した図１、図９、図１０の例に限定されない。例えば、画像処理装置１１１、投影装置１１２、および撮像装置１１３の数は、それぞれ任意であり、それぞれ複数であってもよい。また、各投影装置１１２の仕様（例えば、解像度、明るさ、フレームレート等）がすべて同一であってもよいし、同一でなくてもよい。

また、例えば図１１に示されるように、投影撮像システム１００の各装置が、ネットワーク５０１を介して互いに接続されるようにしてもよい。

このネットワーク５０１は、任意の通信網である。ネットワーク５０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク５０１は、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５０１に含まれるようにしてもよい。

各装置は、このネットワーク５０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。各装置は、ネットワーク５０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、各装置は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。このような構成の場合も、投影撮像システム１００は、上述した他の実施の形態の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。

また、例えば図１２に示されるように、投影装置１１２と撮像装置１１３とが一体化されて１つの装置として構成されるようにしてもよい。図１２の例の場合、投影撮像システム１００は、投影装置１１２および撮像装置１１３の代わりに、投影撮像装置５１０を有する。投影撮像装置５１０は、画像の投影や撮像に関する処理を行う装置であり、投影部５１２－１、投影部５１２－２、および撮像部５１３を有する。投影部５１２－１および投影部５１２－２は、画像投影に関する処理を行う処理部であり、それぞれ、投影装置１１２と同様の構成を有し、同様の処理を行う。なお、投影部５１２－１および投影部５１２－２を互いに区別して説明する必要がない場合、投影部５１２と称する。撮像部５１３は、撮像に関する処理を行う処理部であり、撮像装置１１３と同様の構成を有し、同様の処理を行う。図１２に示されるように、この投影撮像装置５１０も画像処理装置１１１に接続される。画像処理装置１１１は、撮像部５１３において撮像された撮像画像に基づいて、入力画像を変換して、投影画像における個別ボケおよび重畳ボケを低減させるように位相画像を生成する。投影部５１２は、その位相画像を投影する。したがって、このような構成の場合も、投影撮像システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。

なお、投影装置１１２のみを一体化して1つの装置とし、撮像装置１１３はそれとは別の装置としてもよい。また、一部の投影装置１１２のみを一体化して、その他の投影装置１１２や撮像装置１１３はそれとは別の装置としてもよい。

また、画像処理装置も一体化するようにしてもよい。例えば図１３に示されるように、画像処理装置１１１と投影装置１１２とが一体化されて１つの装置として構成されるようにしてもよい。図１３の例の場合、投影撮像システム１００は、画像処理装置１１１および投影装置１１２－１の代わりに、投影装置５３０を有する。投影装置５３０は、画像処理部５３１および投影部５１２を有する。画像処理部５３１は、入力画像に対する画像処理に関する処理を行う処理部であり、画像処理装置１１１と同様の構成を有し、同様の処理を行う。図１３に示されるように、投影装置１１２および撮像装置１１３は、画像処理装置１１１に接続されていたのと同様に、画像処理部５３１に接続される。画像処理部５３１は、撮像装置１１３において撮像された撮像画像に基づいて、入力画像を変換して、投影画像における個別ボケおよび重畳ボケを低減させるように位相画像を生成する。投影部５１２および投影装置１１２は、その位相画像を投影する。したがって、このような構成の場合も、投影撮像システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。

なお、画像処理装置１１１と複数の投影装置１１２とを一体化して１つの装置としてもよい。また、画像処理装置１１１とすべての投影装置１１２とを一体化して１つの装置としてもよい。また、画像処理装置１１１と撮像装置１１３とを一体化して１つの装置としてもよい。

さらに、例えば図１４に示されるように、投影撮像システム１００の全ての装置を一体化するようにしてもよい。図１４の例の場合、投影撮像システム１００は、画像処理装置１１１、投影装置１１２、および撮像装置１１３の代わりに、投影撮像装置５４０を有する。投影撮像装置５４０は、画像処理部５３１、投影部５１２－１、投影部５１２－２、および撮像部５１３を有する。画像処理部５３１は、撮像部５１３において撮像された撮像画像に基づいて、入力画像を変換して、投影画像における個別ボケおよび重畳ボケを低減させるように位相画像を生成する。投影部５１２は、その位相画像を投影する。したがって、このような構成の場合も、投影撮像システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。

勿論、投影撮像システム１００の各装置は、上述した例に限定されず、任意の組み合わせで一体化して１つの装置とすることができる。なお、投影撮像システム３００や投影撮像システム４００の場合も、上述した投影撮像システム１００の場合と同様に任意の構成とすることができる。

また以上においては投影撮像システムを用いて本技術を説明したが、本技術は画像表示装置や画像表示システム等、画像表示機能を備える任意の構成、または画像表示のための処理を行う任意の構成に適用することができる。

＜６．その他＞
＜本技術の適用分野＞
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。

例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。

＜ソフトウエア＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図１５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜補足＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部が投影する入力画像を前記複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成する逆フィルタ生成部と、
前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像を変換して位相画像を生成する位相画像生成部と
を備える画像処理装置。
（２） 前記逆フィルタ生成部は、前記入力画像にフィルタをかけた値と、前記入力画像の投影画像との誤差が最小となるように前記フィルタを生成し、生成された前記フィルタを用いて前記逆フィルタを生成する
（１）に記載の画像処理装置。
（３） 前記逆フィルタ生成部は、ウィナーフィルタを前記逆フィルタとして生成する
（２）に記載の画像処理装置。
（４） 前記逆フィルタ生成部は、前記投影部毎に前記逆フィルタを生成する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記逆フィルタ生成部は、前記入力画像の代表画素について、前記逆フィルタを生成する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記逆フィルタ生成部は、前記入力画像の全画素について、前記逆フィルタを生成する
（１）乃至（４）のいずれかに記載の画像処理装置。
（７） 前記位相画像生成部は、前記投影部毎に前記位相画像を生成する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像全体を変換し、前記入力画像全体についての前記位相画像を生成する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像の一部分を変換し、前記入力画像の一部分についての前記位相画像を生成する
（１）乃至（７）のいずれかに記載の画像処理装置。
（１０） 前記位相画像生成部は、前記入力画像のその他の部分の変換を省略する
（９）に記載の画像処理装置。
（１１） 前記位相画像生成部は、前記入力画像のその他の部分に対して、前記個別ボケ量を低減させるように変換を行う
（９）に記載の画像処理装置。
（１２） 前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記個別ボケ量を算出する個別ボケ量算出部をさらに備える
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記個別ボケ量算出部は、前記複数の投影部のそれぞれからテスト画像を投影し、その投影画像を撮像した撮像画像における前記テスト画像についてPSF（Point Spread Function）を前記個別ボケ量として算出する
（１２）に記載の画像処理装置。
（１４） 前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記重畳ボケ量を算出する重畳ボケ量算出部をさらに備える
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記重畳ボケ量算出部は、前記撮像画像より投影画像の各画素の投影座標を求め、複数の投影画像が重畳する部分について、前記投影座標から重畳ボケ量を算出する
（１４）に記載の画像処理装置。
（１６） 前記複数の投影部のそれぞれから投影された各投影画像を撮像する撮像部をさらに備える
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 画像を投影する前記複数の投影部をさらに備える
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記複数の投影部は、前記位相画像生成部により生成された前記位相画像を投影する
（１７）に記載の画像処理装置。
（１９） 前記複数の投影部は、前記投影画像が各投影部が投影する画像よりも高解像度の画像となるように、画像を互いにずれた位置に投影する
（１７）または（１８）に記載の画像処理装置。
（２０） 複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部が投影する入力画像を前記複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成し、
生成された前記逆フィルタを用いて前記入力画像を変換して位相画像を生成する
画像処理方法。

１００ 投影撮像システム， １１１ 画像処理装置， １１２ 投影装置， １１３ 撮像装置， １２０ スクリーン， １３１ テスト画像記憶部， １３２ 投影制御部， １３３ 撮像制御部， １３４ 個別ボケ量算出部， １３５ 個別ボケ量記憶部， １３６ 投影座標特定部， １３７ 投影座標記憶部， １３８ 重畳ボケ量算出部， １３９ 逆フィルタ設計部， １４０ 位相画像生成部， ３００ 投影撮像システム， ４００ 投影撮像システム， ４１２ 投影装置， ５０１ ネットワーク， ５１０ 投影撮像装置， ５１２ 投影部， ５１３ 撮像部， ５３０ 投影装置， ５３１ 画像処理部， ５４０ 投影撮像装置， ９００ コンピュータ

Claims (17)

1. 複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部から投影された前記投影画像同士が重畳するオーバーラップ領域について、入力画像を前記投影画像に変換するフィルタの逆フィルタを生成する逆フィルタ生成部と、
   前記複数の投影部のそれぞれについて、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像の前記オーバーラップ領域に対応する部分を変換して位相画像を生成する位相画像生成部と、
   前記複数の投影部を制御し、前記複数の投影部のそれぞれから投影された前記位相画像に対応する投影画像同士が前記オーバーラップ領域を形成するように、前記位相画像を投影させる投影制御部と
   を備える画像処理装置。
2. 前記逆フィルタ生成部は、前記入力画像にフィルタをかけた値と、前記入力画像の投影画像との誤差が最小となるように前記フィルタを生成し、生成された前記フィルタを用いて前記逆フィルタを生成する
   請求項１に記載の画像処理装置。
3. 前記逆フィルタ生成部は、ウィナーフィルタを前記逆フィルタとして生成する
   請求項２に記載の画像処理装置。
4. 前記逆フィルタ生成部は、前記投影部毎に前記逆フィルタを生成する
   請求項１に記載の画像処理装置。
5. 前記逆フィルタ生成部は、前記入力画像の代表画素について、前記逆フィルタを生成する
   請求項１に記載の画像処理装置。
6. 前記逆フィルタ生成部は、前記入力画像の全画素について、前記逆フィルタを生成する
   請求項１に記載の画像処理装置。
7. 前記オーバーラップ領域は、前記投影画像全体であり、
   前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像全体を変換し、前記入力画像全体についての前記位相画像を生成する
   請求項１に記載の画像処理装置。
8. 前記オーバーラップ領域は、前記投影画像の一部分であり、
   前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像の一部分を変換し、前記入力画像の一部分についての前記位相画像を生成する
   請求項１に記載の画像処理装置。
9. 前記位相画像生成部は、前記入力画像のその他の部分の変換を省略する
   請求項８に記載の画像処理装置。
10. 前記位相画像生成部は、前記入力画像のその他の部分に対して、前記個別ボケ量を低減させるように変換を行う
    請求項８に記載の画像処理装置。
11. 前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記個別ボケ量を算出する個別ボケ量算出部をさらに備える
    請求項１に記載の画像処理装置。
12. 前記個別ボケ量算出部は、前記複数の投影部のそれぞれからテスト画像を投影し、その投影画像を撮像した撮像画像における前記テスト画像についてPSF（Point Spread Function）を前記個別ボケ量として算出する
    請求項１１に記載の画像処理装置。
13. 前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記重畳ボケ量を算出する重畳ボケ量算出部をさらに備える
    請求項１に記載の画像処理装置。
14. 前記重畳ボケ量算出部は、前記撮像画像より投影画像の各画素の投影座標を求め、複数の投影画像が重畳する部分について、前記投影座標から重畳ボケ量を算出する
    請求項１３に記載の画像処理装置。
15. 前記複数の投影部のそれぞれから投影された各投影画像を撮像する撮像部をさらに備える
    請求項１に記載の画像処理装置。
16. 前記複数の投影部をさらに備える
    請求項１に記載の画像処理装置。
17. 複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部から投影された前記投影画像同士が重畳するオーバーラップ領域について、入力画像を前記投影画像に変換するフィルタの逆フィルタを生成し、
    前記複数の投影部のそれぞれについて、生成された前記逆フィルタを用いて前記入力画像の前記オーバーラップ領域に対応する部分を変換して位相画像を生成し、
    前記複数の投影部を制御し、前記複数の投影部のそれぞれから投影された前記位相画像に対応する投影画像同士が前記オーバーラップ領域を形成するように、前記位相画像を投影させる
    画像処理方法。

Images