JP7616219B2 - 画像処理装置と画像処理方法とプログラムおよび画像投写方法 - Google Patents

Description

この技術は、画像処理装置と画像処理方法とプログラムおよび画像投写方法に関し、複数の投写像より構成される混合像の撮像画から投写像を分離できるようにする。

従来、複数台の投写装置の投写像を組み合わせて一つの混合像を表示することが行われている。この場合、撮像装置を用いて投写像を撮像して各投写像の位置関係を取得し、投写像同士の重畳領域における映像の不整合を解決することが行われている。

また、投写像の位置を取得するためには、投写装置と撮像装置との間で画素の対応関係が必要であり、構造化光(Structured Light)と呼ばれるセンシング用の画像を投写して撮影を行い、対応関係を求めることが行われている。例えば特許文献１では、構造化光を同時投写してしまうとお互いの構造化光が混合して、撮影した投写像の画素情報がどの投写装置と対応するのか区別できないため、異なる色情報を付与することで、複数台の投写像を区別することが行われている。また、特許文献２では、空間的に重畳しない領域を利用することで、複数台の投写像を区別することが行われている。

特開２０１２－０４７８４９号公報 特開２０１５－０５６８３４号公報

ところで、特許文献１のように色情報を利用することで投写光を区別する場合、スクリーンや環境光の色、投写装置と撮像装置のデバイス固有の分光特性等が原因となり投写する色と撮影された色が一致しないと、所望の投写像とは別の投写像が分離結果に表れて、センシング精度の低下やセンシングの失敗を引き起こすおそれがある。

また、特許文献２のように空間的に重畳しない領域を利用する場合、例えばマーカーを重畳させずに投写像を配置することができるパターンに制約があり、重畳を避けるためプロジェクタの投写領域がある程度決められた横並びに配置しなければならないという制約が必要となる。そのため、複数の投写範囲がほぼ重畳するスタッキング投写を始めとした幅広い投写像の配置について対応できず、配置の自由度が低い。さらに、投写光の中で重畳を避けるようにマーカーが配置されているため、補正に利用することができる情報の密度が低下する。

そこで、この技術では、複数の投写像より構成される混合像の撮像画から投写像を分離できる画像処理装置と画像処理方法とプログラムおよび画像投写方法を提供することを目的とする。

この技術の第１の側面は、
複数の投写装置から互いに異なる色情報を付与して投写された投写像の混合像を撮像した撮像画の色情報と、撮像画の色情報と前記投写像および背景の色情報との関係を示す色モデルに基づき、色情報毎の分離画像を生成する色分離処理部
を備える画像処理装置にある。

この技術においては、色分離処理部は、複数の投写装置から互いに異なる色情報を付与して投写された例えば構造化光の混合像を撮像した撮像画の色情報と、撮像画の色情報と投写像および背景の色情報との関係を示す色モデルに基づき、色情報毎の分離画像の生成を行う。色モデルでは、投写装置と撮像画を取得する撮像装置の分光特性に応じて変化した投写像の色情報と、撮像装置で撮像された混合像に生じる減衰を示す減衰係数をパラメータとして用いており、色分離処理部は、撮像画の色情報と色モデルによって推定した色情報との差が最小となるパラメータを用いて、色モデルに基づき色情報毎の分離画像を生成する。

また、混合像を撮像する撮像装置は非固定視点であり、色分離処理部は、撮像装置でガンマ補正が行われる場合、デガンマ処理後の撮像画を用いて分離画像を生成する。また、互いに異なる色情報は、色情報に対応する色ベクトルの内積が最小となるように設定されている。また、投写像と撮像画は飽和を生じていない画像である。

さらに、投写装置から投写する投写画像を補正する画像補正部を備えて、分離画像に付与されている色情報を用いて投写画像の色校正を行う。また、色分離処理部で生成された色情報毎の分離画像間の対応点を検出する対応点検出部を備えて、画像補正部は、対応点検出部で検出された分離画像毎の対応点を整合させる幾何補正情報を用いて投写画像を補正する。

また、複数の投写装置に対して所定台数のグループ化を行い、グループ内の少なくとも１台の投写装置は他のグループに含まれるようにして、グループ内では互いに異なる色情報を付与して投写像の投写を行い、色分離処理部は、グループ毎に分離画像を生成して、対応点検出部は、グループ毎に対応点の検出を行い、画像補正部は、対応点検出部でグループ毎に検出された分離画像毎の対応点を整合させる幾何補正情報を用いて投写画像を補正する。

この技術の第２の側面は、
複数の投写装置から互いに異なる色情報を付与して投写された投写像の混合像が撮像された撮像画から、前記投写像の色情報と背景色の色情報で構成される色モデルに基づき、色情報毎の分離画像を色分離処理部で生成すること
を含む画像処理方法にある。

この技術の第３の側面は、
投写像の混合像を撮像した撮像画から各投写像を分離する処理をコンピュータで実行させるプログラムであって、
複数の投写装置から互いに異なる色情報を付与して投写された前記投写像の混合像を撮像した撮像画を取得する手順と、
前記投写像の色情報と背景色の色情報で構成される色モデルに基づいて、前記撮像画から色情報毎の分離画像を生成する手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
複数の投写装置から互いに異なる色情報を付与して投写された投写像の混合像が撮像された撮像画から、前記投写像の色情報と背景色の色情報で構成される色モデルに基づき、色情報毎の分離画像を色分離処理部で生成することと、
前記色分離処理部で生成された前記色情報毎の分離画像間の対応点を対応点検出部で検出すること、
前記対応点検出部で検出された前記分離画像毎の対応点を整合させる幾何補正情報を用いて前記複数の投写装置から投写する投写画像像を画像補正部で補正すること
を含む画像投写方法にある。

画像投写システムの構成を例示した図である。 実施の形態の構成を例示した図である。 実施の形態の動作を例示したフローチャートである。 撮像装置の分光感度を例示した図である。 投写像に対する撮像画の色変化を例示した図である。 環境によって変化する撮像画を例示した図である。 センシングパターンとスクリーンへの投写状態を示した図である。 パラメータの推定動作を例示したフローチャートである。 分離画像を例示した図である。 パラメータの推定動作例を示す図である。 投写装置から投写するセンシングパターン（構造化光）を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像投写システムについて
２．実施の形態の構成
３．実施の形態の動作
３－１．分離画像の生成動作
３－２．実施の形態の他の動作＞
３－２－１．センシングパターンについて
３－２－２．ガンマ特性について
３－２－３．投写装置が３台以上である場合について
３－２－４．付与する色情報について
３－２－５．色校正について
３－２－６．投写条件と撮像条件について

＜１．画像投写システムについて＞
図１は、本技術の画像処理装置を用いた画像投写システムの構成を例示している。なお、図１は、２台の投写装置を用いる場合を例示している。

画像投写システム１０は、スクリーンＳｃに画像を投写する投写装置２０-1，２０-2と、スクリーンＳｃを固定されていない視点（非固定視点）で撮像する撮像装置３０、撮像装置３０で取得された撮像画から投写像を分離する画像処理装置４０、スクリーンＳｃに投写する画像を示す画像信号を投写装置２０-1，２０-2へ出力する画像生成装置５０を有している。撮像装置３０と画像処理装置４０および画像生成装置５０は、個々に独立して設けてもよく、各装置を一体化してあるいは一部の装置のみ（例えば画像処理装置４０と画像生成装置５０）を一体化して設けてもよい。さらに、画像生成装置５０または画像処理装置４０と画像生成装置５０は、投写装置に２０-1，２０-2のいずれかに一体化して設けてもよい。

＜２．実施の形態の構成＞
図２は、実施の形態の構成を例示しており、画像処理装置４０は、色分離処理部４１、対応点検出部４２、位置算出部４３を有している。

例えば画像投写システムの校正時において、スクリーンＳｃには、投写装置２０-1，２０-2によって投写像例えばセンシングパターン（構造化光）が投写されており、センシングパターンは、各投写装置で異なる色情報が付与されている。撮像装置３０は、センシングパターンが投写されているスクリーンＳｃを非固定視点で撮像して、投写装置２０-1によって投写された第１センシングパターンと投写装置２０-2によって投写された第２センシングパターンの混合像を示す撮像画を取得する。

色分離処理部４１は、撮像装置３０で取得された撮像画の色情報と、撮像画の色情報と投写像および背景の色情報との関係を示す色モデルに基づき、センシングパターンに付与した色情報毎の分離画像を生成する。なお、色情報毎の分離画像の生成についての詳細は後述する。色分離処理部４１は生成した分離画像を対応点検出部４２へ出力する。

対応点検出部４２は、色情報毎の分離画像間の対応点を検出して、検出結果を示す対応点情報を位置算出部４３へ出力する。

位置算出部４３は、対応点検出部４２で検出された対応点の表示位置を一致させる位置補正量を算出する。例えば、位置算出部４３は、第１センシングパターンに付与されている色情報の分離画像を基準として、基準とする分離画像の対応点に対して第２センシングパターンに付与されている色情報の分離画像の対応点の表示位置を一致させる位置補正量を算出する。位置算出部４３は算出した位置補正量を画像生成装置５０へ出力する。

画像生成装置５０は、画像生成部５１と画像補正部５２を有している。画像生成部５１は、投写画像の画像信号を生成する。画像生成部５１は、例えば画像投写システムの校正時に、投写装置２０-1から投写する投写画像として第１センシングパターンと、投写装置２０-2から投写する投写画像として第２センシングパターンを生成する。また、画像生成部５１は、第１センシングパターンに色情報を付与して、第２センシングパターンに第１センシングパターンと異なる色情報を付与する。画像投写システムの校正後、画像生成部５１は、投写装置２０-1から投写する投写画像としてユーザ等からの要求に応じた画像と、投写装置２０-2から投写する投写画像としてユーザ等からの要求に応じた画像を生成する。画像生成部５１は、生成した画像を示す画像信号を画像補正部５２へ出力する。

画像補正部５２は、例えば画像投写システムの校正開始時に、投写装置２０-1から投写する第１センシングパターンの画像信号を投写装置２０-1へ出力して、投写装置２０-2から投写する第２センシングパターンの画像信号を投写装置２０-2へ出力する。さらに、画像補正部５２は、画像処理装置４０の位置算出部４３で算出された位置補正量を幾何補正情報として、画像投写システムの校正処理中および校正後、幾何補正情報を用いて投写画像の幾何補正を行い、投写装置２０-1から投写する投写画像と投写装置２０-2から投写する投写画像を整合させる。画像補正部５２は、例えば画像処理装置４０の位置算出部４３で算出された位置補正量が第１センシングパターンを基準としている場合、投写装置２０-2から投写する投写画像に対して幾何補正情報に基づき幾何補正を行う。画像補正部５２は、校正処理中に投写装置２０-1から投写する第１センシングパターン、および校正後に投写装置２０-1から投写するユーザ等からの要求に応じた画像の画像信号を投写装置２０-1へ出力する。また、画像補正部５２は、校正処理中に投写装置２０-2から投写する第１センシングパターンの幾何補正、および校正後に投写装置２０-2から投写するユーザ等からの要求に応じた画像の幾何補正を行い、幾何補正後の画像信号を投写装置２０-2へ出力する。

なお、画像補正部５２は、画像生成装置５０に替えて投写装置に設けてもよい。例えば画像処理装置４０の位置算出部４３で算出された位置補正量が第１センシングパターンを基準としている場合、投写装置２０-2に画像補正部５２を設けてもよい。

＜３．実施の形態の動作＞
図３は、実施の形態の動作を例示したフローチャートである。ステップＳＴ１で画像投写システムはセンシングパターンを投写する。画像投写システム１０の投写装置２０-1，２０-2は、画像投写システムの校正を行うため、互いに異なる色情報を付与した第１センシングパターンと第２センシングパターンをスクリーンＳｃに投写してステップＳＴ２に進む。

ステップＳＴ２で画像投写システムは撮像画を取得する。画像投写システム１０の撮像装置３０は、スクリーンＳｃに投写装置２０-1から投写されている第１センシングパターンと投写装置２０-2から投写されている第２センシングパターンとの混合像の撮像を非固定視点で行い、混合像を示す撮像画を取得してステップＳＴ３に進む。

ステップＳＴ３で画像投写システムは色分離処理を行う。画像投写システム１０の画像処理装置４０における色分離処理部４１は、第１および第２のセンシングパターンに付与されている色情報と、撮像画の色情報と投写像および背景の色情報との関係を示す色モデルに基づき、第１センシングパターンに付与した色情報の第１分離画像と、第２センシングパターンに付与した色情報の第１分離画像を生成してステップＳＴ４に進む。

ステップＳＴ４で画像投写システムは対応点検出処理を行う。画像処理装置４０における対応点検出部４２は、ステップＳＴ３で色分離処理を行うことにより生成された第１分離画像と第２分離画像において、互いに対応する対応点を検出する。対応点の検出は、例えば特開２０００－３４８１７５号公報や特開２０１８－０１１３０２号公報等に記載されている公知の技術を用いればよい。対応点検出部４２は、対応点を検出してステップＳＴ５に進む。

ステップＳＴ５で画像投写システムは対応点の位置算出処理を行う。画像処理装置４０における位置算出部４３は、ステップＳＴ４で検出した対応点の表示位置を算出してステップＳＴ６に進む。

ステップＳＴ６で画像投写システムは幾何補正情報を生成する。画像生成装置５０における画像補正部５２は、ステップＳＴ５で算出した対応点の表示位置に基づき、対応点の表示位置を同一位置とする位置補正量を対応点毎に算出することで幾何補正情報を生成して画像投写システムの校正を終了する。その後、ユーザ等からの要求に応じて、映像コンテンツ等の投写画像を投写する場合、ステップＳＴ７に進む。

ステップＳＴ７で画像投写システムは投写画像の投写処理を行う。画像投写システム１０の画像生成装置５０は、ユーザ等からの要求に応じた投写画像の画像信号を画像生成部５１で生成する。また、画像補正部５２は、画像生成部５１で生成された投写画像に対して幾何補正情報に基づき幾何補正を行い、幾何補正後の投写画像の画像信号を投写装置２０-1，２０-2に出力することで、投写装置２０-1，２０-2のそれぞれから投写画像を、不整合を生じさせることなくスクリーンＳｃに投写する。

＜３－１．分離画像の生成動作＞
次に、分離画像の生成動作について説明する。分離画像の生成動作では、複数の投写装置から互いに異なる色情報を付与して投写された投写像の混合像を撮像した撮像画の色情報と、撮像画の色情報と投写像および背景の色情報との関係を示す色モデルに基づき、色情報毎の分離画像を生成する。

色モデルは、投写装置と前記撮像画を取得する撮像装置の分光特性に応じて変化した投写像の色情報と、撮像装置で撮像された混合像に生じる減衰を示す減衰係数、および背景の色情報をパラメータとして用いており、色分離処理部は、撮像画の色情報と色モデルによって推定した色情報との差が最小となるパラメータを用いて、色モデルに基づき色情報毎の分離画像を生成する。

色分離処理では、投写装置２０と撮像装置３０の分光特性が異なる場合、分離性能が低下するおそれがある。図４は、撮像装置の分光感度を例示している。撮像装置３０は、三原色（赤色Ｒ，緑色Ｇ，青色Ｂ）の波長域に感度を有しており、各色の感度は一部が重複しており、例えば赤色の波長（６１０ｎｍ～７５０）に対して緑色や青色の感度を有している。したがって、投写像の色は撮像画において色変化を生じる場合がある。図５は、投写像に対する撮像画の色変化を例示している。投写装置２０に入力される投写像は、例えば「（Ｒ，Ｇ，Ｂ）＝（１，０，０）」とする。この場合、撮像装置３０は、赤色の波長に対して緑色や青色の感度を有していることから取得される撮像画は、例えば「（Ｒ，Ｇ，Ｂ）＝（０．７，０．２，０．１）」に変化してしまう。

また、環境を考慮した場合、撮像画は環境に応じて変化する。図６は環境によって変化する撮像画を例示している。例えば投写像が色Ｃpro、照明光源による環境光が色Ｃenv、スクリーンＳｃの投写面が色Ｃbackである場合、撮像装置３０で観測される投写像の色Ｃcamは、式（１）の関数で示される値となる。
Ｃcam ＝ ｆ（Ｃpro，Ｃenv，Ｃback） ・・・（１）

このように、撮像装置３０で取得された撮像画における投写像は、投写装置２０や撮像装置３０の分光特性によって投写装置２０に入力される投写像と相違した色となってしまう場合がある。また、撮像装置３０で観察される投写像は、投写された投写像の色Ｃproだけでなく、環境光の色Ｃenv、スクリーンＳｃの投写面の色Ｃbackの影響を受ける。そこで、画像処理装置４０の色分離処理部４１は、混合像を高精度に分離するために、投写装置２０-1，２０-2から互いに異なる色情報を付与して投写された投写像の混合像を撮像した撮像画の色情報と、撮像画の色情報と投写像および背景の色情報との関係を示す色モデルを用いて色分離処理を行う。なお、説明を容易とするため、色モデルは投写と撮像においてガンマ特性の影響は考慮しないものとする。また、投写装置２０-1，２０-2は，投写光の加法性が成り立つとする。

色分離処理部４１は、色モデルを利用して混合像の分離を行い、分離画像を生成する。ここで、投写装置への入力色を画素値Ｐ（＝Ｐr，Ｐg，Ｐb）、撮像装置３０の分光特性による（３×３）の色変換行列Ｔcam、投写装置の分光特性による（３×３）の色変換行列Ｔpro、環境光の色とスクリーンの色からなる背景色を画素値ＢＣ（＝Ｂr，Ｂg，Ｂb）とすれば、撮像画の画素値ＣＰ（＝Ｃr，Cg，Cb）は式（２）として示すことができる。

また、投写装置からスクリーンＳｃに投写された投写像は、スクリーンＳｃにおける投写光の入射角、スクリーンＳｃまでの距離、スクリーンＳｃの投写面の反射率等によって減衰される。したがって、色モデルに投写像の減衰係数αを用いて、撮像装置３０で撮像される投写像を画素値（αＰ）とする。さらに、この場合における投写装置の入力色を画素値（Ｐ’＝Ｐr，Ｐg，Ｐb）、背景色を画素値（ＢＣ’＝Ｂr’，Ｂg’，Ｂb’）とすると、式（２）に示す色モデルは式（３）に示す色モデルとなる。

次に、画像投写システムの校正を行うため、投写装置２０-1，２０-2から互いに異なる色情報を付与して投写されたセンシングパターンの混合像を撮像した撮像画から、センシングパターンを示す分離画像をセンシングパターン毎に高精度に生成する場合について説明する。

この場合、投写装置２０-1の入力色を画素値Ｐ1’、投写装置２０-1によって投写された投写像の減衰係数を「α１」、投写装置２０-2の入力色を画素値Ｐ2’、投写装置２０-2によって投写された投写像の減衰係数を「α2」とすると、色モデルは式（４）に示す色モデルとなる。なお、画素値Ｐ1’と画素値Ｐ2’は、投写光の加法性が成り立っており、式（５）の関係とする。

ところで、式（４）は投写像と撮像画において対応する１画素についての色モデルであり、色分離処理部４１では撮像画の全体に色モデルを適用する。例えば撮像画は水平画素数ＱＨ、垂直画素数ＱＶとする。また、撮像画における画素位置（ｘ，ｙ）の色情報を画素値ＣＰx,y、画素位置（ｘ，ｙ）の減衰係数を「α1x,y」「α2x,y」とする。また、画面上の各位置の減衰係数を示す減衰係数ベクトルをαｖ1，αｖ2とする。

色分離処理部４１は、画素値ＣＰx,yを用いて、式（６）に示す評価値ＥＶが最小で、式（７）の条件を満たすパラメータ（画素値）「Ｐ1’，Ｐ2’，ＢＣ’」とパラメータ（減数係数）「α１，α２」を推定する。

図７は、センシングパターンとスクリーンへの投写状態を示している。図７の（ａ）は、投写装置２０-1から投写される第１センシングパターンＳＰ1を例示しており、図７の（ｂ）は、投写装置２０-2から投写される第２センシングパターンＳＰ2を例示している。第１センシングパターンは、例えば赤色の矩形領域に黒色の点を設けたパターンとされており、第２センシングパターンは、例えば青色の矩形領域に黒色の点を設けたパターンとされている。図７の（ｃ）は、第１センシングパターンＳＰ1と第２センシングパターンＳＰ2がスクリーンＳｃに投写されている状態を例示しており、第１センシングパターンＳＰ1と第２センシングパターンＳＰ2のいずれにも該当していない領域は背景領域ＳＢである。なお、画素位置（ｘ，ｙ）は、背景領域とセンシングパターンの色が付与された領域とセンシングパターンの黒色の点の領域のいずれであるか事前に検出されている。例えば第１センシングパターンと第２センシングパターンを個々に投写すれば、画素位置（ｘ，ｙ）がいずれの領域に対応するが明らかである。

色分離処理部４１は、画素位置（ｘ，ｙ）がセンシングパターンの画素位置であるとき、画素値Ｐ1’，Ｐ2’はセンシングパターンにおける対応する領域の色情報を用いる。また、画素位置（ｘ，ｙ）が背景領域の画素位置であるとき、画素値Ｐ1’，Ｐ2’は「０」とする。

色分離処理部４１は、式（８）に示す演算を行い、投写装置２０-1によって投写された第１センシングパターンを示す分離画像の画素値ＣＰ1を色モデルに基づいて生成する。また、色分離処理部４１は、式（９）に示す演算を行い、投写装置２０-2によって投写された第２センシングパターンを示す分離画像の画素値ＣＰ2を色モデルに基づいて生成する。

次に、パラメータの推定について説明する。色分離処理部４１は、パラメータの推定を容易に行えるように、パラメータの推定を分割して行い、推定結果を用いて他のパラメータを推定する処理を繰り返すことで、撮像画の色情報と色モデルによって推定した色情報との差が最小となるパラメータの最適値を推定する。例えば色分離処理部４１は、色情報を示すパラメータを推定する処理と、減衰係数を示すパラメータを推定する処理を分割して行い、一方の推定結果を他方で用いて処理を繰り返すことで収束した推定結果をパラメータの最適値として用いる。

図８は、パラメータの推定動作を例示したフローチャートである。ステップＳＴ１１で色分離処理部はパラメータＰ1’，Ｐ2’，ＢＣ’を初期値に設定する。色分離処理部４１は、減衰係数を推定する際に、パラメータＰ1’，Ｐ2’，ＢＣ’を初期値とする。一般的な投写装置や撮像装置の分光特性において、入出力間の色情報は大きく変化しない。したがって、パラメータＰ1’，Ｐ2’の初期値は分光特性を反映した画素値とすることで、収束を早めることが可能となる。例えば分光特性を考慮した初期値としては，投写装置２０-1から色情報を付与したセンシングパターンを投写して撮像することにより検出したパラメータＰ1’と、投写装置２０-2から色情報を付与したセンシングパターンを投写して撮像することにより検出したパラメータＰ2’を用いる。また、投写装置を利用する場合、暗室条件下で白色のスクリーンを使用することが一般的であることから、パラメータＢＣ’の初期値を黒色に設定すれば、収束を早めることが可能となる。また、分光特性を考慮した初期値として，投写装置２０-1，２０-2からセンシングパターンが投写されていないスクリーンを撮像することにより検出した画素値をパラメータＢＣ’の初期値として用いても、収束を早めることが可能となる。色分離処理部４１は、パラメータＰ1’，Ｐ2’，ＢＣ’を初期値に設定してステップＳＴ１２に進む。

ステップＳＴ１２はｘ方向ループ処理開始端である。色分離処理部４１は、減衰係数を算出する画素位置を撮像画のｘ方向に画素単位で順次移動する処理を開始してステップＳＴ１３に進む。

ステップＳＴ１３はｙ方向ループ処理開始端である。色分離処理部４１は、減衰係数を算出する画素位置を撮像画のｙ方向に画素単位で順次移動する処理を開始してステップＳＴ１４に進む。

ステップＳＴ１４で色分離処理部は減衰係数を算出する。色分離処理部４１は、設定されているパラメータＰ1’，Ｐ2’，ＢＣ’と撮像画の画素値ＣＰを用いて、式（３）に基づき、画素位置（ｘ，ｙ）における減衰係数α1x,y，α2x,yを算出してステップＳＴ１５に進む。

ステップＳＴ１５はｙ方向ループ処理終了端である。色分離処理部４１は、ｙ方向の各画素位置について減衰係数を算出した場合にステップＳＴ１６に進み、減衰係数の算出が完了していない場合にステップＳＴ１３からステップＳＴ１５の処理を繰り返すことで、ｙ方向に順次画素位置を移動させて減衰係数を算出する。

ステップＳＴ１６はｘ方向ループ処理終了端である。色分離処理部４１は、ｙ方向だけでなくｘ方向の各画素位置について減衰係数を算出した場合にステップＳＴ１７に進み、減衰係数の算出が完了していない場合にステップＳＴ１２からステップＳＴ１６の処理を繰り返すことで、ｙ方向だけでなくｘ方向に順次画素位置を移動させて、撮像画における各画素位置の減衰係数を算出する。

ステップＳＴ１７で色分離処理部は分離画像を生成する。色分離処理部４１は、設定されているパラメータＰ1’，Ｐ2’，ＢＣ’と、ステップＳＴ１２からステップＳＴ１６の処理で算出した減衰係数ベクトルαv1，αv2を用いて式（８）（９）の演算を行い、投写装置２０-1から投写された第１センシングパターンを示す分離画像と、投写装置２０-2から投写された第２センシングパターンを示す分離画像を生成してステップＳＴ１８に進む。

ステップＳＴ１８で色分離処理部は投写領域と背景領域を判別する。色分離処理部４１は、ステップＳＴ１７で生成された各分離画像について、分離画像の画素値等に基づき投写領域と背景領域を判別する。例えば色分離処理部４１は、センシングパターンに付与された色情報を利用して類似する色情報の領域を投写領域と判別して、投写領域を除く領域を背景領域と判別する。色分離処理部４１は投写領域と背景領域を判別してステップＳＴ１９に進む。

ステップＳＴ１９で色分離処理部は投写領域と背景領域の画素値を抽出する。色分離処理部４１は、ステップＳＴ１８で判別した投写領域と背景領域から画素値を抽出する。なお、色分離処理部４１は、投写領域から抽出した画素値や背景領域から抽出した画素値がばらつきを生じる場合、画素値の統計処理によって算出した統計値、例えば平均値や中央値あるいは最頻値等を抽出した画素値として用いてもよい。色分離処理部４１は、投写領域の画素値ＰＥ1’，ＰＥ2’と背景領域の画素値ＢＣＥ’を抽出してステップＳＴ２０に進む。

ステップＳＴ２０で色分離処理部はパラメータの更新が不要であるか判別する。色分離処理部４１は、減衰係数α1，α2の算出に用いたパラメータＰ1’，Ｐ2’，ＢＣ’とステップＳＴ１９で算出した画素値ＰＥ1’，ＰＥ2’，ＢＥＣ’との差をそれぞれ算出して、算出した差のいずれかが予め設定された閾値よりも大きい場合に更新が必要であると判別してステップＳＴ２１に進む。また、色分離処理部４１は、算出した差がそれぞれ予め設定された閾値以下である場合に更新が不要である、すなわちパラメータが最適値に収束したと判別してステップＳＴ２２に進む。

ステップＳＴ２１で色分離処理部はパラメータを更新する。色分離処理部４１は、算出した差が予め設定された閾値よりも大きいパラメータについて更新を行い、ステップＳＴ１９で抽出した画素値を減衰係数α1，α2の算出に用いるパラメータとしてステップＳＴ１２に戻る。

ステップＳＴ２０からステップＳＴ２２に進むと、色分離処理部は分離画像を出力する。色分離処理部４１は、推定結果が収束していることからステップＳＴ１７で生成した分離画像を対応点検出部４２へ出力する。

このような処理を色分離処理部４１で行うようにすれば、第１センシングパターンと第２センシングパターンの混合像を撮像して得られた撮像画から、色モデルでパラメータを最適値として第１センシングパターンを示す分離画像と第２センシングパターンを示す分離画像を生成することから、従来に比べて精度よくセンシングパターンを分離することができる。

図９は分離画像を例示している。図９の（ａ）は、第１センシングパターンＳＰ1と第２センシングパターンＳＰ2がスクリーンＳｃに投写されている状態を例示しており、第１センシングパターンＳＰ1と第２センシングパターンＳＰ2のいずれにも該当していない領域は背景領域ＳＢである。色分離処理部４１は、図８に示す処理を行うことで、図９の（ａ）示すようにスクリーンＳｃに投写された第１センシングパターンＳＰ1と第２センシングパターンＳＰ2を撮像した撮像画から、図９の（ｂ）に示すように、第１センシングパターンＳＰ1を示す分離画像と、図９の（ｃ）に示すように、第２センシングパターンＳＰ2を示す分離画像を生成できる。

図１０は、パラメータの推定動作例を示す図である。なお、動作の理解を容易とするため、図１０の（ａ）に示す第１センシングパターンＳＰ1と図１０の（ｂ）に示す第２センシングパターンＳＰ2がスクリーンＳｃに投写されて、撮像装置３０によって図１０の（ｃ）に示す撮像画が取得されたとする。

色分離処理部４１は、背景領域と投写装置毎の投写領域における色情報を求めるために、画像を二値化して投写領域の判別を行い、自身以外の投写領域との差分によって投写装置毎の投写領域を求める。背景領域は、いずれの投写領域にも属さない領域とする。

図１０の（ｄ）（ｅ）は、ステップＳＴ１７で生成された分離画像を示しており、第１センシングパターンの領域は画素値「Ｐ1'α1」、第２センシングパターンの領域は画素値「Ｐ2'α2」である。なお、図１０の（ｆ）は、分離画像における画素値「Ｐ1'α1」の領域を示すマスク、図１０の（ｇ）は、分離画像におけると画素値「Ｐ2'α2」の領域を示すマスクを示している。

色分離処理部４１は、第１センシングパターンの投写領域における色情報を求めるために投写領域を判別する。具体的には、図１０の（ｃ）に示す撮像画に対して図１０の（ｆ）に示すマスクを適用して抽出した画像を、第１センシングパターンに付与した色情報を利用して二値化することで、図１０の（ｈ）に示す第１センシングパターンの投写領域を判別する。

また、色分離処理部４１は、第２センシングパターンの投写領域における色情報を求めるために投写領域を判別する。具体的には、図１０の（ｃ）に示す撮像画に対して図１０の（ｇ）に示すマスクを適用して抽出した画像を、第２センシングパターンに付与した色情報を利用して二値化することで、図１０の（ｉ）に示す第２センシングパターンの投写領域を判別する。

さらに、色分離処理部４１は、背景領域における色情報を求めるために背景領域を判別する。具体的には、図１０の（ｆ）と図１０の（ｇ）のいずれでもマスクされている領域（黒色で示す領域）を、図１０の（ｊ）に示すように背景領域とする。

図１０の（ｋ）は、図１０の（ｃ）に示す撮像画に対して図１０の（ｈ）に示すマスクを適用して判別した第１センシングパターンの投写領域の画像を例示しており、第１センシングパターンの投写領域の画像には第１センシングパターンＳＰ1だけでなく第２センシングパターンＳＰ2の一部が含まれている。

図１０の（ｌ）は、図１０の（ｃ）に示す撮像画に対して図１０の（ｉ）に示すマスクを適用して判別した第２センシングパターンの投写領域の画像を例示しており、第２センシングパターンの投写領域の画像には第２センシングパターンＳＰ2だけでなく第１センシングパターンＳＰ1の一部が含まれている。

図１０の（ｍ）は、図１０の（ｃ）に示す撮像画に対して図１０の（ｊ）に示すマスクを適用して判別した背景領域の画像を例示しており、背景領域の画像には第１センシングパターンＳＰ1の一部と第２センシングパターンＳＰ2の一部が含まれている。

このように、判別対象の領域に他の領域が含まれると、ステップＳＴ２０でパラメータの更新が必要と判別されて、ステップＳＴ２１に示すように減衰係数α1，α2の算出に用いるパラメータが更新される。さらに、ステップＳＴ１２からステップＳＴ２１の処理が繰り返されると、判別対象の領域に含まれる他の領域が順次減少して、判別対象の領域に他の領域が含まれなくなるとパラメータが収束して、第１センシングパターンＳＰ1と第２センシングパターンＳＰ2を精度よく分離した分離画像を得られるようになる。

このように、収束しているパラメータを用いて分離画像が生成されることから、従来の分離方法では分離残りが発生するような場合でも、精度のよい分離画像を得られるようになる。

また、色分離処理部４１は、各投写装置からの投写光と背景色の色情報から，パラメータＰ1’，Ｐ2’，ＢＣ’を推定する際に、三次元色空間（例えばＲＧＢ色空間）において、抽出したそれぞれの色情報の分布を利用する。例えば、投写光の色分布について回帰直線や主成分分析によってパラメータＰ1’，Ｐ2’を推定する。パラメータＢＣ’は、背景領域の画素値の統計値、例えば平均値あるいは中央値または最頻値等を利用する。また、背景の撮像画が取得できている場合は、その色情報を用いてもよい。

なお、上述の動作では、パラメータＰ1’，Ｐ2’，ＢＣ’の最適値の推定と減衰係数α1，α2の算出を、パラメータＰ1’，Ｐ2’，ＢＣ’が収束するまで交互に行う方法を例示したが、他の手法を用いてパラメータＰ1’，Ｐ2’，ＢＣ’の最適値を推定してもよい。例えば、式（６）の非線形最小化問題を直接解いて分離画像の画素値Ｐ1'α1＋ＢＣ’，Ｐ2'α2＋ＢＣ’を求めてもよい。

以上のように、本技術によれば、複数の投写装置からスクリーンに同時に投写された投写像の混合像を撮像装置で撮像して取得された撮像画から、それぞれの投写像を精度よく分離できるようになる。また、分離された投写像の対応点を検出後，検出した対応点情報から投写像の空間的な位置を求めることで、投写像が重畳する領域における不整合性が精度よく解消されるように映像を補正できる。

また、非固定視点の撮像装置で取得された撮像画を利用して、分離画像を精度よく分離して幾何補正情報を生成することが可能であることから、従来のように撮像装置を所定位置に固定しておく必要がなく、画像投写システムの校正を容易に行えるようになる。

＜３－２．実施の形態の他の動作＞
＜３－２－１．センシングパターンについて＞
センシングパターンは、図７に示すようなドットを含む画像に限らず、色情報を持たないグレイコードパターンやチェッカーパターンに対して投写装置毎に異なる色情報を付与して用いてもよい。

図１１は、投写装置から投写するセンシングパターン（構造化光）を例示しており、センシングパターンは、図１１の（ａ）（ｂ）に示すように、異なる色情報を付与したチェッカーパターンでもよい。また、国際公開２０１７／１０４４４７の「画像処理装置および方法、データ、並びに記録媒体」で示されている図１１の（ｃ）（ｄ）のパターンに色情報を付与して用いてもよい。

色情報を持たないパターンに対して色情報を付与してセンシングパターンを作成する場合、付与する色情報は色情報を持たないパターンの画素値を用いて生成する。例えば三原色の色情報Ｐ＝（Ｐｒ，Ｐｇ，Ｐｂ）を生成する場合、色情報を持たないパターンにおける色情報の付与対象画素が画素値Ｙであるとき、画素値Ｙの色情報ＰＹをＰＹ＝（Ｐｒ（Ｙ），Ｐｇ（Ｙ），Ｐｂ（Ｙ））とする。なお、Ｐｒ（Ｙ）は赤色成分が画素値Ｙ、Ｐｇ（Ｙ）は緑色成分が画素値Ｙ，Ｐｂ（Ｙ）は青色成分が画素値Ｙである。このように、付与対象画素の画素値を用いて色情報を生成する処理を、色情報を持たないパターンの画素を個々に付与対象画素として行い、色情報を持たないパターンに生成した色情報を付与することで、色情報を有するセンシングパターンを作成できる。

＜３－２－２．ガンマ特性について＞
上述の＜３－１．実施の形態の動作＞では、ガンマ特性の影響を考慮しない場合について説明したが、ガンマ特性の影響を考慮する場合でも、同様に色分離処理を行うことができる。例えば撮像装置３０でガンマ補正を行って撮像画を生成している場合、色分離処理部４１は、式（６）で用いる撮像画の色情報Ｃ(x,y)についてデガンマ処理を行い、線形色空間の情報に変換して、デガンマ処理後の色情報を用いるようにする。このように、デガンマ処理が行われた色情報を用いるようにすれば、上述の実施の形態と同様に投写像を精度よく分離できる。

＜３－２－３．投写装置が３台以上である場合について＞
上述の＜３－１．実施の形態の動作＞では、２台の投写装置を用いた場合について説明したが、投写装置が３台以上である場合にも式（６）を拡張して、精度よく投写装置毎の投写像を分離できる。また、投写装置が４台以上である場合、色情報が三次元色空間の情報であると、式（６）を満たす減衰係数の最適解が複数となり、正しく色分離処理を行うことができない。したがって、最適解が複数とならないように、隣接画素色との連続性や投写像の情報を制約条件として用いる必要がある。

また、画像投写システムでは、複数の投写装置に対して所定台数（例えば２台または３台）のグループを設定して、グループ内の少なくとも１台の投写装置は、他のグループに含まれるようにする。また、グループ内では異なる色情報を付与する。このようにグループを構成してグループ毎に上述の＜３－１．実施の形態の動作＞を行うようにすれば、グループ毎に検出された分離画像毎の対応点に基づき、複数の投写装置からの投写像の位置関係が明らかとなり、グループ毎に検出された分離画像毎の対応点を整合させる幾何補正情報を生成できる。したがって、投写装置を数多く用いる場合であっても、幾何補正情報を用いることで、投写像が重畳する領域における不整合性が精度よく解消されるように映像を補正できる。

＜３－２－４．付与する色情報について＞
上述のパラメータＰ1'，Ｐ2'は、「Ｐ1'＝Ｐ2'」でなければ、混合像から各投写装置で投写された投写像を分離できる。しかし、三次元色空間の分布から領域を推定する場合には、分布の違いが大きいほど、領域を精度よく推定できる。そこで、投写像に付与する色情報は、パラメータＰ1'とパラメータＰ2'に対応する色ベクトルの内積が最小となるように選択すればよい。例えばＲＧＢ色空間である場合、赤色（Ｒ，Ｇ，Ｂ）＝（１，０，０）、緑色（Ｒ，Ｇ，Ｂ）＝（０，１，０）、青色（Ｒ，Ｇ，Ｂ）＝（０，０，１）から２色を選択して用いるようにすれば、混合像から各投写装置で投写された投写像の分離が容易となる。

＜３－２－５．色校正について＞
ところで、投写装置では正しい色表現の画像を投写するために色校正といった手法が用いられる場合がある。この手法では、投写装置から異なる様々な色で画像を投写して、投写された画像を撮像したときの色が実空間で正しい色となるように入力信号値を決定することが行われる。そこで、本技術では、投写するセンシングパターンに付与した色情報を利用して色校正を行うようにすれば、投写像が重畳する領域における不整合性が精度よく解消されるように映像の幾何補正を行えるだけでなく、正しい色で投写像を投写できる。この場合、付与する色情報は、投写像を撮像装置で撮像する毎に色の組合せを切り替えて、三原色を網羅するように設定すれば、精度よく色校正を行うことができる。このように、投写するセンシングパターンに付与した色情報を利用して色校正が可能となることから、事前に色校正を行う必要がなく、画像投写システムの校正を効率よく行える。

＜３－２－６．投写条件と撮像条件について＞
また、本技術の色モデルでは、投写光をベクトルのスカラー倍によって表現していることから、撮像画が正負に飽和した場合（白つぶれや黒つぶれを生じた場合）、飽和を生じた領域について投写光の色のバランスが崩れて分離精度が低下してしまう。したがって、投写条件と撮像条件は、投写像や撮像画の画素値が飽和を生じることなく広い範囲の値となるように設定する。例えば、撮像画における色毎の画素値のヒストグラムを参考に、入力画像のレンジがなるべく広くなりつつも飽和しないように、投写像を調節することが有効である。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 複数の投写装置から互いに異なる色情報を付与して投写された投写像の混合像を撮像した撮像画の色情報と、撮像画の色情報と前記投写像および背景の色情報との関係を示す色モデルに基づき、色情報毎の分離画像を生成する色分離処理部
を備える画像処理装置。
（２） 前記色モデルは、前記投写装置と前記撮像画を取得する撮像装置の分光特性に応じて変化した前記投写像の色情報と、前記撮像装置で撮像された前記混合像に生じる減衰を示す減衰係数をパラメータとして用いる（１）に記載の画像処理装置。
（３） 前記色分離処理部は、前記撮像画の色情報と前記色モデルによって推定した色情報との差が最小となる前記パラメータを用いて、前記色モデルに基づき前記色情報毎の分離画像を生成する（２）に記載の画像処理装置。
（４） 前記色情報を付与して投写された投写像は構造化光である（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記色分離処理部は、前記混合像を撮像する撮像装置でガンマ補正が行われる場合、デガンマ処理後の撮像画を用いる（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記互いに異なる色情報は、前記色情報に対応する色ベクトルの内積が最小となるように設定されている（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記投写像と前記撮像画は飽和を生じていない画像である（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記撮像画は、非固定視点の撮像装置で取得された画像である（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記投写装置から投写する投写画像を補正する画像補正部をさらに備える（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記画像補正部は、前記分離画像に付与されている色情報を用いて前記投写画像の色校正を行う（９）に記載の画像処理装置。
（１１） 前記色分離処理部で生成された前記色情報毎の分離画像間の対応点を検出する対応点検出部をさらに備え、
前記画像補正部は、前記対応点検出部で検出された前記分離画像毎の対応点を整合させる幾何補正情報を用いて前記投写画像を補正する（９）に記載の画像処理装置。
（１２） 前記複数の投写装置に対して所定台数のグループ化が行われて、グループ内の少なくとも１台の投写装置は他のグループに含まれて、グループ内では互いに異なる色情報を付与して投写像の投写が行われて、
前記色分離処理部は、前記グループ毎に分離画像を生成して、
前記対応点検出部は、前記グループ毎に対応点の検出を行い、
前記画像補正部は、前記対応点検出部で前記グループ毎に検出された前記分離画像毎の対応点を整合させる幾何補正情報を用いて前記投写画像を補正する（１１）に記載の画像処理装置。

１０・・・画像投写システム
２０，２０-1，２０-2・・・投写装置
３０・・・撮像装置
４０・・・画像処理装置
４１・・・色分離処理部
４２・・・対応点検出部
４３・・・位置算出部
５０・・・画像生成装置
５１・・・画像生成部
５２・・・画像補正部

Claims (15)

1. 複数の投写装置から互いに異なる色情報を付与して投写された投写像の混合像を撮像した撮像画の色情報と、撮像画の色情報と前記投写像および背景の色情報との関係を示す色モデルに基づき、色情報毎の分離画像を生成する色分離処理部
   を備える画像処理装置。
2. 前記色モデルは、前記投写装置と前記撮像画を取得する撮像装置の分光特性に応じて変化した前記投写像の色情報と、前記撮像装置で撮像された前記混合像に生じる減衰を示す減衰係数をパラメータとして用いる
   請求項１に記載の画像処理装置。
3. 前記色分離処理部は、前記撮像画の色情報と前記色モデルによって推定した色情報との差が最小となる前記パラメータを用いて、前記色モデルに基づき前記色情報毎の分離画像を生成する
   請求項２に記載の画像処理装置。
4. 前記色情報を付与して投写された投写像は構造化光である
   請求項１に記載の画像処理装置。
5. 前記色分離処理部は、前記混合像を撮像する撮像装置でガンマ補正が行われる場合、デガンマ処理後の撮像画を用いる
   請求項１に記載の画像処理装置。
6. 前記互いに異なる色情報は、前記色情報に対応する色ベクトルの内積が最小となるように設定されている
   請求項１に記載の画像処理装置。
7. 前記投写像と前記撮像画は飽和を生じていない画像である
   請求項１に記載の画像処理装置。
8. 前記撮像画は、非固定視点の撮像装置で取得された画像である
   請求項１に記載の画像処理装置。
9. 前記投写装置から投写する投写画像を補正する画像補正部をさらに備える
   請求項１に記載の画像処理装置。
10. 前記画像補正部は、前記分離画像に付与されている色情報を用いて前記投写画像の色校正を行う
    請求項９に記載の画像処理装置。
11. 前記色分離処理部で生成された前記色情報毎の分離画像間の対応点を検出する対応点検出部をさらに備え、
    前記画像補正部は、前記対応点検出部で検出された前記分離画像毎の対応点を整合させる幾何補正情報を用いて前記投写画像を補正する
    請求項９に記載の画像処理装置。
12. 前記複数の投写装置に対して所定台数のグループ化が行われて、グループ内の少なくとも１台の投写装置は他のグループに含まれて、グループ内では互いに異なる色情報を付与して投写像の投写が行われて、
    前記色分離処理部は、前記グループ毎に分離画像を生成して、
    前記対応点検出部は、前記グループ毎に対応点の検出を行い、
    前記画像補正部は、前記対応点検出部で前記グループ毎に検出された前記分離画像毎の対応点を整合させる幾何補正情報を用いて前記投写画像を補正する
    請求項１１に記載の画像処理装置。
13. 複数の投写装置から互いに異なる色情報を付与して投写された投写像の混合像が撮像された撮像画から、前記投写像の色情報と背景色の色情報で構成される色モデルに基づき、色情報毎の分離画像を色分離処理部で生成すること
    を含む画像処理方法。
14. 投写像の混合像を撮像した撮像画から各投写像を分離する処理をコンピュータで実行させるプログラムであって、
    複数の投写装置から互いに異なる色情報を付与して投写された前記投写像の混合像を撮像した撮像画を取得する手順と、
    前記投写像の色情報と背景色の色情報で構成される色モデルに基づいて、前記撮像画から色情報毎の分離画像を生成する手順と
    を前記コンピュータで実行させるプログラム。
15. 複数の投写装置から互いに異なる色情報を付与して投写された投写像の混合像が撮像された撮像画から、前記投写像の色情報と背景色の色情報で構成される色モデルに基づき、色情報毎の分離画像を色分離処理部で生成することと、
    前記色分離処理部で生成された前記色情報毎の分離画像間の対応点を対応点検出部で検出すること、
    前記対応点検出部で検出された前記分離画像毎の対応点を整合させる幾何補正情報を用いて前記複数の投写装置から投写する投写画像を画像補正部で補正すること
    を含む画像投写方法。

Images