JP2018088654A - 投影システム、画像処理装置およびプログラム - Google Patents

Abstract

【課題】 １以上の投影手段により被投影面上に像を投影するための投影システム、画像処理装置および該画像処理装置を実現するためのプログラムを提供すること。
【解決手段】 本投影システム１００は、１以上の投影手段１５０により、少なくとも１つの方向で曲がりを有する被投影面１０２上に像を投影するためのものである。本投影システム１００は、準備された１以上の校正用撮像画像各々から、上記１以上の投影手段１５０各々について投影像の歪みを示す格子点データを抽出する格子点抽出手段１３２と、校正用撮像画像の撮像手段との相対的な位置関係を含む被投影面１０２の幾何学情報の入力を受ける情報入力手段１２８と、格子点データおよび幾何学情報に基づいて、１以上の投影手段各々に対する補正係数を計算する補正係数計算手段１３０とを含む。
【選択図】 図２

Description

本発明は、１以上の投影手段により被投影面上に像を投影するための投影システム、画像処理装置および該画像処理装置を実現するためのプログラムに関する。

近年、プロジェクタを用いたデジタルサイネージが行われている。電車などの室内の側面や天井などや、天井がアーチ状になった通路やトンネル、アーケード商店街など、平面を垂直方向にのみ曲げた曲面状の部分は身の回りに多く存在する。また、電車の窓上のスペースなどを活用して広告を掲示することも行われている。このような背景から、上述したような曲面へ映像を投影したいという要望がある。

プロジェクタにより投影体へ所望の映像を投影する際に、スクリーンとなる投影体へ投影するための校正作業が行われる。例えば、マルチ・プロジェクションにおける校正処理として、特開２０１５−０５６８３４号公報（特許文献１）が知られている。特許文献１の従来技術では、校正パターンを投影し、カメラなどの撮像装置を用いて複数回に分けて撮像することにより校正を行う。上記校正により、複数のプロジェクタにより、適切な補正をかけて平面状のスクリーン上に画像を投影することが可能となる。

しかしながら、円筒内壁のようなスクリーンが１方向（例えば垂直方向）に曲がった曲面を有する投影体に投影する場合、観察者に違和感を与えてしまう場合があった。例えば、曲面を有する投影体に投影された投影像を観察する際に、校正時のカメラの視点の位置と離れた視点から観察した場合に、全体の補正後の画像が両端で膨らんでいるように見えてしまう場合があった。

本発明は、上記点に鑑みてなされたものであり、本発明は、１以上の投影手段により被投影面上に像を投影するための投影システムにおいて、１つの方向で曲がりを有する被投影面に対し、簡単な作業で投影像を補正することが可能な投影システムを提供することを目的とする。

本発明は、上記点に鑑みてなされたものであり、下記特徴を有する投影システムを提供する。本投影システムは、準備された１以上の校正用撮像画像各々から、上記１以上の投影手段各々について投影像の歪みを示す格子点データを抽出する格子点抽出手段と、上記校正用撮像画像の撮像手段との相対的な位置関係を含む上記被投影面の幾何学情報の入力を受ける情報入力手段と、上記格子点データおよび前記幾何学情報に基づいて、上記１以上の投影手段各々に対する補正係数を計算する補正係数計算手段とを含む。

上記構成により、１以上の投影手段により被投影面上に像を投影するための投影システムにおいて、１つの方向で曲がりを有する被投影面に対し、簡単な作業で投影像を補正することが可能となる。

本実施形態による映像投影システムの全体構成を示す概略図。 本実施形態による映像投影システムの機能ブロック図。 本実施形態による映像投影システムで用いられる２種類の校正用画像を例示する図。 （Ａ）透視投影モデルおよび（Ｂ）平行投影モデルについて説明する図。 円筒内壁に投影した場合に観察者に与えられる違和感を説明する図。 本実施形態による格子点抽出統合処理、円筒補正処理、各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャート。 本実施形態において順次投影される校正用投影シーンおよびその撮影方法を説明する図。 本実施形態における円筒スクリーンの形状に起因した投影像の歪みを説明する図。 本実施形態による校正処理における調整作業の流れを示すフローチャート。 本実施形態による調整作業における校正パラメータの調整の仕方を説明する表。 本実施形態において校正パラメータの初期値の与え方、および、校正パラメータから導出される、内部的な計算に用いるための導出パラメータおよび導出関数について説明する図。 本実施形態において（Ａ）円筒に沿ったｘ’軸上の座標値とｘ軸上の座標値との関係および円筒に沿ったｘ’軸上の座標値と撮像画像のｕ軸上の座標値との関係について説明する図。 本実施形態において（Ａ）ｙ軸方向の補正および（Ｂ）補正前後に施す平面射影変換を説明する図。 本実施形態による円筒補正部が実行する、円筒補正処理を示すフローチャート。 １または複数の実施形態による画像処理装置を構成する汎用コンピュータ装置のハードウェア構成を示す図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である１以上のプロジェクタと、撮像手段である１つのカメラと、全体制御を行う画像処理装置とを含む映像投影システムを用いて説明する。

（全体構成）
図１は、本実施形態による映像投影システム１００の全体構成を示す概略図である。図１に示す映像投影システム１００は、システムの全体制御を行う画像処理装置１１０と、１以上のプロジェクタ１５０と、カメラ１６０と、入力装置１７０とを含み構成される。なお、説明する実施形態では、映像投影システム１００は、上下２台のプロジェクタ１５０ａ，１５０ｂの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆる大画面のマルチ・プロジェクションに対応した構成とされている。

しかしながら、プロジェクタ１５０の数は、特に限定されるものではない。他の実施形態では、１台のプロジェクタ１５０を用いた通常のプロジェクションに対応した構成としてもよい。さらに他の実施形態では、複数台のプロジェクタ１５０の投影像を投影面上で重ねて単一のプロジェクタ程度の領域に画像を投影する、いわゆるスタック・プロジェクションに対応した構成としてもよい。

画像処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよい。

プロジェクタ１５０は、それぞれ、液晶方式、ＣＲＴ（Cathode Ray Tube）方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。プロジェクタ１５０は、超短焦点プロジェクタであってもよい。カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢカメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラ、全天球カメラなどの専用デバイスとして構成されてもよいし、あるいは、スマートフォン端末やタブレット端末などの汎用デバイスに組み込まれたデバイスとして構成されてもよい。

入力装置１７０は、マウス、キーボード、タッチパネル、操作パネルなどの入力装置であり、ユーザからの指示を受け付ける。入力装置１７０は、校正の初期パラメータを入力する際や校正結果を観察しながらの微調整の際に利用される。なお、入力装置１７０は、画像処理装置１１０、プロジェクタ１５０またはカメラ１６０に接続されたデバイスとして構成されてもよく、あるいは、これらの装置に組み込まれたデバイスとして構成されてもよい。

本映像投影システム１００においては、被投影面を提供する投影体であるスクリーン１０２が設置されている。説明する実施形態において、スクリーン１０２は、水平方向に曲がりを有する円筒（縦円筒）形状を有しており、その円筒形状の一部または全部の内壁が投影面となっている。図１に示す複数のプロジェクタ１５０は、スクリーン１０２の曲がりと略垂直な垂直方向に、それぞれ、投影中心の位置をずらしながらスクリーン１０２上に投影像を投影するように設置されている。なお、説明する実施形態では、水平方向に曲がりを有する円筒の内壁をスクリーン１０２としているが、特に限定されるものではなく、１つの方向で曲がりを有し、幾何学形状が既知な如何なる曲面を有していてもよい。

画像処理装置１１０は、複数のプロジェクタ１５０ａ，１５０ｂに投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、画像処理装置１１０から入力される投影画像をスクリーン１０２上に投影する。スクリーン１０２上には、図１に示すように、複数のプロジェクタ１５０ａ，１５０ｂ各々からの複数の投影像１０４ａ，１０４ｂが投影されている。この複数の投影像１０４ａ，１０４ｂは、投影面上で重なり合わせられて、単一の投影像１０６に合成される。

映像投影システム１００は、投影モード中、上述したように複数のプロジェクタ１５０ａ，１５０ｄを用いて単一の投影像１０６を投影するが、上述した投影モード前に、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用の画像を出力し、スクリーン１０２上に校正用の投影像を投影させる。そして、所定のプロジェクタ１５０により投影されたスクリーン１０２上の投影像１０４がカメラ１６０の画角内に入るように、カメラ視点および視野が設定され、１または複数回の校正用の撮影が行われることになる。

カメラ１６０で撮像された撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、カメラ１６０で撮像された校正用撮像画像は、ＳＤカードやコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。

画像処理装置１１０は、入力された複数の校正用撮像画像を用いて、複数のプロジェクタ１５０ａ，１５０ｂの投影像各々の各種補正係数を計算する。画像処理装置１１０は、投影モード中、計算された各種補正係数に基づき、プロジェクタ１５０ａ，１５０ｂ各々に投影させるための補正された投影画像を生成する。以下、図２〜図１４を参照しながら、円筒補正処理、各種補正係数の計算処理および補正係数に基づく補正処理について説明する。

（機能構成）
図２は、本実施形態による映像投影システム１００の機能ブロック図である。図２に示すシステム１００は、画像処理装置１１０上で動作する複数の機能ブロックを含む。画像処理装置１１０は、コンテンツ格納部１１２と、プロジェクタ毎の補正処理部１１４ａ，１１４ｂと、プロジェクタ毎の投影画像出力部１１６ａ，１１６ｂと、プロジェクタ毎の切替部１２２ａ，１２２ｂとを含み構成される。画像処理装置１１０は、さらに、校正用画像格納部１２４と、校正用撮像画像入力部１２６と、校正パラメータ入力部１２８と、補正係数算出部１３０とを含み構成される。

コンテンツ格納部１１２は、単一の投影像１０６として投影する対象であるコンテンツ画像を格納する。コンテンツ格納部１１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアなどの記憶領域として提供される。なお、投影対象となるコンテンツ画像は、プレゼンテーションなどのアプリケーションやオペレーティング・システムで生成される表示画面、静止画像ファイルの静止画、動画ファイル中の任意のタイミングのフレーム、外部入力される映像として与えられ得る。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。

補正処理部１１４ａ，１１４ｂおよび投影画像出力部１１６ａ，１１６ｂは、システム１００に含まれるプロジェクタ１５０ａ，１５０ｂに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力を含み構成され、接続されるプロジェクタに対し、切替部１２２で選択された入力画像を映像出力する。

切替部１２２ａ，１２２ｂは、当該システム１００の動作モードに応じて、画像のフローを切り替える。コンテンツ画像を投影する投影モード中は、切替部１２２は、補正処理部１１４の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、それぞれ、対応する補正処理部１１４によるコンテンツ画像に基づく処理結果を映像出力する。一方、校正モード中は、切替部１２２は、校正用画像格納部１２４の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、それぞれ、校正用画像格納部１２４から読みだされた校正用画像を映像出力する。

校正用画像格納部１２４は、校正モード中にプロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１２４は、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアの記憶領域として提供される。校正画像は、特に限定されるものではないが、典型的には、事前に準備された静止画像として与えられる。

ここで、校正用画像は、投影像の格子点を規定する校正パターンおよび投影像の位置合わせ点を規定する位置合わせパターンの両方もしくは一方を含む。図３は、本実施形態による映像投影システム１００で用いられる２種類の校正用画像を例示する図である。図３（Ａ）は、位置合わせパターン２０２ＬＴ，２０２ＲＴ，２０２ＬＢ，２０２ＲＢおよび校正パターン２０６の両方を含む第１校正用画像２００を例示する。図３（Ｂ）は、位置合わせパターン２１２ＬＴ，２１２ＲＴ，２１２ＬＢ，２１２ＲＢのみを含む第２校正用画像２１０を例示する。

校正パターン２０６は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素２０４が所定の規則で配置されてなす模様として構成される。スクリーン１０２上に投影された校正パターン２０６を撮像し、その格子点を抽出することにより、投影像の台形歪みや局所的な歪みを検出することができる。位置合わせパターン２０２，２１２は、校正用に撮像した画像間での投影像の基準位置（位置合わせ点）を規定するものであり、複数の任意の図形要素が所定の位置に配置されて構成される。スクリーン１０２上に投影された共通の位置合わせパターン２０２，２１２を収めて複数回撮像することにより、複数の撮像画像間で、位置合わせを行うことができる。

図３を参照しながら具体的なパターンについて説明したが、校正パターン２０６および位置合わせパターン２０２，２１２は、特に限定されるものではない。

ここで、再び図２を参照する。本実施形態による校正処理では、１または複数回に分けて、プロジェクタ１５０各々の投影像の幾何歪みを検出するための校正パターンの撮像が行われ、位置合わせパターンにより複数の撮像結果が統合される。

まず、上述した校正用画像格納部１２４から各校正用画像が読み出され、複数のプロジェクタ１５０ａ，１５０ｂ各々に対し、適切な校正用画像が選択されて出力される。ここでは、全体として過不足なく各プロジェクタ１５０の校正結果が得られるように校正処理の各段階に応じて校正用画像が選択される。このとき、ユーザは、カメラ１６０を用いて、校正用投影シーン毎に、投影された校正用投影像が画角に収まるようにして撮影を行う。校正用撮像画像入力部１２６は、カメラ１６０からの無線接続、有線接続、リムーバブル・メディアを介して各撮像画像の入力を受けて、複数の校正用撮像画像を準備する。

補正係数算出部１３０は、投影された校正用画像が撮像され、準備された１以上の校正用撮像画像に基づき、特に、撮像時の透視変換に由来する歪みをキャンセルするようにして、上記複数のプロジェクタに対する補正係数を計算する。

ここで、具体的な校正処理について説明する前に、以下、図４および図５を参照しながら、円筒内壁のような１方向（例えば水平方向）に曲がった曲面を有する投影体に投影する場合に、観察者に与えられる違和感について検討する。

図４（Ａ）は、透視投影モデルについて説明する図である。図４（Ｂ）は、平行投影モデルについて説明する図である。図５（Ａ）は、カメラ１６０と、縦円筒内壁のスクリーン１０２との関係を示す図である。図５（Ｂ）は、カメラで撮像された縦円筒内壁のスクリーン２２０を示す図である。図５（Ｃ）は、コンテンツを投影するために設定される、撮像画像座標系上で矩形形状を有する投影目標領域２２２を示す。図５（Ｄ）は、投影目標領域に収まるよう補正された補正後投影像を平行投影した補正後画像２２６を示す。

円筒内壁のようなスクリーン１０２に投影する場合に、通常の校正方法では、上述したように、全体の補正後の画像が上下両端で膨らんでいるように見えてしまい、観察者に違和感を与えてしまう場合がある。これは、カメラを用いて校正を行う場合、通常、撮像画像の座標をスクリーン座標と同一とみなして、撮像画像座標系において、補正後の投影像が矩形となるような補正を行うためである。

カメラによる撮像は、３次元座標系（Ｘ，Ｙ，Ｚ）を２次元座標系（ｘ、ｙ）に変換することに相当するが、下記式上段に表されるような、透視投影変換（図４（Ａ）に示す。）によりモデル化することができる。しかしながら、透視投影変換は、下記下段に表されるような３次元座標系での（Ｘ，Ｙ，Ｚ）の（Ｘ，Ｙ）座標をそのまま射影する正射影（または平行投影：図４（Ｂ）に示す。）とは異なる結果を生じさせる。

矩形の平面スクリーンを正面から撮像した場合には、透視投影変換では、スクリーンとの距離に反比例して大きさが変化することにはなるが、透視投影変換であっても正射影の場合と同じように矩形に見えることになる。これに対し、奥行きのある縦円筒内壁のような曲面スクリーンを正面から撮像した場合、正射影では矩形に変換されることになるが、透視投影変換では、図５（Ｂ）に示すような糸巻き形状に見えることになる。すなわち、図５（Ａ）および図５（Ｂ）において点線および破線で示すように、スクリーン１０２の各位置の奥行きに応じて、大きさが異なるため、手前にある部分は大きく、奥にある部分は小さく映り、矩形にはならず、上述した糸巻き形状に歪んで見えることになる。つまり、スクリーンが曲面となった場合には、撮像画像の座標は、曲面スクリーンを正面から見たときのｘｙ座標系で表したもの（平行射影したｘ、ｙ座標系）とは形状が異なることになる。

ここで、図５（Ｃ）に示すように、この糸巻き形状に歪んだ撮像画像座標系において矩形の投影目標領域２２２に収まるように画像の補正を行うと、結果的に補正後の画像２２４は、カメラ視点で見た場合のみ矩形に見えることになり、矩形の壁紙を曲面に貼ったような補正とはならない。図５（Ｄ）は、補正後の投影像を平行投影した画像を模式的に表しているが、このように、逆にたる型に膨らんだ壁紙を曲面に貼ったようになってしまうことになる。このため、カメラ視点から見た場合は、矩形に見え、カメラ視点から見るだけなら違和感はないが、例えばスクリーン上下端の正面から見た場合に、矩形の壁紙を貼ったような補正に比べてたる型に膨らんで投影されているで、観察者に違和感を与えることになる。

上述した通常の補正は、視聴者が１人であり、視聴位置がスクリーン正面中央に固定される場合は、視聴者の位置にカメラを置いて校正すれば問題がない。しかしながら、投影された投影像を、種々の位置の視点から複数人が見る場合は、投影像の端の方で観察した際にたる形状に膨らんで見えてしまうと、人は違和感を覚えやすい。

したがって、上述したような場合には、矩形の壁紙を曲面に貼ったように見せる補正の方が望ましい。それは、人間は、曲面に貼られたポスターやワインボトルのラベルのように、矩形の画像が曲面に貼られているものとして元の矩形の画像を想像して違和感なく認識することが期待されるからある。

そこで、本実施形態では、画像処理装置１１０は、準備された１以上の校正用撮像画像各々から、プロジェクタ１５０各々について投影像の歪みを示す格子点データを抽出する。また、画像処理装置１１０は、校正用撮像画像を撮像したカメラ１６０との相対的な位置関係を含むスクリーン１０２の幾何学情報の入力を受け付ける。さらに、画像処理装置１１０は、抽出された格子点データおよび入力された幾何学情報に基づいて、スクリーン１０２の形状に起因した撮像時の透視変換による歪みを相殺させるように、１以上のプロジェクタ１５０各々に対する補正係数を計算する。これにより、１つの方向で曲がりを有するようなスクリーン１０２に対し、複数の視点からの観察でも違和感を与えないような投影像の補正を図る。

再び図２を参照しながら、上述した補正を実現するための校正用撮像画像入力部１２６、校正パラメータ入力部１２８および補正係数算出部１３０の機能について、説明する。

校正用撮像画像入力部１２６は、上述した各校正用投影シーンで投影された投影像を撮像した撮像画像の入力を受けて、複数の校正用撮像画像を記憶領域上に準備する。

校正パラメータ入力部１２８は、ユーザからのスクリーン１０２のサイズおよびカメラ１６０との幾何学的関係を示す校正パラメータの入力を受け付ける。校正パラメータ入力部１２８は、本実施形態におけるスクリーン１０２の幾何学情報の入力を受ける情報入力手段を構成する。

補正係数算出部１３０は、より詳細には、特徴点抽出統合部１３２と、円筒補正部１３４と、幾何補正係数計算部１３６と、ブレンディング係数計算部１３８とを含み構成される。

特徴点抽出統合部１３２は、準備された１以上の校正用撮像画像各々から、各特徴点を抽出する。ここでは、各校正用撮像画像と、上述した校正用投影シーンとが対応付けられて校正用撮像画像入力部１２６に与えられるものとする。説明する実施形態では、校正用画像には、この校正用画像を投影するプロジェクタの投影像の歪みを検出するための校正パターンの配列が含まれる。特徴点抽出統合部１３２は、この校正パターンの配列が規定する格子点の組を抽出し、格子点データを生成する。各校正用撮像画像から抽出された格子点は、抽出元画像の座標系上の座標位置として抽出されるが、適宜、位置合わせマーカにより、単一の座標系（以下、統合座標系と参照する。）上に統合される。特徴点抽出統合部１３２は、本実施形態における格子点抽出手段および格子点変換手段を構成する。

円筒補正部１３４は、上述した校正用撮像画像の統合座標系（元座標系）から、スクリーン１０２の円筒形状に応じた座標系（補正後座標系）へと補正する。円筒補正部１３４は、より具体的には、特徴点抽出統合部１３２により得られた統合座標系上の格子点データに対し、上記元座標系から補正後座標系への補正を施す。円筒補正部１３４は、本実施形態による補正手段を構成する。なお、円筒補正については、詳細を後述する。

幾何補正係数計算部１３６は、円筒補正部１３４により補正された各プロジェクタ１５０毎の格子点データに基づいて、幾何補正係数を計算し、補正処理部１１４ａ，１１４ｂに対し設定する。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数であり、プロジェクタ１５０各々から投影する投影画像を与えるものである。

ブレンディング係数計算部１３８は、同様に、投影像のブレンディングの補正係数を算出し、補正処理部１１４ａ，１１４ｂに設定する。ブレンディング係数は、重複領域の重ね合わせの際の色および輝度調整を行うための補正係数である。ブレンディング係数計算部１３８、より具体的には、複数のプロジェクタ１５０各々に対し、注目するプロジェクタの投影像と、この注目するプロジェクタに隣接するプロジェクタ各々の投影像との間の重複領域を検出し、重複領域の検出結果に基づき、ブレンディング係数を計算する。このプロジェクタ毎のブレンディング係数により、スクリーン１０２上における複数のプロジェクタ１５０の投影像が重なる部分において、画像が滑らかに合成される。

このようにして、補正係数算出部１３０は、抽出された格子点データおよび入力された幾何学情報に基づいて、スクリーン形状に起因した撮像時の透視変換による歪みを相殺させるように、各プロジェクタ１５０各々に対する補正係数を計算する。補正係数算出部１３０は、本実施形態における補正係数計算手段を構成する。

補正処理部１１４は、それぞれ、補正係数算出部１３０によって計算された各種補正係数に基づき、コンテンツ画像からプロジェクタ毎の投影画像を生成する。投影画像出力部１１６は、補正された複数の補正画像を各々対応する複数のプロジェクタ１５０により投影するよう出力する。投影画像出力部１１６は、本実施形態における画像出力手段を構成する。

上述したように計算された補正係数に基づき補正された複数の補正画像を各々対応する複数のプロジェクタ１５０により投影する。これによって、円筒形状のスクリーン１０２に投影した場合における奥行きのある辺（曲がりを有する１つの方向）の撮像時の透視変換に起因する湾曲歪みが補正される。

好ましい実施形態では、入力された幾何学情報による初期補正にもかかわらず、湾曲歪みが残存する場合に、より良好な結果を得るために、校正パラメータ入力部１２８は、さらに、幾何学情報の微調整量の入力を受け付けることができる。この場合、補正係数算出部１３０は、入力された微調整量を加味して、補正係数を再計算する。ユーザは、再計算された修正補正係数に基づいて複数のプロジェクタ１５０により投影した投影結果を観察しながら、湾曲歪みが十分補正されたと判断するまで、微調整量入力および修正補正係数に基づく投影を繰り返すことができる。これにより、撮像時の透視変換に起因する湾曲歪みをより高精度に補正し、スクリーン１０２に投影領域を適合させることが可能となる。

なお、図２に示す実施形態では、各機能部１１２〜１３８が単一の画像処理装置１１０上で実現されるものとして説明したが、映像投影システム１００の実施形態は、図２に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置に集中する負荷を軽減するため、補正処理部１１４各々をプロジェクタ１５０各々上で実現してもよい。さらに他の実施形態では、各機能部１１２〜１３８を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１３８をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、補正係数算出部１３０の機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。

（全体処理フロー）
以下、本実施形態による校正処理について、図６に示すフローチャートおよび図７に示す校正用投影シーンを参照しながら、全体的な流れを説明する。図６は、本実施形態による校正処理の全体的な処理の流れを示すフローチャートである。図６に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、画像処理装置１１０は、ユーザからのスクリーン１０２のサイズおよびカメラ１６０との幾何学的関係を示す校正パラメータの入力を受け付ける。この入力は、画像処理装置１１０に接続されたディスプレイに条件入力画面を表示することにより、条件入力画面を介して入力装置１７０で受け付けられる。ここで、説明する実施形態において、被投影面は、略円筒面の少なくとも一部であり、上述した幾何学情報を構成する校正パラメータは、スクリーン１０２の円筒形状の半径、略円筒面上に画定される被投影面の範囲（以下、カーソル領域と参照する場合がある。）を規定する中心角といったサイズ情報、スクリーン１０２のカメラ１６０からの距離情報、およびスクリーン１０２のカメラ１６０との中心のずれ情報を含み得る。

ステップＳ１１０２では、画像処理装置１１０は、複数のプロジェクタ１５０ａ，１５０ｂを用いて、生成された各校正用投影シーンを順番に投影し、カメラ１６０により各校正用投影シーンに対応して撮像された各校正用撮像画像を取得する。

図７は、本実施形態による画像処理装置１１０が上下２段のプロジェクタ１５０ａ，１５０ｂから投影させる校正用投影シーンを例示する図である。図７には、図３（Ａ）および（Ｂ）に示した校正用画像を各プロジェクタから交互に投影する２つの校正用投影シーンが示されている。

図７（Ａ）に示す撮像１回目の第１校正用投影シーンでは、画像処理装置１１０は、まず、下段プロジェクタ１５０ａから図３（Ａ）に示す第１校正用画像を投影させ、上段プロジェクタ１５０ｂからは図３（Ｂ）に示す第２校正用画像を投影させる。図７（Ｂ）に示す撮像２回目の第２シーンでは、反対に、下段プロジェクタ１５０ａおよび上段プロジェクタ１５０ｂから、それぞれ、図３（Ｂ）に示す第２校正用画像および図３（Ａ）に示す第１校正用画像が投影される。

ユーザは、連結するすべてのプロジェクタ１５０ａ，１５０ｂの投影像の全体が画角内に収まるようにカメラ１６０を三脚などで固定してあるいは手持ちで、上述した各段階での複数回の撮影を行う。カメラ１６０からの校正用投影シーン各々に対応した校正用撮像画像各々は、一括で、または順次に、画像処理装置１１０に取得され、ステップＳ１０３へ処理が進められる。

なお、説明する実施形態では、複数のプロジェクタ１５０ａ，１５０ｂの投影像の全体がカメラ１６０の視野角に収まるようして撮像され、カメラ１６０の位置は略同一であるものとする。カメラ１６０は、三脚により物理的に固定されてもよいし、手持ちで固定されていなくともよい。カメラ１６０が固定されない場合でも、複数のプロジェクタ１５０ａ，１５０ｂの投影像の全体がカメラ１６０の視野角に収まるようして撮像されれば、上述した位置合わせパターン２０２，２１２が一致するように射影変換することにより撮像結果の統合することができる。なお、以下、カメラが固定されて撮像された場合について、一例として、説明する。

ステップＳ１０３では、画像処理装置１１０は、取得された１以上の校正用撮像画像各々から特徴点を抽出する特徴点抽出統合処理を実行する。特徴点抽出統合処理では、各プロジェクタの格子点の組および位置合わせマーカが規定する基準点の座標位置が、統合された座標系において抽出される。

より具体的には、画像処理装置１１０は、まず、各々の撮像画像におけるプロジェクタ１５０各々の投影像の校正パターン（円形状）を検出し、撮像画像の座標系におけるその重心座標を、格子点の座標として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって、計算することができる。また、位置合わせマーカも同様であり、画像処理装置１１０は、複数の撮像画像から、各々の撮像画像の座標系における位置合わせマーカの重心座標を検出し、その重心座標を基準点の座標として抽出する。

以下、下段および上段３プロジェクタ１５０ａ，１５０ｂの格子点の座標をＬ_１，Ｌ_２で表し、位置合わせマーカの基準点の座標をＭ_１，Ｍ_２で表す。説明する実施形態では、カメラ１６０を固定して撮像しているため、複数回にわたる撮像画像の座標系が実質的にずれないので、得られる格子点座標Ｌ_１，Ｌ_２および基準点座標Ｍ_１，Ｍ_２は、単一の座標系（統合座標系）の座標である。

ステップＳ１０４では、詳細を後述するが、上記ステップＳ１０１で入力された校正パラメータに基づいて、上記算出された格子点座標Ｌ_１，Ｌ_２に対し円筒補正を施す。ステップＳ１０５では、上記補正された格子点座標Ｌ_１’，Ｌ_２’に基づいて、各プロジェクタの幾何補正係数を計算する。ステップＳ１０６では、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。ステップＳ１０７では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１０５およびステップＳ１０６で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。

ステップＳ１０８では、画像処理装置１１０は、投影すべきコンテンツ画像を読み出し、ステップＳ１０９では、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。補正処理の開始により、切替部１２２は、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えて、投影モードに移行する。ステップＳ１１０では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させる。これにより、全体としてコンテンツ画像がスクリーン１０２内に投影されるようになる。

上記投影モードの初期において、コンテンツ画像が投影される領域の四隅をスクリーン１０２に一致させる調整作業、入力した校正パラメータを増減させて投影像の歪みを調整する調整作業を行うためのユーザ・インタフェースが表示される。これらのユーザ・インタフェースは、プロジェクタ１５０が投影する画面の一部や、別途設けられたディスプレイ画面上に表示され得る。

ユーザは、このユーザ・インタフェースを用いて、目視により、コンテンツ画像を投影する投影目標領域の四隅や校正パラメータを微調整する。そして、ユーザは、コンテンツ画像がスクリーン１０２にぴったり収まり、歪みが補正されたと判断した場合、調整終了の指示を行う。調整作業の詳細については、図９および図１０を参照しながら後述する。

ステップＳ１１１では、画像処理装置１１０は、ユーザから終了指示を受け付けたか否かを判定する。ステップＳ１１１で、調整終了指示を受け付けていないと判定された場合（ＮＯ）は、ステップＳ１１２へ処理が進められる。ステップＳ１１２では、画像処理装置１１０は、ユーザ・インタフェースを介して入力された調整量に基づき、投影目標領域の四隅を規定する基準点の位置座標および校正パラメータを更新し、ステップＳ１０４へ処理をループさせる。これにより、調整結果が反映された状態で、特徴点の補正、各プロジェクタの幾何補正係数およびブレンディング係数の再計算が行われる。

一方、ステップＳ１１１で、調整終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１１３へ処理を分岐させ、調整を完了させて、通常の投影モードに移行する。

（円筒補正の概要）
以下、撮像時の透視変換による垂直方向および水平方向のスケールの伸縮を補正する処理の概要について説明する。なお、ここでは、図８（Ａ）に示すように、縦円筒形状のスクリーン１０２に対し、天地に設置した２台のプロジェクタ１５０ａ，１５０ｂで縦連結投影する場合を一例として説明する。

図８（Ａ）において、円筒スクリーンの中心軸をｙ軸とし、円筒スクリーン面と正対してｚ-ｙ平面を取り、円筒スクリーンの中心位置を原点（ｘ，ｙ）＝（０、０）とする。図８（Ｂ）は、図８（Ａ）に示した円筒スクリーンを真上から見た図である。図８（Ｃ）は、円筒面の水平方向の円弧に沿った湾曲した軸をｘ’軸とし、この円筒面上のｘ’軸上の等間隔なスケールを、無限遠から撮像した場合、および、近接撮像した場合にそれぞれどのように変化するかを模式的に示している。

無限遠から撮像した場合は、図８（Ｃ）の中央に示すような仮想投影平面に平行投影したものとなり、これをｘ軸で表す。近接撮像した場合は、図８（Ｃ）の右側に示すように、撮像面へ透視変換投影したものになり、これをｕ軸で表す。

円筒面の中心角が十分小さければ、仮想投影平面に平行投影したｘ軸と円筒面上のｘ’軸のスケールの伸び縮みは大きくはない。しかしながら、近接撮像した場合は、図８（Ｃ）に示すように、撮像距離が小さくなればなるほど、その撮像面上のｕ軸でのスケールの伸び縮みは大きくなる。

円筒面上の湾曲したｘ’軸と近接撮像での撮像面上のｕ軸の対応関係を解析的に解くことができれば、撮像画像上の水平座標を、円筒面上の水平座標（円筒面を展開した平面の水平座標）に対応する撮像画像の座標系に変換することができる。この対応関係の解析を含めて、近接撮像した格子点座標を、円筒面を展開した平面座標へ変換する処理の詳細については、図１１から図１４を参照しながら後述する。

円筒面のサイズ情報およびカメラ１６０の円筒面に対する相対的な位置情報の初期値による補正で、十分に湾曲歪みを補正しきれなかった場合は、ユーザ入力により、残存する上下辺の湾曲歪みをさらに微調整することができる。この場合、ユーザは、カメラ１６０がスクリーン１０２に正対はしているという前提の下、カメラ１６０の円筒面に対するスクリーン中心からの左右上下のずれ（ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔ）および撮像距離（ｄｉｓｔａｎｃｅ）のずれを微調整しながら補正結果を投影、目視で湾曲歪みをスクリーンに合わせ込むことができる。

（初期補正から調整までの作業の流れ）
以下、本実施形態による校正処理におけるユーザによる調整作業について、図９に示すフローチャートおよび図１０に示す表を参照しながら説明する。図９は、本実施形態による校正処理における調整作業の流れを示すフローチャートである。図１０は、本実施形態による調整作業における校正パラメータの調整の仕方を説明する表である。

図９に示す処理は、ステップＳ２００から開始される。ステップＳ２０１では、画像処理装置１１０は、校正パラメータの初期値に基づいて補正された初期補正画像を出力する。ここでは、詳細を後述する校正パラメータについて、概略の設計値、実測値またはデフォルト値が入力されているものとする。

ステップＳ２０２では、画像処理装置１１０は、投影目標領域の外形を規定する四隅の基準点の微調整量を受け付ける。ここでは、ユーザは、初期補正画像および微調整後の補正画像の投影像を観察しながら、補正画像の四隅がスクリーン１０２上の目標となる領域に一致するように、四隅の基準点の微調整量を入力する。

ステップＳ２０３では、画像処理装置１１０は、校正パラメータの一つである距離パラメータ（ｄｉｓｔａｎｃｅ）の微調整を受け付ける。ここで、ユーザは、微調整後の補正画像の投影像を観察しながら、上下辺のたる形の歪みが軽減されるように距離パラメータ（ｄｉｓｔａｎｃｅ）の微調整量を入力する。

ここで、図１０に示す上２段の行を参照すると、距離パラメータの調整の仕方が説明されている。図１０の表の第１段目に示すように、端辺が膨らんでいる傾向が観察される場合は、カメラの位置が、正しい位置よりも遠くに設定されている場合に該当すると考えられる。このため、距離パラメータを減らすことにより、上側および下側共に現状よりも膨らみを軽減することができる。一方、図１０の表の第２段目に示すように、端辺がへこんでいる傾向が観察される場合は、カメラの位置が正しい位置よりも近くに設定されている場合に該当すると考えられる。このため、距離パラメータを増やすことにより、上側および下側共に現状より膨らませることができる。なお、ここで、正しい位置とは、補正結果が矩形貼り付け状に補正される距離パラメータの値をいい、必ずしも物理的なカメラ位置とは一致しない点に留意されたい。

ステップＳ２０４では、画像処理装置１１０は、歪みの上下および左右のバランスが崩れているか否かの問い合わせを行い、ユーザからの入力を受け付ける。カメラ１６０がスクリーン１０２に正対してスクリーン１０２中央に設置されているのであれば、バランスは崩れず、上下左右対称に歪みが発生することになる。ステップＳ２０４で、バランスが崩れているとのユーザからの回答を受け付けた場合（ＹＥＳ）は、ステップＳ２０５へ処理を分岐させる。

ステップＳ２０５では、画像処理装置１１０は、校正パラメータの一部である左右および上下のオフセットパラメータの微調整を受け付ける。左右および上下のオフセットパラメータ（ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔ）は、上下辺の湾曲膨らみの上下バランスおよび左右バランスを調整するためのものである。ここで、ユーザは、微調整後の補正画像の投影像を観察しながら、上下および左右のバランスの崩れが軽減されるようにオフセットパラメータの微調整量を入力する。

ここで、図１０に示す中２段の行を参照すると、左右オフセットパラメータ（ｘｏｆｆｓｅｔ）の調整の仕方が説明されている。図１０に示す下２段の行を参照すると、上下オフセットパラメータ（ｙｏｆｆｓｅｔ）の調整の仕方が説明されている。

図１０の表の第３段目に示すように、端辺の左側に偏ったふくらみが観察される場合は、カメラの位置がカーソル領域中心よりも左にずれている場合に該当すると考えられる。このため、左右方向オフセット（ｘｏｆｆｓｅｔ）を負に設定することにより、左側を現状よりへこませ、右側を現状よりより膨らませることができる。一方、図１０の表の第４段目に示すように、端辺の右側に偏ったふくらみが観察される場合は、カメラの位置がカーソル領域中心よりも右にずれている場合に該当すると考えられる。このため、左右方向オフセット（ｘｏｆｆｓｅｔ）を正に設定することにより、左側を現状より膨らませ、右側を現状よりへこませることができる。

さらに、図１０の表の第５段目に示すように、下辺が上辺より下へへこむ傾向が観察される場合は、カメラの位置がカーソル領域中心よりも上にずれている場合に該当すると考えられる。このため、上下オフセット（ｙｏｆｆｓｅｔ）を負に設定することにより、上側を現状より膨らませ、下側を現状よりへこませることができる。一方、図１０の表の第６段目に示すように、上辺が下辺より上へ盛り上がる傾向が観察される場合は、カメラの位置がカーソル領域中心よりも下にずれている場合に該当すると考えられる。このため、上下オフセット（ｙｏｆｆｓｅｔ）を正に設定することにより、上側を現状よりへこませ、下側を現状より膨らませることができる。

このように、ユーザは、たる形の歪みの量を距離パラメータ（ｄｉｓｔａｎｃｅ）によって調整した後、左右オフセットパラメータ（ｘｏｆｆｓｅｔ）および上下オフセットパラメータ（ｙｏｆｆｓｅｔ）で微調整する。そして、ユーザは、微調整後の補正画像を投影したものを見ながら、上下辺のたる形の歪みの上下、左右バランスを左右および上下対照な状態となるように補正する。これにより、矩形を円筒にそのまま張ったような矩形貼り付け状態に近づけることができる。

ステップＳ２０５が完了すると、ステップＳ２０６で、本調整作業が終了される。ステップＳ２０４で、バランスが崩れていないとのユーザからの回答を受け付けた場合（ＮＯ）は、ステップＳ２０６へ処理が直接進められ、本調整作業が終了する。

（円筒補正処理の詳細）
以下、図１１〜図１４を参照しながら、近接撮像した格子点座標を、円筒面を展開した平面座標へ変換する円筒補正処理について、より詳細を説明する。まず、以下、図１１および図１２を参照しながら、ｘ軸方向の補正について説明する。

以下、図１１（Ａ）および（Ｂ）を参照しながら、校正パラメータの初期値の与え方、および、校正パラメータから導出される、内部的な計算に用いるための導出パラメータおよび導出関数について説明する。なお、図１１（Ａ）および図１１（Ｂ）は、円筒スクリーンを真上から見た場合のｘ-ｚ平面を表している。円筒スクリーンにおける投影像が投影される範囲（カーソル領域）は、左右のカーソルにより定められる。

図１１（Ａ）は、当該円筒面モデルで与えられる校正パラメータを説明する図である。図１１（Ａ）に示すように、校正パラメータの初期値の与え方として、二通りの方法が考えられる。第１の方法では、サイズ情報として、円筒面上の被投影面の範囲（カーソル領域）を規定するカーソル中心角θおよび曲率半径Ｒを与えることができる。第２の方法では、サイズ情報として、円筒面上の被投影面の範囲（カーソル領域）を規定する左右カーソル間距離Ａおよび左右カーソル間の中点における湾曲奥行きＥを与えることができる。

ここで、円筒スクリーン上の点Ｌと、カーソル領域の中点Ｋと、中点Ｋに関する点Ｌの点対称Ｌ’を用いて二等辺三角形△ＯＬＭと△ＭＬＬ’を考えると、この２つの三角形は相似の関係を有しており、下記関係

から、下記式により、ＥとＡを用いてＲを表すことができる。このため、上記ＡおよびＥと、上記θおよびＲは、どちらか計測しやすい方を用いれば、相互に交換可能ということになる。

図１１（Ｂ）は、当該円筒面モデルで与えられる校正パラメータから導出される導出パラメータおよび導出関数について説明する図である。ここで、後述する計算を容易にするために、下記に示す導出パラメータ（ａ，ｓ，ｅ）を定義することができる。

さらに、あるｘにおける補正奥行きｄ（ｘ）を、図１１（Ｂ）に点線で示した三角形に三平方の定理を適用することにより、下記の通りに定義することができる。なお、下記式において、ｘは、曲率中心Ｏを通るｘ軸上の値である。

以上示したように、θが与えられない場合でも、ＡおよびＥからθを導出する必要はなく、上記第２の方法で校正パラメータが与えられた場合は、事前にＡとＥからＲを計算しておけばよいということになる。

続いて、図１２（Ａ）を参照して、ｘ’軸上の座標値と、ｘ軸上の座標値との関係について説明する。ここで、円筒スクリーンに沿ったｘ’軸を考えると、ｘ＝０の場合の円筒上の点をＱとして、円筒上の点Ｐのｘ軸での座標値およびｘ’軸での座標値をそれぞれｘ，ｘ’とした場合、下記式

が得られ、上記式からφを消去して、下記式（１）で表すことができる。なお、ここまでは、カメラ１６０に依存しない、スクリーンの円筒形状から決定される事項である。

計算の途中経過をすべてｘ’の表式で進めることは非常に煩雑であるため、以下、まずｘの表式で説明を進めながら、ｘ’を求める必要が出てきた際に上式（１）に基づいてｘからｘ’へ変換するものとする。

次に、図１２（Ｂ）を参照して、円筒に沿ったｘ’軸と、撮像画像のｕ軸との関係について説明する。ここで、カーソル平面（左右カーソルがなす平面）からＤだけ奥行き方向に離れ、曲率中心からｘ０だけ水平方向にずれたＪ点に焦点距離Ｆのカメラレンズを置いて、撮像平面上に像を結ぶ場合を考える。ここで、撮像画像上の水平軸をｕ軸とし、水平座標値がｘである円筒上の点Ｉが撮像画像上の座標ｕ（Ｌ点）に対応するとき、２つの三角形△ＩＪＫと、△ＪＬＭが相似の関係にあることから、下記式（２）が導かれる。

ここで、座標値ｕの取り得る範囲を検討すると、右カーソル位置ｘ＝ａに対応するｕ軸上の座標値ｕ［ａ］は、右カーソル位置で奥行きがゼロ（ｄ（ａ）＝０）であることを考慮すると、下記式で表される。

上記式と、上記式（２）とから焦点距離Ｆを消去することにより、下記式が得られる。

ここで、ｕがｕ［ａ］に比例していることから、ｕ軸のスケールには、定数倍の自由度があるので、ｕ［ａ］＝ａ‐ｘ０と便宜上置くことによって式を簡略化することができ、下記式のようになる。このとき、左カーソル位置に対応するｕ軸上の座標値は、ｕ［ａ］＝‐（ａ-ｘ０）となる。

上述した式（１）および（３）を用いることにより、撮像画像上の水平軸上の座標値ｕから、ｘ軸上の座標値ｘをへて、円筒（ｘ’軸）上の座標値ｘ’へ変換することができる。

以下、引き続き、図１３（Ａ）を参照しながら、ｙ軸方向の補正について説明する。図１３（Ａ）は、スクリーンの円筒面を真横から見て、円筒面の奥行き差（Ｚ軸方向）に起因する近接撮像での透視変換による垂直方向（Ｙ軸方向）の歪みを説明する。上述したように、補正奥行きｄ（ｘ）は、あるｘにおける湾曲奥行きであり、ここでは、円筒に沿った軸上のｘ’ではなく水平座標ｘを用いて説明を続ける。上述したようにＤは、カメラレンズからカーソル平面までの距離を表す。図１３（Ａ）に示すように、円筒面の同じ高さの上下辺の２点の奥行き差と撮像距離Ｄから、撮像面上でのそれぞれのｙ軸方向の像の高さが求まることになる。

湾曲奥行きがあるため、図１３（Ａ）に示すように、物理的な円筒スクリーン上の高さｈの位置にある点Ｐの部分像は、撮像画像上の垂直位置ｙの画素として記録される。これを、従来の平面スクリーンを前提とした歪み補正を施すと、同じ像が点Ｐ’に見えるように補正が働くことになる。つまり、垂直位置ｙにあった画素がｙ’へ移るような凸効果がかかり、それが、円筒スクリーンの投影に際して端辺曲がりを引き起こすことになる。この余分な凸効果を相殺するには、撮像画像上でＰに対応する画素の位置ｙを、あたかも最初からｙ’にあるかのように補正すればよいということになる。

カメラレンズの焦点距離Ｆを用いて、相似三角形に注目すると、下記関係式が導かれる。

そして、上記式を整理すると、下記式が得られる。

上記によれば、ｙ＝０のとき、ｘにかかわらずｙ＝ｙ’＝０となる。ｙ＝ｙ０のとき、xにかかわらずｙ＝ｙ’＝ｙ０となるように上記式を修正すると、下記式（４）が得られる。

上記式より、ｘ‘またはｘ軸上の座標と、円筒形状のサイズ情報がわかれば、そのx’またはx座標のときの奥行き差が求まるので、ｙ軸方向の歪みが補正できる。

以上、図１１〜図１３（Ａ）を参照して説明した、水平方向および垂直方向の補正により、近接撮像した格子点座標を、円筒面を展開した平面座標へ変換することができる。

以下、図１４を参照しながら、円筒補正処理の流れについてより詳細に説明する。図１４は、本実施形態による円筒補正処理を示すフローチャートである。図１４に示す処理は、図６に示すステップＳ１０４の処理で呼び出されて、ステップＳ３００から開始される。

ステップＳ３０１では、画像処理装置１１０は、校正パラメータ入力部１２８により、校正パラメータの初期値を取得し、基準点座標Ｍ_１，Ｍ_２からカーソル４点座標を取得する。図８（Ａ）に示す配置では、下段プロジェクタ１５０ａの四隅の基準点Ｍ_１のうちの下２つと、上段プロジェクタ１５０の四隅の基準点Ｍ_２のうちの上２つとが取得される。校正パラメータの初期値としては、上記Ｒ，θ、Ｄ（Ｄｉｓｔａｎｃｅ）、ｘ０（ｘｏｆｆｓｅｔ）およびｙ０（ｙｏｆｆｓｅｔ）の組、または、Ａ，Ｅ、Ｄ（Ｄｉｓｔａｎｃｅ）、ｘ０（ｘｏｆｆｓｅｔ）およびｙ０（ｙｏｆｆｓｅｔ）の組が取得される。

ステップＳ３０１では、画像処理装置１１０は、入力された校正パラメータに基づいて、導出パラメータ（ａ，ｓ，ｅ）および補正奥行き関数（ｄ（ｘ））を計算する。

ステップＳ３０３では、画像処理装置１１０は、全体投影領域の外形を規定するカーソルの複数の基準点に基づいて、カーソルのなす四辺形が矩形状（規格化された形状）になるような平面射影変換Ｈを求める。その際に、図１３（Ｂ）に示すように、カーソル左上および右下座標が（‐（ａ＋ｘ０），−１) と（ａ‐ｘ０，１）になるように設定し、正規化を行うことができる。補正前に座標値の正規化を行うことによって、投影目標領域の四隅位置調整後にこの補正を行うにあたり、補正後に投影目標領域の四隅位置が変動しないようにすることができる。

ステップＳ３０４では、画像処理装置１１０は、格子点座標に対し、四隅の位置合わせマーカがなす四辺形が、撮像位置（ｘ軸方向）に応じた想定位置の矩形になるよう、上記で求められた平面射影変換Ｈを適用し、座標値の正規化を行う。

ステップＳ３０５では、画像処理装置１１０は、格子点座標のうちの水平座標値Ｘに対し、上記平面射影変換Ｈをかけたものをｕとして、上記式（３）で表される対応関係に基づいて、前記元座標系の値ｕから仮想被投影平面上の座標の値ｘを未知数として求める。ここで、上記式（３）で表される対応関係とは、仮想被投影平面上の座標値ｘによる元座標上のＬ点と被投影面上の座標上のＩ点との対応関係である。このとき、副産物として補正奥行きｄ（ｘ）も得られる。

ここで、上記式（３）から未知数ｘを得る方法について説明する。上記式（３）中、補正奥行きｄ（ｘ）は、平方根の中にｘ^２項が含まれているため、複雑であり、上記式（３）を直接ｘについて解くことは困難と考えられる。そのため、まず、中間ステップとして、上記式（３）を「未知数dについての方程式」に変形した後にｄを求めることとする。

説明の便宜上、関数ｄ（ｘ）をｄとして記載すると、上記（３）の変形から、下記式が得られる。

さらに、両辺を２乗することにより、下記式（５）が得られる。

一方、上記補正奥行きｄ（ｘ）の定義より、下記式（６）が得られる。

一方、上記式（６）を上記式（５）の右辺に代入して、さらに、ｄの多項式として整理する（Ｒ^２-Ｓ^２＝ａ^２の関係を使用する。）と、下記式（７）が得られる。

上記式（７）の２次方程式の解の公式からｄを求めることができ、ｄが求まれば(６)からｘが求める。なお、上記２次方程式および(６)に関する、実数解の存在、２つの実数解のどちらを採用すべきか、(６)の平方根をとったとき、正負どちらをxとして採用すべきかなどの詳細な考察については後述する。

再び、図１４を参照すると、ステップＳ３０６では、画像処理装置１１０は、仮想被投影平面と被投影面との曲率半径に応じた幾何学的関係を規定する上記式（１）に基づいて、上記で得られた仮想被投影平面上の座標の値ｘから被投影面上の座標の値ｘ’を求める。

ステップＳ３０７では、画像処理装置１１０は、得られたｘ’に線形変換を施し、前記被投影面上の座標の値ｘ’から'前記補正後座標系の値ｕ’をｕに対する補正結果として得る。ここで、線形変換は、左および右カーソル位置の撮像画像座標値ｕｌ，ｕｒを用いて、下記式で表される。

上記線形変換は、補正前後で、右および左カーソル位置の撮像画像座標値ｕｌ，ｕｒが変化しないという条件を満たすようにするためのものである。なお、eは左右カーソル間の弧の長さである。上記式に対し、ｕｌ＝‐（ａ＋ｘ０）およびｕｒ＝（ａ‐ｘ０）を代入すると、下記式（８）が得られる。

ステップＳ３０８では、画像処理装置１１０は、格子点の垂直座標Ｙに対し、上述した平面射影変換をかけたものをｙとして、上記式（４）に基づいて、曲がりによる光学的な効果をキャンセルするように前記元座標系の値ｙから、補正後座標系への値ｙ’を得る。なお、座標変換の仕方として、撮像画像自体を変形することもできるが、本実施形態の目的においては、撮像画像自体を変形する必要はなく、格子点座標に対してｙ→ｙ’への変換を行っても同じことである。

ステップＳ３０９では、画像処理装置１１０は、得られた（ｕ’，ｙ’）に対し、上記平面射影変換の逆変換Ｈ^−１をかけ、ステップＳ３１０で、座標値（Ｘ’,Ｙ’）で格子点の座標を書き換える。

このようにして、円筒補正部１３４は、特徴点抽出統合部１３２により抽出された格子点データ（Ｘ，Ｙ）に対し、射影変換Ｈを施す。そして、円筒補正部１３４は、射影変換後の格子点データに元座標系（ｕ，ｙ）から補正後座標系（ｕ’，ｙ’）への補正を施す。さらに、円筒補正部１３４は、補正後の格子点データにさらに射影変換の逆変換Ｈ^−１を施して、補正後の格子点データ（Ｘ’，Ｙ’）を得る。そして、補正係数算出部１３０は、射影変換後、かつ、補正後、かつ、逆変換後の格子点データ（Ｘ’，Ｙ’）に基づいて補正係数を計算する。

（円筒補正におけるｕ→ｘ変換の詳細な考察）
上記式（７）において、以下場合分けして検討する。
［１］ｕ＝ａ‐ｘ０またはｕ=−（ａ＋ｘ０)の場合：
この場合は、左右カーソル位置に対応する座標であるため、奥行きｄ＝０であるはずであり、実際ｄ＝０は上記２次方程式（７）の解になっている。このため、ｕ＝ａ‐ｘ０またはｕ=−（ａ＋ｘ０)の場合は、決め打ちでｄ＝０とすればよい。

［２］−（ａ＋ｘ０)＜ｕ＜ａ‐ｘ０の場合：
左右カーソルの間の座標であるため、ｄ＞０となる実数解を持つはずである。実際にｕ＋ｘ０＋ａ＞０，ｕ＋ｘ０−ａ＜０になるため、Ｃ＜０であり、また、常にＡ＞０であるから、判別式Ｂ^２−ＡＣ＞０で、実数解を持つ。解と係数の関係によりＣ＜０であるならば２つの解は異符号である。よって、この場合は大きい方の解を採用すればよく、すなわち、下記式により計算することができる。

［３］ｕ＜−（ａ＋ｘ０)またはｕ＞ａ‐ｘ０の場合：
格子点が、左右カーソルの外側のｕ座標まで取り得るため、このケースも考察しておく必要がある。

［３−イ]判別式Ｂ^２−ＡＣ＜０の場合：
ここで、ｕ→ｘ変換を少し別の観点から考えると、撮像画像上の位置ｕとレンズ中心を通る直線（＝図１２（Ｂ）のＬ，Ｊを通る直線）と円弧を３６０度まで延長した全円との交点を求める問題に帰着することになる。ここで、判別式＜０は、この直線と全円が交点を持たないということを意味する。撮像距離が、曲率直径２Ｒを超えて遠くなると現実的に発生し得る。この場合は、ｄ＝不能ということにする。

ここからは、判別式≧０で実数解を持つ場合に限定してよい。先の「直線と全円との交点を求める問題」として図形的に考えると、この場合の交点は、左右カーソルを結ぶ直線よりも下にある、つまり補正奥行きｄ（ｘ）がマイナスとなるので、上記（７）２次方程式の２つの解はどちらも負値である。そして、図形的に上側にある方、より０に近い方の解を採用すべきであることもわかる。ここで、ｄをそのようにして採用された値であるとする。

［３−ロ]ｄ＞-ｓの場合：
ｄに対応する交点が「上半円」に含まれる場合に対応する。この場合は、上記［２］の自然な拡張としてＸ方向もＹ方向も［２］と同じように処理して問題ない。Ｘ方向は、スケールを保つよう、不動のカーソル位置に向かって「寄っていく」ような変換がかかることになる。一方、Ｙ方向は、上記式（４）が負となるので、ｙ０に向かって「寄っていく」ような変換がかかることになり、曲がりを真っすぐにする効果が得られる。なお、プログラム実装上、ｄ＜−ｓよりもっと条件を厳しくしたほうが好ましい。

［３−ハ］ｄ≦−ｓの場合：
ｄに対応する交点が「下半円」に含まれる場合に対応する。この場合は、そのまま上記［２］のロジックをあてはめると、交点のｘ座標が｜ｘ｜＜Ｒとなり、さらには｜ｘ｜＜ａとなり、上記［２］のケースの結果に重なりあってしまうおそれがある。円筒に沿ったｘ’座標で表現することにより重なりを回避できるとも考えられるが、コンテンツが投影されないカーソル領域外であまり煩雑なことをしても仕方がないため、簡便に、ＸもＹも変換しない対応とすることができる。不動のカーソル位置やｙ０に向かって寄っていく変換をしないだけであるため、格子点の全列行内の座標値の大小関係を壊すことはなく、後続の処理に不都合はないと考えられる。

なお、［３−ロ]のケースも変換しないですませるという考え方もあるが、投影コンテンツ端の画素がバイリニア補間元として依拠する格子点が［３−ロ］のケースのものであることはあり得るので、滑らかさを保つため［３−ロ］では変換を行うがよい。

以上により補正奥行きｄ（左右カーソル上とその内側では非負値、外側では負値）またはｄ＝不能が得られる。ｄ＝不能ならばｘも求まらないため、Ｘ，Ｙを変換しない扱いとする。不能でなければ、上記式（３）から、下記のように整理して、ｘが求まる。

（ハードウェア構成）
以下、図１５を参照しながら、上述までの実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図１５は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。

図２４に示す汎用コンピュータ装置１１０は、ＣＰＵ１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、アナログＲＧＢ、ＨＤＭＩ（High-Definition Multimedia Interface；ＨＤＭＩおよびHigh-Definition Multimedia Interfaceは登録商標または商標である）、ＤＶＩ（Digital Visual Interface）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤやＳＳＤなどであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置１１０を有線および無線でネットワークに接続させるインタフェース機器である。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置１７０が接続されてもよく、操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置１１０は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。

以上説明したように、本発明の実施形態によれば、１以上の投影手段により被投影面上に像を投影するための投影システムにおいて、１つの方向で曲がりを有する被投影面に対し、簡単な作業で投影像を補正することが可能な投影システム、該投影システムを構成する画像処理装置および該画像処理装置を実現するためのプログラムを提供することができる。

上述した実施形態による校正処理は、円筒形状の被投影面を有し、カメラの画角に全プロジェクタの画面が納まる程度の連結数の少ないマルチ・プロジェクションの場合に特に有効である。分割撮像する場合と比較して、撮像枚数や撮像位置を増やさずにすみ、円筒スクリーン両端でのたる形の歪みを好適に補正することができ、かつ円筒面を展開した平面にコンテンツをマッピングするような幾何補正することができる。

特に、縦型円筒のスクリーンでは、上端位置での撮像も必要になり、高さ３ｍ程度の円筒スクリーンの場合、通常の三脚などでは届かない高さでの撮像が必要になるが、本実施形態による校正処理ではこれらが不要となる。さらに、上述した実施形態による校正処理によれば、プロジェクタ投影領域全体に対して幾何学的を好適に補正することができる。

さらに、微調整量を受け付けることにより、一旦補正した後に、たる形歪みが補正しきれない場合でも、残存する湾曲歪みがまっすぐになるようユーザがユーザ・インタフェースを介して、目視で補正結果を見ながら微調整できるように構成されている。さらに、好適には、上述した補正前後に平面射影変換を施すことにより、一旦投影領域の四隅位置の微調整を行った後に、このたる形の歪みを軽減する微調整を行うに際して、投影領域の四隅位置を固定することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…投影システム、１０２…スクリーン、１０４…投影像、１０６…単一の投影像、１１０…画像処理装置、１１２…コンテンツ格納部、１１４…補正処理部、１１６…投影画像出力部、１２２…切替部、１２４…校正用画像格納部、１２６…校正用撮像画像入力部、１２８…校正パラメータ入力部、１３０…補正係数算出部、１３２…特徴点抽出統合部、１３４…円筒補正部、１３６…幾何補正係数計算部、１３８…ブレンディング係数計算部、１５０…プロジェクタ、１６０…カメラ、１７０…入力装置、２００…校正用画像、２１０，２１２，２１４，２１６，２３０…校正用投影像、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

特開２０１５−０５６８３４号公報

Claims (10)

1. １以上の投影手段により、少なくとも１つの方向で曲がりを有する被投影面上に像を投影するための投影システムであって、
   準備された１以上の校正用撮像画像各々から、前記１以上の投影手段各々について投影像の歪みを示す格子点データを抽出する格子点抽出手段と、
   前記校正用撮像画像の撮像手段との相対的な位置関係を含む前記被投影面の幾何学情報の入力を受ける情報入力手段と、
   前記格子点データおよび前記幾何学情報に基づいて、前記１以上の投影手段各々に対する補正係数を計算する補正係数計算手段と
   を含む、投影システム。
2. 前記補正係数計算手段は、前記１以上の校正用撮像画像の元座標系から、前記被投影面の形状に応じた補正後座標系へ補正する補正手段を含む、請求項１に記載の投影システム。
3. 前記補正手段は、前記曲がりを有する前記少なくとも１つの方向に関し、
   仮想被投影平面上の座標値による前記元座標上の点と前記被投影面上の座標上の点との対応関係に基づいて、前記元座標系の値から前記仮想被投影平面上の座標の値を求める手段と、
   前記仮想被投影平面と前記被投影面との前記少なくとも１つの方向での前記曲がりに応じた幾何学的関係に基づいて、前記仮想被投影平面上の座標の値から前記被投影面上の座標の値を求める手段と、
   線形変換に基づいて、前記被投影面上の座標の値から前記補正後座標系の値を求める手段と
   を含み、さらに、前記少なくとも１つの方向と直交する方向に関し、
   前記少なくとも１つの方向での前記曲がりによる光学的な効果をキャンセルするように前記元座標系の値から、前記補正後座標系への値を求める手段
   を含む、請求項２に記載の投影システム。
4. 前記補正係数計算手段は、前記１以上の投影手段による全体投影領域の外形を規定する複数の基準点に基づいて、前記複数の基準点が規定する外形が所定の規格化された形状となるような射影変換を求める手段を含む、請求項２または３に記載の投影システム。
5. 前記補正係数計算手段は、前記格子点抽出手段により抽出された格子点データに対し前記射影変換を施し、射影変換後の格子点データに前記元座標系から前記補正後座標系への補正を施し、前記補正後の格子点データにさらに前記射影変換の逆変換を施して、前記射影変換後、かつ、前記補正後、かつ、前記逆変換後の格子点データに基づいて前記補正係数を計算することを特徴とする、請求項４に記載の投影システム。
6. 前記被投影面は、略円筒面の少なくとも一部であり、前記幾何学情報は、前記被投影面のサイズ情報、前記被投影面の前記撮像手段からの距離情報および前記被投影面の前記撮像手段との中心のずれ情報を含む、請求項１〜５のいずれか１項に記載の投影システム。
7. 前記情報入力手段は、さらに、前記幾何学情報の微調整量の入力を受けており、前記補正係数計算手段は、前記幾何学情報に前記微調整量を加味して補正係数を再計算することを特徴とする、請求項１〜６のいずれか１項に記載の投影システム。
8. 前記複数の校正用撮像画像から抽出された投影手段各々の格子点データを、共通する座標系上に変換する格子点変換手段と、
   前記補正係数計算手段で計算された複数の投影手段各々に対する補正係数に基づき補正された複数の補正画像を各々対応する複数の投影手段により投影する画像出力手段と
   をさらに含む、請求項１〜７のいずれか１項に記載の投影システム。
9. １以上の投影手段により少なくとも１つの方向で曲がりを有する被投影面上に像を投影するための画像処理装置であって、
   準備された１以上の校正用撮像画像各々から、前記１以上の投影手段各々について投影像の歪みを示す格子点データを抽出する格子点抽出手段と、
   前記校正用撮像画像の撮像手段との相対的な位置関係を含む前記被投影面の幾何学情報の入力を受ける情報入力手段と、
   前記格子点データおよび前記幾何学情報に基づいて、前記１以上の投影手段各々に対する補正係数を計算する補正係数計算手段と
   を含む、画像処理装置。
10. １以上の投影手段により少なくとも１つの方向で曲がりを有する被投影面上に像を投影するためのプログラムであって、コンピュータを、
    準備された１以上の校正用撮像画像各々から、前記１以上の投影手段各々について投影像の歪みを示す格子点データを抽出する格子点抽出手段と、
    前記校正用撮像画像の撮像手段との相対的な位置関係を含む前記被投影面の幾何学情報の入力を受ける情報入力手段と、
    前記格子点データおよび前記幾何学情報に基づいて、前記１以上の投影手段各々に対する補正係数を計算する補正係数計算手段と
    をして機能させるためのプログラム。