JP2004032665A - Image projection system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a high definition projection picture making the most use of resolution of input data. <P>SOLUTION: The system provides a parameter memory part 12 and an image process/division part 4. The parameter memory part 12 stores rotation, shift, and camera movement parameters for each projector as necessary parameters for precise image projection by a plurality of projectors, and an overlap parameter for a projection image of each projector. The image process/division part 4 which changes and interpolates each output image to make a precise projection image on a screen based on the rotation, shift, and camera movement parameters of each projector, and at the same time, sets coefficients by which each output image projected by a plurality of projectors is smoothly joined, and obtains final images multiplying the coefficients to the output image. <P>COPYRIGHT: (C)2004,JPO

Description

【００４０】
上記式において、行列右肩のＴは転置を示し、ｍはスクリーンとの距離ｄできまるスケーリングファクタである。Ｒはθ，φ，ωによる回転を表す行列で、座標Ｃはプロジェクタの基準点の上記ＸＹＺ座標系における位置である。
【００４１】
このｄ，θ，φ，ωから逆算し、予め図２（ｂ）に示されるようにあおりを補正した画像を生成・出力することで、投影された画像は全体が等倍率で正確なものとなる。この様子は後述する。また、ここではｄ，θ，φ，ωから投影状態を決定するとして説明したが、投影状態が正確に記述・補正できれば他のパラメータの組でもよいことは勿論である。
【００４２】
図３は原画像と各プロジェクタへの出力画像の関係を示す図である。
【００４３】
図３（ａ）はプロジェクタの解像度に比べて高精細な原画像であり、この画像をスクリーン上に図３（ｂ）に示されるような位置関係で投影する２台のプロジェクタに出力する。この場合、図３（ｃ）に示されるように右側のプロジェクタには、左側のプロジェクタの画像から下にずれた部分の画像を出力すると、スクリーン上では図３（ｄ）のように全体として原画像と略同じ画像が投影される。
【００４４】
また、オーバーラップする部分は、例えば特願平６−１４１２４６号公報に開示された画像の貼合わせ技術を採用して整合を取る。複数の画像の重複部分の処理技術を応用して、原画像の値に図３（ｅ）に示されるような係数を乗じてプロジェクタに出力することで、接合部分をスムーズに接続することができる。
【００４５】
こうして接合された例を図３（ｆ）に示す。この図３（ｆ）では、２枚の画像の１ライン（例えば図３中のＡ−Ｂを結ぶ線）がそれぞれ破線で示されている。実線は、それぞれのデータ値に図３（ｅ）に示した係数を掛けて出力したときの投影された画像の値である。図３（ｂ）では、プロジェクタの倍率は同じとして説明したが、倍率が異なる場合は図３（ｃ）で選択する部分の大きさを変えることで対応可能である。
【００４６】
以上の方法は、２台以上のプロジェクタを用いる場合にも同様に適用可能である。更に、液晶パネルの画素が比較的粗いため、投影画像に液晶の画素がはっきり投影されて見にくい画像となる場合や、それぞれのプロジェクタの倍率の違いからオーバーラップ部分でモアレ現象が起こる場合もあるが、これら現象は、投影像のピントを少し甘くして画素をボケさせる等により防止することができる。また、図３ではオーバーラップ部分で乗じる係数を線形に変化させたが、スムーズに接合できるのであれば、例えばｓｉｎ関数のように非線形に変化させてもよい。
【００４７】
図４には、あおり補正画像生成の手法を示し説明する。
【００４８】
図４（ａ）は投影画像を示し、図４（ｂ）はプロジェクタに入力する画像データを示している。図４（ｂ）のｑ０，ｑ１，ｑ２，ｑ３で囲まれる領域Ｓｑ　はプロジェクタに入力できる最大の画像を示し、その投影像が図４（ａ）のＱ０，Ｑ１，Ｑ２，Ｑ３で囲まれる領域ＳＱ　に相当する。
【００４９】
図４（ａ）で網掛けしたＰ０，Ｐ１，Ｐ２，Ｐ３で囲まれた領域ＳＰ　は実際の投影に利用される領域で、プロジェクタ入力画像ではＰ０，Ｐ１，Ｐ２，Ｐ３で囲まれた領域ＳＰ　に対応する。ＳＰ　の基準点は２辺のなす角度が最大となる点Ｐ０とし、Ｐ１，Ｐ３はそれぞれ水平、垂直に引いた直線がＳＱ　の各辺と交差する点で、Ｐ２は他の３点と長方形をなす点である。また、図４（ｂ）のＰ０，Ｐ１，Ｐ２，Ｐ３で囲まれる領域Ｓｐはプロジェクタに入力する画像のうちＳｐに対応する部分である。
【００５０】
プロジェクタ入力画像の画像中心から数えた画素位置（ｉ，ｊ）は、上記（２）式によって（Ｘｉ，Ｙｊ）に変換される。そこで、画素位置（ｉ，ｊ）の値は図３（ｃ）のように各プロジェクタ用に選択された原画像中（Ｘｉ，Ｙｊ）に対応するピクセルの値を用いる。このとき（Ｘｉ，Ｙｊ）が整数でない場合には線形補間、双三次補間等の公知の補間手法によって値を求める。また、変換後、（Ｘｉ，Ｙｊ）がＳＰ　外に出てしまう場合は画素値をゼロとする。ここでは、Ｓｐを上記のように決定したが、ＳＱ　内であればＳｐを任意の位置、大きさで設定することができる。
【００５１】
図５には上記変換を実現する画像処理・分割部４の詳細な構成を示して説明する。同図において、画像処理・分割部４は、更に表示画像選択部９、補間部１０、係数設定部１１からなる。この表示画像選択部９は、図３で説明したように、原画像中で本システムで投影できる部分を決定するパラメータをパラメータ記憶部１２から参照して各プロジェクタで投影する部分を決定し、複数のプロジェクタ用の画像を出力する。
【００５２】
補間部１０では、パラメータ記憶部１２から各プロジェクタの回転、シフト、あおりのパラメータを読み出し、表示画像選択部９の各出力画像がスクリーン上で正確な投影像が結ぶように変形・補間して出力する。さらに、係数設定部１１は、パラメータ記憶部１２から各プロジェクタの投影画像のオーバーラップ・パラメータを読み出し、スムーズに接合されるように先に図３（ｆ）に示した係数を設定する。この係数は、補間部１０の出力画像に乗じられ、最終画像としてＤ／Ａ変換部６を通って各プロジェクタに出力される。
【００５３】
図６は図３に加えて左右のプロジェクタにあおりがある場合、画像分割・処理部４で投影画像を決定する過程を示したものである。
【００５４】
この例では、右の画像には横方向にあおりが生じ、左の画像には右上方斜めにあおりが生じている。この状態で図３（ｃ）と同じ画像を投影すると、図６（ａ）のように原画像とは異なり、歪んだために両方の投影がずれた画像が観察されるてしまう。そこで、かかる問題を解決すべく、パラメータ記憶部１２に記憶したあおりパラメータによって変換し、図６（ｂ）のような画像を投影する。これにより、図６（ｃ）のようにスクリーン上で原画像に忠実な高精細画像が得られる。
【００５５】
尚、本実施の形態では、アナログ信号でプロジェクタにデータを送るとして説明しているが、プロジェクタにデジタル信号の入力端子がある場合はデジタルデータで出力することが可能で、Ｄ／Ａ変換部が不要であることは勿論である。
【００５６】
次に本発明の第２実施の形態に係る画像投影システムを説明する。この第２の実施の形態は、第１実施の形態にプロジェクタの配置を決定するパラメータを算出する部分を更に付加したものである。
【００５７】
図７は第２の実施の形態に係る画像投影システムの構成を示す図である。
【００５８】
同図に示されるように、本実施の形態は大きくコントローラ部２１、プロジェクタ２８、デジタルカメラ２９からなる。上記デジタルカメラ２９は、実際にプレゼンテーション等を見る人の位置近くに配置され、投影像３０を撮影できるようになっている。設定の際には、画像切替部２６を切り替えて、基準画像生成部２５で生成した基準画像を投影する。
【００５９】
この投影された基準画像はデジタルカメラ２９で撮影され、その画像はコントローラ部２１のプロジェクタ配置パラメータ算出部２４に入力された後、プロジェクタの配置を決定するパラメータ（ｄ，θ，φ，ω）が算出される。
【００６０】
こうして算出されたパラメータはプロジェクタ配置記憶部２３に記憶され、必要なときに画像処理・分割部２２に読み出される。画像処理・分割部２２は、読み出されたパラメータを用いて、プロジェクタ２８にＤ／Ａ変換部２７を通して出力する画像を作成する。尚、ここでは基準画像をセッティングの際に生成することしているが、基準画像生成部２５を基準画像記憶部として構成しても良いことは勿論である。
【００６１】
図８には上記パラメータ算出部２４の詳細な構成を示し説明する。
【００６２】
同図において、パラメータ算出部２４は、あおり量算出部３０、オーバーラップ・回転量算出部３１、あおり補正部３２、画像メモリ部３３からなる。
【００６３】
このような構成において、デジタルカメラ２９で撮影された画像は、画像メモリ部３３で一時的に記憶され、必要なときに読み出されて、あおり量算出部３０で基準画像と比較され、あおりパラメータが決定される。あおりパラメータはパラメータ記憶部に出力されると共に、あおり補正部３２に入力される。
【００６４】
あおり補正部３２では、あおりパラメータに基づいてデジタルカメラ２９で撮影された画像をあおりが補正された投影像を撮影した画像に補正する。オーバーラップ・回転量算出部３１では、この画像から各プロジェクタの投影像同士の回転・オーバーラップを算出し、パラメータ記憶部２３に出力する。
【００６５】
パラメータを算出するためにデジタルカメラ２９で撮影する際に投影される投影像３０は、例えば一定間隔に輝点や十字を並べたもの、格子模様等既知の画像で上記パラメータが正確に求められるものであればその形態は問わない。
【００６６】
このとき、複数のプロジェクタ２８で順番に参照画像を投影して１台毎にパラメータを決定する方法や、投影する画像の色をそれぞれのプロジェクタ用に変えて投影し、デジタルカメラ２９で取り込んだ画像から色を指定して各プロジェクタのパラメータを決定することもできる。
【００６７】
以下、図９を参照して、第２の実施の形態において、角度を変えた直線を複数回に別けて表示することでパラメータを算出する手法を説明する。
【００６８】
プロジェクタ２８に画像中心を通り長さＬの線分を水平からの角度αｍ　を変えてｍ＝０，１，２，．．．と表示したとき（図９（ａ）参照）、撮影した画像上の線分が長さＬ’ｍ　、角度α’ｍ　で観測されたとする。ここで、α’ｍ　は撮影した画像中で水平からの角度、Ｌ’ｍ　は中心から端点までの距離Ｌ１ｍ，Ｌ２ｍに分ける（Ｌ’ｍ　＝Ｌ１ｍ＋Ｌ２ｍ）。このとき、画像の回転角ωは以下の（５）式で表される。
【００６９】
ω＝α’ｍ　−αｍ　　　　　　　　　（５）
また、ここでは線分２がＬ’ｍ　のうち最大になったとすると、あおりの生じる方向θは次式で示される。
【００７０】
θ＝α２　　　　　　　　　　　　　（６）
さらに、線分２と直交する方向をｋとして、Ｌ１ｍ，Ｌ２ｍを（Ｌ／Ｌ’ｋ　）で規格化する。
【００７１】
１１ｍ＝Ｌ１ｍ　＊（Ｌ／Ｌ’ｋ　）
１２ｍ＝Ｌ１ｍ　＊（Ｌ／Ｌ’ｋ　）　　　　　　（７）
これらからパラメータφ，ｄは以下の（８）式で求められる。
【００７２】
【数２】

【００７３】
次に図１０を参照して、パラメータを算出する際に投影される投影像３０の例として格子点の場合を説明する。
【００７４】
同図に於いて、点線で囲まれた領域はプロジェクタの投影像、実線で囲まれた部分がデジタルカメラ２９の撮影範囲をそれぞれ示す。また、左右の投影像が一部オーバーラップし、左の画像は上下方向にあおりが生じている。
【００７５】
先ず、デジタルカメラで撮影された画像１０１から、２値化、パターンマッチング等の方法で左右の格子点に対応する位置を算出する。
【００７６】
また、片方の投影像内（図１０では左投影像）で、デジタルカメラの画像上での位置と間隔ｄ１　，ｄ２　・・・の比と実際にプロジェクタに入力される画像データ上での格子点位置・間隔ｗ［ｐｉｘｅｌ　］から、上記（２）式の各パラメータを求め、あおりを補正することができる。
【００７７】
また、格子点は、プロジェクタに入力された時の位置は既知であるので、デジタルカメラの画像１０１上のシフト量ｓからスクリーン上での両投影像の位置関係が計算できる。
【００７８】
この図１０では、両プロジェクタのオーバーラップ付近をデジタルカメラで撮影するように説明しているが、解像度が十分であれば全体を撮影するようにしても良い。また、カメラの制御部も組み込み、始め全体を撮影した画像で大雑把な計算をし、次にある部分を拡大して撮影した画像で正確にパラメータを決定することもできる。更に、投影する画像を少しづつ変形し、その投影像を撮影した画像が理想的な撮影画像に近付く様にフィードバックをかける逐次的な方法（例えば最急降下法）を用いることもできる。
【００７９】
また、上記あおりが大きくなった場合にはピントはずれの影響が大きくなるが、その場合には、あおり補正レンズと呼ばれる光学系を投射レンズに組み込むことで回避することができる。
【００８０】
次に図１１にはパラメータ算出部２４の他の構成を示し説明する。
【００８１】
これは、デジタルカメラの画像の歪みを補正する歪み補正部３５を新たに加えたものである。その他の構成は図８と同様であるため、説明を省略する。
【００８２】
一般に、カメラレンズはスペースバリアントな歪みが生じることが多い。
【００８３】
ところが、本発明のシステムでは投影像を撮影した画像からパラメータを決定するため、上記歪みが存在するのは望ましくない。そこで、パラメータ算出に用いる前に画像の歪みを補正することで、正確にパラメータを算出することができる。歪みの補正は、デジタルカメラがレンズの焦点位置を記録するようなフォーマットになっていれば容易に実現できる。
【００８４】
この第２の実施例では、投影画像を撮影した画像データを、デジタルカメラ２９から直接プロジェクタ配置パラメータ算出部２４に入力しているが、フロッピーディスク、ＰＣカードなどの媒体を用いてオフラインにプロジェクタ配置パラメータ算出部２４へ入力することも可能である。
【００８５】
また、投影画像を撮影するのにデジタルカメラを用いて説明したが、一般のＣＣＤカメラ、ビデオカメラ等でも画像入力ボードやＡ／Ｄ変換部を設けることで、本発明のシステムは実現される。
【００８６】
次に第３の実施の形態に係る画像投影システムを説明する。
【００８７】
図１２には先端に高輝度ＬＥＤを設けた差し棒で頂点、格子点などスクリーン上における投影画像の特徴点をポインティングして撮像する例を示し説明する。
【００８８】
この例では、投影像に比べてポインティングした点は非常に明るくできる為、デジタルカメラの撮影画像から特徴点の抽出が容易になる。また、高輝度ＬＥＤの代わりにレーザーポインタでポインティングしてもよい。
【００８９】
図１３は、プロジェクタ内にポインティングデバイスを設けた例を示して説明する。同図に示されるように、画像はＬＣＰ４３上に表示され、光源４２からの光がＬＣＰ４３、光学系４４、投射レンズ４５を通してスクリーン５０に投影される。半導体レーザ（ＬＤ）４６から出たレーザ光線（図では点線で示す）はミラー４８，４９で反射されスクリーン上に投影される。
【００９０】
上記ミラー４９は可倒式であり、投影状態を決定する為にポインティングする場合は図のように光軸上に置き、画像を投影する場合は倒して光軸上から除く。処理制御部４７は画像表示のためにＬＣＰ４３を制御すると共に、ミラー４８の角度を調整し、特徴点位置にレーザの輝点を投影する。
【００９１】
ポインティングデバイスをプロジェクタ内に置くことで、特徴点を正確かつ自動的に指定することができる。また、ミラー４９を可倒式にすることで光源４２、ＬＤ４６からの光の利用効率を上げることができる。
【００９２】
なお、ここでは、レーザ光線がＬＣＰ４３を通ってスクリーンに投影するように説明しているが、ＬＣＰ４３よりスクリーン側にミラー４９を設けても良いことは勿論である。さらに、デジタルカメラ２９の撮影画像データをパソコンで表示しながらマウス等を用いて指示するなども可能であり、正確に指定できれば特徴点の抽出方法は問わない。
【００９３】
図１４はスクリーン上に微小な光センサを多数配置することで投影状態を決定する例である。同図に於いては、投影画像のかかるセンサを黒丸で、かからないセンサを白丸で示している。このように、光の照射されているセンサを検出することでスクリーン上への投影状態が分かる。重要なのはパラメータが正確にできるようなパラメータが算出されることであり、上記以外の方法でも本発明のシステムは構成できることは勿論である。
【００９４】
次に第４の実施の形態に係る画像投影システムを説明する。
【００９５】
第４の実施例は、複数のプロジェクタを用いた高輝度・多階調プロジェクタである。以下、図１５を参照して本実施例を説明する。
【００９６】
同図に於いて、複数のプロジェクタ５１の画像を正確に重ねて投影画像５２を投影する。このとき、両方のプロジェクタから全く同じ画像を出力すれば、スクリーン上では１台で投影する場合の２倍の輝度で観測されるので、本発明のシステムは高輝度なプロジェクタとして機能する。
【００９７】
また、一般に画像データは各色０から２５５までの２５６階調で表現されるが、本発明のシステムではＮ台のプロジェクタを用いて２５５×Ｎ＋１階調の画像を表現できる。例えば二台のプロジェクタを使用した場合、１１４の値のデータはそれぞれのプロジェクタに５７，５７を入力し、データ値３１７は１５９，１５８を入力するといったようにすれば、最大５１０階調（両プロジェクタに２５５を入力）のデータを考慮できる。
【００９８】
本発明は第２の実施の形態にある通り、見る人の視点で投影画像を撮影した画像データから自動的に位置合わせしてプロジェクタに補正画像が出力されるので、本実施例のシステムが非常に簡単に実現される。
【００９９】
また、各プロジェクタの出力画像に視差を付けることで立体画像の表示も可能である。本発明のシステムではプロジェクタの解像度が全て生かせるので、従来に比べ高解像度な立体画像を表示できる。
【０１００】
次に第５の実施の形態に係る画像投影システムを説明する。
【０１０１】
上記各実施例では平面上のスクリーンを想定したが、本実施の形態のように、図１６に示される円球状のスクリーンを用いても本発明は有効である。
【０１０２】
即ち、図１６（ａ）は多人数を対象にした投影システムである。このようなシステムは視界の広い範囲に映像を表示できるため、高い臨場感を得ることができる。本発明を利用して、このような投影システムを非常に簡単にセッティングすることができる。
【０１０３】
また、図１６（ｂ）に示されるように、個人用の投影装置への応用も考えられる。個人用として、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）と呼ばれる装置を装着して高い臨場感のディスプレイを実現する例があるが、本例はＨＭＤとは異なり特殊な装置を装着する必要がないので圧迫感等が無く楽に見ることができる。更に、至近距離でディスプレイを見る必要が無く目への負担が小さい、ＨＭＤより高解像度の画像が得られる等の効果がある。
【０１０４】
プロジェクタの設置は図１６（ｃ），（ｄ）のように観客の下から投影しても良く、上下から投影することもできる。また、図１６（ｅ）のようにリアプロジェクション型のディスプレイも可能である。
【０１０５】
この第５の実施の形態に係る画像投影システムは、見る人の視点で投影状態を補正できる為、平面形状以外のスクリーンへの投影も簡単にセッティングできる点が特徴である。
【０１０６】
次に第６の実施の形態に係る画像投影システムを説明する。
【０１０７】
図１７は各プロジェクタへの出力画像を記憶する記憶媒体を組み合わせた例である。同図に示されるように、コントローラ部６１は画像処理・分割部６２、プロジェクタ配置記憶部６３、プロジェクタ配置パラメータ算出部６４、Ｄ／Ａ変換部６５に出力画像記憶部６６を加えて構成される。
【０１０８】
このような構成において、画像処理・分割部６２で作成された各プロジェクタへの出力画像は一旦出力画像記憶部６６に記憶される。プロジェクタに出力する際は、出力画像記憶部６６から順次読み出される。
【０１０９】
この出力画像記憶部６６はコントローラ部６１の外部に設けても良い。これらの記憶媒体は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ　），ＣＤ−ＲＯＭ，ＤＶＤ（ＤｉｇｉｔａｌＶｉｄｅｏ　Ｄｉｓｃ）等で構成することができる。この第６の実施の形態に係る画像投影システムは、何回も同じ画像を使用する場合に有効である。
【０１１０】
次に第７の実施の形態に係る画像投影システムを説明する。図１８に示されるようにソフトウェアで処理することも可能である。同図に於いて、ＣＰＵ７５は、ハードディスク等記憶媒体に記憶された画像処理・分割ソフトウェア７２、プロジェクタ配置パラメータ７３を読み込み画像・原稿データ７１を補正・分割し、投影データ７７ａ，７７ｂ・・・を作成する。
【０１１１】
こうして作成された投影データ７７は画像入出力ボード７６を通してプロジェクタ７９ａ，７９ｂ・・・に出力される。また、ビデオカメラ８０で投影画像を撮影したプロジェクタ配置決定用画像データ７８とプロジェクタ配置パラメータ算出ソフトウェア７４を読み込んでプロジェクタ配置パラメータを計算し、記憶媒体に記憶する。この第７の実施の形態に係る画像投影システムは、ハードウェアの場合に比べて安価に実現でき、動画を必要としない場合や予め画像を用意できる場合に有効である。
【０１１２】
次に第８の実施の形態に係る画像投影システムを説明する。
【０１１３】
先に第５の実施の形態で、リアプロジェクションタイプのディスプレイの例を示したが、本実施の形態は、小さなプロジェクタ（マイクロプロジェクタ）を多数並べて高精細かつ薄型のディスプレイを実現するものである。
【０１１４】
図１９は本システムを薄型ディスプレイに応用した実施の形態を説明する図である。同図の構成のうち、画像分割・処理部９１、パラメータ記憶部９２、パラメータ算出部９３、基準画像生成部９４、画像切替部９５は上記実施例と同じである。また、観客に視点付近で投影像を撮影した画像はパラメータ算出部９３に入力される。この例では、スクリーン９７に後ろから投影するリアプロジェクションタイプのディスプレイを想定している。
【０１１５】
第８の実施の形態の特徴は、前記実施例で用いたプロジェクタより非常に小型のマイクロプロジェクタ９６を用い、各プロジェクタの投影範囲は限定されるが多数並べることで大型のディスプレイを構成することにある。
【０１１６】
また、ディスプレイ本体は小型であるため、各光源はあまり高出力のものを必要としない。そのため、奥行きは小さいが、多数のディスプレイを並べているため、従来に比べて非常に高精細な画像を見ることができる。
【０１１７】
図２０はマイクロプロジェクタ９６を赤、緑、青色の３原色のレーザーで構成した例である。メモリ１０６の画像に応じてドライバ１０５がミラー１０４ａ乃至１０４ｃの角度と各レーザー１０１乃至１０３の出力強度を調整し、所望の方向をスキャンする。ミラーの角度は、ミラーの中央部をフレキシブルな支柱に固定し、２方向から電磁石で変化させることができる。
【０１１８】
この図２０では、一色を１枚のミラーで受け持たせているが、各色２枚のミラーで、それぞれｘ方向、ｙ方向のスキャンを制御することもできる。最近赤色に続き、緑、青色の半導体レーザーも実用化されるようになってきているので、これらの半導体レーザーを用いた非常に小型のスキャン型プロジェクタを出力装置とすれば、画面サイズに比べて奥行きの短いディスプレイが実現できる。
【０１１９】
また、マイクロプロジェクタはＬＥＤアレイや、Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ（ＤＭＤ）と呼ばれる素子を用いて構成することも可能である。
【０１２０】
次に第９の実施の形態に係る画像投影システムを説明する。
【０１２１】
画像の補正はプロジェクタの前に調整用の光学系を用いることも可能である。
【０１２２】
以下、図２２を参照して第９の実施の形態を説明する。
【０１２３】
同図に於いて、コントローラ部１２１は、画像分割・処理部１２２、パラメータ記憶部１２３、パラメータ算出部１２４、画像切替部１２６、Ｄ／Ａ変換部１２７からなり、デジタルカメラ１２５で投影像を撮影した画像から正確な投影に必要なパラメータを算出するのは前記の各実施例と同様である。
【０１２４】
第９の実施の形態では、それに加えて調整光学系１２８、調整光学系コントロール部１２９が新たに加えられている。調整光学系コントロール部１２９は、スクリーン上に正確な投影像を結ぶように、パラメータ記憶部に記憶されたパラメータを元にしてプロジェクタのレンズ前面に新たに設けられた調整光学系を駆動する。調整光学系１２８は正の屈折力を持つレンズ群と負の屈折力を持つレンズ群からなり、シフト、チルトの機構があれば本システムに必要な画像のシフト、あおり、ピント外れを調整可能である。
【０１２５】
ここで、図２１には一例として画像シフト調整例を示す。
【０１２６】
始め網掛けをした位置にレンズがあり、光軸上にＬＣＤ面があると、スクリーン上では１１３の位置に投影像を結ぶ。この状態からレンズを上方にシフトさせると、スクリーン上の１１４の位置に投影像ができる。また、図には示さないが、あおり、ピント外れはチルトや２つのレンズ群間隔の調整で補正できる。
【０１２７】
この第９の実施の形態では、光学系のみで補正するように説明したが、画像分割・処理部での補正処理と組み合わせることも可能である。
【０１２８】
以上の実施の形態の説明では述べなかったが、ＬＣＤの代わりにＣＲＴを使ったプロジェクタにも応用できる。
【０１２９】
以上説明した実施の形態は以下の効果を得る。
【０１３０】
即ち、第１に本システムでは、高精細画像データを複数のプロジェクタに分割して投影することで、プロジェクタに用いられている液晶パネルより高解像度な原稿・画像を表示することができる。第２に高精細画像データを複数のプロジェクタに分割して投影することは、予め記憶した投影状態を基に各プロジェクタへの出力画像を作成するため、調整後の投影は自動的に行うことができる。第３に各プロジェクタで投影する画像としてあおり等を補正した画像を出力するため、原画像に忠実な投影画像が得られる。
【０１３１】
第４に複数のプロジェクタの投影画像を観客の視点位置付近に置いた撮像装置で撮影し、得られた画像データから自動的にプロジェクタ同士の位置関係や投影画像の変形を補正するパラメータを算出することができる。そのため、複数のプロジェクタを用いた高精細プロジェクタを非常に簡単にセッティングすることができる。第５に高輝度ＬＥＤ、レーザーポインタ等画像データより十分高い輝度をもつポインティングデバイスで投影画像の特徴点を指示した画像を取り込むことで、プロジェクタ配置パラメータの算出が容易になる。
【０１３２】
第６にプロジェクタ内にポインティングデバイスを設けることで、投影画像上の特徴点を正確かつ自動的に指定することが出来る。第７に複数のプロジェクタの投影画像を正確に重ねることが容易にできるので、高輝度プロジェクタ又は多階調プロジェクタとして利用できる。第８に本発明のシステムは、見る人の視点で投影像を評価できるため、平面以外の形状をしたスクリーンへ投影するセッティングも容易に行える。第９に透過型のスクリーンを持ち、投影装置として半導体レーザーを用いたスキャン型のプロジェクタを用いることで、非常に薄型なディスプレイを、非常に簡単なセッティングで実現できる。
【０１３３】
第１０に一旦作成した各プロジェクタへの出力画像を記憶する出力画像記憶部を備えることで、複数回にわたって利用する場合、そのたびに計算し直す必要がない。第１１に画像投影手段に調整光学系を組み込むことで、投影像のピント外れを含めて各プロジェクタからの投影像を、正確にスクリーン上で合成することが可能になる。
【０１３４】
尚、本発明の要旨をまとめると以下の通りである。
【０１３５】
（１）高精細画像データを生成する画像生成手段と、
前記高精細画像データの少なくとも一部を投影する複数のプロジェクタを含む画像投影手段と、
前記複数のプロジェクタへ前記高精細画像データの少なくとも一部を選択・処理して出力するための画像処理手段と、
からなることを特徴とする画像投影システム。
【０１３６】
この態様は第１実施の形態に対応する。
【０１３７】
このシステムによれば、本発明のシステムでは、高精細画像データを複数のプロジェクタに分割して投影することで、プロジェクタに用いられている液晶パネルＣＲＴより高解像度な原稿・画像を表示することができる。さらに、高精細画像データを複数のプロジェクタに分割して投影することは、予め記憶した投影状態を基に各プロジェクタへの出力画像を作成するため、調整後の投影は自動的に行うことができる。
【０１３８】
（２）前記画像処理手段は、
前記複数のプロジェクタによって歪みのない画像を投影するための処理に必要なパラメータを記憶するパラメータ記憶手段と、
前記パラメータに基づいて前記画像データを分割・処理し前記複数のプロジェクタへ出力する画像分割・処理手段と、
からなることを特徴とする上記（１）に記載の画像投影システム。
【０１３９】
この態様は第１の実施の形態に対応する。
【０１４０】
このシステムによれば、本発明のシステムでは、高精細画像データを複数のプロジェクタに分割して投影することで、プロジェクタに用いられている液晶パネルＣＲＴより高解像度な原稿・画像を表示することができる。さらに、高精細画像データを複数のプロジェクタに分割して投影することは、予め記憶した投影状態を基に各プロジェクタへの出力画像を作成するため、調整後の投影は自動的に行うことができる。
【０１４１】
（３）前記画像投影手段が投影したスクリーン上の投影画像を観客の視点近傍で撮影する撮像手段と、
投影画像を前記撮像手段で撮影した画像データから前記プロジェクタのスクリーンに対する配置情報であるところの配置パラメータを算出するパラメータ算出手段と、
を更に備えたことを特徴とする上記（１）又は（２）に記載の画像投影システム。
【０１４２】
この態様は第２の実施の形態に対応する。
【０１４３】
このシステムによれば、各プロジェクタで投影する画像としてあおり等を補正した画像を出力するため、原画像に忠実な投影画像が得られる。さらに、複数のプロジェクタの投影画像を観客の視点位置付近に置いた撮像装置で撮影し、得られた画像データから自動的にプロジェクタ同士の位置関係や投影画像の変形を補正するパラメータを算出することができる。そのため、複数のプロジェクタを用いた高精細プロジェクタを非常に簡単にセッティングすることができる。
【０１４４】
（４）前記プロジェクタ配置パラメータは、前記複数のプロジェクタのうち１台もしくはそれ以上から投影された既知のパターンを前記撮像装置で撮影した画像データから算出されることを特徴とする上記（３）に記載の画像投影システム。
【０１４５】
この態様は第２の実施の形態に対応する。
【０１４６】
このシステムによれば、各プロジェクタで投影する画像としてあおり等を補正した画像を出力するため、原画像に忠実な投影画像が得られる。さらに、複数のプロジェクタの投影画像を観客の視点位置付近に置いた撮像装置で撮影し、得られた画像データから自動的にプロジェクタ同士の位置関係や投影画像の変形を補正するパラメータを算出することができる。そのため、複数のプロジェクタを用いた高精細プロジェクタを非常に簡単にセッティングすることができる。
【０１４７】
（５）前記プロジェクタ配置パラメータは、スクリーン上で特徴点をポインティングされた画像を前記撮像装置で撮影した画像データから算出されることを特徴とする上記（３）に記載の画像投影システム。
【０１４８】
この態様は第３の実施の形態に対応する。
【０１４９】
このシステムによれば、高輝度ＬＥＤ、レーザーポインタ等画像データより十分高い輝度をもつポインティングデバイスで投影画像の特徴点を指示した画像を取り込むことで、プロジェクタ配置パラメータの算出が容易になる。さらに、プロジェクタ内にポインティングデバイスを設けることで、投影画像上の特徴点を正確かつ自動的に指定することが出来る。
【０１５０】
（６）前記プロジェクタ配置パラメータは、スクリーン上に配置した光センサによって算出されることを特徴とする上記（３）に記載の画像投影システム。
【０１５１】
この態様は第３の実施の形態に対応する。
【０１５２】
このシステムによれば、スクリーン上の光センサで投影像を感知することで投影画像上の特徴点を正確かつ自動的に指定することが出来る。
【０１５３】
（７）前記複数のプロジェクタの投影画像は、前記画像データ中の空間的に全く同一な部分をスクリーンの同一の場所に投影することを特徴とする上記（２）又は（３）に記載の画像投影システム。この態様は第４の実施の形態に対応する。
【０１５４】
このシステムは、複数のプロジェクタの投影画像を正確に重ねることが容易にできるので、高輝度プロジェクタ又は多階調プロジェクタとして利用することができる。
【０１５５】
（８）前記複数のプロジェクタの投影画像は、平面以外の形状をしたスクリーンに投影されることを特徴とする上記（２）又は（３）に記載の画像投影システム。この態様は第８の実施の形態に対応する。
【０１５６】
本システムは、見る人の視点で投影像を評価できるため、平面以外の形状をしたスクリーンへ投影するセッティングも容易に行える。
【０１５７】
（９）前記複数のプロジェクタの投影画像は、透過型のスクリーンに投影することを特徴とする上記（２）又は（３）に記載の画像投影システム。
【０１５８】
この態様は第５の実施の形態に対応する。
【０１５９】
本システムは、見る人の視点で投影像を評価できるため、反射型以外の形状をしたスクリーンへ投影するセッティングも容易に行える。
【０１６０】
（１０）画像処理・分割部で作成された前記複数のプロジェクタへの出力画像を記憶する出力画像記憶部をさらに備えたことを特徴とする特許請求項２又は３に記載の画像投影システム。
【０１６１】
この態様は第６の実施の形態に対応する。
【０１６２】
このシステムによれば、一旦作成した各プロジェクタへの出力画像を記憶する出力画像記憶部を備えることで、複数回にわたって利用する場合、そのたびに計算し直す必要がない。
【０１６３】
（１１）前記画像投影手段は、前記複数のプロジェクタの投影状態を調整しスクリーン上で各プロジェクタの投影像を正確に合成する働きを持つ調整光学系と、前記調整光学系をコントロールする調整光学系コントロール部と、を更に含むことを特徴とする上記（２）又は（３）に記載の画像投影システム。
【０１６４】
この態様は第９の実施の形態に対応する。
【０１６５】
このシステムによれば、画像投影手段に調整光学系を組み込むことで、投影像のピント外れを含めて各プロジェクタからの投影像を、正確にスクリーン上で合成することが可能になる。
【０１６６】
【発明の効果】
本発明によれば、パーソナルコンピュータと複数のプロジェクタ、高精細な入力画像を分割して各プロジェクタに画像信号を出力するコントローラ部を組み合わせ、入力データの解像度を生かした高精細な投影画像を得る画像投影システムを提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る画像投影システムの構成を示す図である。
【図２】液晶プロジェクタ７とスクリーン８が正対していない場合に、投影画像全体を等倍率で正確なものとする手法を説明するための図である。
【図３】原画像と各プロジェクタへの出力画像の関係を示す図である。
【図４】あおり補正画像生成の手法を示す図である。
【図５】画像処理・分割部４の詳細な構成を示す図である。
【図６】左右のプロジェクタの画像にあおりがある場合、画像分割・処理部４で投影画像を決定する過程を示す図である。
【図７】第２の実施の形態に係る画像投影システムの構成を示す図である。
【図８】パラメータ算出部２４の詳細な構成を示す図である。
【図９】第２の実施の形態において、角度を変えた直線を複数回に別けて表示することでパラメータを算出する手法を説明するための図である。
【図１０】パラメータを算出する際に投影される投影像３０の例として格子点の場合を説明するための図である。
【図１１】パラメータ算出部２４の他の構成を示す図である。
【図１２】第３の実施の形態において、先端に高輝度ＬＥＤを設けた差し棒で頂点、格子点などスクリーン上における投影画像の特徴点をポインティングして撮像する例を示す図である。
【図１３】第３の実施の形態において、プロジェクタ内にポインティングデバイスを設けた例を示す図である。
【図１４】第３の実施の形態において、スクリーン上に微小な光センサを多数配置することで投影状態を決定する例である。
【図１５】第４の実施の形態に係る画像投影システムを説明するための図である。
【図１６】第５の実施の形態に係る画像投影システムを説明するための図である。
【図１７】第６の実施の形態において、各プロジェクタへの出力画像を記憶する記憶媒体を組み合わせた例を示す図である。
【図１８】第７の実施の形態に係る画像投影システムを説明するための図である。
【図１９】第８の実施の形態にかかるシステムを薄型ディスプレイに応用した実施の形態を説明する図である。
【図２０】マイクロプロジェクタ９６を赤、緑、青色の３原色のレーザーで構成した例を示す図である。
【図２１】第９の実施の形態による画像シフト調整例を説明するための図である。
【図２２】第９の実施の形態に係る画像投影システムの構成を示す図である。
【図２３】従来技術に係る画像投影システムの構成を示す図である。
【符号の説明】
１　パーソナルコンピュータ
２　高精細画像データ
３　プロジェクタ・コントローラ
４　画像処理分割部
５　プロジェクタ配置記憶部
６　Ｄ／Ａ変換部
７　液晶プロジェクタ
８　スクリーン[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image projection system that combines images of a plurality of projectors on a screen to realize high-definition image projection.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a presentation for a large number of people, an overhead projector (OHP; Over Head Projector) or a slide has been used.
[0003]
On the other hand, with the recent spread of personal computers and enhancement of application software, a presentation system combining a personal computer and a projection display (hereinafter, referred to as a projector) has been adopted. The feature of this system is that it saves the trouble of printing an image or original created on a personal computer on an OHP sheet or photographing it on a slide film. Especially in the case of natural images, the colors seen at the stage of creation can be obtained as they are. Is to be done. In such a projector, a projector using a liquid crystal panel that is lighter and less complicated to install than a conventional CRT display (Cathode Ray Tube display monitor) is mainly used.
[0004]
Here, FIG. 23 shows and describes an example of a presentation system in which a personal computer and a liquid crystal projector are combined.
[0005]
In the figure, image / document data created on the personal computer 201 branches from the monitor output and is output to the processing control unit 206 of the liquid crystal projector 202. The processing control section 206 of the liquid crystal projector 202 processes the input data and outputs the processed data to the liquid crystal panel (LCP) 204. The liquid crystal panel 204 displays an image corresponding to the input image data. The amount of light from the light source 203 is determined on the basis of the gradation of the image displayed on the liquid crystal panel 204, and then projected on a screen 208 via a projection lens 207.
[0006]
[Problems to be solved by the invention]
However, the resolution of the image projected by the liquid crystal projector is determined by the number of pixels of the liquid crystal panel. At present, there are projectors that can input an image signal exceeding the resolution of the liquid crystal panel. However, since the original image data is thinned out to match the number of pixels of the liquid crystal panel, the resolution of the original image is not utilized.
[0007]
Further, there is a projector which displays a part of the original image and projects the whole by scrolling, but has a drawback that the whole cannot be seen at once. In order to solve such a problem, it is necessary to increase the number of pixels of the liquid crystal panel in order to obtain a higher-definition projected image. However, such a high-definition liquid crystal projector is very expensive. , Is not suitable for general use.
[0008]
When a high-resolution liquid crystal panel is used, the load on the processing control unit also increases. Further, there is a disadvantage that the area of the control portion on the panel is increased, and as a result, the utilization efficiency of light from the light source is reduced and the projected image is dark.
[0009]
Furthermore, in order to project an accurate image, it is necessary to set the projector body horizontally and accurately, and it is necessary to face the screen correctly. The image is rotated, or a phenomenon such as "tilting" generally occurs.
[0010]
Further, Japanese Patent Application Laid-Open No. Hei 2-3066782 discloses a technique of inserting an image (fitting image) prepared in advance into a part of a set photographed by a TV camera. In this technique, a tilt corresponding to a camera direction is artificially generated in an inset image (this conversion is referred to as primary perspective conversion) and inserted into an image of a TV camera. In this technique, assuming that the coordinates on the inlaid image are (x, y) and the coordinates in the image of the TV camera are (X, Y), the primary perspective transformation is expressed by the following equation (1).
[0011]
X = m · (d · x + e · y + f) / (a · x + by · y + c)
Y = m ・ (g ・ x + hy ・ + i) / (axａbyｂy + c) (1)
However, when this technique is applied to a projected image of a projector, the rotation of the image is not considered in the conversion of the above equation (1), and a means for detecting the projection direction of the projector is required. A problem arises.
[0012]
The present invention has been made in view of the above problems, and a purpose thereof is to combine a personal computer and a plurality of projectors, a controller unit that divides a high-definition input image and outputs an image signal to each projector, An object is to obtain a high-definition projection image utilizing the resolution of input data.
[0013]
[Means for Solving the Problems]
In order to achieve the above object, an image projection system according to a first aspect of the present invention is an image projection system that displays one image on a screen by images projected by a plurality of projectors. As parameters necessary for processing for projecting an image, a first parameter for correcting distortion due to a positional relationship between the projector and the screen, and a second parameter describing a positional relationship between projected images projected on the screen by a plurality of projectors. And a parameter storage unit for storing the parameters of the above, and correcting the distortion of the projected image for each projector based on the parameters stored in the parameter storage unit, and connecting the images projected by the plurality of projectors smoothly. Image processing means for performing various corrections, and The image is characterized by having a, and an image output means for outputting to said plurality of projectors.
[0014]
An image projection system according to a second aspect of the present invention includes: a reference image generating unit that generates a reference image; a projecting unit that is arranged near a viewpoint of a spectator and projects the reference image projected by the projector; Parameter calculation means for calculating at least one of a first parameter and a second parameter from the reference image data captured by the means, wherein the parameter storage means stores the first and second parameters calculated by the parameter calculation means. Storing at least one of the second parameters.
[0015]
An image projection system according to a third aspect of the present invention includes a distortion correcting unit between the imaging unit and the parameter calculating unit, the distortion correcting unit correcting a distortion caused by the imaging unit with respect to a reference image captured by the imaging unit. Furthermore, the parameter calculation means calculates at least one of the first and second parameters using the reference image data after the distortion is corrected by the distortion correction means.
[0016]
In the image projection system according to a fourth aspect of the present invention, the imaging means continuously captures a reference image projected on the screen, and the reference image generation means removes distortion due to a positional relationship between the projector and the screen. In order to reduce distortion due to the positional relationship between the projection images projected on the screen by the plurality of projectors, the reference image is deformed little by little based on the parameters calculated by the calculation means, and the parameters stored by the parameter storage means are , Which are sequentially rewritten by the first and second parameters that are gradually changed.
[0017]
In the image projection system according to a fifth aspect of the present invention, the imaging unit captures an image projected by one of the plurality of projectors that sequentially projects the reference image, and the parameter calculation unit A first parameter of each projector is calculated based on image data of each of the projectors captured by the imaging unit.
[0018]
In the image projection system according to a sixth aspect of the present invention, the imaging means captures images projected by the plurality of projectors that project reference images of different colors for each projector, and the parameter calculation means The first parameter of each projector corresponding to the color is calculated using reference image data of each color among the image data captured by the means.
[0019]
In the image projection system according to a seventh aspect of the present invention, when the image capturing unit captures the entire image projected by the plurality of projectors, the parameter calculating unit determines the image based on the entire image data captured by the image capturing unit. When calculating a rough second parameter and enlarging an overlapping portion of the whole image projected by the plurality of projectors and imaging by the imaging unit, the parameter calculation unit is configured to execute the imaging by the imaging unit. Calculating an accurate second parameter based on the partially enlarged image data;
This is a further feature.
[0020]
In an image projection system according to an eighth aspect of the present invention, the imaging means captures an image of a high-brightness point formed on the screen with a stick or a laser pointer, and the parameter calculation means determines whether or not the imaging means performs projection. A further feature is that at least one of the first and second parameters is calculated using the high brightness point as a feature point.
[0021]
In an image projection system according to a ninth aspect of the present invention, each of the projectors has laser beam projection means for projecting a high-intensity bright spot by a laser beam on the screen, and the imaging means is provided by the laser beam projection means. A further feature is that the projected bright point is imaged, and the parameter calculating means calculates at least one of a first parameter and a second parameter using the bright point captured by the image capturing means as a feature point. And
[0022]
An image projection system according to a tenth aspect of the present invention includes: an optical sensor arranged on the screen; a parameter calculating unit configured to calculate a first parameter and a second parameter from image data detected by the optical sensor; And the parameter stored by the parameter storage means is at least one of the first and second parameters calculated by the parameter calculation means.
[0023]
An image projection system according to an eleventh aspect of the present invention is the image projection system, wherein the projector adjusts a projection state of the plurality of projectors, and has an operation of accurately synthesizing a projection image of each projector on a screen; And an adjusting optical system control means for controlling the optical system.
[0024]
In an image projection system according to a twelfth aspect of the present invention, in the projector, the pixels of the plurality of projectors are blurred by broadening the focus of the projected image so that the moire phenomenon does not occur in a portion where the images projected by the plurality of projectors overlap. This is a further feature.
[0025]
The image projection system according to a thirteenth aspect of the present invention is further characterized in that the screen is a screen having a shape other than a plane.
[0026]
The image projection system according to a fourteenth aspect of the present invention is further characterized in that the screen is a transmission screen.
[0027]
An image projection system according to a fifteenth aspect of the present invention further includes an image storage unit that stores the image corrected by the image processing unit, and the image output unit outputs an image read from the image storage unit. This is a further feature.
[0028]
The image projection system according to a sixteenth aspect of the present invention is further characterized in that the image storage means is provided separately for each of the plurality of image output means.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0030]
First, an image projection system according to a first embodiment of the present invention will be described.
[0031]
FIG. 1 is a diagram showing a configuration of the image projection system according to the first embodiment.
[0032]
As shown in FIG. 1, the image projection system according to the present embodiment is roughly divided into a personal computer (hereinafter, abbreviated as a personal computer) 1 that creates an image / document and outputs high-definition image data 2. A high-definition projector / controller unit 3 for processing, dividing, and outputting the high-definition image data 2 from the personal computer 1, and a plurality of projectors 7a to 7d.
[0033]
The high-definition projector / controller unit 3 further includes an image processing / division unit 4, a projector arrangement storage unit 5, and a D / A conversion unit 6. Further, although not shown here, a control unit for controlling each function is also included.
[0034]
In such a configuration, the high-definition image data 2 created and output by the personal computer 1 is output to the image processing / division unit 4 of the controller unit 3. The image processing / dividing unit 4 determines which part of the high-definition image data 2 is to be output to each projector based on the parameters stored in the projector arrangement storage unit 5 in advance, and performs a predetermined process. Details of the parameters stored in the projector arrangement storage unit 5 and the functions or operations of the components such as the image processing / division unit 4 will be described later.
[0035]
The signals from the image processing / segmentation unit 4 are output to a plurality of D / A conversion units 6 and are converted into analog signals by the D / A conversion units 6, and then the images are converted by the projectors 7 a to 7 d into a screen 8. Projected above. The projection image thus projected on the screen 8 becomes a high-definition image in which the respective images are accurately aligned.
[0036]
Here, with reference to FIG. 2, a description will be given of a method of making the entire projected image accurate without any tilt when the liquid crystal projector 7 and the screen 8 do not face each other.
[0037]
If the projector 7 and the screen 8 do not face each other, the magnification of each part of the projected image is different, resulting in an image with "flags" as shown in FIG. How the image is projected on the screen 8 includes the distance d between the projector 7 and the screen 8 along the optical axis of the projector 7, the rotation angle ω of the projector 7 when the optical axis is the rotation axis, and the The angle (direction in which tilting occurs) θ between the perpendicular line CS dropped from the reference point C to the screen 8 and the plane determined by the optical axis of the projector (the direction in which tilt occurs), the angle formed by the perpendicular line CS and the optical axis of the projector (Tilt angle) is determined by φ.
[0038]
Now, on the image input to the projector 7, the coordinates with the center of the image as the origin o are (x, y), and the point at which the optical axis of the screen and the projector intersects is the origin O as shown in FIG. Assuming that (X, Y, 0) is the coordinate with the Y axis in the X axis and the vertical direction and the Z axis in the normal direction of the screen, the relationship between (x, y) and (X, Y) is as follows: Expressions 2), (3) and (4) are used.
[0039]
(Equation 1)

[0040]
In the above equation, T on the right shoulder of the matrix indicates transposition, and m is a scaling factor determined by the distance d from the screen. R is a matrix representing rotation by θ, φ, ω, and coordinate C is the position of the reference point of the projector in the XYZ coordinate system.
[0041]
By calculating back from the d, θ, φ, and ω, and generating and outputting an image in which the tilt is corrected as shown in FIG. 2B in advance, the entire projected image is accurate at the same magnification. Become. This will be described later. Also, here, the description has been given assuming that the projection state is determined from d, θ, φ, and ω. However, as long as the projection state can be accurately described and corrected, other sets of parameters may be used.
[0042]
FIG. 3 is a diagram showing a relationship between an original image and an output image to each projector.
[0043]
FIG. 3A is an original image having a higher definition than the resolution of the projector, and this image is output to two projectors that project the image on a screen in a positional relationship as shown in FIG. 3B. In this case, as shown in FIG. 3 (c), when the right projector outputs an image of a portion shifted downward from the image of the left projector, on the screen as a whole as shown in FIG. 3 (d). An image substantially the same as the image is projected.
[0044]
In addition, the overlapping portions are matched by employing, for example, an image bonding technique disclosed in Japanese Patent Application No. 6-141246. By applying the processing technique of the overlapping part of a plurality of images and multiplying the value of the original image by a coefficient as shown in FIG. 3 (e) and outputting the result to the projector, the joints can be connected smoothly. .
[0045]
FIG. 3 (f) shows an example of such a joint. In FIG. 3F, one line of two images (for example, a line connecting AB in FIG. 3) is indicated by a broken line. The solid line is the value of the projected image when each data value is multiplied by the coefficient shown in FIG. Although FIG. 3B illustrates that the magnification of the projector is the same, a case where the magnification is different can be dealt with by changing the size of the portion selected in FIG. 3C.
[0046]
The above method can be similarly applied to a case where two or more projectors are used. Furthermore, since the pixels of the liquid crystal panel are relatively coarse, the pixels of the liquid crystal are clearly projected on the projected image, making the image difficult to see, or the moire phenomenon may occur at the overlapped portion due to the difference in magnification of each projector. These phenomena can be prevented by slightly reducing the focus of the projected image and blurring the pixels. Further, in FIG. 3, the coefficient to be multiplied in the overlap portion is changed linearly. However, if the joining can be performed smoothly, the coefficient may be changed non-linearly such as a sin function.
[0047]
FIG. 4 shows and describes a technique for generating a tilt-corrected image.
[0048]
FIG. 4A shows a projection image, and FIG. 4B shows image data input to the projector. An area Sq surrounded by q0, q1, q2, and q3 in FIG. 4B indicates the maximum image that can be input to the projector, and the projected image is an area surrounded by Q0, Q1, Q2, and Q3 in FIG. SQ.
[0049]
An area SP surrounded by P0, P1, P2, and P3 shaded in FIG. 4A is an area used for actual projection, and an area SP surrounded by P0, P1, P2, and P3 in a projector input image. Corresponding to The reference point of SP is the point P0 where the angle between the two sides is the maximum, P1 and P3 are the points where the horizontal and vertical straight lines intersect each side of SQ, and P2 is the rectangle with the other three points. It is a point to be made. An area Sp surrounded by P0, P1, P2, and P3 in FIG. 4B is a part corresponding to Sp in an image input to the projector.
[0050]
The pixel position (i, j) counted from the image center of the projector input image is converted into (Xi, Yj) by the above equation (2). Therefore, as the value of the pixel position (i, j), the value of the pixel corresponding to (Xi, Yj) in the original image selected for each projector is used as shown in FIG. At this time, if (Xi, Yj) is not an integer, a value is obtained by a known interpolation method such as linear interpolation or bicubic interpolation. If (Xi, Yj) goes outside the SP after the conversion, the pixel value is set to zero. Here, Sp is determined as described above, but Sp can be set at any position and size within SQ.
[0051]
FIG. 5 shows a detailed configuration of the image processing / division unit 4 that realizes the above conversion. In FIG. 1, the image processing / division unit 4 further includes a display image selection unit 9, an interpolation unit 10, and a coefficient setting unit 11. As described with reference to FIG. 3, the display image selection unit 9 refers to the parameter storage unit 12 from the parameter storage unit 12 to determine a portion of the original image that can be projected by the system, and determines a portion to be projected by each projector. Output an image for the projector.
[0052]
The interpolation unit 10 reads the rotation, shift, and tilt parameters of each projector from the parameter storage unit 12, and transforms and interpolates each output image of the display image selection unit 9 so that an accurate projected image is formed on the screen, and outputs it. I do. Further, the coefficient setting unit 11 reads out the overlap parameters of the projection images of the respective projectors from the parameter storage unit 12, and sets the coefficients shown in FIG. This coefficient is multiplied by the output image of the interpolation unit 10 and output to each projector through the D / A conversion unit 6 as a final image.
[0053]
FIG. 6 shows a process in which the image division / processing section 4 determines a projection image when the left and right projectors have a tilt in addition to FIG.
[0054]
In this example, the right image has a horizontal tilt, and the left image has a right upper diagonal tilt. When the same image as that shown in FIG. 3C is projected in this state, an image in which both projections are displaced due to distortion is observed, unlike the original image as shown in FIG. 6A. Therefore, in order to solve such a problem, conversion is performed using the tilt parameter stored in the parameter storage unit 12, and an image as shown in FIG. 6B is projected. As a result, a high-definition image faithful to the original image can be obtained on the screen as shown in FIG.
[0055]
Although the present embodiment has been described as sending data to the projector using analog signals, if the projector has a digital signal input terminal, it can output digital data. Of course, it is unnecessary.
[0056]
Next, an image projection system according to a second embodiment of the present invention will be described. The second embodiment is obtained by further adding a part for calculating a parameter for determining the arrangement of the projector to the first embodiment.
[0057]
FIG. 7 is a diagram illustrating a configuration of an image projection system according to the second embodiment.
[0058]
As shown in the figure, the present embodiment mainly includes a controller unit 21, a projector 28, and a digital camera 29. The digital camera 29 is arranged near the position of a person who actually views a presentation or the like, and can take a projected image 30. At the time of setting, the image switching unit 26 is switched, and the reference image generated by the reference image generation unit 25 is projected.
[0059]
The projected reference image is photographed by the digital camera 29, and the image is input to the projector arrangement parameter calculation unit 24 of the controller unit 21, and then the parameters (d, θ, φ, ω) for determining the arrangement of the projector are changed. Is calculated.
[0060]
The parameters calculated in this way are stored in the projector arrangement storage unit 23 and read out to the image processing / division unit 22 when necessary. The image processing / division unit 22 creates an image to be output to the projector 28 through the D / A conversion unit 27 using the read parameters. Here, the reference image is generated at the time of setting, but it goes without saying that the reference image generation unit 25 may be configured as a reference image storage unit.
[0061]
FIG. 8 shows a detailed configuration of the parameter calculation unit 24 and will be described.
[0062]
In the figure, the parameter calculation unit 24 includes a tilt amount calculation unit 30, an overlap / rotation amount calculation unit 31, a tilt correction unit 32, and an image memory unit 33.
[0063]
In such a configuration, an image captured by the digital camera 29 is temporarily stored in the image memory unit 33, read out when necessary, and compared with the reference image by the tilt amount calculation unit 30, and the tilt parameter Is determined. The tilt parameter is output to the parameter storage unit and also to the tilt correction unit 32.
[0064]
The tilt correction unit 32 corrects an image captured by the digital camera 29 based on the tilt parameter into a projected image in which the tilt has been corrected. The overlap / rotation amount calculation unit 31 calculates the rotation / overlap between the projection images of the respective projectors from this image and outputs the calculated rotation / overlap to the parameter storage unit 23.
[0065]
The projection image 30 projected when photographing with the digital camera 29 to calculate the parameters is, for example, an image in which luminescent spots and crosses are arranged at regular intervals, a known image such as a lattice pattern, and the above parameters are accurately obtained. Any form is acceptable.
[0066]
At this time, a method of projecting the reference images sequentially by the plurality of projectors 28 to determine parameters for each projector, or changing the color of the projected image for each projector and projecting the image, and capturing the image captured by the digital camera 29 The parameters of each projector can also be determined by designating a color from.
[0067]
Hereinafter, with reference to FIG. 9, a method of calculating a parameter by displaying a straight line whose angle has been changed in a plurality of times in the second embodiment will be described.
[0068]
A line segment having a length L passing through the center of the image to the projector 28 and changing the angle αm from the horizontal, m = 0, 1, 2,. . . (See FIG. 9A), it is assumed that a line segment on the captured image is observed at a length L′ m and an angle α′m. Here, α′m is an angle from the horizontal in the captured image, and L′ m is divided into distances L1m and L2m from the center to the end points (L′ m = L1m + L2m). At this time, the rotation angle ω of the image is represented by the following equation (5).
[0069]
ω = α'm-αm (5)
Further, here, assuming that the line segment 2 is the maximum of L′ m, the direction θ in which the tilt occurs is expressed by the following equation.
[0070]
θ = α2 (6)
Further, L1m and L2m are normalized by (L / L'k), where k is a direction orthogonal to the line segment 2.
[0071]
11m = L1m * (L / L'k)
12m = L1m * (L / L'k) (7)
From these, the parameters φ and d are obtained by the following equation (8).
[0072]
(Equation 2)

[0073]
Next, a case of a lattice point will be described as an example of the projection image 30 projected when calculating a parameter with reference to FIG.
[0074]
In the figure, a region surrounded by a dotted line indicates a projected image of the projector, and a portion surrounded by a solid line indicates a photographing range of the digital camera 29. In addition, the left and right projected images partially overlap, and the left image is vertically tilted.
[0075]
First, positions corresponding to left and right grid points are calculated from an image 101 captured by a digital camera by a method such as binarization or pattern matching.
[0076]
Also, in one of the projection images (the left projection image in FIG. 10), the ratio between the position on the image of the digital camera and the intervals d1, d2... And the lattice points on the image data actually input to the projector From the position / interval w [pixel], each parameter of the above equation (2) can be obtained to correct the tilt.
[0077]
Also, since the position of the grid point when input to the projector is known, the positional relationship between the two projected images on the screen can be calculated from the shift amount s on the image 101 of the digital camera.
[0078]
In FIG. 10, the digital camera shoots the vicinity of the overlap between the two projectors, but the entire image may be shot if the resolution is sufficient. In addition, a control unit of the camera can also be incorporated so that rough calculation can be performed on an image of the entire first shot, and then parameters can be accurately determined on an image shot by enlarging a certain portion. Further, it is also possible to use a sequential method (for example, a steepest descent method) in which an image to be projected is deformed little by little and feedback is performed so that the image obtained by capturing the projected image approaches an ideal captured image.
[0079]
In addition, when the tilt is increased, the influence of defocus increases. In such a case, it can be avoided by incorporating an optical system called a tilt correction lens into the projection lens.
[0080]
Next, FIG. 11 shows another configuration of the parameter calculation unit 24 and will be described.
[0081]
This is a new addition of a distortion correction unit 35 for correcting distortion of an image of a digital camera. Other configurations are the same as those in FIG.
[0082]
In general, camera lenses often have space-variant distortion.
[0083]
However, in the system of the present invention, since the parameters are determined from the image obtained by capturing the projected image, it is not desirable that the distortion exists. Therefore, the parameters can be calculated accurately by correcting the distortion of the image before using the parameters. The correction of the distortion can be easily realized if the digital camera has a format for recording the focal position of the lens.
[0084]
In the second embodiment, image data obtained by capturing a projection image is directly input from the digital camera 29 to the projector arrangement parameter calculation unit 24. However, the projector arrangement is performed offline using a medium such as a floppy disk or a PC card. It is also possible to input to the parameter calculation unit 24.
[0085]
Also, although a digital camera has been described for taking a projected image, a system according to the present invention can be realized by providing an image input board and an A / D conversion unit in a general CCD camera, video camera, and the like.
[0086]
Next, an image projection system according to a third embodiment will be described.
[0087]
FIG. 12 illustrates an example in which a feature point of a projected image on a screen, such as a vertex or a grid point, is pointed and picked up by a connecting rod having a high-brightness LED at the tip, and will be described.
[0088]
In this example, the point pointed can be made much brighter than the projected image, so that the feature point can be easily extracted from the image captured by the digital camera. Further, instead of the high-brightness LED, pointing may be performed with a laser pointer.
[0089]
FIG. 13 illustrates an example in which a pointing device is provided in a projector. As shown in the figure, the image is displayed on the LCP 43, and the light from the light source 42 is projected on the screen 50 through the LCP 43, the optical system 44, and the projection lens 45. A laser beam (indicated by a dotted line in the figure) emitted from a semiconductor laser (LD) 46 is reflected by mirrors 48 and 49 and projected on a screen.
[0090]
The mirror 49 is of a retractable type, and is placed on the optical axis as shown in the figure when pointing to determine the projection state, and is tilted and removed from the optical axis when projecting an image. The processing control unit 47 controls the LCP 43 for image display, adjusts the angle of the mirror 48, and projects a laser luminescent spot on the feature point position.
[0091]
By placing the pointing device in the projector, the feature points can be specified accurately and automatically. Further, by using the mirror 49 as a retractable type, it is possible to increase the use efficiency of light from the light source 42 and the LD 46.
[0092]
Here, the description has been made such that the laser beam is projected on the screen through the LCP 43, but it is a matter of course that the mirror 49 may be provided on the screen side of the LCP 43. Furthermore, it is also possible to give an instruction using a mouse or the like while displaying the image data captured by the digital camera 29 on a personal computer, and any method of extracting feature points can be used as long as it can be accurately specified.
[0093]
FIG. 14 shows an example in which a projection state is determined by arranging a large number of minute optical sensors on a screen. In the same figure, the sensors on which the projected image is applied are indicated by black circles, and the sensors which do not cover the projected images are indicated by white circles. As described above, the state of projection on the screen can be determined by detecting the sensor irradiated with light. What is important is that parameters are calculated so that the parameters can be accurately calculated. It goes without saying that the system of the present invention can be configured by a method other than the above.
[0094]
Next, an image projection system according to a fourth embodiment will be described.
[0095]
The fourth embodiment is a high-brightness, multi-tone projector using a plurality of projectors. Hereinafter, this embodiment will be described with reference to FIG.
[0096]
In the figure, a projection image 52 is projected by superimposing images of a plurality of projectors 51 accurately. At this time, if exactly the same image is output from both projectors, the image is observed on the screen at twice the luminance as when one projector is used, and the system of the present invention functions as a high-luminance projector.
[0097]
In general, image data is expressed in 256 tones from 0 to 255 for each color, but the system of the present invention can express an image of 255 × N + 1 tones using N projectors. For example, in the case where two projectors are used, if the data of the value of 114 is input to the respective projectors as 57 and 57, and the data value 317 is input as 159 and 158, a maximum of 510 gradations (both projectors) 255 is input to the data).
[0098]
According to the second embodiment of the present invention, a corrected image is output to a projector by automatically aligning image data obtained by capturing a projected image from a viewer's viewpoint and outputting the corrected image to a projector. It is easily realized.
[0099]
In addition, a stereoscopic image can be displayed by adding parallax to an output image of each projector. In the system of the present invention, since all the resolutions of the projector can be used, a stereoscopic image with higher resolution than before can be displayed.
[0100]
Next, an image projection system according to a fifth embodiment will be described.
[0101]
In each of the above embodiments, a screen on a plane is assumed, but the present invention is also effective when a spherical screen shown in FIG. 16 is used as in the present embodiment.
[0102]
That is, FIG. 16A shows a projection system for a large number of people. Since such a system can display an image in a wide range of view, a high sense of realism can be obtained. Utilizing the invention, such a projection system can be set up very simply.
[0103]
Further, as shown in FIG. 16B, application to a personal projection device is also conceivable. For personal use, there is an example in which a device called HMD (Head Mounted Display) is mounted to realize a highly realistic display. However, unlike the HMD, there is no need to mount a special device, so that a sense of oppression and the like are required. You can easily see without any. Further, there is an effect that there is no need to look at the display at a close distance, the burden on eyes is small, and an image with higher resolution than the HMD can be obtained.
[0104]
The projector may be installed from below the audience as shown in FIGS. 16C and 16D, or from above and below. A rear projection type display as shown in FIG. 16E is also possible.
[0105]
The image projection system according to the fifth embodiment is characterized in that the projection state can be corrected from the viewpoint of a viewer, so that projection onto a screen other than a planar shape can be easily set.
[0106]
Next, an image projection system according to a sixth embodiment will be described.
[0107]
FIG. 17 shows an example in which storage media for storing output images to each projector are combined. As shown in the figure, the controller section 61 is configured by adding an output image storage section 66 to an image processing / division section 62, a projector arrangement storage section 63, a projector arrangement parameter calculation section 64, and a D / A conversion section 65. .
[0108]
In such a configuration, the output image to each projector created by the image processing / division unit 62 is temporarily stored in the output image storage unit 66. When outputting to the projector, the data is sequentially read from the output image storage unit 66.
[0109]
The output image storage section 66 may be provided outside the controller section 61. These storage media can be constituted by a HDD (Hard Disk Drive), a CD-ROM, a DVD (Digital Video Disc), or the like. The image projection system according to the sixth embodiment is effective when the same image is used many times.
[0110]
Next, an image projection system according to a seventh embodiment will be described. As shown in FIG. 18, processing by software is also possible. In the figure, a CPU 75 reads image processing / dividing software 72 and projector arrangement parameters 73 stored in a storage medium such as a hard disk, corrects / divides image / document data 71, and generates projection data 77a, 77b. create.
[0111]
The projection data 77 thus created is output to the projectors 79a, 79b,. Further, it reads the projector arrangement determination image data 78 obtained by photographing the projected image with the video camera 80 and the projector arrangement parameter calculation software 74, calculates the projector arrangement parameters, and stores them in the storage medium. The image projection system according to the seventh embodiment can be realized at lower cost than hardware, and is effective when moving images are not required or when images can be prepared in advance.
[0112]
Next, an image projection system according to an eighth embodiment will be described.
[0113]
Although an example of a rear projection type display has been described in the fifth embodiment, this embodiment realizes a high-definition and thin display by arranging many small projectors (microprojectors).
[0114]
FIG. 19 is a diagram illustrating an embodiment in which the present system is applied to a thin display. In the configuration shown in the figure, an image division / processing unit 91, a parameter storage unit 92, a parameter calculation unit 93, a reference image generation unit 94, and an image switching unit 95 are the same as those in the above embodiment. Further, an image obtained by photographing the projected image near the viewpoint to the audience is input to the parameter calculation unit 93. In this example, a rear projection type display that projects onto the screen 97 from behind is assumed.
[0115]
The feature of the eighth embodiment is that a micro projector 96 which is much smaller than the projector used in the above embodiment is used, and the projection range of each projector is limited, but a large display is configured by arranging a large number of them. is there.
[0116]
Further, since the display body is small, each light source does not need to have a very high output. Therefore, although the depth is small, a large number of displays are arranged, so that a very high-definition image can be seen as compared with the related art.
[0117]
FIG. 20 shows an example in which the microprojector 96 is composed of lasers of three primary colors of red, green and blue. The driver 105 adjusts the angles of the mirrors 104a to 104c and the output intensities of the lasers 101 to 103 according to the image in the memory 106, and scans in a desired direction. The angle of the mirror can be changed by the electromagnet from two directions by fixing the center of the mirror to a flexible support.
[0118]
In FIG. 20, one color is assigned to one mirror, but two mirrors for each color can control scanning in the x and y directions, respectively. Recently, green and blue semiconductor lasers have been put into practical use following red, so if a very small scan type projector using these semiconductor lasers is used as an output device, it will be smaller than the screen size. A display with a short depth can be realized.
[0119]
Further, the microprojector can be configured using an element called an LED array or a digital micromirror device (DMD).
[0120]
Next, an image projection system according to a ninth embodiment will be described.
[0121]
For the correction of the image, an optical system for adjustment can be used before the projector.
[0122]
Hereinafter, the ninth embodiment will be described with reference to FIG.
[0123]
In the figure, a controller unit 121 includes an image division / processing unit 122, a parameter storage unit 123, a parameter calculation unit 124, an image switching unit 126, and a D / A conversion unit 127. The parameters required for accurate projection are calculated from the obtained image in the same manner as in the above-described embodiments.
[0124]
In the ninth embodiment, an adjustment optical system 128 and an adjustment optical system control unit 129 are newly added. The adjustment optical system control unit 129 drives an adjustment optical system newly provided on the front surface of the lens of the projector based on the parameters stored in the parameter storage unit so as to form an accurate projection image on the screen. The adjusting optical system 128 is composed of a lens group having a positive refractive power and a lens group having a negative refractive power. If there is a shift and tilt mechanism, it is possible to adjust the image shift, tilt and defocus required for the present system. is there.
[0125]
Here, FIG. 21 shows an example of image shift adjustment as an example.
[0126]
If there is a lens at the hatched position and an LCD surface on the optical axis, a projected image is formed at the position 113 on the screen. When the lens is shifted upward from this state, a projected image is formed at a position 114 on the screen. Although not shown in the figure, tilt and defocus can be corrected by adjusting the tilt and the distance between the two lens groups.
[0127]
In the ninth embodiment, the correction is performed only by the optical system. However, the correction can be combined with the correction processing in the image division / processing unit.
[0128]
Although not described in the above embodiment, the present invention can be applied to a projector using a CRT instead of an LCD.
[0129]
The embodiment described above has the following effects.
[0130]
That is, first, in the present system, by dividing and projecting high-definition image data to a plurality of projectors, it is possible to display a document / image having a higher resolution than the liquid crystal panel used in the projector. Second, since high-definition image data is divided into a plurality of projectors and projected, an output image to each projector is created based on a previously stored projection state, so that the adjusted projection can be performed automatically. it can. Thirdly, since the images projected by the respective projectors are output with corrected tilt and the like, a projected image faithful to the original image can be obtained.
[0131]
Fourth, images projected by a plurality of projectors are photographed by an imaging device placed near the viewpoint of the audience, and parameters for automatically correcting the positional relationship between the projectors and the deformation of the projected images are calculated from the obtained image data. be able to. Therefore, a high definition projector using a plurality of projectors can be set very easily. Fifth, by fetching an image designating a characteristic point of a projected image using a pointing device such as a high-brightness LED or a laser pointer having a sufficiently higher luminance than the image data, it becomes easy to calculate the projector arrangement parameters.
[0132]
Sixth, by providing a pointing device in the projector, a feature point on a projected image can be specified accurately and automatically. Seventh, since the projection images of a plurality of projectors can be easily superimposed accurately, it can be used as a high-brightness projector or a multi-tone projector. Eighth, the system of the present invention can evaluate the projected image from the viewer's viewpoint, so that the setting for projecting onto a screen having a shape other than a plane can be easily performed. Ninth, by using a scanning type projector having a transmission type screen and using a semiconductor laser as a projection device, a very thin display can be realized with a very simple setting.
[0133]
Tenth, by providing an output image storage unit that stores an output image once created for each projector, it is not necessary to recalculate each time when the output image storage unit is used a plurality of times. Eleventh, by incorporating the adjustment optical system into the image projection means, it becomes possible to accurately combine the projection images from the respective projectors, including the out-of-focus of the projection images, on the screen.
[0134]
The summary of the present invention is as follows.
[0135]
(1) an image generating means for generating high-definition image data;
Image projection means including a plurality of projectors that project at least a part of the high-definition image data,
Image processing means for selecting and processing at least a part of the high-definition image data to the plurality of projectors and outputting the selected data;
An image projection system comprising:
[0136]
This aspect corresponds to the first embodiment.
[0137]
According to this system, the system of the present invention can display a document / image having a higher resolution than the liquid crystal panel CRT used in the projector by projecting the high-definition image data by dividing it into a plurality of projectors. it can. Furthermore, since projecting high-definition image data by dividing it into a plurality of projectors creates an output image to each projector based on a projection state stored in advance, the adjusted projection can be performed automatically. .
[0138]
(2) The image processing means includes:
Parameter storage means for storing parameters required for processing for projecting an image without distortion by the plurality of projectors,
Image division and processing means for dividing and processing the image data based on the parameters and outputting the divided data to the plurality of projectors,
The image projection system according to the above (1), comprising:
[0139]
This aspect corresponds to the first embodiment.
[0140]
According to this system, the system of the present invention can display a document / image having a higher resolution than the liquid crystal panel CRT used in the projector by projecting the high-definition image data by dividing it into a plurality of projectors. it can. Furthermore, since projecting high-definition image data by dividing it into a plurality of projectors creates an output image to each projector based on a projection state stored in advance, the adjusted projection can be performed automatically. .
[0141]
(3) imaging means for photographing the projected image on the screen projected by the image projecting means near the viewpoint of the spectator;
Parameter calculation means for calculating an arrangement parameter, which is arrangement information with respect to the screen of the projector, from image data obtained by photographing the projected image with the imaging means,
The image projection system according to the above (1) or (2), further comprising:
[0142]
This aspect corresponds to the second embodiment.
[0143]
According to this system, an image corrected for tilt and the like is output as an image projected by each projector, so that a projected image faithful to the original image can be obtained. Furthermore, images projected by a plurality of projectors are photographed by an imaging device placed near the viewpoint of the audience, and parameters for automatically correcting the positional relationship between the projectors and the deformation of the projected images are calculated from the obtained image data. Can be. Therefore, a high definition projector using a plurality of projectors can be set very easily.
[0144]
(4) The projector arrangement parameter according to (3), wherein the projector arrangement parameter is calculated from image data obtained by photographing a known pattern projected from one or more of the plurality of projectors by the imaging device. An image projection system as described.
[0145]
This aspect corresponds to the second embodiment.
[0146]
According to this system, an image corrected for tilt and the like is output as an image projected by each projector, so that a projected image faithful to the original image can be obtained. Furthermore, images projected by a plurality of projectors are photographed by an imaging device placed near the viewpoint of the audience, and parameters for automatically correcting the positional relationship between the projectors and the deformation of the projected images are calculated from the obtained image data. Can be. Therefore, a high definition projector using a plurality of projectors can be set very easily.
[0147]
(5) The image projection system according to (3), wherein the projector arrangement parameter is calculated from image data obtained by photographing an image having a feature point pointed on a screen by the imaging device.
[0148]
This aspect corresponds to the third embodiment.
[0149]
According to this system, the calculation of the projector arrangement parameters is facilitated by capturing an image indicating the characteristic points of the projected image with a pointing device having a sufficiently higher luminance than the image data such as a high-brightness LED or a laser pointer. Further, by providing a pointing device in the projector, a feature point on a projected image can be accurately and automatically specified.
[0150]
(6) The image projection system according to (3), wherein the projector arrangement parameter is calculated by an optical sensor arranged on a screen.
[0151]
This aspect corresponds to the third embodiment.
[0152]
According to this system, the feature point on the projected image can be accurately and automatically specified by sensing the projected image with the optical sensor on the screen.
[0153]
(7) The image according to (2) or (3), wherein the projection images of the plurality of projectors project a spatially identical portion in the image data at an identical location on a screen. Projection system. This aspect corresponds to the fourth embodiment.
[0154]
This system can easily be used as a high-brightness projector or a multi-tone projector because it is easy to accurately overlay the projection images of a plurality of projectors.
[0155]
(8) The image projection system according to (2) or (3), wherein the projection images of the plurality of projectors are projected on a screen having a shape other than a plane. This aspect corresponds to the eighth embodiment.
[0156]
Since this system can evaluate a projection image from a viewer's viewpoint, setting for projecting onto a screen having a shape other than a plane can also be easily performed.
[0157]
(9) The image projection system according to (2) or (3), wherein the projection images of the plurality of projectors are projected on a transmission screen.
[0158]
This aspect corresponds to the fifth embodiment.
[0159]
Since this system can evaluate the projected image from the viewpoint of the viewer, setting for projecting onto a screen having a shape other than the reflection type can be easily performed.
[0160]
(10) The image projection system according to claim 2 or 3, further comprising an output image storage unit that stores output images to the plurality of projectors created by the image processing / dividing unit.
[0161]
This aspect corresponds to the sixth embodiment.
[0162]
According to this system, by providing the output image storage unit that stores the output image once created for each projector, when it is used a plurality of times, it is not necessary to recalculate each time.
[0163]
(11) The image projecting means adjusts the projection state of the plurality of projectors and accurately combines the projection images of the projectors on a screen, and an adjustment optical system that controls the adjustment optical system. The image projection system according to (2) or (3), further comprising: a control unit.
[0164]
This aspect corresponds to the ninth embodiment.
[0165]
According to this system, by incorporating the adjustment optical system into the image projection means, it is possible to accurately combine the projection images from the projectors, including the out-of-focus projection images, on the screen.
[0166]
【The invention's effect】
According to the present invention, a personal computer, a plurality of projectors, and a controller unit that divides a high-definition input image and outputs an image signal to each projector are combined to obtain a high-definition projection image utilizing the resolution of input data. A projection system can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an image projection system according to a first embodiment.
FIG. 2 is a diagram for explaining a method for making the entire projected image accurate at the same magnification when the liquid crystal projector 7 and the screen 8 are not directly facing each other.
FIG. 3 is a diagram illustrating a relationship between an original image and an output image to each projector.
FIG. 4 is a diagram illustrating a method of generating a tilt correction image.
FIG. 5 is a diagram illustrating a detailed configuration of an image processing / dividing unit 4;
FIG. 6 is a diagram showing a process of determining a projection image in an image dividing / processing unit 4 when there is a shift in images of left and right projectors.
FIG. 7 is a diagram showing a configuration of an image projection system according to a second embodiment.
FIG. 8 is a diagram showing a detailed configuration of a parameter calculation unit 24.
FIG. 9 is a diagram for explaining a method of calculating a parameter by displaying a straight line whose angle is changed in a plurality of times in the second embodiment.
FIG. 10 is a diagram for describing a case of a lattice point as an example of a projection image 30 projected when calculating a parameter.
FIG. 11 is a diagram showing another configuration of the parameter calculation unit 24.
FIG. 12 is a diagram illustrating an example in which a feature point of a projected image on a screen, such as a vertex or a grid point, is pointed and picked up with a bar provided with a high-brightness LED at a tip in the third embodiment.
FIG. 13 is a diagram illustrating an example in which a pointing device is provided in a projector in the third embodiment.
FIG. 14 is an example in which a projection state is determined by arranging a large number of minute optical sensors on a screen in the third embodiment.
FIG. 15 is a diagram for explaining an image projection system according to a fourth embodiment.
FIG. 16 is a diagram illustrating an image projection system according to a fifth embodiment.
FIG. 17 is a diagram showing an example in which storage media for storing output images to each projector are combined in the sixth embodiment.
FIG. 18 is a diagram illustrating an image projection system according to a seventh embodiment.
FIG. 19 is a diagram illustrating an embodiment in which the system according to the eighth embodiment is applied to a thin display.
FIG. 20 is a diagram showing an example in which the microprojector 96 is configured by lasers of three primary colors of red, green, and blue.
FIG. 21 is a diagram for explaining an example of image shift adjustment according to the ninth embodiment.
FIG. 22 is a diagram illustrating a configuration of an image projection system according to a ninth embodiment.
FIG. 23 is a diagram showing a configuration of an image projection system according to a conventional technique.
[Explanation of symbols]
1 Personal computer
2 High-definition image data
3 Projector controller
4 Image processing division
5 Projector arrangement storage unit
6 D / A converter
7 LCD projector
8 screen

Claims (16)

In an image projection system that displays one image on a screen by images projected by a plurality of projectors,
As parameters necessary for processing for accurately projecting an image by the plurality of projectors, a first parameter for correcting distortion due to a positional relationship between the projector and the screen, and a parameter between projection images projected on the screen by the plurality of projectors Parameter storage means for storing a second parameter describing the positional relationship;
Image processing means for correcting the distortion of the projected image for each projector based on the parameters stored in the parameter storage means, and performing correction such that images projected by the plurality of projectors are smoothly joined together.
Image output means for outputting the image corrected by the image processing means to the plurality of projectors,
An image projection system comprising: Reference image generation means for generating a reference image,
Projection means arranged near the viewpoint of the spectator and projecting the reference image projected by the projector,
Parameter calculating means for calculating at least one of a first parameter and a second parameter from the reference image data captured by the image capturing means;
2. The image projection system according to claim 1, wherein the parameter storage unit stores at least one of the first and second parameters calculated by the parameter calculation unit. 3. The image processing apparatus further includes a distortion correction unit between the imaging unit and the parameter calculation unit, configured to correct distortion caused by the imaging unit with respect to the reference image captured by the imaging unit. 3. The image projection system according to claim 2, wherein at least one of the first and second parameters is calculated using the reference image data after the distortion has been corrected by the means. The image capturing means continuously captures a reference image projected on the screen, and the reference image generating means determines a distortion caused by a positional relationship between the projector and the screen and a projection image projected by the plurality of projectors on the screen. The reference image is deformed little by little based on the parameters calculated by the calculation means so that the distortion due to the positional relationship is reduced, and the parameters stored in the parameter storage means are the first and second parameters which are gradually changed. The image projection system according to claim 2, wherein the image projection system is sequentially rewritten with the following parameters. The imaging unit captures an image projected by one of the plurality of projectors that sequentially projects the reference image,
The parameter calculation unit calculates a first parameter of each projector based on image data of each projector captured by the imaging unit.
The image projection system according to claim 2, wherein: The imaging means captures images projected by the plurality of projectors that project reference images having different colors for each projector,
The parameter calculation means calculates first parameters of each projector corresponding to the color using reference image data for each color among the image data picked up by the image pickup means;
The image projection system according to claim 2, wherein: When the imaging unit captures the entire image projected by the plurality of projectors, the parameter calculation unit calculates a rough second parameter based on the entire image data captured by the imaging unit,
When the imaging unit captures an image by enlarging an overlap portion of the entire image projected by the plurality of projectors,
The parameter calculation unit calculates an accurate second parameter based on the partially enlarged image data captured by the imaging unit.
3. The image projection system according to claim 2, further comprising: The image capturing means captures an image of a high-luminance point formed on the screen with a stick or a laser pointer,
The parameter calculation unit calculates at least one of a first parameter and a second parameter using the high-brightness point projected by the imaging unit as a feature point.
3. The image projection system according to claim 2, further comprising: Each of the projectors has laser beam projecting means for projecting a high-brightness luminescent spot by a laser beam on the screen.
The image capturing means captures an image of the bright spot projected by the laser beam projecting means, and the parameter calculating means uses at least one of the first and second parameters using the bright point captured by the image capturing means as a feature point. Calculate either,
3. The image projection system according to claim 2, further comprising: An optical sensor arranged on the screen,
Parameter calculation means for calculating a first parameter and a second parameter from the image data detected by the optical sensor,
The parameter stored by the parameter storage unit is at least one of the first and second parameters calculated by the parameter calculation unit.
The image projection system according to claim 1, further comprising: The projector includes: an adjustment optical system having a function of adjusting the projection state of the plurality of projectors and accurately synthesizing the projected images of the projectors on a screen; and an adjustment optical system control unit for controlling the adjustment optical system. The image projection system according to claim 1, further comprising: 2. The projector according to claim 1, wherein the projector blurs pixels by broadening the focus of the projected image to such an extent that a moire phenomenon does not occur at a portion where images projected by the plurality of projectors overlap. Image projection system. The image projection system according to claim 1, wherein the screen is a screen having a shape other than a plane. The image projection system according to claim 1, wherein the screen is a transmission screen. 2. The image processing apparatus according to claim 1, further comprising an image storage unit configured to store the image corrected by the image processing unit, wherein the image output unit outputs the image read from the image storage unit. Image projection system. 16. The image projection system according to claim 15, wherein said image storage means is provided separately for each of said plurality of image output means.

Images