JP4021685B2 - 画像合成変換装置 - Google Patents
画像合成変換装置 Download PDFInfo
- Publication number
- JP4021685B2 JP4021685B2 JP2002057440A JP2002057440A JP4021685B2 JP 4021685 B2 JP4021685 B2 JP 4021685B2 JP 2002057440 A JP2002057440 A JP 2002057440A JP 2002057440 A JP2002057440 A JP 2002057440A JP 4021685 B2 JP4021685 B2 JP 4021685B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- camera
- mapping table
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、実カメラで撮影した画像を仮想カメラで撮影した変換画像にリアルタイムに合成する画像合成変換装置に関する。
【０００２】
【従来の技術】
複数の実カメラで撮影した画像を合成、変換する従来の画像合成変換装置として、例えば、国際公開番号ＷＯ００／６４１７５に記載されている装置がある。これを図１０を用いて説明する。
【０００３】
この従来の画像合成変換装置は、撮像手段１１０と、画像処理部１２０とを備えて構成される。撮像手段１１０は、複数のカメラ１１１、１１２と、各カメラ１１１、１１２に対応するフレームメモリ１１３、１１４とから構成され、各カメラ１１１、１１２から入力される画像は対応するフレームメモリ１１３、１１４に書き込まれる。
【０００４】
画像処理部１２０は、画像合成手段１２１と、マッピングテーブル参照手段１２２と、映像信号生成手段１２３とから構成される。マッピングテーブル参照手段１２２は、出力画素の位置座標と入力画像の画素位置との対応を示す変換アドレス（マッピングテーブル）を格納した変換アドレスメモリ１３１と、そのときの各入力画素の必要度が記録される必要度メモリ１３２を備える。
【０００５】
画像合成手段１２１は、マッピングテーブル参照手段１２２に記録されている変換アドレス（マッピングテーブル）に基づき、フレームメモリ１１３、１１４内の各画素のデータを、指定された必要度に応じて加算することにより出力画素のデータを生成する。映像信号生成手段１２３は、画像合成手段１２１により生成された出力画素のデータを映像信号として出力する。尚、以上の処理は、例えば、入力画像信号等の適切な同期信号に基づいて実行される。
【０００６】
画像合成手段１２１は、マッピングテーブル参照手段１２２に従って、２つの異なるカメラ１１１、１１２から入力される画像を合成したり、画素位置を変更したりして出力画像を生成することで、異なる複数のカメラからの入力画像を滑らかに合成したり、仮想視点からの映像へと変換したりすることをリアルタイムに実現する様になっている。しかし、リアルタイムに画像合成を行うには、画像合成に使用するマッピングテーブルが予めマッピングテーブル参照手段１２２に記録されていることが必要である。
【０００７】
次に、マッピングテーブルの作成手順を説明する。マッピングテーブルを作成するためには、仮想視点（仮想カメラの設置位置）から見た合成画像の各画素に対応する各カメラ画像の画素の座標を決める必要がある。この対応を決める手順は、仮想視点からの合成画像の各画素に対応する世界座標上での点の位置を求める段階と、求めた世界座標上での点の位置の実カメラ上で対応する画素の座標を求める段階の２段階に分けられる。
【０００８】
尚、最終的にマッピングテーブルに記録される関係は、仮想視点の合成画像の各画素と各カメラ画像（実画像）の画素との関係だけであり、マッピングテーブルを作成する手順は、上記の世界座標上の点を経由する方式に限定されるものではないが、この世界座標上の点を経由するマッピングテーブルは、合成画像の実世界での座標である世界座標系での意味付けが明確になるため、周囲の状況を実際の距離、位置関係と対応付けやすい合成画像を生成する点で優れている。
【０００９】
仮想カメラの画素位置［ｍｉ］＝（ｘｉ，ｙｉ）と仮想カメラのカメラ座標［Ｐｉ］＝（Ｘｉ，Ｙｉ，Ｚｉ）とは、次の関係にある。
【００１０】
ｘｉ＝Ｘｉ／Ｚｉ（ただし、Ｚｉは０でない）
ｙｉ＝Ｙｉ／Ｚｉ（ただし、Ｚｉは０でない）
仮想カメラのカメラ座標［Ｐｉ］から、世界座標［Ｐｗ］へは、３次元の回転［Ｒｉ］、及び、並進［Ｔｉ］によって次のように変換される。
【００１１】
［Ｐｗ］＝［Ｒｉ］［Ｐｉ］＋［Ｔｉ］
同様に、世界座標［Ｐｗ］から実カメラのカメラ座標［Ｐｒ］へは、３次元の回転［Ｒｒ］、及び、並進［Ｔｒ］によって次のように変換される。
【００１２】
［Ｐｒ］＝［Ｒｒ］［Ｐｗ］＋［Ｔｒ］
この仮想カメラのカメラ座標系から世界座標系への変換、ならびに、世界座標系から実カメラのカメラ座標系への変換を模式的に図１１に示す。即ち、仮想カメラのカメラ座標系Ｃで表される画像Ｍと、実カメラのカメラ座標系Ｃ’で表される画像Ｍ’とは、画像世界座標系Ｏを介して対応付けられる。
【００１３】
また、実カメラのカメラ座標［Ｐｒ］＝（Ｖxe，Ｖye，Ｖze）から、実カメラの投影面上の２次元座標［Ｍｒ］＝（ｘｒ，ｙｒ）へは、透視投影変換により焦点距離ｆｖを用いて次のように変換される。
【００１４】
ｘｒ＝（ｆｖ／Ｖze）・Ｖxe
ｙｒ＝（ｆｖ／Ｖze）・Ｖye
これを、画素の単位に変換し、実カメラに即したレンズ歪みを考慮して位置を補正した位置が、実カメラでの画素の位置となる。レンズ歪みの補正には、レンズ中心からの距離と補正量との関係を記録したテーブルを利用したり、数学的な歪みモデルにより近似するなどの方式がある。
【００１５】
このとき、世界座標系に存在する物体の３次元形状が未知であるため、仮想カメラの画素位置［ｍｉ］から仮想カメラのカメラ座標［Ｐｉ］への変換の際、［Ｐｉ］の倍率λ（λは０以外の実数）が不定となる。つまり、図１２において、直線ｌ上の点、例えば、点Ｋ、点Ｑは全て同じ画素位置Ｘ（ｘｉ，ｙｉ）に投影される。このため、仮想視点から見える対象物の形状に適当な投影モデルを仮定することにより、直線ｌ上の一点を決定する。つまり、投影モデルと直線ｌとの交点を求め世界座標上の点とする。
【００１６】
尚、投影モデルとしては、例えば、世界座標系のＺｗ＝０の平面などが考えられる。このように適当な投影モデルを設定することで、上記の手順により仮想視点の合成画像上の各画素［Ｐｉ］と、実カメラ画像上の画素［Ｐｒ］との対応関係が計算可能となる。
【００１７】
これらの対応関係の算出には、投影モデル上の点の座標計算や、カメラ座標と世界座標との変換、さらに、カメラ数が多い場合は、投影モデル上の座標がどのカメラに映っているかの計算等、膨大な量の演算が必要となる。
【００１８】
【発明が解決しようとする課題】
監視を目的とした監視カメラ、運転支援を目的とした車載カメラ等が広く普及するにつれて、より広い視野を持つ映像への要求が高まっている。このため、魚眼レンズに代表されるような超広角レンズを用いた単独のカメラを使用した映像や、複数のカメラで撮影した映像を合成、変換することで、あたかも１台のカメラで撮影したかのような映像の提供が求められてきている。また、これら、広い視野を持つ映像から必要な領域のみを抽出、変形して表示したり、仮想的に設定したカメラからの映像に擬似的に変換して表示したりするといった用途も見られるようになってきている。
【００１９】
このような画像の合成、変換を、上述した従来技術を適用して行うには、上述したように膨大な演算量が必要となる。このため、リアルタイムで演算するには、多大な演算パワーを持つ演算装置が必要となり、実用的ではない。従って、予め演算を実行して入力画像と出力画像との対応関係をマッピングテーブルとして記録しておき、このマッピングテーブルを参照しながらリアルタイムで画像を合成、変換する方式が主流となっている。
【００２０】
マッピングテーブルは、実際のカメラの設置位置に依存するため、予め算出したマッピングテーブルを使用するには、マッピングテーブルの算出時に使用したカメラの設置位置と寸分違わずに実際のカメラを設置する必要がある。しかし、これは、あまり実用的とはいえない。また、たとえ、寸分違わずにカメラを設置したとしても、使用している最中に何らかの要因によってカメラの設置位置がずれてしまった場合は、カメラを完全に元の設置位置に戻さなければならず、これも実用的ではない。
【００２１】
このように、実際のカメラの設置位置を物理的に調整することは実用的でないため、カメラ設置後にマッピングテーブルを算出するのが好ましいといえる。しかし、マッピングテーブルを画像合成変換装置内部で算出する場合、膨大な演算を実施できる高性能な演算装置が必要となる。しかしながら、マッピングテーブルを算出してしまった後は、高性能な演算装置は、普段使用することがないため、これも実用的でないといえる。
【００２２】
また、外部の高性能演算装置でマッピングテーブルを算出する場合、算出したマッピングテーブルを外部から画像合成装置内部へ転送する必要がある。例えば、画像合成、変換装置が車両等の機器内部に設置された場合、マッピングテーブルを転送するために普段使用することのない専用インタフェースを機器の外部に設置することは実用的でない。
【００２３】
このため、予め設定されている外部インタフェースを持つ機器との兼用が予想される。この場合でも、マッピングテーブルは（画素数）×（１画素あたりのマップデータの容量）分のデータ転送が必要となり、高速な転送環境が必要となる。現在、車両用のデータ転送が可能なインタフェースとしてＣＡＮ ＢＵＳがあるが、これは制御データの転送を想定したものであり、マッピングテーブルのような大きなデータを転送することを想定したものではなく、これも実用的とは言いがたい。
【００２４】
本発明の目的は、高性能な演算装置を必要とせずにカメラ設置後にマッピングテーブルを算出することを可能とし、汎用性が高く、かつ、安価で、メンテナンスの容易な画像合成変換装置を提供することにある。
【００２５】
【課題を解決するための手段】
上記目的を達成する本発明の画像合成変換装置は、実画像を撮像する撮像手段から入力される画像を所定の仮想視点からみた仮想画像に変換して出力する画像変換装置であって、前記実画像上の画素と前記仮想画像上の画素とをそれぞれ所定の投影モデル上の点に対応付けて記録し、かつ前記仮想画像上の画素と前記投影モデル上の点との対応を記録した第１の記憶手段及び前記仮想画像上の画素と前記実画像上の画素との対応を記録した第２の記憶手段と、前記撮像手段と前記仮想視点との位置関係を入力する入力手段と、前記第１の記憶手段の内容と前記位置関係とに応じて前記第２の記憶手段の記録内容を書き換える演算手段とを備えたことを特徴とする。
【００２６】
この構成により、能力の高い演算装置を内蔵することなく、撮像手段の設置後にマッピングテーブルを算出でき、安価な構成により画像合成、変換を行うことが可能となる。
【００２７】
好適には、前記前記入力手段に替えて、前記撮像手段の設置位置が予め定められている場合に前記設置位置から前記位置関係を予測して求める手段を備えたことを特徴とし、また、前記入力手段に替えて、前記投影モデル上の点に対する前記撮像手段の相対位置を校正データとして求め、前記校正データに基づいて前記位置関係を予測して求める手段を備えたことを特徴とし、更にまた、前記入力手段に替えて、外部の校正手段により求められた校正データを用いて前記仮想カメラと前記撮像手段との位置関係を求めることを特徴とする。
【００２８】
これにより、画像合成変換装置の設置し易さが向上し、また、何らかの要因により撮像手段の取付位置がずれた場合でも、外部の高性能な演算装置を必要とせずに、マッピングテーブルを作り直すことができ、メンテナンスが容易となる。更に、校正手段を内蔵すると、全ての処理を内部処理で完了することができ、撮像手段の取り付け後の処理を、全て画像合成変換装置単体で実施可能となる。
【００２９】
更に好適には、前記第１の記憶手段は、前記投影モデル上の点の集合データを予測符号化により圧縮した形式で記録する記録手段と、前記記録手段により圧縮して記録されている前記集合データを伸張して元の形式に戻す伸張手段とを備えたことを特徴とする。この構成により、必要なメモリ容量を低減でき、且つ、少ない演算によりデータを伸張することができる。
【００３０】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して説明する。
【００３１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像合成変換装置のブロック図である。この画像合成変換装置は、撮像手段１０と、演算手段２０と、マッピングテーブル参照手段３０と、画像合成手段４０と、画像出力手段５０とを備えて構成される。
【００３２】
撮像手段１０は、実画像を撮影するカメラ１１と、カメラ１１で撮像した映像を記録するフレームメモリ１３とを備える。撮像手段１０が備えるカメラは複数台であってもよく、この実施形態の撮像手段１０はカメラ１１及びフレームメモリ１３の他に、カメラ１２とフレームメモリ１４を備える。
【００３３】
演算手段２０は、別途入力されるカメラパラメータと、マッピングテーブル参照手段３０により参照して得られる予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置とから、出力画像の生成に必要とする入力画像の画素位置を算出する。算出した結果は、マッピングテーブルとしてマッピングテーブル参照手段３０へ記録する。
【００３４】
マッピングテーブル参照手段３０は、マッピングテーブルを記録するマッピングテーブル記録手段３１と、後述するように予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置を記録した３次元座標記録手段３２とを備える。本実施形態では、この３次元座標記録手段３２に記録されている投影モデル上の３次元位置のデータと実カメラの設置位置とからマッピングテーブルを算出し、算出したマッピングテーブルをマッピングテーブル記録手段３１に記録する様になっている。
【００３５】
画像合成手段４０は、マッピングテーブル参照手段３０を参照して出力画像の画素に対応する入力画像を撮像手段１０から読み出して、出力画像の画素を生成する。また、画像出力手段５０は、画像合成手段４０で生成された画素から出力画像を生成して出力する。
【００３６】
次に、上述した画像合成換装置の動作を説明する。仮想視点の位置が固定であっても、画像合成手段４０が使用するマッピングテーブルは、撮像手段１０の設置位置に依存する。このため、撮像手段１０を設置した後、システムを最初に使う段階で、マッピングテーブルを作成する必要がある。以下では、まず最初に、マッピングテーブル作成の手順を説明する。
【００３７】
３次元座標記録手段３２には、予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置が記録されている。投影モデルは、透視変換による不定性を除去するために設定するモデルであり、例えば、平面や円筒面等で規定できる。
【００３８】
図２は、投影モデルとして平面Ａ、平面Ｂの２つの平面を設定した例を示す図である。図２の場合、例えば、出力画像の画素Ｒ１の位置（ｕ１，ｖ１）に対応する３次元位置として、平面Ａ上の点Ｒ１Ａの座標（ｘ１ａ，ｙ１ａ，ｚ１ａ）が３次元座標記録手段３２に記録され、出力画像の画素Ｒ２の位置（ｕ２，ｖ２）に対応する３次元位置として、平面Ｂ上の点Ｒ２Ｂの座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）が３次元座標記録手段３２に記録されている。
【００３９】
これらの３次元座標の点は、視線ベクトルを表す直線と投影モデル面との交点として算出されるため、投影モデルが曲面等の多次元の多項式で定義される場合は、３次元座標を求める演算量は多大なものとなる。また、図２から明らかなように、投影モデルが複数の平面や曲面で定義される場合、仮想カメラの画像上の画素に対応する投影モデル上の候補点が複数存在するため、これら複数の候補点も全て視線ベクトルを表す直線と投影モデル面との交点として算出され、候補点の数だけ交点を求める演算も必要となる。
【００４０】
即ち、図２では、点Ｒ１に対応する候補点として、平面Ａ上に投影された点Ｒ１Ａと、平面Ｂに投影された点Ｒ１Ｂとが存在し、これら２つの候補点の中から、仮想カメラに距離的に近い側の点である点Ｒ１Ａを対応点としている。同様に、点Ｒ２に対応する候補点として、平面Ａに投影された点Ｒ２Ａと、平面Ｂに投影された点Ｒ２Ｂとが存在し、対応点としては、仮想カメラに距離的に近い側の点である点Ｒ２Ｂを選択している。
【００４１】
ここで、複数の候補点の中からどの点を対応点として選択するかは、モデルの定義に依存する。このような、複数の候補点の中から、１つの候補点へと絞り込む際にも、例えば、距離計算などの演算が必要となる。尚、候補点の算出は、従来例と同様な手順により求める。
【００４２】
図２では、実カメラが１台の場合を示したが、図３に示す様に、実カメラが複数台の場合も、各々のカメラに対して同様な処理を適用し、仮想カメラの画像上の画素に対応する各カメラ上の点を算出する。
【００４３】
図３では、仮想カメラ上の３つの画素に対応する投影モデル面上の点をＲ３ａ、Ｒ３ｂ、Ｒ３ｃとして示している。３次元座標記録手段３２には、仮想カメラ上の各画素に対応する投影モデル上の対応点の３次元位置としてＲ３ａ、Ｒ３ｂ、Ｒ３ｃの座標が記録される。
【００４４】
ここで、仮想カメラと実カメラとの位置関係が予め一定の精度で予測可能な場合、投影モデル上の対応点がいずれのカメラに対応点を持つかを計算することが可能である。例えば、監視カメラや車載カメラ等は、監視対象等を撮像できる位置としてその設置場所が限られてしまうのが普通であるため、仮想カメラと実カメラとの位置関係は予測可能であり、予測した実カメラの位置データを、カメラパラメータとして演算手段２０に入力し、３次元座標記録手段３２の記録データを用いてマッピングテーブルを作成することができる。
【００４５】
また、仮想カメラ上の画素に対応する投影モデル上の対応点に対する実カメラの画素位置は、周知の校正手段によって容易に計測することができるため、この計測データを取り込めば、仮想カメラと実カメラとの位置関係を設定することができる。尚、後述する第３の実施の形態として、校正手段を内蔵する例を説明する。
【００４６】
図３では、点Ｒ３ａは実カメラ１１の画像上のみに対応点を持ち、点Ｒ３ｃは実際のカメラ１２の画像上のみに対応点を持つ。また、点Ｒ３ｂは、カメラ１１ならびにカメラ１２の何れの画像上にも対応点を持つ。
【００４７】
このような状況においては、カメラ１２に対して点Ｒ３ａの対応点を求めたり、カメラ１１に対して点Ｒ３ｃの対応点を求める演算を実施することは無駄である。従って、例えば、３次元座標記録手段３２に、仮想カメラの画像上の画素に対応する３次元座標とともに、画面上に対応する画素が存在するカメラの識別符号を記録することで、全く対応する画素の存在する可能性のない実カメラに対しては、無用な演算を実施しないようにして、マッピングテーブルの作成に要する演算量を低減することができる。
【００４８】
また、カメラの識別符号に加えて、複数のカメラの画素から出力画像の画素を算出する際に必要となる各カメラの必要度も予め算出することができるため、必要度も同時に記録することが可能である。これにより、必要度の演算も省略できる。各カメラの必要度は、例えば、投影モデル面上の３次元位置から、各実カメラまでの距離の逆数の比を正規化するなどして求めることができる。必要度の意味については、画像合成手段４０の動作説明において説明する。
【００４９】
このように、本実施形態の画像合成変換装置では、仮想カメラ上の画素に対応する投影モデル上の対応点の３次元位置を予め算出して３次元座標記録手段３２に記録しておくことにより、演算手段２０は、３次元座標記録手段３２に記録されている３次元位置を求めるために必要とする膨大な量の演算を実施する必要がなくなり、実カメラの設置位置がずれた場合にも３次元座標記録手段３２のデータを使用して、高速に、新たな実カメラ設置位置に対応したマッピングテーブルを算出することが可能となる。
【００５０】
演算手段２０は、３次元座標記録手段３２を参照して得られる仮想カメラの画素位置に対応する３次元座標と、別途入力される実カメラのカメラパラメータとを基に、仮想カメラの画素位置に対応する実カメラ上の画素位置を算出する。図２の場合、前述したように、３次元座標記録手段３２には、例えば、出力画像の画素Ｒ１の位置（ｕ１，ｖ１）に対応する３次元位置として、平面Ａの点Ｒ１Ａの座標（ｘ１ａ，ｙ１ａ，ｚ１ａ）が、出力画像の画素Ｒ２の位置（ｕ２，ｖ２）に対応する３次元位置として、平面Ｂ上の点Ｒ２Ｂの座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）が記録されている。
【００５１】
透視変換によりこれらの点が実カメラ上に投影される点を計算すると、点Ｒ１Ａは点Ｉ１（Ｕ１，Ｖ１）に、点Ｒ２Ｂは点Ｉ２（Ｕ２，Ｖ２）にそれぞれ投影される。演算手段２０は、この結果から、マッピングテーブルを作成し、マッピングテーブル記録手段３１へ格納する。
【００５２】
複数の実カメラが存在し、仮想カメラと実カメラとの位置関係が予め一定の精度で予測可能で、かつ、３次元座標記録手段３２に仮想カメラの画像上の画素に対応する３次元座標と共に、画面上に対応する画素が存在するカメラの識別符号が記録されている場合、演算手段２０は、識別符号が記録されているカメラに対してのみ、対応する画素位置を計算する。
【００５３】
マッピングテーブル記録手段３１は、演算手段２０で計算された仮想カメラ上の画素と実カメラ上の画素との対応関係を示すマッピングテーブルを記録する。図９は、このマッピングテーブルの説明図である。マッピングテーブル記録手段３１は、仮想カメラの画素座標位置（ｕ，ｖ）と投影モデル上の座標（ｘ，ｙ，ｚ）との関係を記憶した第１の記憶手段を備え、演算手段２０は、投影モデル上の座標と実カメラの画素座標位置（Ｕ，Ｖ）との関係をこの第１の記憶手段の記憶内容に基づき算出し、仮想カメラの画素座標位置（ｕ，ｖ）と実カメラの画素座標位置（Ｕ，Ｖ）との関係を作成してこれを第２の記憶手段にマッピングテーブルとして記憶する。このマッピングテーブルには、必要に応じて、実カメラの識別子（図９中に“Ｃ１”として例示）と、複数のカメラが対応する場合の各カメラの必要度とが記録される。
【００５４】
次に、上述したようにして演算手段２０が３次元座標記録手段３２の記録データを用いてマッピングテーブルを作成し、マッピングテーブル記録手段３１に記録した後の動作を説明する。
【００５５】
撮像手段１０では、カメラ１１とカメラ１２とにより撮像した画像をそれぞれフレームメモリ１３、１４へ記録する。マッピングテーブル参照手段３０は、マッピングテーブル記録手段３１に記録されているマッピングテーブルを参照して、画像合成手段４０が生成する出力画像の画素位置を、その画素に対応する入力画像の画素位置へと変換する。出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合は、それらの画素の必要度もマッピングテーブルから読み出す。
【００５６】
画像合成手段４０では、マッピングテーブル参照手段３０を参照し、生成する出力画像の画素に対応する入力画像の画素を撮像手段１０から読み出す。出力画像の画素が１つの入力画像の画素のみに対応する場合は、入力画素の値を画像出力手段５０へと出力する。また、対応する画素が存在しない場合は、予め定めた値を画像出力手段５０へと出力する。
【００５７】
出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合は、入力画像の画素位置と同時に参照した各画素の必要度に応じて、それらの画素値を合成する。単純には、必要度の逆比に応じて加算し、出力画像の画素値とする。画像出力手段５０は、画像合成手段４０で生成された出力画像の画素から出力画像を生成し、出力する。
【００５８】
このように、本実施形態の画像合成変換装置では、マッピングテーブル作成処理において予め３次元座標記録手段に記録されているデータを利用するため、３次元位置を求めるために必要な膨大な量の演算をマッピングテーブル作成時に実施する必要がなくなり、透視投影変換と歪み補正演算のみを実施するだけで済む。
【００５９】
このため、演算手段２０が高性能な演算能力を持たない場合であっても、撮像手段１０の設置後にマッピングテーブルを高速に生成することが可能となる。これにより、汎用性が高く、かつ、安価で、メンテナンスの容易な画像合成変換装置を得ることが可能となる。
【００６０】
（第２の実施の形態）
図４は、本発明の第２の実施の形態に係る画像合成変換装置で用いる３次元座標記録手段のブロック図である。この実施形態の画像合成変換装置の全体構成とその動作については、第１の実施の形態と同様であるのでその図示及び説明は省略し、図４に示す第２の実施の形態に係る特徴部分についてのみ説明する。
【００６１】
図４に示す３次元座標記録手段３２は、予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置をデータ圧縮した形式で記録する記録手段３４と、記録手段３４にデータ圧縮された形式で記録されている３次元位置を伸張して元のデータに復元する伸張手段３３とから構成される。
【００６２】
斯かる構成の３次元座標記録手段３２に対して、以下、その動作を説明する。記録手段３４は、予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置を、予測符号化によりデータ圧縮した形式で記録する。投影モデルは、一般に平面や、曲面等の滑らかな面の集まりとして定義され、３次元位置はこの投影モデル面と仮想カメラの視線を表す直線との交点として表され、仮想カメラの画面上の画素は規則正しく並んでいる。
【００６３】
従って、３次元位置も投影モデル面上を比較的規則正しく変化することになる。このため、予測符号化により効率の良いデータ圧縮が可能となる。例えば、図５に示すように、３次元位置の各成分を１つ前との差分を予測値とし、予測値と３次元位置の各成分との差分（予測誤差）を圧縮データとするなどの簡単な圧縮方法により高い圧縮率を達成できる。図５は一次元を例示するものであるが、容易に３次元に拡張可能である。また、予測符号化は、予測値と予測誤差との加算によって元のデータを復元できるため、伸張に要する演算量は限られたものとなり、高速に伸張処理ができる。
【００６４】
伸張手段３３は、記録手段３４に圧縮された形式で記録された３次元位置のデータを伸張して元のデータに復元する。このとき、先に示したように、予測符号化を伸張する伸張手段３３には、高い演算能力が必要とされない。
【００６５】
このように、上記の構成にすることで、本実施形態では、高い演算能力を必要とせず、且つ、少ないメモリ容量でマッピングテーブルを作成するためのデータを記録できるという利点がある。このことは、画像合成変換装置を使用中に何らかの要因によって、マッピングテーブルを作り直す必要が生じた際に備えて、マッピングテーブルを作成した後も、仮想カメラの画素位置に対応する投影モデル上の３次元位置のデータを保持し続ける時にも有利となる。
【００６６】
（第３の実施の形態）
図６は、本発明の第３の実施の形態に係る画像合成変換装置のブロック図である。この実施形態に係る画像合成変換装置は、撮像手段１０と、演算手段２０と、マッピングテーブル参照手段３０と、画像合成手段４０と、画像出力手段５０と、校正手段６０とを備えて構成される。マッピングテーブル参照手段３０の構成は、第１の実施の形態または第２の実施の形態に係る画像合成変換装置と同様である。
【００６７】
校正手段６０は、撮像手段１０で撮影された画面内の既知の世界座標上のポイントと、画面上の画素位置とを対応付けることで、撮像手段１０の校正データを生成し、カメラパラメータとして演算手段２０に出力する。
【００６８】
演算手段２０は、校正手段６０で算出されたカメラパラメータと、マッピングテーブル参照手段３０により参照して得られる予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置とから、出力画像の生成に必要とする入力画像の画素位置を算出する。算出した結果は、マッピングテーブルとしてマッピングテーブル参照手段３０へ記録する。
【００６９】
画像合成手段４０は、マッピングテーブル参照手段３０を参照して出力画像の画素に対応する入力画像を撮像手段１０から読み出して出力画像の画素を生成し、画像出力手段５０は、画像合成手段４０で生成された画素から出力画像を生成して出力する。
【００７０】
上述した構成の画像合成換装置の基本的動作は、第１の実施の形態と同様であるのでその説明は省略し、第１の実施形態に比べて異なる校正手段６０の動作についてのみ説明する。
【００７１】
図７は、校正手段６０のブロック構成図である。この校正手段６０は、例えば、入力画像に位置合わせのためのマークを重畳するマーク重畳手段６３と、マークが重畳された画像を表示するモニタ６４と、マークの表示位置を指示するコントローラ６１と、マークの位置と、既知の世界座標上のポイントの座標とからカメラパラメータを算出する校正演算手段６２とから構成される。
【００７２】
図８は、図７のモニタ６４の表示画面遷移例を示す図である。モニタ６４には、マーク重畳手段６３により位置合わせ用のマークＡ、Ｂが入力画像に重畳表示される。位置合わせ用のマークＡ、Ｂの表示位置は、コントローラ６１により制御され、コントローラ６１からは、表示位置がマーク重畳手段６３へと通知される。図示する例では、複数の位置合わせ用マークＡ、Ｂが存在するため、マークＡ、Ｂの夫々の番号も同時に通知される。
【００７３】
入力画像内には、世界座標上の座標が既知である位置合わせ用ターゲットＣが写してある。このとき、図８の位置合わせ前のモニタ表示（上段）の様に、マークＡ、ＢとターゲットＣとがずれて表示された場合、コントローラ６１の操作により位置合わせ用マークＡ、Ｂの表示位置を移動して位置あわせ用ターゲットＣの所定のポイントと一致させ、図８の下段に示すモニタ表示の状態とする。
【００７４】
図８の下段に示す状態において、コントローラ６１から校正演算手段６２へと、マーク合わせが終了したことを通知するとともに、そのときのマークＡ、Ｂの表示位置も通知する。校正演算手段６２では、コントローラ６１から通知されるマークＡ、Ｂの位置と、世界座標上の既知の座標との対応関係から、入力画像を撮像した撮像手段１０の校正を実施し、その結果得られるカメラパラメータを演算手段２０に出力する。
【００７５】
なお、図８の例では、位置合わせに必要な点数を２点としたが、この位置合わせに必要な点数は、撮像手段１０の校正で求める必要のある変数の個数に依存する。
【００７６】
以上のように、本実施形態によれば、撮像手段の設置後の処理を全て画像合成変換装置単体で実施することが可能となる。これにより、撮像手段の設置位置が制限されることがなくなり、撮像手段の設置が容易となる。また、何らかの要因により撮像手段の取り付け位置がずれた場合でも、外部の高性能演算装置を必要とせずに、マッピングテーブルを作り直すことができるため、メンテナンスのし易さも向上する。
【００７７】
【発明の効果】
本発明によれば、能力の高い演算装置を内蔵することなく、撮像手段の設置後にマッピングテーブルを算出できるため、安価な構成により画像合成、変換を実現可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像合成変換装置のブロック図
【図２】本発明の第１の実施の形態に係る画像合成変換装置で用いる投影モデルによる視点変換説明図
【図３】本発明の第１の実施の形態に係る画像合成変換装置で用いるマッピングテーブルにおける仮想カメラと実カメラとの対応説明図
【図４】本発明の第２の実施の形態に係る画像合成変換装置で用いる３次元座標記録手段のブロック図
【図５】本発明の第２の実施の形態に係る画像合成変換装置で用いる予測符号化の説明図
【図６】本発明の第３の実施の形態に係る画像合成変換装置のブロック図
【図７】本発明の第３の実施の形態に係る画像合成変換装置で用いる校正手段のブロック図
【図８】本発明の第３の実施の形態に係る画像合成変換装置で用いる校正手段のモニタ表示例を示す図
【図９】本発明の第１の実施の形態に係る画像合成変換装置で用いるマッピングテーブル説明図
【図１０】従来の画像合成装置のブロック図
【図１１】従来の仮想カメラのカメラ座標、実カメラのカメラ座標、世界座標の関係図
【図１２】従来の透視投影の説明図
【符号の説明】
１０ 撮像手段
１１、１２ カメラ
１３、１４ フレームメモリ
２０ 演算手段
３０ マッピングテーブル参照手段
３１ マッピングテーブル記録手段
３２ ３次元座標記録手段
３３ 伸張手段
３４ 圧縮手段
４０ 画像合成手段
５０ 画像出力手段
６０ 校正手段
６１ コントローラ
６２ 校正演算手段
６３ マーク重畳手段
６４ モニタ
【発明の属する技術分野】
本発明は、実カメラで撮影した画像を仮想カメラで撮影した変換画像にリアルタイムに合成する画像合成変換装置に関する。
【０００２】
【従来の技術】
複数の実カメラで撮影した画像を合成、変換する従来の画像合成変換装置として、例えば、国際公開番号ＷＯ００／６４１７５に記載されている装置がある。これを図１０を用いて説明する。
【０００３】
この従来の画像合成変換装置は、撮像手段１１０と、画像処理部１２０とを備えて構成される。撮像手段１１０は、複数のカメラ１１１、１１２と、各カメラ１１１、１１２に対応するフレームメモリ１１３、１１４とから構成され、各カメラ１１１、１１２から入力される画像は対応するフレームメモリ１１３、１１４に書き込まれる。
【０００４】
画像処理部１２０は、画像合成手段１２１と、マッピングテーブル参照手段１２２と、映像信号生成手段１２３とから構成される。マッピングテーブル参照手段１２２は、出力画素の位置座標と入力画像の画素位置との対応を示す変換アドレス（マッピングテーブル）を格納した変換アドレスメモリ１３１と、そのときの各入力画素の必要度が記録される必要度メモリ１３２を備える。
【０００５】
画像合成手段１２１は、マッピングテーブル参照手段１２２に記録されている変換アドレス（マッピングテーブル）に基づき、フレームメモリ１１３、１１４内の各画素のデータを、指定された必要度に応じて加算することにより出力画素のデータを生成する。映像信号生成手段１２３は、画像合成手段１２１により生成された出力画素のデータを映像信号として出力する。尚、以上の処理は、例えば、入力画像信号等の適切な同期信号に基づいて実行される。
【０００６】
画像合成手段１２１は、マッピングテーブル参照手段１２２に従って、２つの異なるカメラ１１１、１１２から入力される画像を合成したり、画素位置を変更したりして出力画像を生成することで、異なる複数のカメラからの入力画像を滑らかに合成したり、仮想視点からの映像へと変換したりすることをリアルタイムに実現する様になっている。しかし、リアルタイムに画像合成を行うには、画像合成に使用するマッピングテーブルが予めマッピングテーブル参照手段１２２に記録されていることが必要である。
【０００７】
次に、マッピングテーブルの作成手順を説明する。マッピングテーブルを作成するためには、仮想視点（仮想カメラの設置位置）から見た合成画像の各画素に対応する各カメラ画像の画素の座標を決める必要がある。この対応を決める手順は、仮想視点からの合成画像の各画素に対応する世界座標上での点の位置を求める段階と、求めた世界座標上での点の位置の実カメラ上で対応する画素の座標を求める段階の２段階に分けられる。
【０００８】
尚、最終的にマッピングテーブルに記録される関係は、仮想視点の合成画像の各画素と各カメラ画像（実画像）の画素との関係だけであり、マッピングテーブルを作成する手順は、上記の世界座標上の点を経由する方式に限定されるものではないが、この世界座標上の点を経由するマッピングテーブルは、合成画像の実世界での座標である世界座標系での意味付けが明確になるため、周囲の状況を実際の距離、位置関係と対応付けやすい合成画像を生成する点で優れている。
【０００９】
仮想カメラの画素位置［ｍｉ］＝（ｘｉ，ｙｉ）と仮想カメラのカメラ座標［Ｐｉ］＝（Ｘｉ，Ｙｉ，Ｚｉ）とは、次の関係にある。
【００１０】
ｘｉ＝Ｘｉ／Ｚｉ（ただし、Ｚｉは０でない）
ｙｉ＝Ｙｉ／Ｚｉ（ただし、Ｚｉは０でない）
仮想カメラのカメラ座標［Ｐｉ］から、世界座標［Ｐｗ］へは、３次元の回転［Ｒｉ］、及び、並進［Ｔｉ］によって次のように変換される。
【００１１】
［Ｐｗ］＝［Ｒｉ］［Ｐｉ］＋［Ｔｉ］
同様に、世界座標［Ｐｗ］から実カメラのカメラ座標［Ｐｒ］へは、３次元の回転［Ｒｒ］、及び、並進［Ｔｒ］によって次のように変換される。
【００１２】
［Ｐｒ］＝［Ｒｒ］［Ｐｗ］＋［Ｔｒ］
この仮想カメラのカメラ座標系から世界座標系への変換、ならびに、世界座標系から実カメラのカメラ座標系への変換を模式的に図１１に示す。即ち、仮想カメラのカメラ座標系Ｃで表される画像Ｍと、実カメラのカメラ座標系Ｃ’で表される画像Ｍ’とは、画像世界座標系Ｏを介して対応付けられる。
【００１３】
また、実カメラのカメラ座標［Ｐｒ］＝（Ｖxe，Ｖye，Ｖze）から、実カメラの投影面上の２次元座標［Ｍｒ］＝（ｘｒ，ｙｒ）へは、透視投影変換により焦点距離ｆｖを用いて次のように変換される。
【００１４】
ｘｒ＝（ｆｖ／Ｖze）・Ｖxe
ｙｒ＝（ｆｖ／Ｖze）・Ｖye
これを、画素の単位に変換し、実カメラに即したレンズ歪みを考慮して位置を補正した位置が、実カメラでの画素の位置となる。レンズ歪みの補正には、レンズ中心からの距離と補正量との関係を記録したテーブルを利用したり、数学的な歪みモデルにより近似するなどの方式がある。
【００１５】
このとき、世界座標系に存在する物体の３次元形状が未知であるため、仮想カメラの画素位置［ｍｉ］から仮想カメラのカメラ座標［Ｐｉ］への変換の際、［Ｐｉ］の倍率λ（λは０以外の実数）が不定となる。つまり、図１２において、直線ｌ上の点、例えば、点Ｋ、点Ｑは全て同じ画素位置Ｘ（ｘｉ，ｙｉ）に投影される。このため、仮想視点から見える対象物の形状に適当な投影モデルを仮定することにより、直線ｌ上の一点を決定する。つまり、投影モデルと直線ｌとの交点を求め世界座標上の点とする。
【００１６】
尚、投影モデルとしては、例えば、世界座標系のＺｗ＝０の平面などが考えられる。このように適当な投影モデルを設定することで、上記の手順により仮想視点の合成画像上の各画素［Ｐｉ］と、実カメラ画像上の画素［Ｐｒ］との対応関係が計算可能となる。
【００１７】
これらの対応関係の算出には、投影モデル上の点の座標計算や、カメラ座標と世界座標との変換、さらに、カメラ数が多い場合は、投影モデル上の座標がどのカメラに映っているかの計算等、膨大な量の演算が必要となる。
【００１８】
【発明が解決しようとする課題】
監視を目的とした監視カメラ、運転支援を目的とした車載カメラ等が広く普及するにつれて、より広い視野を持つ映像への要求が高まっている。このため、魚眼レンズに代表されるような超広角レンズを用いた単独のカメラを使用した映像や、複数のカメラで撮影した映像を合成、変換することで、あたかも１台のカメラで撮影したかのような映像の提供が求められてきている。また、これら、広い視野を持つ映像から必要な領域のみを抽出、変形して表示したり、仮想的に設定したカメラからの映像に擬似的に変換して表示したりするといった用途も見られるようになってきている。
【００１９】
このような画像の合成、変換を、上述した従来技術を適用して行うには、上述したように膨大な演算量が必要となる。このため、リアルタイムで演算するには、多大な演算パワーを持つ演算装置が必要となり、実用的ではない。従って、予め演算を実行して入力画像と出力画像との対応関係をマッピングテーブルとして記録しておき、このマッピングテーブルを参照しながらリアルタイムで画像を合成、変換する方式が主流となっている。
【００２０】
マッピングテーブルは、実際のカメラの設置位置に依存するため、予め算出したマッピングテーブルを使用するには、マッピングテーブルの算出時に使用したカメラの設置位置と寸分違わずに実際のカメラを設置する必要がある。しかし、これは、あまり実用的とはいえない。また、たとえ、寸分違わずにカメラを設置したとしても、使用している最中に何らかの要因によってカメラの設置位置がずれてしまった場合は、カメラを完全に元の設置位置に戻さなければならず、これも実用的ではない。
【００２１】
このように、実際のカメラの設置位置を物理的に調整することは実用的でないため、カメラ設置後にマッピングテーブルを算出するのが好ましいといえる。しかし、マッピングテーブルを画像合成変換装置内部で算出する場合、膨大な演算を実施できる高性能な演算装置が必要となる。しかしながら、マッピングテーブルを算出してしまった後は、高性能な演算装置は、普段使用することがないため、これも実用的でないといえる。
【００２２】
また、外部の高性能演算装置でマッピングテーブルを算出する場合、算出したマッピングテーブルを外部から画像合成装置内部へ転送する必要がある。例えば、画像合成、変換装置が車両等の機器内部に設置された場合、マッピングテーブルを転送するために普段使用することのない専用インタフェースを機器の外部に設置することは実用的でない。
【００２３】
このため、予め設定されている外部インタフェースを持つ機器との兼用が予想される。この場合でも、マッピングテーブルは（画素数）×（１画素あたりのマップデータの容量）分のデータ転送が必要となり、高速な転送環境が必要となる。現在、車両用のデータ転送が可能なインタフェースとしてＣＡＮ ＢＵＳがあるが、これは制御データの転送を想定したものであり、マッピングテーブルのような大きなデータを転送することを想定したものではなく、これも実用的とは言いがたい。
【００２４】
本発明の目的は、高性能な演算装置を必要とせずにカメラ設置後にマッピングテーブルを算出することを可能とし、汎用性が高く、かつ、安価で、メンテナンスの容易な画像合成変換装置を提供することにある。
【００２５】
【課題を解決するための手段】
上記目的を達成する本発明の画像合成変換装置は、実画像を撮像する撮像手段から入力される画像を所定の仮想視点からみた仮想画像に変換して出力する画像変換装置であって、前記実画像上の画素と前記仮想画像上の画素とをそれぞれ所定の投影モデル上の点に対応付けて記録し、かつ前記仮想画像上の画素と前記投影モデル上の点との対応を記録した第１の記憶手段及び前記仮想画像上の画素と前記実画像上の画素との対応を記録した第２の記憶手段と、前記撮像手段と前記仮想視点との位置関係を入力する入力手段と、前記第１の記憶手段の内容と前記位置関係とに応じて前記第２の記憶手段の記録内容を書き換える演算手段とを備えたことを特徴とする。
【００２６】
この構成により、能力の高い演算装置を内蔵することなく、撮像手段の設置後にマッピングテーブルを算出でき、安価な構成により画像合成、変換を行うことが可能となる。
【００２７】
好適には、前記前記入力手段に替えて、前記撮像手段の設置位置が予め定められている場合に前記設置位置から前記位置関係を予測して求める手段を備えたことを特徴とし、また、前記入力手段に替えて、前記投影モデル上の点に対する前記撮像手段の相対位置を校正データとして求め、前記校正データに基づいて前記位置関係を予測して求める手段を備えたことを特徴とし、更にまた、前記入力手段に替えて、外部の校正手段により求められた校正データを用いて前記仮想カメラと前記撮像手段との位置関係を求めることを特徴とする。
【００２８】
これにより、画像合成変換装置の設置し易さが向上し、また、何らかの要因により撮像手段の取付位置がずれた場合でも、外部の高性能な演算装置を必要とせずに、マッピングテーブルを作り直すことができ、メンテナンスが容易となる。更に、校正手段を内蔵すると、全ての処理を内部処理で完了することができ、撮像手段の取り付け後の処理を、全て画像合成変換装置単体で実施可能となる。
【００２９】
更に好適には、前記第１の記憶手段は、前記投影モデル上の点の集合データを予測符号化により圧縮した形式で記録する記録手段と、前記記録手段により圧縮して記録されている前記集合データを伸張して元の形式に戻す伸張手段とを備えたことを特徴とする。この構成により、必要なメモリ容量を低減でき、且つ、少ない演算によりデータを伸張することができる。
【００３０】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して説明する。
【００３１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像合成変換装置のブロック図である。この画像合成変換装置は、撮像手段１０と、演算手段２０と、マッピングテーブル参照手段３０と、画像合成手段４０と、画像出力手段５０とを備えて構成される。
【００３２】
撮像手段１０は、実画像を撮影するカメラ１１と、カメラ１１で撮像した映像を記録するフレームメモリ１３とを備える。撮像手段１０が備えるカメラは複数台であってもよく、この実施形態の撮像手段１０はカメラ１１及びフレームメモリ１３の他に、カメラ１２とフレームメモリ１４を備える。
【００３３】
演算手段２０は、別途入力されるカメラパラメータと、マッピングテーブル参照手段３０により参照して得られる予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置とから、出力画像の生成に必要とする入力画像の画素位置を算出する。算出した結果は、マッピングテーブルとしてマッピングテーブル参照手段３０へ記録する。
【００３４】
マッピングテーブル参照手段３０は、マッピングテーブルを記録するマッピングテーブル記録手段３１と、後述するように予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置を記録した３次元座標記録手段３２とを備える。本実施形態では、この３次元座標記録手段３２に記録されている投影モデル上の３次元位置のデータと実カメラの設置位置とからマッピングテーブルを算出し、算出したマッピングテーブルをマッピングテーブル記録手段３１に記録する様になっている。
【００３５】
画像合成手段４０は、マッピングテーブル参照手段３０を参照して出力画像の画素に対応する入力画像を撮像手段１０から読み出して、出力画像の画素を生成する。また、画像出力手段５０は、画像合成手段４０で生成された画素から出力画像を生成して出力する。
【００３６】
次に、上述した画像合成換装置の動作を説明する。仮想視点の位置が固定であっても、画像合成手段４０が使用するマッピングテーブルは、撮像手段１０の設置位置に依存する。このため、撮像手段１０を設置した後、システムを最初に使う段階で、マッピングテーブルを作成する必要がある。以下では、まず最初に、マッピングテーブル作成の手順を説明する。
【００３７】
３次元座標記録手段３２には、予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置が記録されている。投影モデルは、透視変換による不定性を除去するために設定するモデルであり、例えば、平面や円筒面等で規定できる。
【００３８】
図２は、投影モデルとして平面Ａ、平面Ｂの２つの平面を設定した例を示す図である。図２の場合、例えば、出力画像の画素Ｒ１の位置（ｕ１，ｖ１）に対応する３次元位置として、平面Ａ上の点Ｒ１Ａの座標（ｘ１ａ，ｙ１ａ，ｚ１ａ）が３次元座標記録手段３２に記録され、出力画像の画素Ｒ２の位置（ｕ２，ｖ２）に対応する３次元位置として、平面Ｂ上の点Ｒ２Ｂの座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）が３次元座標記録手段３２に記録されている。
【００３９】
これらの３次元座標の点は、視線ベクトルを表す直線と投影モデル面との交点として算出されるため、投影モデルが曲面等の多次元の多項式で定義される場合は、３次元座標を求める演算量は多大なものとなる。また、図２から明らかなように、投影モデルが複数の平面や曲面で定義される場合、仮想カメラの画像上の画素に対応する投影モデル上の候補点が複数存在するため、これら複数の候補点も全て視線ベクトルを表す直線と投影モデル面との交点として算出され、候補点の数だけ交点を求める演算も必要となる。
【００４０】
即ち、図２では、点Ｒ１に対応する候補点として、平面Ａ上に投影された点Ｒ１Ａと、平面Ｂに投影された点Ｒ１Ｂとが存在し、これら２つの候補点の中から、仮想カメラに距離的に近い側の点である点Ｒ１Ａを対応点としている。同様に、点Ｒ２に対応する候補点として、平面Ａに投影された点Ｒ２Ａと、平面Ｂに投影された点Ｒ２Ｂとが存在し、対応点としては、仮想カメラに距離的に近い側の点である点Ｒ２Ｂを選択している。
【００４１】
ここで、複数の候補点の中からどの点を対応点として選択するかは、モデルの定義に依存する。このような、複数の候補点の中から、１つの候補点へと絞り込む際にも、例えば、距離計算などの演算が必要となる。尚、候補点の算出は、従来例と同様な手順により求める。
【００４２】
図２では、実カメラが１台の場合を示したが、図３に示す様に、実カメラが複数台の場合も、各々のカメラに対して同様な処理を適用し、仮想カメラの画像上の画素に対応する各カメラ上の点を算出する。
【００４３】
図３では、仮想カメラ上の３つの画素に対応する投影モデル面上の点をＲ３ａ、Ｒ３ｂ、Ｒ３ｃとして示している。３次元座標記録手段３２には、仮想カメラ上の各画素に対応する投影モデル上の対応点の３次元位置としてＲ３ａ、Ｒ３ｂ、Ｒ３ｃの座標が記録される。
【００４４】
ここで、仮想カメラと実カメラとの位置関係が予め一定の精度で予測可能な場合、投影モデル上の対応点がいずれのカメラに対応点を持つかを計算することが可能である。例えば、監視カメラや車載カメラ等は、監視対象等を撮像できる位置としてその設置場所が限られてしまうのが普通であるため、仮想カメラと実カメラとの位置関係は予測可能であり、予測した実カメラの位置データを、カメラパラメータとして演算手段２０に入力し、３次元座標記録手段３２の記録データを用いてマッピングテーブルを作成することができる。
【００４５】
また、仮想カメラ上の画素に対応する投影モデル上の対応点に対する実カメラの画素位置は、周知の校正手段によって容易に計測することができるため、この計測データを取り込めば、仮想カメラと実カメラとの位置関係を設定することができる。尚、後述する第３の実施の形態として、校正手段を内蔵する例を説明する。
【００４６】
図３では、点Ｒ３ａは実カメラ１１の画像上のみに対応点を持ち、点Ｒ３ｃは実際のカメラ１２の画像上のみに対応点を持つ。また、点Ｒ３ｂは、カメラ１１ならびにカメラ１２の何れの画像上にも対応点を持つ。
【００４７】
このような状況においては、カメラ１２に対して点Ｒ３ａの対応点を求めたり、カメラ１１に対して点Ｒ３ｃの対応点を求める演算を実施することは無駄である。従って、例えば、３次元座標記録手段３２に、仮想カメラの画像上の画素に対応する３次元座標とともに、画面上に対応する画素が存在するカメラの識別符号を記録することで、全く対応する画素の存在する可能性のない実カメラに対しては、無用な演算を実施しないようにして、マッピングテーブルの作成に要する演算量を低減することができる。
【００４８】
また、カメラの識別符号に加えて、複数のカメラの画素から出力画像の画素を算出する際に必要となる各カメラの必要度も予め算出することができるため、必要度も同時に記録することが可能である。これにより、必要度の演算も省略できる。各カメラの必要度は、例えば、投影モデル面上の３次元位置から、各実カメラまでの距離の逆数の比を正規化するなどして求めることができる。必要度の意味については、画像合成手段４０の動作説明において説明する。
【００４９】
このように、本実施形態の画像合成変換装置では、仮想カメラ上の画素に対応する投影モデル上の対応点の３次元位置を予め算出して３次元座標記録手段３２に記録しておくことにより、演算手段２０は、３次元座標記録手段３２に記録されている３次元位置を求めるために必要とする膨大な量の演算を実施する必要がなくなり、実カメラの設置位置がずれた場合にも３次元座標記録手段３２のデータを使用して、高速に、新たな実カメラ設置位置に対応したマッピングテーブルを算出することが可能となる。
【００５０】
演算手段２０は、３次元座標記録手段３２を参照して得られる仮想カメラの画素位置に対応する３次元座標と、別途入力される実カメラのカメラパラメータとを基に、仮想カメラの画素位置に対応する実カメラ上の画素位置を算出する。図２の場合、前述したように、３次元座標記録手段３２には、例えば、出力画像の画素Ｒ１の位置（ｕ１，ｖ１）に対応する３次元位置として、平面Ａの点Ｒ１Ａの座標（ｘ１ａ，ｙ１ａ，ｚ１ａ）が、出力画像の画素Ｒ２の位置（ｕ２，ｖ２）に対応する３次元位置として、平面Ｂ上の点Ｒ２Ｂの座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）が記録されている。
【００５１】
透視変換によりこれらの点が実カメラ上に投影される点を計算すると、点Ｒ１Ａは点Ｉ１（Ｕ１，Ｖ１）に、点Ｒ２Ｂは点Ｉ２（Ｕ２，Ｖ２）にそれぞれ投影される。演算手段２０は、この結果から、マッピングテーブルを作成し、マッピングテーブル記録手段３１へ格納する。
【００５２】
複数の実カメラが存在し、仮想カメラと実カメラとの位置関係が予め一定の精度で予測可能で、かつ、３次元座標記録手段３２に仮想カメラの画像上の画素に対応する３次元座標と共に、画面上に対応する画素が存在するカメラの識別符号が記録されている場合、演算手段２０は、識別符号が記録されているカメラに対してのみ、対応する画素位置を計算する。
【００５３】
マッピングテーブル記録手段３１は、演算手段２０で計算された仮想カメラ上の画素と実カメラ上の画素との対応関係を示すマッピングテーブルを記録する。図９は、このマッピングテーブルの説明図である。マッピングテーブル記録手段３１は、仮想カメラの画素座標位置（ｕ，ｖ）と投影モデル上の座標（ｘ，ｙ，ｚ）との関係を記憶した第１の記憶手段を備え、演算手段２０は、投影モデル上の座標と実カメラの画素座標位置（Ｕ，Ｖ）との関係をこの第１の記憶手段の記憶内容に基づき算出し、仮想カメラの画素座標位置（ｕ，ｖ）と実カメラの画素座標位置（Ｕ，Ｖ）との関係を作成してこれを第２の記憶手段にマッピングテーブルとして記憶する。このマッピングテーブルには、必要に応じて、実カメラの識別子（図９中に“Ｃ１”として例示）と、複数のカメラが対応する場合の各カメラの必要度とが記録される。
【００５４】
次に、上述したようにして演算手段２０が３次元座標記録手段３２の記録データを用いてマッピングテーブルを作成し、マッピングテーブル記録手段３１に記録した後の動作を説明する。
【００５５】
撮像手段１０では、カメラ１１とカメラ１２とにより撮像した画像をそれぞれフレームメモリ１３、１４へ記録する。マッピングテーブル参照手段３０は、マッピングテーブル記録手段３１に記録されているマッピングテーブルを参照して、画像合成手段４０が生成する出力画像の画素位置を、その画素に対応する入力画像の画素位置へと変換する。出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合は、それらの画素の必要度もマッピングテーブルから読み出す。
【００５６】
画像合成手段４０では、マッピングテーブル参照手段３０を参照し、生成する出力画像の画素に対応する入力画像の画素を撮像手段１０から読み出す。出力画像の画素が１つの入力画像の画素のみに対応する場合は、入力画素の値を画像出力手段５０へと出力する。また、対応する画素が存在しない場合は、予め定めた値を画像出力手段５０へと出力する。
【００５７】
出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合は、入力画像の画素位置と同時に参照した各画素の必要度に応じて、それらの画素値を合成する。単純には、必要度の逆比に応じて加算し、出力画像の画素値とする。画像出力手段５０は、画像合成手段４０で生成された出力画像の画素から出力画像を生成し、出力する。
【００５８】
このように、本実施形態の画像合成変換装置では、マッピングテーブル作成処理において予め３次元座標記録手段に記録されているデータを利用するため、３次元位置を求めるために必要な膨大な量の演算をマッピングテーブル作成時に実施する必要がなくなり、透視投影変換と歪み補正演算のみを実施するだけで済む。
【００５９】
このため、演算手段２０が高性能な演算能力を持たない場合であっても、撮像手段１０の設置後にマッピングテーブルを高速に生成することが可能となる。これにより、汎用性が高く、かつ、安価で、メンテナンスの容易な画像合成変換装置を得ることが可能となる。
【００６０】
（第２の実施の形態）
図４は、本発明の第２の実施の形態に係る画像合成変換装置で用いる３次元座標記録手段のブロック図である。この実施形態の画像合成変換装置の全体構成とその動作については、第１の実施の形態と同様であるのでその図示及び説明は省略し、図４に示す第２の実施の形態に係る特徴部分についてのみ説明する。
【００６１】
図４に示す３次元座標記録手段３２は、予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置をデータ圧縮した形式で記録する記録手段３４と、記録手段３４にデータ圧縮された形式で記録されている３次元位置を伸張して元のデータに復元する伸張手段３３とから構成される。
【００６２】
斯かる構成の３次元座標記録手段３２に対して、以下、その動作を説明する。記録手段３４は、予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置を、予測符号化によりデータ圧縮した形式で記録する。投影モデルは、一般に平面や、曲面等の滑らかな面の集まりとして定義され、３次元位置はこの投影モデル面と仮想カメラの視線を表す直線との交点として表され、仮想カメラの画面上の画素は規則正しく並んでいる。
【００６３】
従って、３次元位置も投影モデル面上を比較的規則正しく変化することになる。このため、予測符号化により効率の良いデータ圧縮が可能となる。例えば、図５に示すように、３次元位置の各成分を１つ前との差分を予測値とし、予測値と３次元位置の各成分との差分（予測誤差）を圧縮データとするなどの簡単な圧縮方法により高い圧縮率を達成できる。図５は一次元を例示するものであるが、容易に３次元に拡張可能である。また、予測符号化は、予測値と予測誤差との加算によって元のデータを復元できるため、伸張に要する演算量は限られたものとなり、高速に伸張処理ができる。
【００６４】
伸張手段３３は、記録手段３４に圧縮された形式で記録された３次元位置のデータを伸張して元のデータに復元する。このとき、先に示したように、予測符号化を伸張する伸張手段３３には、高い演算能力が必要とされない。
【００６５】
このように、上記の構成にすることで、本実施形態では、高い演算能力を必要とせず、且つ、少ないメモリ容量でマッピングテーブルを作成するためのデータを記録できるという利点がある。このことは、画像合成変換装置を使用中に何らかの要因によって、マッピングテーブルを作り直す必要が生じた際に備えて、マッピングテーブルを作成した後も、仮想カメラの画素位置に対応する投影モデル上の３次元位置のデータを保持し続ける時にも有利となる。
【００６６】
（第３の実施の形態）
図６は、本発明の第３の実施の形態に係る画像合成変換装置のブロック図である。この実施形態に係る画像合成変換装置は、撮像手段１０と、演算手段２０と、マッピングテーブル参照手段３０と、画像合成手段４０と、画像出力手段５０と、校正手段６０とを備えて構成される。マッピングテーブル参照手段３０の構成は、第１の実施の形態または第２の実施の形態に係る画像合成変換装置と同様である。
【００６７】
校正手段６０は、撮像手段１０で撮影された画面内の既知の世界座標上のポイントと、画面上の画素位置とを対応付けることで、撮像手段１０の校正データを生成し、カメラパラメータとして演算手段２０に出力する。
【００６８】
演算手段２０は、校正手段６０で算出されたカメラパラメータと、マッピングテーブル参照手段３０により参照して得られる予め計算された仮想カメラの画素位置に対応する投影モデル上の３次元位置とから、出力画像の生成に必要とする入力画像の画素位置を算出する。算出した結果は、マッピングテーブルとしてマッピングテーブル参照手段３０へ記録する。
【００６９】
画像合成手段４０は、マッピングテーブル参照手段３０を参照して出力画像の画素に対応する入力画像を撮像手段１０から読み出して出力画像の画素を生成し、画像出力手段５０は、画像合成手段４０で生成された画素から出力画像を生成して出力する。
【００７０】
上述した構成の画像合成換装置の基本的動作は、第１の実施の形態と同様であるのでその説明は省略し、第１の実施形態に比べて異なる校正手段６０の動作についてのみ説明する。
【００７１】
図７は、校正手段６０のブロック構成図である。この校正手段６０は、例えば、入力画像に位置合わせのためのマークを重畳するマーク重畳手段６３と、マークが重畳された画像を表示するモニタ６４と、マークの表示位置を指示するコントローラ６１と、マークの位置と、既知の世界座標上のポイントの座標とからカメラパラメータを算出する校正演算手段６２とから構成される。
【００７２】
図８は、図７のモニタ６４の表示画面遷移例を示す図である。モニタ６４には、マーク重畳手段６３により位置合わせ用のマークＡ、Ｂが入力画像に重畳表示される。位置合わせ用のマークＡ、Ｂの表示位置は、コントローラ６１により制御され、コントローラ６１からは、表示位置がマーク重畳手段６３へと通知される。図示する例では、複数の位置合わせ用マークＡ、Ｂが存在するため、マークＡ、Ｂの夫々の番号も同時に通知される。
【００７３】
入力画像内には、世界座標上の座標が既知である位置合わせ用ターゲットＣが写してある。このとき、図８の位置合わせ前のモニタ表示（上段）の様に、マークＡ、ＢとターゲットＣとがずれて表示された場合、コントローラ６１の操作により位置合わせ用マークＡ、Ｂの表示位置を移動して位置あわせ用ターゲットＣの所定のポイントと一致させ、図８の下段に示すモニタ表示の状態とする。
【００７４】
図８の下段に示す状態において、コントローラ６１から校正演算手段６２へと、マーク合わせが終了したことを通知するとともに、そのときのマークＡ、Ｂの表示位置も通知する。校正演算手段６２では、コントローラ６１から通知されるマークＡ、Ｂの位置と、世界座標上の既知の座標との対応関係から、入力画像を撮像した撮像手段１０の校正を実施し、その結果得られるカメラパラメータを演算手段２０に出力する。
【００７５】
なお、図８の例では、位置合わせに必要な点数を２点としたが、この位置合わせに必要な点数は、撮像手段１０の校正で求める必要のある変数の個数に依存する。
【００７６】
以上のように、本実施形態によれば、撮像手段の設置後の処理を全て画像合成変換装置単体で実施することが可能となる。これにより、撮像手段の設置位置が制限されることがなくなり、撮像手段の設置が容易となる。また、何らかの要因により撮像手段の取り付け位置がずれた場合でも、外部の高性能演算装置を必要とせずに、マッピングテーブルを作り直すことができるため、メンテナンスのし易さも向上する。
【００７７】
【発明の効果】
本発明によれば、能力の高い演算装置を内蔵することなく、撮像手段の設置後にマッピングテーブルを算出できるため、安価な構成により画像合成、変換を実現可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像合成変換装置のブロック図
【図２】本発明の第１の実施の形態に係る画像合成変換装置で用いる投影モデルによる視点変換説明図
【図３】本発明の第１の実施の形態に係る画像合成変換装置で用いるマッピングテーブルにおける仮想カメラと実カメラとの対応説明図
【図４】本発明の第２の実施の形態に係る画像合成変換装置で用いる３次元座標記録手段のブロック図
【図５】本発明の第２の実施の形態に係る画像合成変換装置で用いる予測符号化の説明図
【図６】本発明の第３の実施の形態に係る画像合成変換装置のブロック図
【図７】本発明の第３の実施の形態に係る画像合成変換装置で用いる校正手段のブロック図
【図８】本発明の第３の実施の形態に係る画像合成変換装置で用いる校正手段のモニタ表示例を示す図
【図９】本発明の第１の実施の形態に係る画像合成変換装置で用いるマッピングテーブル説明図
【図１０】従来の画像合成装置のブロック図
【図１１】従来の仮想カメラのカメラ座標、実カメラのカメラ座標、世界座標の関係図
【図１２】従来の透視投影の説明図
【符号の説明】
１０ 撮像手段
１１、１２ カメラ
１３、１４ フレームメモリ
２０ 演算手段
３０ マッピングテーブル参照手段
３１ マッピングテーブル記録手段
３２ ３次元座標記録手段
３３ 伸張手段
３４ 圧縮手段
４０ 画像合成手段
５０ 画像出力手段
６０ 校正手段
６１ コントローラ
６２ 校正演算手段
６３ マーク重畳手段
６４ モニタ
Claims (5)
- 実画像を撮像する撮像手段から入力される画像を所定の仮想視点からみた仮想画像に変換して出力する画像変換装置であって、前記実画像上の画素と前記仮想画像上の画素とはそれぞれ所定の投影モデル上の点を介して対応付けられており、かつ前記仮想画像上の画素と前記投影モデル上の点との対応を記録し、前記仮想画像上の画素に対応する３次元座標とともに、画面上に対応する画素が存在する前記撮像手段の識別符号を記録した第１の記憶手段及び前記仮想画像上の画素と前記実画像上の画素との対応を記録した第２の記憶手段と、別途入力されるカメラパラメータを用いて、前記第１の記憶手段が保持する投影モデル上の３次元位置が実画像のどの画素位置に映るかを算出することで、仮想画像上の画素と実画像上の画素との対応関係を求め、前記第２の記憶手段の記録内容を書き換える演算手段とを備えたことを特徴とする画像変換装置。
- 前記撮像手段の設置位置が予め定められている場合に前記設置位置から前記カメラパラメータを予測して求める手段を備えたことを特徴とする請求項１に記載の画像変換装置。
- 前記投影モデル上の点に対する前記撮像手段の相対位置を校正データとして求め、前記校正データに基づいて前記カメラパラメータを予測して求める手段を備えたことを特徴とする請求項１に記載の画像変換装置。
- 外部の校正手段により求められた校正データを用いて前記カメラパラメータを求めることを特徴とする請求項１に記載の画像変換装置。
- 前記第１の記憶手段は、前記投影モデル上の点の集合データを予測符号化により圧縮した形式で記録する記録手段と、前記記録手段により圧縮して記録されている前記集合データを伸張して元の形式に戻す伸張手段とを備えたことを特徴とする請求項１乃至請求項４のいずれかに記載の画像変換装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002057440A JP4021685B2 (ja) | 2002-03-04 | 2002-03-04 | 画像合成変換装置 |
| US10/484,916 US7538798B2 (en) | 2002-03-04 | 2003-02-25 | Image combination/conversion apparatus |
| EP03743508.8A EP1482450B1 (en) | 2002-03-04 | 2003-02-25 | Image combination/conversion apparatus |
| PCT/JP2003/002077 WO2003075224A1 (en) | 2002-03-04 | 2003-02-25 | Image combination/conversion apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002057440A JP4021685B2 (ja) | 2002-03-04 | 2002-03-04 | 画像合成変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003256874A JP2003256874A (ja) | 2003-09-12 |
| JP4021685B2 true JP4021685B2 (ja) | 2007-12-12 |
Family
ID=27784659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002057440A Expired - Lifetime JP4021685B2 (ja) | 2002-03-04 | 2002-03-04 | 画像合成変換装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7538798B2 (ja) |
| EP (1) | EP1482450B1 (ja) |
| JP (1) | JP4021685B2 (ja) |
| WO (1) | WO2003075224A1 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4021685B2 (ja) | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
| JP4744823B2 (ja) * | 2004-08-05 | 2011-08-10 | 株式会社東芝 | 周辺監視装置および俯瞰画像表示方法 |
| DE102004049156B4 (de) * | 2004-10-08 | 2006-07-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codierschema für einen ein zeitlich veränderliches Graphikmodell darstellenden Datenstrom |
| JP4552131B2 (ja) * | 2005-02-25 | 2010-09-29 | カシオ計算機株式会社 | デジタルカメラ、デジタルカメラの制御方法及びプログラム |
| US7782374B2 (en) * | 2005-03-03 | 2010-08-24 | Nissan Motor Co., Ltd. | Processor and processing method for generating a panoramic image for a vehicle |
| JP4548228B2 (ja) * | 2005-05-31 | 2010-09-22 | 株式会社テクノホロン | 画像データ作成方法 |
| JP4742695B2 (ja) * | 2005-06-27 | 2011-08-10 | トヨタ自動車株式会社 | 視線認識装置、及び視線認識方法 |
| EP1919219A4 (en) * | 2005-07-11 | 2010-12-01 | Sharp Kk | VIDEO ENTRY DEVICE, VIDEO DISPLAY DEVICE, VIDEO END PROCEDURE AND VIDEO DISPLAY METHOD |
| US20070016372A1 (en) * | 2005-07-14 | 2007-01-18 | Gm Global Technology Operations, Inc. | Remote Perspective Vehicle Environment Observation System |
| EP1938246A4 (en) * | 2005-09-22 | 2011-04-06 | 3M Innovative Properties Co | ATTENUATION OF ARTIFACT IN A THREE DIMENSIONAL IMAGING |
| JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
| US7742624B2 (en) * | 2006-04-25 | 2010-06-22 | Motorola, Inc. | Perspective improvement for image and video applications |
| JP5013773B2 (ja) | 2006-08-18 | 2012-08-29 | パナソニック株式会社 | 車載画像処理装置及びその視点変換情報生成方法 |
| JP5159070B2 (ja) * | 2006-08-31 | 2013-03-06 | アルパイン株式会社 | 車両周辺画像表示装置及び表示方法 |
| JP4257356B2 (ja) * | 2006-09-26 | 2009-04-22 | 株式会社日立製作所 | 画像生成装置および画像生成方法 |
| JP2009172122A (ja) * | 2008-01-24 | 2009-08-06 | Brother Ind Ltd | ミシン |
| JP4492724B2 (ja) * | 2008-03-25 | 2010-06-30 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| GB2462095A (en) | 2008-07-23 | 2010-01-27 | Snell & Wilcox Ltd | Processing of images to represent a transition in viewpoint |
| JP4811508B2 (ja) * | 2009-03-27 | 2011-11-09 | ブラザー工業株式会社 | ミシン |
| JP5846596B2 (ja) * | 2011-03-31 | 2016-01-20 | 株式会社竹中工務店 | 監視装置及びプログラム |
| US8934017B2 (en) | 2011-06-01 | 2015-01-13 | Honeywell International Inc. | System and method for automatic camera placement |
| US20140192159A1 (en) * | 2011-06-14 | 2014-07-10 | Metrologic Instruments, Inc. | Camera registration and video integration in 3d geometry model |
| US9060093B2 (en) * | 2011-09-30 | 2015-06-16 | Intel Corporation | Mechanism for facilitating enhanced viewing perspective of video images at computing devices |
| US20130201339A1 (en) * | 2012-02-08 | 2013-08-08 | Honeywell International Inc. | System and method of optimal video camera placement and configuration |
| JP5785123B2 (ja) | 2012-03-16 | 2015-09-24 | 株式会社イシダ | 組合せ計量装置 |
| EP2887029B1 (de) * | 2013-12-20 | 2016-03-09 | Multipond Wägetechnik GmbH | Befüllungsvorrichtung und Verfahren zum Erfassen einer Befüllung |
| JP6552256B2 (ja) * | 2015-04-30 | 2019-07-31 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
| CN107180406B (zh) * | 2016-03-09 | 2019-03-15 | 腾讯科技（深圳）有限公司 | 图像处理方法和设备 |
| JP7013751B2 (ja) * | 2017-09-15 | 2022-02-01 | 株式会社アイシン | 画像処理装置 |
| CN107665483B (zh) * | 2017-09-27 | 2020-05-05 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 |
| US10473772B2 (en) * | 2017-10-12 | 2019-11-12 | Ford Global Technologies, Llc | Vehicle sensor operation |
| US20180095475A1 (en) * | 2017-11-22 | 2018-04-05 | GM Global Technology Operations LLC | Systems and methods for visual position estimation in autonomous vehicles |
| JP2019103067A (ja) | 2017-12-06 | 2019-06-24 | キヤノン株式会社 | 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム |
| JP7313811B2 (ja) * | 2018-10-26 | 2023-07-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN110335360B (zh) | 2019-05-24 | 2020-12-25 | 深圳大学 | 三维元素布局可视化方法和装置 |
| JP7514125B2 (ja) * | 2020-07-06 | 2024-07-10 | 日本放送協会 | 画像処理装置およびそのプログラム |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07311857A (ja) * | 1994-05-16 | 1995-11-28 | Fujitsu Ltd | 画像合成表示装置およびシミュレーションシステム |
| JP3251774B2 (ja) * | 1994-06-10 | 2002-01-28 | ▲すすむ▼ 舘 | ３次元映像処理装置及び方法 |
| US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
| WO1997003416A1 (en) * | 1995-07-10 | 1997-01-30 | Sarnoff Corporation | Method and system for rendering and combining images |
| US6081273A (en) * | 1996-01-31 | 2000-06-27 | Michigan State University | Method and system for building three-dimensional object models |
| JPH1097642A (ja) * | 1996-09-20 | 1998-04-14 | Canon Inc | 画像処理方法及び装置及び記憶媒体 |
| JP3642923B2 (ja) * | 1996-11-14 | 2005-04-27 | 富士通株式会社 | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
| US6184892B1 (en) * | 1996-11-14 | 2001-02-06 | Fujitsu Limited | Image production processing apparatus and structural data generating apparatus for generating structural data used in the image production processing apparatus |
| US6124862A (en) * | 1997-06-13 | 2000-09-26 | Anivision, Inc. | Method and apparatus for generating virtual views of sporting events |
| JP3286306B2 (ja) * | 1998-07-31 | 2002-05-27 | 松下電器産業株式会社 | 画像生成装置、画像生成方法 |
| JP3593466B2 (ja) * | 1999-01-21 | 2004-11-24 | 日本電信電話株式会社 | 仮想視点画像生成方法およびその装置 |
| CA2369648A1 (en) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Limited | Image processing device and monitoring system |
| JP3624769B2 (ja) * | 1999-09-30 | 2005-03-02 | 株式会社豊田自動織機 | 車両後方監視装置用画像変換装置 |
| JP3632563B2 (ja) * | 1999-10-19 | 2005-03-23 | 株式会社豊田自動織機 | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
| JP3606816B2 (ja) * | 2000-04-05 | 2005-01-05 | 松下電器産業株式会社 | 運転操作補助装置 |
| JP4370672B2 (ja) * | 2000-04-11 | 2009-11-25 | ソニー株式会社 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
| US6573912B1 (en) * | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
| US20020122117A1 (en) * | 2000-12-26 | 2002-09-05 | Masamichi Nakagawa | Camera device, camera system and image processing method |
| JP3645196B2 (ja) * | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
| JP4021685B2 (ja) | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
-
2002
- 2002-03-04 JP JP2002057440A patent/JP4021685B2/ja not_active Expired - Lifetime
-
2003
- 2003-02-25 WO PCT/JP2003/002077 patent/WO2003075224A1/ja not_active Ceased
- 2003-02-25 US US10/484,916 patent/US7538798B2/en not_active Expired - Lifetime
- 2003-02-25 EP EP03743508.8A patent/EP1482450B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003256874A (ja) | 2003-09-12 |
| WO2003075224A1 (en) | 2003-09-12 |
| EP1482450A1 (en) | 2004-12-01 |
| US7538798B2 (en) | 2009-05-26 |
| US20040201587A1 (en) | 2004-10-14 |
| EP1482450B1 (en) | 2018-12-19 |
| EP1482450A4 (en) | 2009-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4021685B2 (ja) | 画像合成変換装置 | |
| WO2008020516A1 (en) | On-vehicle image processing device and its viewpoint conversion information generation method | |
| US10269092B2 (en) | Image processing device, image processing method, and storage medium | |
| AU2016266968B2 (en) | Modelling a three-dimensional space | |
| US20200226825A1 (en) | Reconstruction method, reconstruction device, and generation method | |
| US20210326608A1 (en) | Object detection apparatus, object detection method, and computer readable recording medium | |
| Larsson et al. | Revisiting radial distortion absolute pose | |
| US10063792B1 (en) | Formatting stitched panoramic frames for transmission | |
| US20190272670A1 (en) | Real-time hand modeling and tracking using convolution models | |
| JP2004187298A (ja) | パノラマ画像および全方位画像の描画および符号化 | |
| KR102084253B1 (ko) | 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법 | |
| JP2002228442A (ja) | 位置姿勢の決定方法及び装置並びに記憶媒体 | |
| JPWO2006087993A1 (ja) | 周辺監視装置および周辺監視方法 | |
| Kumar et al. | Stereo rectification of uncalibrated and heterogeneous images | |
| CN111882655B (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| JP3352475B2 (ja) | 画像表示装置 | |
| JP2000011172A (ja) | 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体 | |
| Elstrom et al. | Stereo-based registration of ladar and color imagery | |
| GB2567245A (en) | Methods and apparatuses for depth rectification processing | |
| JPH05266146A (ja) | 物体形状の表現装置 | |
| CN116597096A (zh) | 场景重建方法、装置、存储介质及电子设备 | |
| CN101483765A (zh) | 一种图像处理方法、编解码方法及装置 | |
| JPH10255071A (ja) | 画像処理システム | |
| KR20200122967A (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| JP3663645B2 (ja) | 動画像処理装置とその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050228 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070426 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070720 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070927 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4021685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |